趨勢洞察丨泛現實技術應用及8大體驗維度分析
文章針對泛現實技術展開分析研究,了解其過去、現在和未來的整體趨勢。就當前熱門的泛現實類產品應用而言,整理總結了需要關注的體驗設計8個維度,給行業從業者以啟示。
泛現實技術(XR-Extended Reality)是VR,AR和MR的總稱,以及未來可能出現的延展技術。泛現實技術將作為一個方向標,引領人們進入下一個科技世代,給人類的各方面帶來有意義的改變,如泛現實技術與娛樂、醫療、出行、教育等等行業結合。
我們相信XR在未來不只是現在的輔助地位,隨著泛現實類技術瓶頸的不斷突破將產生革命性的應用體驗升級,現實和虛擬之間的邊界變得越來越模糊,在我們生活中,XR應用將隨處可見。
我們針對泛現實技術展開分析研究,了解其過去、現在和未來的整體趨勢。就當前熱門的泛現實類產品應用而言,整理總結了需要關注的體驗設計8個維度,給行業從業者以啟示。期待讓XR不只是停留在技術研究層面,而是更進一步的融入到我們的生活場景中。
一、泛現實技術起源與發展
泛現實技術(XR),相較其他而言是一個較為新的詞語,是一個新興的總稱術語,適用于所有計算機生成的環境,它們可以合并物理和虛擬世界,也可以為用戶創建完全身臨其境的體驗。以目前的科技進程,XR可以稱之為增強顯示(AR-Augmented Reality)、 虛擬現實(VR-Visual Reality)和混合現實(MR-Mixed Reality)的總稱。
AR
增強現實(AR-Augmented Reality),是一種將真實世界和虛擬世界的信息無縫銜接的新型交互體驗,把在真實世界中一定時間空間范圍內很難體驗到的實體信息(視覺、聽覺、嗅覺、觸覺等感官維度),通過計算機技術,將虛擬的信息模擬疊加到真實世界,被人類感官所感知,從而達到超越現實的感官體驗。重疊的感官信息可以是建設性的(和自然環境融合)或破壞性的(覆蓋自然環境)。AR應用范圍非常廣泛,社交、娛樂、教育、醫療、軍事、旅游觀光、新零售等行業都受到了影響,甚至是革命性的變化。
VR
虛擬現實(VR-Visual Reality)是在模擬環境中發生的計算機生成的交互式體驗。它主要包括聽覺和視覺反饋,但也可能允許其他類型的感官反饋(如觸覺、嗅覺)。這種沉浸式環境可以和現實世界一樣,也可以是奇幻的、有違常理的世界。
當前的VR技術最常使用頭戴顯示器或多投影環境,有時結合物理環境或道具,以生成逼真的圖像,聲音 和其他感覺,模擬用戶在虛構環境中的物理存在。使用虛擬現實設備的人能夠“環顧”人造世界,在其中移動,并與虛擬形象或虛擬目標進行交互。VR主要應用于娛樂領域,在醫療、軍事等領域中也有卓越的貢獻。
MR
混合現實(MR-Mixed Reality)是真實世界和虛擬世界的融合,以產生新的環境和可視化場景,使物理和數字對象共存并實時交互體驗。混合現實不僅發生在物理世界或虛擬世界中,它是由現實與虛擬的結合,通過AR和VR混合產生的沉浸式泛現實技術。
二、泛現實產品形態的區別
三者的區別
- AR:將虛擬的信息模擬疊加到真實世界,讓使用者與疊加的虛擬信息交互。
- VR:將虛擬的信息覆蓋掉真實世界,讓使用者完全沉浸在虛擬世界中。
- MR:不僅覆蓋,而且將虛擬信息定位到現實世界中,并允許用戶與組合的虛擬/真實對象進行交互。
AR、VR和MR是相輔相成的關系,隨著5G的到來和硬件上的升級更新,>AR 、 VR和MR會獲得更進一步的升級,但他們也依舊作為底層技術正在為XR的發展提供動力。
共有的技術
三者之間的形態各不相同,但同屬于XR的范疇, 他們擁有共同的支撐技術:
眼動追蹤(Eye Tracking):指通過測量眼睛的注視點的位置或者眼球相對頭部的運動而實現對眼球運動的追蹤。目前眼動追蹤有多種方法,其中最常用的無創手段是通過視頻拍攝設備來獲取眼睛的位置。有創的手段包括在眼睛中埋置眼動測定線圈或者使用微電極描記眼動電圖。
目前,在XR領域當中使用了最新眼動追蹤技術的是微軟于2019MWC上推出的Hololens 2。它搭載了眼動追蹤技術,可以做到同時精確追蹤用戶的雙眼,并判斷具體的注視點位置。硬件也進行了優化,并沒有出現因為搭載眼動追蹤技術而導致增加重量,消耗處理能力和干擾到用戶的視野的問題。
手勢追蹤(Hand Position Tracking):是一種高分辨技術,用于知道用戶手指的連續位置,從而以3D形式表示對象。該系統誕生于人機交互問題的基礎上,專注于用戶-數據交互方向,其目的是允許它們之間的通信以及手勢和手部動作的使用更加直觀。目前手勢跟蹤系統已體系成熟,這些系統實時跟蹤每個標記的手指方向的3D和2D位置,并使用直觀的手部動作和手勢進行交互。
位置追蹤(Positional tracking):用于檢測頭戴式顯示器、控制器、其他物體或身體部分在三維空間內的精確位置。位置跟蹤傳感器記錄了由于識別旋轉(俯仰、偏航和滾轉)和記錄平移運動而確定的位置。
因為VR是虛擬的、改變現實的模擬環境,所以必須能夠準確地跟蹤物體(如頭或手)在現實生活中的移動,以便在虛擬現實中表現它們。在空間中確定真實物體的位置和方向,是通過特殊的傳感器或標記來確定的。傳感器記錄真實物體移動或移動時發出的信號,并將接收到的信息傳送給計算機。
實時計算機圖形渲染(Real Time Render):應用于交互式媒體的實時渲染顯示,速率為大約每秒20到120幀。在實時渲染中,目標是在一秒鐘內盡可能多地顯示眼睛可以處理的信息。
主要目標是以可接受的最低渲染速度達到盡可能高的照片真實感,呈現的最終圖像不一定是現實世界的圖像,而是足以讓人眼容忍的圖像。可以模擬鏡頭光斑、景深或運動模糊等由相機和人眼的光學特性產生的視覺現象的行為,這些效果可以為場景提供逼真的元素。這是游戲、交互式世界和 VRML 中使用的基本方法。
特有技術
在擁有共同基礎技術的情況下,也存在其獨有的技術,使該技術區別于其他:
AR光學設計:光學物理下的衍生學科,屬于計算機視覺學科的一部分。其關注的目標在于充分理解電磁波(主要是可見光與紅外線部分)遇到物體表面被反射所形成的圖像,而這一過程便是基于光學物理和固態物理,來解析影像所表示的真實世界。
光學設計就是根據一個給定的輸入和一個要求的輸出,利用物、像基本概念等光學原理和相關學科知識,設計產出一套光學系統。AR的光學模組是由光學設計學科應用下的產物,相當于如今智能手機的顯示屏一樣的存在。虛擬顯示是目前AR系統的一大難題,就是因為目前大多的AR眼鏡所采用的光學模組還無法達到虛擬與現實真正融合、虛實不分的理想效果。
VR-六自由度(Six Degrees of Freedom):可以給予用戶在前后、上下、左右三個互相垂直的坐標軸上平移視角,也可以在三個垂直軸上旋轉其方向,三種旋轉方向稱為俯仰(pitch)、偏擺(yawl)及翻滾(Roll)。
頭部不僅可以通過轉動獲得有運動視差的圖像,更是可以前后左右移動,甚至把頭探入三維虛擬物體中,看它里面有什么。六自由度對在虛擬世界中創建真實感受有著重大幫助。
VR-體積捕捉(Volumetric Capture):體積捕捉技術的目的不僅僅是捕捉一個圓形視角,而是捕捉整個場景(或至少是其中的一部分),這樣觀眾就可以在捕捉過程中通過3D空間移動頭部,并從不同的角度觀看場景。體積捕捉技術為內容添加了新的深度,它將廣泛的應用一下科技時代的應用當中,例如VR電影或者全息圖等方向。
三、泛現實技術的應用領域
1. 娛樂
1962年第一臺VR設備“Sensorama Simulator”誕生,它可以提供駕駛摩托車的虛擬體驗,包括真實的運動、聲音、氣味和氣流。自那之后,XR技術已經通過不斷地迭代發展到了更高的高度。它在迪斯尼樂園等各種主題公園和其他兒童娛樂公園中提供給客戶一個虛擬環境的體驗,例如乘坐過山車、飛行模擬等。
在最新一階段的技術研發中,迪士尼的“AR 長凳”已經可以展現出一個更加真實有趣的體驗。它可以讓觀眾不借助 AR 頭盔就可以在和銀幕中動漫人物產生一系列的互動。作為XR在娛樂上應用良好的案例,也能由此瞥見下一個科技世代的娛樂形態的樣子。
迪士尼“AR”長凳
2. 醫療
XR將對醫療做出重大和多樣的改變。例如,與MRI或X射線相結合系統并將所有內容整合到一個視圖中,方便醫生查閱信息;外科醫生使用全息圖來為手術做準備或者支持手術,通過XR技術的支持,方便的實現跨地區、跨國家的醫療會診。
XR也為醫學教育開辟了新的途徑,因為它能夠在醫學生面前投射完整的人體。器官,骨骼,血管,所有的東西都將在3D 中被精確地看到,在未來,醫學專業人員可以比讀書時更準確地記住每一部分的特征。
想象一下,學生們也不會從尸體那里學習解剖學,他們將從XR環境中學習解剖學,醫科學生使用該技術在受控環境中進行模擬手術練習。
目前,已經有專門的XR公司在著手于醫療領域的研究。來自德國漢堡的apoQlar公司就是其中一個,他們專攻醫療成像技術(MR和AR)和數據評估,與研究機構,診所,醫院和醫生密切合作,基于微軟Hololens平臺開發出了虛擬手術智能系統(VSI)。
這套系統用于手術中輔助醫生進行一系列手術操作(例如:將患者的血壓、心跳、CT或核磁共振結果直接顯示在醫生的視線內),以及手術前和手術后與病患更方便直白的進行溝通。
3. 交通
XR在車輛中的應用主要集中于增強現實抬頭顯示(AR-HUD)。為了提高駕駛安全和減少駕駛工作量,所提供的信息應該以一種更容易理解和減少認知負荷的方式來表示。它可以促進車輛和駕駛員之間的一種新的對話形式:通過在駕駛者視角中添加周圍一系列的相關交通信息,使駕駛者保持對道路上的專注。
XR結合前擋風玻璃提供的產品的受惠者不僅只有駕駛者,也可以影響到行人以及特殊車輛。事實上,車輛中的交互式前擋風玻璃作為顯示器提供了一個設計空間,它可以為駕駛者、乘客和行人創建一套交通生態系統。
- 對內,可以提供駕駛輔助信息,減少分散駕駛者的注意力;
- 對外,可以向行人展示一些信息內容,甚至可以從最基礎的交通信息延伸到娛樂、廣告等方面。還可以幫助構建用于特定領域的應用程序,如消防車、警察車、救護車等一些特殊車輛。
現代-全息AR導航儀表
在2019CES展上,現代結合Wayray發布了最新的用于車輛的全息AR顯示技術。該技術可根據車輛的行駛速度精準的顯示運動方向,并通過安裝在儀表板上的顯示器將導航的指示箭頭投射到道路上,讓駕駛者的注意力不容易被干擾;還結合了安全輔助系統,如車道偏離和前方碰撞警告等。
4. 教育
XR技術在教育方面有著巨大的潛力。它能夠有效地傳遞大量信息,因為它利用了用戶的自然空間感知能力,可以通過游戲、互動會議、基于人工智能的互動系統等方式娛樂和教育人們。對于一些特殊學科,甚至可以大幅降低學習成本。未來,學生甚至可以參加與計算機生成的模擬交互式歷史事件,探索和學習細節事件現場的每個重要區域。
5. 物流
DHL在2015年第一次嘗試將AR設備加入到物流供應鏈。他們在第一次嘗試中,使用了一些AR設備硬件,以及 Vuzix 的 M100 和 M300 智能眼鏡。在美國,亞洲和澳大利亞的試驗中使用Ubimax的xPick軟件,將登機和培訓時間減少一半,單位揀選生產率平均提高10%至25%。
DHL- AR應用
基于這一成功,DHL于2017年8月宣布將AR智能眼鏡的使用范圍擴展到全球各地的倉庫,該技術與射頻掃描儀,藍牙可穿戴指環和分揀機器人一起使用。展望不久的將來,視覺識別技術可以讓XR眼鏡在物流領域得到進一步優化。此外,>除了物流分揀,DHL 也正在探索使用 AR 智能眼鏡進行員工培訓。
四、泛現實產品的發展趨勢
在市場分析機構IDC的《全球半年度增強現實和虛擬現實市場規模指南》中指出,預計2019年全球增強現實和虛擬現實 (AR/VR)的支出將接近204億美元,同比增長68.2%。
IDC預計:在預測期間(2017-2022),消費者市場和企業/商業市場的五年復合年增長率將達到70.7%。在2017-2022年的預測期間,全球在 AR/VR 產品和服務上的支出將繼續強勁增長,實現69.6%的五年復合年增長率。
發表在“泰晤士報”上的XR for Business特別報道中,也從多角度分析闡述了XR對商業和工業上造成什么樣的影響。
市場發展現狀
泰晤士報刊登的XR for Business相關數據
發展的瓶頸
在博欽的2018年AR/VR調查報告中指出,用戶體驗是AR和VR大規模使用上最大的障礙,大部分原因是由于硬件和內容上都存在著技術障礙導致的。成本則是第二大障礙,在2018年, HTC 和 Oculus 等虛擬現實廠商都相繼宣布了降價舉措。
2018 博欽事務所 AR/VR調查報告
五、泛現實類產品的用戶體驗設計
XR能使復雜數據能夠與真實世界交互,所以它使我們能夠吸收比以往更多的信息,對于影響用戶的決策有很大的潛力。體驗設計師應該從承載內容和內容沉浸感的角度出發,將思考維度的方向從二維平面中跳脫到三維空間當中,這也意味著需要關注的設計維度變得更多更廣泛。
以下是根據實際經驗以及行業內的各種意見,整理出了以下需要關注的8個體驗維度:
1. 視覺焦點
AR界面里的光標實際上是在模擬用戶眼睛所看到的焦點,Hololens里將其定義為“Gaze targeting“,明確定義了AR設計里的所有交互都需要建立在用戶能夠獲取其目標物的能力上,指出系統需要盡量去理解用戶的關注焦點。
所以,眼球追蹤器可以是一個強大的工具,它能給我們一個高度精確的表現和理解一個人的眼球運動行為。位置、持續時間和移動的三個屬性構成了這種理解的基礎。
2. 動態光陰
光線上的恰當使用會讓用戶更加沉浸,但若是使用的不恰當,則會導致用戶瞬間從沉浸式環境抽離。增加恰當的光線可以帶給物體體積感,增加重量,讓其更加真實。
有研究指出:在虛擬場景中使用動態移動的陰影,要比使用靜態陰影或者沒有陰影能引發更強的臨境感。谷歌的Material Design中,通過光線引入了陰影,讓設計語言更貼近自然和人們的生活。
3. 空間層次
很多事情會影響界面的可讀性,例如字體的大小、對比度、間距等等,在XR中會增加另外一個因素:深度。
深度不僅可以展現出視覺的層次和重要性,還能展現虛擬物體在真實空間中的方位,例如:可以參考繪畫中的近大遠小的概念,越大的物體視覺上給人距離更近的感覺,反之越小則越遠。
因此將深度融入到虛擬界面中,將平面的二維界面轉化為能創建視覺層次、更豐富、更有效呈現信息和概念的界面。
微軟的Fluent Design System設計規范中推薦界面的顯示區域介于1.25米和5米之間,兩米是最理想的顯示距離。
4. 手勢交互
現階段的XR設備中,手勢操作是主流的交互方式之一。手勢是真實世界中自然動作,在設計XR設備的體驗中有不可置疑的優勢。在設計手勢的時候需要考慮多個問題。例如:用戶的操作的舒適范圍;手指能輕松觸及的范圍;只使用一只手還是需要雙手同時操作等一系列因為操作范圍從平面變成了三維空間而產生的問題。
同時需要注意的是機器的視場角度和識別精度。因為動作一點超出機器的視場,它將無法被機器識別,從而無法做出反饋。識別精度會影響設備對此手勢的判斷是否準確無誤,若存在容易混淆的情況,也要考慮手勢的設計上需要區分相對明顯等問題。
5. 語音交互
用戶的語音命令由三個關鍵因素組成:意圖、話語和詞槽。
意圖作為語音交互的目標,表示用戶語音命令的更廣泛目標,這可以是低效用請求,也可以是高效用請求。高效用請求是有關執行非常具體的任務,設計這些請求非常簡單,因為用戶的期望非常明確。低效用請求更加模糊,難以破譯,需要向用戶獲取進一步信息才能執行請求。在設計這一種類的機制時,需要加入較人性化的錯誤反饋機制,以免用戶的期望值降低。
話語反映了用戶如何表達他們的請求,設計師需要考慮每一種話語的變化,這將有助于AI引擎識別請求并將其鏈接到正確的操作或響應。
有時單獨的意圖是不夠的,還需要來自用戶的更多信息以便滿足請求。詞槽就像傳統的表單字段,因為它們可以是可選的或需要的,具體取決于完成請求所需的內容。
6. 聲效反饋
聲音對臨境感有很大的影響,聲音將幫助用戶注意到視線以外的物體,并鼓勵用戶查看整個360度的空間。人們習慣于與平板電視互動,所以你需要真正鼓勵你的用戶環視整個環境。否則,一些精心準備的內容將會被忽視。
有研究表明:與沒有特定方位的聲音或沒有聲音相比,有特定方位的聲音會增強用戶的臨境感;另外,在虛擬場景中與視覺信息同步的聲音可以提高用戶對自身動作的真實感,讓體驗變得更加真實。
7. 觸覺反饋
觸覺反饋對提升臨境感的作用非常明顯,尤其是觸碰到物體時如果缺乏觸感會讓大腦感到困惑。一個觸覺反饋系統的核心主要是兩點:觸碰檢測(Collision Detection))和反饋(力)計算(Feedback Computation)。在合適的時間和位置發出合適的反饋,是在XR設備中設計觸覺反饋的要點。
8. 動態設計
動態設計對于XR的視覺和交互體驗來說都是至關重要的一環。我們可以想象一下電影中的運動設計,運動的無縫過渡讓你能夠專注于故事,為你帶來真實體驗。可以將這些感覺融入設計,引導人們在觀影過程中輕松從一個任務跳轉到另一個任務。
六、總結展望
對于未來的技術展望中,Accenture提出了一個新的概念:DARQ Power。分布式賬本系統(Distributed ledger)、人工智能(Artificial Intelligence)、泛現實技術(Extended Reality)、量子計算(Quantum Computing)這四門技術將會引領下一階段變革,讓企業重新構想整個行業趨勢。
Accenture2019技術趨勢發展
預想未來商業創新,核心技術的發展應用將是主要的驅動因素。MOMOUX十多年的發展歷程,經歷了不同技術變革背景下所演變的商業形態,作為體驗設計行業的專業機構,我們如何更好的服務于以智能技術為主旋律的未來時代呢?設計并非凌駕于商業之上,去故作姿態包辦各種商業問題。
沉思而論,設計作為一種解決問題的思維應該是要融入到商業活動過程,創造性的為商業的不同階段發展以及與人的體驗有關的問題出謀劃策,是真正的站在行業沉淀的基礎上從解決問題的角度出發。
以上是我們最近的總結心得,歡迎大家留言交流!
研究素材:
- https://en.wikipedia.org/
- https://www.zhihu.com/
- https://arvrjourney.com/
- http://tech.qq.com/
- https://www.researchgate.net/
- https://36kr.com/p/5042081.html
- https://yivian.com/news/57580.html
- https://en.wikipedia.org/wiki/Computer_vision
- https://www.youtube.com/watch?v=40riCqvRoMs
- https://www.aniwaa.com
- https://www.raconteur.net/infographics/what-is-xr
- https://www.idc.com/getdoc.jsp?containerId=prUS44511118
- https://docs.microsoft.com/en-us/windows/mixed-reality/about-this-design-guidance
本文由 @MOMOUX 原創發布于人人都是產品經理。未經許可,禁止轉載
題圖來自Unsplash,基于CC0協議
- 目前還沒評論,等你發揮!