蘋果Vision Pro催熟XR交互
一直以來,VR領域的從業者都在嘗試追尋與實現更自然的交互,而蘋果在今年6月發布的初代MR頭顯,或許可以為后續的XR交互帶來更多可能性。這篇文章里,作者就梳理了XR交互方式的迭代變化過程與趨勢,一起來看看吧。
為了讓XR設備的控制器更加貼近自然,業內做過很多種嘗試,像Meta前幾年曾公布的觸覺手套,索尼近期公布的游戲手套,還有綁在手腕上的控制器,外掛氣味套件等等。
只是由于大多數交互方式的嘗試很難落地,搞了好幾年仍是概念產品。目前,XR交互仍以頭部和手部的6DoF追蹤定位為主,未來XR的交互的重點仍將以手部以及頭部為主,只是圍繞的中心正在發生變化。
2023年6月,蘋果發布其初代MR頭顯,摒棄了手柄,采用了以語音+手勢+面部/眼睛追蹤為主的更加自然的交互方式。為了更好理解XR交互方式的迭代,本文梳理了XR交互方式的迭代變化過程與趨勢。
一、VR交互發展的第一次沖鋒
1995年,任天堂發布了一款早期VR概念的便攜式游戲機Virtual Boy,也算是VR交互發展的首次沖鋒,當時各大媒體的報道都給予了這款產品很高的評價。
山內溥更是在1995年Q1的股東大會上欣然允諾:“Virtual Boy將在發售的第一財年里出貨500萬臺,為任天堂帶來800億日元的利潤。”然而Virtual Boy發售不到半年就迅速走向了「死亡」,評價也是一落千丈。
任天堂自然是希望Virtual Boy能成為它彎道超車的機會,一舉搶占新賽道。但從Virtual Boy的形態來看,想做到這一點很難。
一款可被消費者持續購買的產品,交互方式必然很重要。當時由于技術的受限,Virtual Boy很難被攜帶使用,同時采用單色液晶屏的技術,整個畫面都是紅色的,像極了驚悚片。
Virtual Boy 游戲《馬力歐網球》的模擬器演示畫面,實機畫面表現與此相比還要差得多
而Virtual Boy的交互設計則以游戲手柄作為參考對象,造型看上去很奇怪,與現在的游戲手柄的設計相比,當時Virtual Boy沒有X和Y按鈕,有一個更大的握把,右側還有一個額外的方向鍵。
由于頭戴式會出現讓人頭暈的偏振現象,任天堂的解決方法是取消頭戴式,給頭顯加個三腳架,讓玩家自己的腦袋去適配游戲機,用起來大概是下面所展示的畫面。據大多數玩家表示在玩游戲過程中會出現惡心、頭暈以及眼睛非常不舒適的感覺。
雖然Virtual Boy給人帶來了三維視覺的體驗,但交互方式還是沿襲了游戲交互的設計,與VR設備的結合并不是很協調,這也是VR硬件早期發展過程中所體現出來的一個問題。
在VR硬件發展的早期階段,交互方式都很單一,而且設備過重很難攜帶,同時還容易發熱,這一系列的不佳體驗都導致90年代的VR設備發展陷入停滯的局面。各大廠商們紛紛偃旗息鼓,坐等技術進一步發展。
二、VR交互發展的多種嘗試
2012年左右,隨著技術有進一步進展,VR熱潮開始重啟。
2012年Oculus創始人帕爾默·拉基發布了Oculus Rift原型機并籌集了240萬美元,用于改進頭顯和跟蹤軟件。Oculus Rift的到來,讓廠商們看到了VR的潛力。2014年,Facebook便以20億美元收購了Oculus VR。
Oculus Rift本身是一副虛擬現實護目鏡,配有耳機,可連接到游戲PC或筆記本電腦,只是Oculus Rift可以通過紅外傳感器追蹤頭部運動,并且還可以通過Oculus Touch控制器跟蹤有限的手部動作。Oculus Touch控制器具有按鈕和模擬搖桿,能夠與其他支持PC的游戲控制器兼容。
通過Oculus Rift,人們驚訝地發現VR設備相比之前已經有了很大的改進,在交互環節上雖然缺失手動跟蹤控制器,無法完成復雜的游戲,但是可以滿足瀏覽視頻,三維觀看的需求,同時期無手柄設計的設備還有谷歌VR盒子、三星Gear。
Oculus Rift
2014年谷歌發布VR盒子——Cardboard,一種廉價的簡易頭戴式裝置,其圖像質量并無法與Oculus Rift相媲美,但造價與體驗成本很低,用戶只需要在手機上下載好軟件,并將手機放入Cardboard紙盒即可體驗三維視頻,降低了普通人踏入VR的門檻。
谷歌VR盒子——Cardboard
2015年三星發布Gear,三星Gear也不能獨立工作,仍需要連接手機。設備會自動檢測,一旦連上手機,會自動變成VR模式,讓屏幕分屏顯示VR內容。但三星Gear VR并不只是一個和谷歌紙盒一樣的簡單的設計,其自帶加速計、陀螺儀和重力傳感器,能夠幫助減少屏幕延時,提供更好的體驗。
同時,雖然三星Gear也無手柄,但三星Gear在眼鏡的右側設有內凹十字的觸控板和功能性的按鍵,所有的使用操作都通過觸控板和按鍵實現。中間的圓點為確認鍵,觸控板上獨立設有一顆返回鍵。
也就是說在操作環節上,三星Gear又更進了一步,即使不看設備,滑動設備邊上的觸摸板也可以進行盲操作,而在玩一些游戲時也可連接藍牙手柄。
2012年-2016年期間VR設備的交互設計已經逐步轉向人性化的設計,雖然這時候VR還不能作為獨立的設備使用,VR設備的交互也無法完全滿足用戶需求,但卻激發了人們對VR前景的期待。
2016年已經有不少硬件廠商推出了自己的VR硬件設備,分別有PC VR頭顯、VR一體機以及用于生產VR內容的全景相機設備等。
在交互技術迭代上,2016年之后的設備開始圍繞手部與頭部的追蹤,在3DoF追蹤定位的基礎上升級到6DoF,增加手柄和頭部的追蹤意味著用戶與VR設備的連接更加自由,體驗也會更自然。具有代表性的產品有HTC Vive、 Valve、Quest系列、PICO Neo 3等。
6DoF即6自由度,在3DoF基礎上再增加“上下、前后、左右”等3個位置相關的自由度。頭部從3DoF只能檢測到頭部轉動姿態到6DoF可以檢測伸頭縮頭等姿態,而且還可以檢測身體移動上下前后左右位移的變化。6DoF更加符合人體體驗,更具沉浸感。
尤其是在VR游戲的體驗中,復雜的VR游戲往往會需要玩家調動全身互動融入,6DoF可以做到360°的移動身體,如果是3DoF往往只能待在原地,主打觀看。
如今6DoF+手柄追蹤方案已經是VR設備的標配,也有部分廠商的設備已升級到裸手識別交互,但識別效果欠佳。各大廠商都在極力在6DoF的基礎上不斷增強VR交互能力,如360°環繞音效、眼動追蹤等。整體來看,目前VR交互技術的成熟度仍有不足,離自然、便捷、擬真的交互體驗還有一段距離。
三、XR更自然交互方式的到來
一直以來VR追尋自然交互技術的腳步一直未停,但由于成本與技術之間難以平衡,很多好的交互概念便一直停留在設想環節,因此VR手柄便是目前主流的交互方式。
但自蘋果發布Vision Pro以來,業內看到了VR設備的創新交互被打開了一個窗口,VR交互方式可以更加接近自然,在VR手柄交互之外增加了諸多自然的輔助交互方式,如語音、手勢、面部追蹤以及全彩透視,這些交互方式或有望成為未來新的主流交互方式。
關于Vision Pro的交互解析可查看VR陀螺之前寫過一篇分析文章《Vision Pro交互設計,蘋果的陽謀》。
語音+手勢+面部/眼動追蹤,實現可見即可交互
語音識別在人工智能發展的趨勢下不可或缺,并且是最快發展的一種交互方式,如語音識別交互已經從最初的語音搜索發展到智能家居、智能汽車等多領域。
而在蘋果所演示的Vision Pro的應用中,語音交互已經展現了其輔助交互的潛力,通過語音可以喚醒或關閉APP以及發送信息等。在2023CIOE深圳光博會展覽上,能看到諸多廠商都展示了增加語音識別技術的整機方案,尤其是在B端,語音識別起到了很大輔助作用。
今年,自ChatGPT爆發以來,大模型推動自然語言處理等后端環節更加成熟,為語音識別的應用場景提供了諸多可能性,據頭豹預計2027年市場規模可突破450億元。未來,語音識別交互趨勢將進一步加強,推動XR交互不斷升級。
VR手柄作為傳統游戲手柄交互方式的一種延續,在XR交互過程中很難實現手勢動作的連貫性,相當于用戶只能通過手柄執行任務,雙手自然就被束縛住了。而裸手交互作為有望取代VR手柄的一種交互方式,體驗上更加接近人的自然狀態。
面部/眼動追蹤使用內部攝像頭來感知用戶眼睛和臉部某些部位的動作,再結合免校準的機器學習模型,頭顯可以將所看到的內容轉化為可以驅動任何化身動畫的輸入,實現虛擬化身。
但眼動追蹤的實現更難,2022年以來,能看到諸多XR設備都搭載了眼動追蹤技術,如PS VR 2、Quest Pro以及PICO 4 Pro,但還是很難達到絲滑的地步。如果說語音+手勢+面部/眼動追蹤可以將人的身體自然調動,必然會成為人機交互最好的解決方案。
至于全彩透視雖然可以提供更加豐富的MR體驗,但技術難度高。目前還無法做到通過人眼直接看到的真實世界,只能通過機器拍攝現實世界場景,經過系統處理之后投射在顯示屏上的畫面。只是作為實現MR的重要技術,或會打開基于MR版本的消費場景。據了解,已有內容上嗅到潛力,開始開發MR版本的游戲。
四、結語
2007年,喬納森·卡普蘭和艾瑞 ·布朗斯坦發明了一種簡單的便攜式攝像機Flip,在美國便攜式攝像機市場上掀起了一股狂潮。與此同時,索尼和松下等公司為了搶占市場,忙著向自己的攝像機產品中增加一些高級功能,如添加好萊塢電影式字幕等視頻特效。
但Flip攝像機卻贏得了市場,出貨直接上升百萬臺,而當時全美國市場的攝像機銷量只有600萬臺。根本原因就在于Flip的交互設計極為簡單,甩開了一切不必要的功能。沒有連接線,只有9個鍵,甚至連軟件驅動CD都沒有——所有必需的軟件都保存在攝像機內,Flip連上電腦就會自動載入。
雖然如今Flip已經退出歷史舞臺,但這個故事再度表明了人機的交互方式對于人的選擇極為重要。反觀XR設備,操作上的不方便一直被詬病,甚至已成為很多人棄用的一大理由之一。
未來XR的交互方式必然要往更加簡單的方向發展,以簡單的交互方式為重點反向挖掘應用場景,如搭載裸手交互的小游戲,只要游戲內容足夠有趣,小游戲則更容易風靡市場;結合語音識別的應用工具,如語言學習、實時翻譯等。
作者:元橋
來源公眾號:VR陀螺(ID:vrtuoluo),XR行業垂直媒體,關注VR/AR的頭部產業服務平臺。
本文由人人都是產品經理合作媒體 @VR陀螺 授權發布,未經許可,禁止轉載。
題圖來自蘋果官網
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
運氣不好