別只看虛實(shí)結(jié)合,聊聊AR及其設(shè)計(jì)
編輯導(dǎo)讀:AR技術(shù)是將計(jì)算機(jī)生成的虛擬信息疊加到用戶所在的真實(shí)世界的一種新興技術(shù),其中最重要的是三個(gè)技術(shù)特性:虛實(shí)結(jié)合、實(shí)時(shí)交互、三維注冊(cè)。本文作者圍繞AR及其設(shè)計(jì),談了談自己的看法,與你分享。
NUI,Nature User Interface的縮寫,直譯是自然用戶界面。這里的用戶界面,不單單指人在與機(jī)器交流時(shí)所見的部分,還包括所有與機(jī)器交流時(shí)可感知到的部分。觸控、眼神、語(yǔ)音、手勢(shì)等等,都是自然交互里所研究的交流手段,我們也可以將NUI稱之為Nature User Interaction。
如果說(shuō),NUI(自然交互)是探討如何讓機(jī)器回歸自然,遵循人類數(shù)萬(wàn)年歷史遺傳下來(lái)的,與事物自然而然的交流規(guī)則,那AR技術(shù)和隨之而來(lái)的AUI,就是其中一個(gè)答案。
這里有2個(gè)概念:AR和AUI。
AR,就是我們常說(shuō)的增強(qiáng)現(xiàn)實(shí),是將計(jì)算機(jī)生成的虛擬信息疊加到用戶所在的真實(shí)世界的一種新興技術(shù)。
我在之前的分享里,一直引用的是Ronald Azuma對(duì)于AR的定義:“一種以虛實(shí)結(jié)合、實(shí)時(shí)交互、三維注冊(cè)為特點(diǎn),利用附加的圖片、文字信息對(duì)真實(shí)世界進(jìn)行增強(qiáng)的技術(shù)?!?/p>
這里面最主要的是三個(gè)技術(shù)特性:虛實(shí)結(jié)合、實(shí)時(shí)交互、三維注冊(cè)。
- 虛實(shí)結(jié)合:屏幕的虛像要和真實(shí)世界有聯(lián)結(jié),這是AR區(qū)別于VR的關(guān)鍵。這個(gè)特點(diǎn)回答AR看起來(lái)是什么樣子,也就是它是誰(shuí)的問(wèn)題。
- 實(shí)時(shí)交互:提供人與虛擬增強(qiáng)世界的實(shí)時(shí)交流反饋。這個(gè)特點(diǎn)回答AR能提供什么,也就是它的發(fā)展是去往哪個(gè)方向。
- 三維注冊(cè):計(jì)算機(jī)能夠獲取其與真實(shí)世界位置和姿態(tài)關(guān)系。這個(gè)特點(diǎn)回答AR怎么解決自己的位置和這個(gè)真實(shí)世界的關(guān)系,也就是它處于世界中的位置和姿態(tài)。
這樣,我們就得到了一個(gè)簡(jiǎn)單回答了AR 它 “是誰(shuí),來(lái)自何方,去往何處”的定義了。
我并不是說(shuō)Azuma的這個(gè)定義就一定對(duì),只是說(shuō)它是我現(xiàn)在看到的最好一個(gè)答案,至少,Azuma在回答這三個(gè)問(wèn)題。
作為哲學(xué)的終極三問(wèn),我們大多數(shù)人終其一生還沒(méi)有得到過(guò)答案。對(duì)于AR來(lái)說(shuō)又何嘗不是呢?我覺(jué)得,我們花時(shí)間和精力去發(fā)展和探索AR技術(shù),其實(shí)無(wú)外乎也是在尋找這三個(gè)問(wèn)題的答案。
給出這個(gè)定義的Ronald Azuma,從八十年代在加州大學(xué)讀本科的時(shí)候就開始了他對(duì)AR的探索,后來(lái)在北卡大學(xué)讀完計(jì)算機(jī)科學(xué)的研究生和博士。作為AR的先驅(qū)者,直到現(xiàn)在也沒(méi)有停止他對(duì)AR的探索。
作為一名設(shè)計(jì)師,為了能夠更好的去做好AR領(lǐng)域的UIUX設(shè)計(jì),我們需要對(duì)上述三個(gè)技術(shù)特性都有比較深的了解,但是首當(dāng)其沖的還是第一個(gè)特性:虛實(shí)結(jié)合。
虛實(shí)結(jié)合直接關(guān)聯(lián)到我們?cè)O(shè)計(jì)師最直接接觸的設(shè)計(jì)要素:用戶界面。而用戶界面的后面,是兩種AR顯示技術(shù)方案。
第一種是視頻顯示方案(Video see-through)
從用戶的角度來(lái)考慮,我把它定義為“讓用戶通過(guò)攝像頭捕捉的畫面來(lái)觀察虛實(shí)疊加后的場(chǎng)景?!?說(shuō)得更直白一點(diǎn),就是你看得是攝像頭合成的畫面,現(xiàn)在比較普及的,很多手機(jī)上的AR應(yīng)用就是這種,用戶觀看的依然是屏幕,只不過(guò)是攝像頭實(shí)時(shí)拍攝的畫面和實(shí)時(shí)疊加的虛像畫面的合成。
圖片來(lái)自Google ARcore介紹視頻
很顯然,這和我們真正期望的自然交互還有一定差距,我們希望看到的一定是由我們眼睛直接觀察到的,帶有虛實(shí)結(jié)合的世界,而不是借由攝像頭來(lái)看世界。
第二種光學(xué)顯示方案(Optical see-through)
顯然,它就更滿足我們的希望。從用戶的角度來(lái)考慮,我把它定義為“讓用戶直接觀察到疊加了虛擬圖像后的真實(shí)世界“。
從技術(shù)上來(lái)講,它是將顯示器上的像素,通過(guò)一系列光學(xué)成像元件形成遠(yuǎn)處的虛像并投射到人眼中。如果我們對(duì)AR有所了解,看過(guò)Hololens的宣傳片,甚至親自體驗(yàn)過(guò),那么會(huì)對(duì)光學(xué)顯示有更直觀的觀感。
圖片來(lái)自Microsoft Hololens2介紹視頻
相比起第一種方案,它更具有前瞻性也更讓人期待,然而到現(xiàn)在為止,這種方案還有很多不成熟的地方,在技術(shù)層面也還處于一個(gè)叢林階段,需要不停的探索,踏出一條通向未來(lái)的路,就和充滿了未知的挑戰(zhàn)和機(jī)遇的叢林一樣。
AR設(shè)備的光學(xué)顯示系統(tǒng)通常由微型顯示器和光學(xué)元件組成,顯示器提供顯示內(nèi)容,而光學(xué)元件負(fù)責(zé)疊加。
圖片來(lái)自SOHU《一文看懂主流AR眼鏡的核心顯示技術(shù)光波導(dǎo)》
可以看到,由于AR需要同時(shí)看到虛像和真實(shí)世界,屏幕UI是不能被用戶直接看到的,而是通過(guò)光學(xué)元件形成遠(yuǎn)處的虛像,再和真實(shí)世界一起進(jìn)入用戶的視線,也就是我們通常意義所知的虛實(shí)結(jié)合畫面了。
為了區(qū)別傳統(tǒng)意義上用戶可以直接看到的屏幕UI,我給了它AUI的縮寫,Augmented User Interface,也可以理解為Augmented User Interaction,是由于AR技術(shù)所帶來(lái)的全新的用戶界面和用戶交互。
如果說(shuō),NUI是探討如何讓機(jī)器回歸自然,遵循人類數(shù)萬(wàn)年歷史遺傳下來(lái)的,與事物自然而然的交流規(guī)則。那AR技術(shù)和隨之而來(lái)的AUI,就是其中一個(gè)答案。(→ 設(shè)計(jì)新趨勢(shì)?看人機(jī)交互發(fā)展新階段)
雖然,這個(gè)答案給的非常模糊,但它至少代表了一個(gè)探索的方向。
那為什么要特意提出AUI這個(gè)概念,而不直接說(shuō)AR的UI設(shè)計(jì)呢?
首先,我認(rèn)為AUI最大的特點(diǎn)是在這樣的界面里,用戶對(duì)深度有很直觀的感知,這種深度不同于屏幕UI里單純用投影、遮擋帶來(lái)的前后感覺(jué),而是能夠帶來(lái)距離感的深度,是能帶給用戶遠(yuǎn)近感覺(jué)的。
也就是說(shuō),AUI應(yīng)該是指有視覺(jué)或者確實(shí)深度信息的虛實(shí)結(jié)合的用戶所見界面。是需要至少處理一種深度信息且和真實(shí)世界結(jié)合的用戶所見界面。
- 視覺(jué)深度:就是指我前面所述的視頻顯示方案(Video see-through),在這種方案下,虛實(shí)結(jié)合界面雖然給用戶帶來(lái)遠(yuǎn)近感覺(jué),但仍然只是視覺(jué)層面的,這個(gè)畫面本身只是合成的視頻流。
- 確實(shí)深度:就是指我前面所述的光學(xué)顯示方案(Optical see-through),虛實(shí)結(jié)合畫面帶給用戶的遠(yuǎn)近感覺(jué)是有確實(shí)距離的,我眼前的世界是一個(gè)真實(shí)和虛像疊加的新的世界,而不再是攝像頭里的世界。
這就是我提出AUI的第二個(gè)原因:在光學(xué)顯示方案下,用戶不再有屏幕的感覺(jué),而是一個(gè)真實(shí)和虛像疊加的新的世界。
AUI這個(gè)概念所想要?jiǎng)澐值呐d奮和期待,正是是因?yàn)锳UI設(shè)計(jì)師最終要去設(shè)計(jì)的是一個(gè)新的環(huán)境。是用戶所見界面,而不是用戶界面;是一個(gè)真實(shí)世界的升級(jí),而不是替換掉真實(shí)的VR環(huán)境。
這個(gè)新的環(huán)境,讓人(用戶)的能力無(wú)限擴(kuò)大,從而令A(yù)UI設(shè)計(jì)變得令人興奮和期待。
而有一點(diǎn)和屏幕UI階段的設(shè)計(jì)是一樣的,AUI只是一個(gè)觸點(diǎn),是它所有的特點(diǎn)構(gòu)成的一種未來(lái)界面形式,它本身并沒(méi)有什么足以稱之為“全新”的地方,是這些特點(diǎn)的賦予,才讓AUI界面這個(gè)觸點(diǎn)變得令人興奮和期待。
這些特點(diǎn),又可以被簡(jiǎn)單的分為AUI界面本身(Augmented User Interface),以及AUI所能夠產(chǎn)生的用戶交互(Augmented User Interaction)。
關(guān)注這些特點(diǎn)和彼此關(guān)系之于用戶的作用,就是我們以設(shè)計(jì)師的視角,幫助探索AR它 “是誰(shuí),來(lái)自何方,去往何處”的過(guò)程。這個(gè)過(guò)程,是NUI探索的過(guò)程,也是我們作為千萬(wàn)個(gè)探索人之一,尋找未來(lái)機(jī)器與人類關(guān)系的過(guò)程。
作者:林影落,10年+體驗(yàn)設(shè)計(jì)師,專注AR及創(chuàng)新領(lǐng)域設(shè)計(jì);微信公眾號(hào):林間有影落
本文由 @林影落 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載
題圖來(lái)自?Unsplash,基于 CC0 協(xié)議
好文
講的很清楚啦,謝謝~