AR/MR產(chǎn)品經(jīng)理必知道的AR眼鏡相關(guān)技術(shù)知識

1 評論 14310 瀏覽 50 收藏 12 分鐘

編輯導(dǎo)語:隨著科技的發(fā)展,AR眼鏡這一產(chǎn)品也由之而生。通過AR眼鏡,我們能夠看見如同科幻電影的視覺效果,并無需屏幕即可實現(xiàn)交互。與此同時,AR交互方式也在與時俱進(jìn)。本篇文章里,作者對AR眼鏡的相關(guān)技術(shù)知識進(jìn)行了介紹,讓我們來看一下。

一、寫在前面

最近幾年互聯(lián)網(wǎng)的發(fā)展,相信大家對AR也不能并不陌生了,并且國內(nèi)市場的AR眼鏡廠商魚龍混雜,真正成熟的可應(yīng)用于真實場景的AR眼鏡設(shè)備少之又少。

可能你會提問,為什么可用的AR眼鏡少之又少?

來來來,接下來讓你像你了解手機(jī)一樣認(rèn)識下AR眼鏡的技術(shù)構(gòu)造。

在了解AR眼鏡之前,你得先知道什么是“增強現(xiàn)實”。

增強現(xiàn)實,用很官方的語言就是:真實的環(huán)境和虛擬的物體實時地疊加到了同一個畫面或空間同時存在。讀完這句話你可能會想象到之前看到的科幻電影里的情景,其實差不多是那個意思。再來一張草圖你可能會更清楚。

按照我的官方描述就是:你帶上AR眼鏡不僅能看到虛擬物體,也能看到你周圍的真實環(huán)境。

好了,了解完什么是增強現(xiàn)實,我們就可以真正去打開AR眼鏡的知識世界了。

先來個AR眼鏡的構(gòu)造圖,想必會讓你從整體上對AR眼鏡有個初步的定位。

二、AR眼鏡的構(gòu)造

AR眼鏡主要分為四大模塊:攝像頭、CPU處理中心、光學(xué)模組、架托。

1. 攝像頭

AR眼鏡上一般會存在多個攝像頭,并且每個攝像頭之間的分工是不一樣的,主要功能有三方面,一是用于提供基于視覺的跟蹤定位(SLAM)的圖像采集,二是進(jìn)行交互手勢識別,三是日常的拍照和錄像。

這里重點講解下什么是SLAM,大家百度之后的官方解說是“即時定位與地圖構(gòu)建,或并發(fā)建圖與定位”,SLAM應(yīng)用的場景有很多,比如自動駕駛、AR/VR、機(jī)器人、三維重建等;其框架主要分為:

其工作流程大致為

傳感器讀取數(shù)據(jù)后,視覺里程計估計兩個時刻的相對運動(Ego-motion),后端處理視覺里程計估計結(jié)果的累積誤差,建圖則根據(jù)前端與后端得到的運動軌跡來建立地圖,回環(huán)檢測考慮了同一場景不同時刻的圖像,提供了空間上約束來消除累積誤差。

那么SLAM在AR眼鏡中怎么工作的呢?首先是通過深度攝像頭將你視角內(nèi)的環(huán)境傳遞給AR眼鏡,SLAM通過圖像識別、定位分析與AI計算,將當(dāng)前環(huán)境進(jìn)行三維重建,構(gòu)造一個三維真實世界,以增強AR眼鏡對現(xiàn)實環(huán)境中相互作用的理解能力,為AR眼鏡賦予了復(fù)雜環(huán)境感知力和動態(tài)場景適應(yīng)力。

再明白點就是,你知道這個是堵墻,不能過去,AR眼鏡也知道這個物體不能穿透過去。

關(guān)于SLAM更深層的技術(shù)實現(xiàn)問題,就比較深入了,涉及各種算法,在這里就不詳細(xì)敘述了,大家可以自行百度了解。

2. 核心交互

勢交互、語音交互、眼球追蹤等,裸手交互有望成為AR的核心交互方式之一,微軟的HoloLens2,已經(jīng)實現(xiàn)了裸手交互,但是國內(nèi)AR眼鏡普遍采用的還是隔空敲物的交互方式,通過識別指定的手勢對眼前的虛擬物體進(jìn)行交互操作,目前市場上AR眼鏡最常用的手勢為兩種分別是確定和返回兩個手勢;這也是AR眼鏡解放雙手的優(yōu)勢所在。

確定手勢

確定手勢

返回手勢

3. CPU處理大腦

作為AR眼鏡的大腦所處理的圖像和數(shù)據(jù)分為以下幾個方面:

  • AI:從AR的輸入、虛實融合和輸出,整個一條鏈都需要AI的支持。
  • 云計算和大數(shù)據(jù):由于AR結(jié)合的是現(xiàn)實,所以它的計算量和數(shù)據(jù)量會呈現(xiàn)指數(shù)級上升,它的發(fā)展也離不開云計算和大數(shù)據(jù)的支持。
  • 計算機(jī)視覺:比之于PC和手機(jī),AR的本質(zhì)是信息呈現(xiàn)方式的升級,由二維升級到三維。不管是AR的輸入,還是輸出,都離不開計算機(jī)視覺。
  • 核心的交互技術(shù):包括手勢交互、語音交互、眼球追蹤等。目前來看,裸手交互有望成為AR的核心交互方式之一。典型公司:leap motion、科大訊飛等。
  • 操作系統(tǒng):AR要成為下一代計算平臺,就必須有自己的操作系統(tǒng),就像windows之于PC,ios/安卓之于手機(jī)一樣。操作系統(tǒng)的好處就在于給產(chǎn)業(yè)上下游一個行業(yè)標(biāo)準(zhǔn),利于行業(yè)發(fā)展。典型公司:微軟、谷歌。

4. 光學(xué)模組

主要負(fù)責(zé)AR眼鏡的成像工作,AR不同于VR,雖然它們的近眼顯示系統(tǒng)都是將顯示器上的像素,通過一系列光學(xué)成像元件形成遠(yuǎn)處的虛像并投射到人眼中。

不同之處在于,AR眼鏡需要透視(see-through),既要看到真實的外部世界,也要看到虛擬信息,所以成像系統(tǒng)不能擋在視線前方。這就需要多加一個或一組光學(xué)組合器(optical combiner),通過“層疊”的形式, 將虛擬信息和真實場景融為一體,互相補充,互相“增強”。這也是AR眼鏡的一個難點所在。

目前市場上主流的AR設(shè)備基本都采用光波導(dǎo)光學(xué)方案,光波導(dǎo)是引導(dǎo)光波在其中傳播的介質(zhì)裝置,又稱介質(zhì)光波導(dǎo),光波導(dǎo)的材質(zhì)輕薄,中間層薄度可達(dá)1-10微米,并且對于外界光線的穿透特性極高,因此被認(rèn)為是消費級AR眼鏡的必選光學(xué)方案,價格自然而然也就上去 。

目前隨著市場上的主流AR眼鏡HoloLens2、Magic Leap One等對光波導(dǎo)技術(shù)的采用和設(shè)備量產(chǎn),以及AR光學(xué)模組廠商DigiLens、耐德佳、靈犀微光等行業(yè)技術(shù)不斷升級,國內(nèi)更多的AR眼鏡制造廠紛紛采用了光波導(dǎo)技術(shù)方案。

AR設(shè)備的光學(xué)顯示系統(tǒng)通常由微型顯示屏和光學(xué)元件組成。概括來說,目前市場上的AR眼鏡采用的顯示系統(tǒng)就是各種微型顯示屏和棱鏡、自由曲面、BirdBath、光波導(dǎo)等光學(xué)元件的組合,其中光學(xué)組合器的不同,是區(qū)分AR顯示系統(tǒng)的關(guān)鍵部分。

微型顯示屏,用來為設(shè)備提供顯示內(nèi)容。它可以是自發(fā)光的有源器件,比如發(fā)光二極管面板像micro-OLED和現(xiàn)在很熱門的micro-LED,也可以是需要外部光源照明的液晶顯示屏(包括透射式的LCD和反射式的LCOS),還有基于微機(jī)電系統(tǒng)(MEMS)技術(shù)的數(shù)字微鏡陣列(DMD, 即DLP的核心)和激光束掃描儀(LBS)。

目前市面上的AR光學(xué)顯示系統(tǒng)的分類和產(chǎn)品有:

那么通過光波導(dǎo)怎么去實現(xiàn)所謂的既要看到真實的外部世界,也要看到虛擬信息的這個需求呢?

在AR眼鏡中,最重要的就是“全反射”,即光無論通過任何角度投射進(jìn)來,都要完全反射,做到光在傳輸?shù)倪^程中無損失無泄漏;那么想完成這個,需要滿足兩個條件:

  1. 傳輸介質(zhì)比周圍介質(zhì)高的折射率(如圖2所示n1> n2);
  2. 入射角需要大于臨界角γc。

光機(jī)完成成像過程后,波導(dǎo)將光耦合進(jìn)自己的玻璃基底中,通過“全反射”原理將光傳輸?shù)窖劬η胺皆籴尫懦鰜?。這個過程中波導(dǎo)只負(fù)責(zé)傳輸圖像,是獨立于成像系統(tǒng)而存在的一個單獨元件。

關(guān)于更多深層次的光波導(dǎo)的技術(shù)原理,在本文就不詳細(xì)解說了,想繼續(xù)了解的朋友可以網(wǎng)上搜一下,有很多的。

三、總結(jié)

目前市場上微軟的HoloLens2無論在交互、SLAM定位、三維數(shù)據(jù)處理、散熱等表現(xiàn)是非常好的,但是由于操作系統(tǒng)的限制和價格的高昂,在我了解的工業(yè)行業(yè)使用的不是很多。

國內(nèi)AR眼鏡做的比較好的有聯(lián)想的晨星AR-G2、影創(chuàng)action one、亮風(fēng)臺的AIARG200等。

國內(nèi)眼鏡的設(shè)計大多將處理中心與眼鏡分離,以保證處理中心的數(shù)據(jù)處理能力、續(xù)航能力和散熱能力,這樣做的比較好的一點就是減輕頭部的重量;但是缺點就是通過數(shù)據(jù)線連接,在工人作業(yè)過程中避免不了掛到,接頭接觸不良情況發(fā)生。

關(guān)于市面上AR眼鏡的詳細(xì)解析,我們放在下部進(jìn)行詳細(xì)解說,歡迎大家及時關(guān)注了解!

 

本文由 @BLUE 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自?Unsplash,基于 CC0 協(xié)議

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 作者大大可以加好友進(jìn)行學(xué)習(xí)嗎

    來自北京 回復(fù)