起點課堂會員權(quán)益
職業(yè)體系課特權(quán)
線下行業(yè)大會特權(quán)
個人IP打造特權(quán)
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導(dǎo)直播
12場專業(yè)技能直播
會員專屬社群
榮耀標識眼耳鼻舌身意，嚴肅地聊一聊元宇宙的“技術(shù)拼圖”
編輯導(dǎo)語：元宇宙這個概念掀起了巨大浪潮，即使元宇宙的實現(xiàn)仍有相當一段時間，但這并不妨礙各行各業(yè)都將目光聚焦于這一概念。那么，元宇宙到底是什么？對于元宇宙技術(shù)本身，我們該如何理解？本文作者就此做了解讀，一起來看一下。
元宇宙太太太火了，以至于還沒來得及認真聊一聊技術(shù)本身，各種炒房團、割韭菜、融資潮、付費課……
就紛至沓來，我看不懂但大受震撼。吃多了瓜，頗有一種“累了毀滅吧”的虛無感。不過，元宇宙的技術(shù)體系，其實還有很多值得探討的地方。
用美國科技評論家Benedict Evans的話來說，“元宇宙”這個新詞，描述了一組明顯不相關(guān)的趨勢，將它們概念化并捆綁成一個單一的敘事。元宇宙概念上市公司 Roblox 的定義中，元宇宙應(yīng)具備身份、朋友、沉浸感、低延遲、多元化、隨地、經(jīng)濟系統(tǒng)、文明等八大要素。每一種還包含著一連串解釋。
模糊且抽象的概念，讓元宇宙看起來無所不包，又說不清楚，給渾水摸魚留下了余地。不過，也有不少技術(shù)方向是扎扎實實、值得長期投入、對人類社會來說意義非凡的。
所以，我們決定還是嚴肅地聊一聊支撐元宇宙的技術(shù)本身。
元宇宙到底是什么？一個共識是，足夠真實的“虛擬世界”。
無論是1981年美國數(shù)學(xué)家和計算機專家弗諾·文奇在小說《真名實姓》中構(gòu)想的虛擬世界，還是普遍認為1992年“元宇宙”一詞誕生的科幻小說《雪崩》中，與真實世界平行的虛擬空間；2003年宇宙學(xué)家保羅·戴維斯（Paul Davies）提出的“無限的虛擬多元宇宙塔”，抑或是Facebook的扎克伯格計劃用VR/AR復(fù)刻的數(shù)字場景，本質(zhì)上都指向了——模擬現(xiàn)實。
“硅谷鋼鐵俠”埃隆·馬斯克（Elon Musk）也在一檔播客節(jié)目中提出，未來游戲?qū)⑴c現(xiàn)實無法區(qū)分，人類將處于模擬之中，你不妨稱它們?yōu)楝F(xiàn)實，或者也可以稱它們?yōu)槎嘣钪妗?/p>
元宇宙的載體與內(nèi)容，最終都要能夠模擬現(xiàn)實。那么，有哪些感官需要被模擬呢？
佛教認為，人有六根，即：眼、耳、鼻、舌、身、意，這些被認為是心與物的媒介的根本。
那么我們分別從這些感官版圖中，聊聊元宇宙來臨時，人如何重新認知世界，有哪些技術(shù)路徑是值得期待的。
一、元宇宙之眼
元宇宙的熱度，許多科技企業(yè)都想蹭，但沒有一個像Facebook這么徹底，直接連名字都改成了Meta“元”。這種孤注一擲的操作，很大程度上源自于Facebook在AR和VR上押下了很大的賭注，至少在視覺技術(shù)上模擬人類之眼，提供沉浸式的體驗，無人可出其右。
在元宇宙所涵蓋的諸多高新技術(shù)中，VR/AR是被認為短期內(nèi)能夠成立并見到回報的。小說《雪崩》中也需要首先“戴上耳機和目鏡”才能以虛擬分身的方式進入虛擬世界。
模擬視覺，帶來的“真實感”體驗，是元宇宙體驗的第一道關(guān)卡，而Facebook（現(xiàn)更名為Meta）則獨擅戰(zhàn)場。關(guān)于Facebook通過收購Oculus等公司，在AR / VR技術(shù)上投入大量資金的歷史，我們就不贅述了。Meta在“模擬視覺”上的差異化優(yōu)勢在于：
首先，成本足夠低。元宇宙的困境之一是VR 頭顯的滲透率不足，能破解這一問題的廠商自然能夠率先拿到船票。
Meta在全球運營著五個研究機構(gòu)，支持VR/AR的研發(fā)。從目前的市場表現(xiàn)來看，Meta旗下的Oculus已經(jīng)成為頭號選擇，其中Oculus Quest 2更是在今年迎來了一波銷售熱潮，預(yù)算友好的同時，支持Steam 平臺的絕大多數(shù)VR應(yīng)用，這也使得Meta能快速進入規(guī)?；鲩L空間。
其次，硬件的終極價值要靠體驗來兌現(xiàn)，這要求VR/AR廠商能夠建構(gòu)起足夠龐大的內(nèi)容和社交平臺，為用戶提供和現(xiàn)實中別無二致的工作、娛樂和生活體驗，目前只有Meta能夠?qū)⑸缃粌?yōu)勢與VR技術(shù)優(yōu)勢疊加在一起，產(chǎn)生1+1＞2的效果。
比如Facebook的虛擬會議，就用了兩年多時間，讓多達16人（以化身為代表）一起坐在虛擬會議桌旁開會。此前，Meta還展現(xiàn)了一些全新的技術(shù)硬件，比如AR眼鏡Horizon Home，允許用戶邀請他們的朋友進行虛擬社交聚會，并且隨時隨地可穿戴，讓虛擬現(xiàn)實的交互無處不在。
硬件+生態(tài)這條路背后，是沉淀多年的技術(shù)優(yōu)勢。比如強大的人工智能模型，來理解用戶手勢指令的上下文邏輯，最終確定需要執(zhí)行的操作；再比如情境感知，理想情況下，用戶只需要單擊一次，即可執(zhí)行任何想做的事情；提升佩戴舒適度，也需要降低VR頭顯的“運動病”發(fā)生概率，增加AR可穿戴設(shè)備的柔軟度和舒適度，讓它們盡可能被全天候使用。
模擬視覺的軟硬件能力，是一項艱巨的長期任務(wù)，還有多年的研究要做。短期內(nèi)，元宇宙還是聚焦于VR/AR。
更早播下種子的Meta，確實有可能率先收獲，從元宇宙上賺到錢，這也就不難理解它孤注一擲擁抱元宇宙的決心了。
二、元宇宙之體
要讓用戶在數(shù)字世界里有更豐富的感覺，來自身體的觸覺交互和動態(tài)感知，是元宇宙的核心挑戰(zhàn)之一。最近，Meta的Reality Labs Research實驗室，就發(fā)布了兩個重要的產(chǎn)品。
一是可穿戴手套，可以在虛擬的 VR 空間感受真實的觸覺。
想象一下，當你在元宇宙咖啡館里工作時，虛擬鍵盤每一次擊鍵的觸感都能被完美感受；在元宇宙游戲中，你可以感受到木質(zhì)桌面的粗糙和書本表面的光滑……是不是體驗感會大大提升？是不是比在VR里簡單地看到自己拿起來了更有趣味、獲得更多信息？
而Meta這次發(fā)布的觸覺手套，就在手套上安裝數(shù)百個氣動裝置，遍布整個手部，可以在佩戴者做出觸摸動作時協(xié)同改變形狀，通過氣壓來呈現(xiàn)逼真的觸覺感覺。
這種裝置使得研究人員不得不轉(zhuǎn)向軟體機器人等新興領(lǐng)域，來規(guī)避傳統(tǒng)機械耗電、僵硬、體積過大等問題。
同時，為了精確地知道用戶的手在虛擬場景中的位置，是否與虛擬物體接觸，產(chǎn)生的作用力多大，還需要研發(fā)新型的觸覺渲染系統(tǒng)，根據(jù)手的位置、對虛擬環(huán)境的理解、虛擬物品的重量紋理和剛度等等，向手套的氣動裝置發(fā)送正確的指令，需要構(gòu)建相應(yīng)的軟件和算法建模。
為了達到真實的觸覺模擬，2017年Reality Labs Research團隊就開始嘗試，將不同材料（木材、大理石、泡沫）制成的虛擬球體與單個振動觸覺設(shè)備建立關(guān)聯(lián)線索。
除了手部跟蹤，身體動態(tài)也能給虛擬世界增加不少體驗感。如何讓身體數(shù)據(jù)能夠輸入系統(tǒng)并被模擬呢？Meta的研究團隊將手腕智能設(shè)備與AI相結(jié)合，進而感知動態(tài)環(huán)境。
相比手套、VR、語音等輸入方式，手腕設(shè)備更適合全天無感知佩戴及交互。但技術(shù)挑戰(zhàn)在于，如何將運動信號準確地轉(zhuǎn)換為數(shù)字指令。
Facebook在2019年收購CTRL實驗室使用傳感器，嘗試通過神經(jīng)信號讓用戶直接控制機器。通過手腕的肌電圖信號，系統(tǒng)可以理解哪怕一毫米的手指運動，進而轉(zhuǎn)換為數(shù)字命令發(fā)送到設(shè)備上，實現(xiàn)數(shù)字交互與控制。
舉個例子，你可以在遠處控制虛擬對象，仿佛擁有了原力一般的超能力；未來還可以無需鍵盤，在桌子或膝蓋上打字就能輸入；當你穿著鞋子離開家，設(shè)備就會詢問你是否需要播放音樂……
人類在嬰兒時如何感知世界，靠的正是一次次抓握，一次次爬行。身體知覺的模擬，能夠讓我們在虛擬空間里和世界再次對話、重新成長。
三、元宇宙之聲
你戴著一副AR眼鏡和一個柔軟的腕帶，決定去元宇宙里的虛擬會議室開個會，突然發(fā)現(xiàn)，設(shè)備里傳來了嘈雜的音樂和其他人討論的聲音，讓你很難集中注意力。
事實上，大腦不會對耳朵傳來的所有聲音照單全收，我們總是會對一些特殊詞匯（比如自己的名字）特別敏感，在有必要時也能主動屏蔽外界噪聲。如果要在虛擬世界里復(fù)制真實的聲音體驗，不僅需要聲學(xué)設(shè)備本身的高性能，也要對聲音如何與真實環(huán)境相互作用進行建模。
就拿Meta的研究方向來說，在3D打印眼鏡上使用多個麥克風，捕捉周圍的聲音，然后通過眼動追蹤設(shè)備，感知頭部和眼睛運動的軌跡，AI系統(tǒng)可以找出你最感興趣的聲音中的哪一個，增強正確的聲音。
這樣在嘈雜的虛擬會議室或咖啡廳里對話，也不必特意提高聲音才能被聽到。
當用戶的眼神轉(zhuǎn)向旁白的電視或視頻時，里面正在播放的內(nèi)容又會變得更響亮，身邊其他聲音則變得更安靜。
除了模擬大腦認知，空間音頻技術(shù)和聲學(xué)仿真技術(shù)，能夠模仿現(xiàn)實生活中不同方向來源的聲音，營造一個更加真實的虛擬空間，用戶使用Oculus Quest等設(shè)備在空間中移動時，設(shè)備模擬出的聲音和房間里真實的聽覺效果幾乎沒有差別。
舉個例子，當大家都在使用Meta的元宇宙會議系統(tǒng)時，麥克風陣列可以捕捉各個角度的聲音并傳送到耳機里，用戶可以很自然地判斷發(fā)言者所在的位置并轉(zhuǎn)向TA，這種體驗感簡直就像自己真的在房間里一樣。
再想象得多一點，空間音頻結(jié)合實時動畫化的超逼真虛擬人，可能會徹底改變視頻通話的感覺，讓遠程社交不再是線下的“替代品”，真的能夠提升溝通效率。
聽覺模擬，不僅改變著元宇宙中的溝通方式，也可能提升聽覺障礙人群的社交參與度。
如果說元宇宙和現(xiàn)實世界相比有什么吸引力，那么降低生理性差別及其限制，或許會讓許多人都感覺到更加幸福。
四、元宇宙之意識
你可能會問，除了眼耳手，還有哪些方式進入元宇宙？在1981年出版的小說《真名實姓》中，美國數(shù)學(xué)家和計算機專家弗諾·文奇教授，就提出了通過腦機接口進入并獲得感官體驗的虛擬世界。意識進入人造現(xiàn)實，這不正是黑客帝國中“缸中之腦”的情節(jié)嗎？但要實現(xiàn)這一點并沒有那么簡單。
事實上，Meta的Facebook Reality Labs也在進行腦機接口（BCI）的相關(guān)研究，希望給VR系統(tǒng)和AR眼鏡提供一種全新的交互方式，但至今并沒有可規(guī)模化商用的案例。至于埃隆馬斯克那種直接給大腦做手術(shù)的介入式方案就更加遙遠了。
腦機接口BCI的問題主要在于，非侵入性的、基于腦電圖EEG的交互速度非常慢，有時患者需要70分鐘才能輸入一個句子，并不具備使用價值。此外，現(xiàn)有腦機接口設(shè)備的體積也很大，無法長時間佩戴。目前，Meta的研究團隊希望測量血管和神經(jīng)元的運動，創(chuàng)建小型、方便的BCI設(shè)備，進而幫助實現(xiàn)無聲語音輸入。
進步總是發(fā)生在一點一滴地寸進當中，哪個科技公司更了解這項技術(shù)，就距離元宇宙更進了一步。
五、元宇宙之味
元宇宙技術(shù)體系中，Meta沒有提到的感覺是氣味和味道。至少目前在VR/AR中，鼻子和舌頭似乎都有點不太必要存在——但視覺、聽覺、觸覺一旦得到完善，就需要開拓其他感官了。我們常說“聞香識人”，真實世界里人的氣味、空間的氣味、食物的味道，都是自然界提供給我們的重要信息。沒有它們，VR將永遠是對現(xiàn)實的乏味模仿。
但嗅覺和味覺所代表的化學(xué)感官，數(shù)字化的嘗試出人意料地緩慢。
一方面，源自現(xiàn)實的技術(shù)挑戰(zhàn)。嗅覺是與杏仁核直接相關(guān)的感覺，這也為什么氣味可以喚起強烈的情感記憶，但將嗅覺整合到VR中，在味道調(diào)制上選擇十分有限，無法模仿出現(xiàn)實世界中的數(shù)千種氣味。同時也給硬件設(shè)計提出了極大挑戰(zhàn)。
2015年在Kickstarter上推出的FeelReal面具，聲稱可以發(fā)出氣味，并制造出冷熱霧氣的感覺。但這款面具并不成功，The Verge將佩戴FeelReal口罩描述為“在炎熱的天氣里將空氣清新劑放入車里，把臉埋在汽車的塑料座椅上，然后跟隨司機經(jīng)歷一輪高速急轉(zhuǎn)彎”——想想都要窒息了。
曾有日本實驗室提出了一個原型嗅覺機，可以掛住Oculus Rift上，放在鼻子底下，通過聲波將液體霧化，向上飄入鼻孔。但這一設(shè)計無法讓機器在不應(yīng)該聞到的時候停止釋放氣體。
味覺感官也同樣，曾有日本研究人員開發(fā)了一種食品模擬器，讓用戶有咀嚼的感覺，配合適當?shù)脑胍簦ū热绯燥灨傻倪青曷暎?，來產(chǎn)生味覺。但這種味道模擬的工作推進緩慢，需要大量的味覺數(shù)據(jù)，食物風味來自嗅覺，食物質(zhì)地則依賴觸覺，實現(xiàn)起來十分困難。
（數(shù)字味覺界面，一種模擬味覺的方法，通過電和熱刺激來驅(qū)動人類舌頭）
另外，消費者的需求不強烈也是延緩商業(yè)化的重要原因。
相比技術(shù)挑戰(zhàn)，體驗數(shù)字化嗅覺與味覺的心理障礙可能更高。人類進化得來的生理機制是，專注于其他事情時，往往無法檢測到香味，即使感受到化學(xué)感官刺激，也更傾向于認為其中包含著危險。
曾有一個實驗讓參與者通過VR感知到虛擬廚房里的尿液氣味，結(jié)果受試者經(jīng)常錯誤地將尿液氣味誤認為是其他味道，比如魚或者垃圾、尸臭味等等，甚至有人認為這是一種令人愉快的氣味，因為它喚起了好的回憶（屬實大受震撼了家人們）。
總而言之，人類對特定氣味和味道的反應(yīng)，依賴于背景或以前的經(jīng)歷，相比視覺線索，化學(xué)感知的商業(yè)化價值并不明顯。
這也是為什么在人機交互、多感官融合領(lǐng)域，對化學(xué)感官的研究普遍會被忽視?？磥硪谠钪孓k公室里和同事們一起喝虛擬咖啡，還有好長一段路要走了。
六、寫在最后
說到這里，會發(fā)現(xiàn)關(guān)于元宇宙想要模擬現(xiàn)實中的人類感知，還需要較長的時間。在技術(shù)與商業(yè)上都相對成熟的只有Meta長期押注的VR/AR 視覺體驗。但是，任何單一技術(shù)的短板都有可能限制元宇宙“真實”的效果，給其發(fā)展帶來不確定性。
但換個角度，眼耳鼻舌身意的每一項感官模擬，都能帶來建構(gòu)虛擬世界之外的奇效。比如幫助身體殘障人士重新聽到視覺、嘗到味道、聞到花香；再比如更輕盈、精準度高的可穿戴設(shè)備，為智能消費硬件市場帶來變化。
從這個角度看，最終元宇宙是否實現(xiàn)并不重要，至少在向目標前進的過程中，互聯(lián)網(wǎng)乃至整個世界，都已經(jīng)變得更好了。而科技巨頭或初創(chuàng)企業(yè)想要抓住元宇宙的機會，唯一的選擇只能是走在堅實的技術(shù)道路上。
#合作媒體#
腦極體，微信公眾號：腦極體。寫讓你腦洞大開且能看懂的人工智能、流媒體、海外科技
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載
題圖來自Pexels，基于CC0協(xié)議
在一個現(xiàn)實世界創(chuàng)建一個虛擬世界，好像有一部類似的電影但我忘了
元宇宙是一個足夠真實的“虛擬世界”，但它終將是虛擬的。
元宇宙主要利用了AR和VR兩種技術(shù)，增強現(xiàn)實和虛擬現(xiàn)實，交互感拉滿
不否認元宇宙的價值，但作為打工人的我，并不想現(xiàn)實中打工完了，還要去元宇宙中打工。
真實