深剖Apple Vision Pro中暗藏的“AI”
前段時間蘋果WWDC大會發布的Apple Vision Pro,引發了許多網友的關注,而雖然在2023的WWDC大會上蘋果沒有提到許多AI人工智能的相關訊息,但在Apple Vision Pro中,我們仍然可以看見其中隱藏的AI能力。一起來看看作者的分析吧。
在今年蘋果開發者大會(WWDC 2023)上,庫克(Tim Cook)延續了喬布斯“one more thing”的表達發布了新一代空間計算產品——Apple Vision Pro。
這是一個值得讓人紀念的歷史性時刻,看到了又一個“one more thing”時刻來臨,更重要的是人機界面技術在蘋果發布新品之后會將迎來全新的發展,人類在虛擬/增強現實層面的腳步又前進了一步。
之所以說“又”是因為在蘋果未發布新品之前,OpenAI推出了ChatGPT以及GPT大模型,讓人類徹底感受到AI能力的不凡,相應地AI技術在AR/VR領域的應用也凸顯了出來,甚至帶來了新一輪產業格局的變化。
AI+便被視為虛擬/增強現實產業發展的關鍵因素,更是推動產業走深的底層技術,而蘋果一直作為行業“游戲規則的制定者”在AI層面的布局亦甚為久遠。雖然在今年WWDC 2023大會上,蘋果只字未提人工智能,但從此次發布會上的產品以及新品Vision Pro中便能夠窺探出一二。
一、蘋果超十年的AI布局
6月2日,據外媒馬克?古爾曼的推特表示蘋果正在招募人工智能方面的人才,而據外媒消息顯示,自5月以來蘋果在招聘門戶網站上發布了至少88個與人工智能相關的職位,涵蓋視覺生成建模、主動智能和應用AI研究等領域。
圖:馬克?古爾曼推特
所招聘的職位隸屬于一個團隊,該團隊將“塑造生成式人工智能技術改變蘋果移動計算平臺的方式”,進一步表明iPhone以及Vision Pro等產品中的AI應用將會得到進一步擴展。
但蘋果在人工智能層面的布局其實更早,2010年蘋果以2億美元的價格收購了Siri團隊,并于2011年,隨著iPhone 4s的發布,Siri以智能語音助手的身份亮相市場,如今被擴展到Mac、iPad甚至新發布的產品Vision Pro中。
圖:Vision Pro中呼喚Siri(來源:網絡)
據VR陀螺梳理,2010至今蘋果收購的AI相關企業近30家,已知的收購金額超14億美元(折合人民幣近100億)。大部分的收購與語音識別有關,應用方向集中在Siri上。但在生成式AI爆火的今年,Siri這一語音助手并未看到有太智能的進步,如當你問Siri一個問題時,Siri仍然還是會告訴你它搜索了哪些網站或者直接回答我不是很清楚。
圖表:蘋果收購一覽(VR陀螺整理)
這種簡單的操作相比如今會寫稿、會編程的ChatGPT很容易讓人忘記其實Siri也是人工智能,只是它與ChatGPT的工作原理不同。Siri的一大工作原理是當它接收到指令后,會優先傳送到蘋果的數據中心,數據中心會根據指令的內容進行分析,給出已知的答案;其次就是上傳到云端,給出答案“我不太清楚,但我從網絡上找到了這些信息”等等。而ChatGPT并沒有本地的流程,直接利用龐大的計算與模型推算,無論是否理解指令,都會給出答案。
蘋果向來對AI的發展都處于謹慎的態度,更喜歡強調機器學習功能以及為用戶提供好處,正如此次WWDC 2023大會上,庫克在接受媒體采訪時所稱“我們確實將它(AI)整合到我們的產品中,但人們不一定將其視為人工智能。”正因為如此,蘋果才會限制Siri無節制發展。
不僅是Siri,在蘋果產品中被忽略AI能力還有很多,像Apple Pencil的筆觸追蹤,FaceID的面容識別以及新品Vision Pro中的智能輸入等,都呈現了AI的能力,下文會詳談。
另一方面,蘋果的AI戰略更注重兩個點:性能與安全。在性能層面,蘋果會將AI融入到產品中,提高產品的使用效果;而安全則是隱私,隱私是蘋果歷來注重的一個點,如2015年蘋果收購Perceptio,這家公司主要從事人工智能照片分類,但除了圖片自動分類外,Perceptio還可以保護隱私,無需將用戶數據存儲在云端。
2020年,蘋果機器學習和人工智能戰略的高級副總裁John Giannandrea以及產品營銷副總裁Bob Borchers在一次訪談中便肯定了蘋果的AI戰略,并表示2018年蘋果就加快了這一進程,讓iPhone 中的 ISP 與神經引擎緊密合作(中央處理器),只是蘋果不會向外說太多自己的AI能力,強調的則是Transformer 語言模型、機器學習等。
而Giannandrea和Borchers也清楚地表明:如今,機器學習在蘋果的產品功能中發揮了重要作用,機器學習在蘋果的應用還會繼續增強。
二、Apple Vision Pro中透露出的AI能力
在生成式AI爆火的今年,很多業內人士都預測稱今年的WWDC2023大會,蘋果可能也會談及AI,但在近2小時的發布會上,AI一次都未被提及,只是在其產品中無處不在。陀螺君針對Vision Pro所展現的AI能力進行了梳理,不難看出AR/VR若想進一步發展,必然也離不開AI技術的支持。
1. AI數字分身
AI的接入使數字人制作更加逼真,甚至在一些網站上,用戶也可以根據自己的需求創建符合自己需求的數字人,而3D虛擬數字人也是VR頭顯進一步發展避不開的一節。Meta在去年就發布了Codec Avatar 2.0版本,比1.0進一步完成了逼真的數字人效果。
圖源:網絡
Vision Pro則是通過前置攝像頭掃描人的面部信息,再基于機器學習技術,系統會使用先進的編碼神經網絡,為用戶生成一個“數字分身”。并且當用戶正通過FaceTime通話時,數字分身可以動態模仿用戶的面部和手部的動作,保留數字分身的體積感和深度。
圖源:網絡
根據蘋果表示,目前團隊正在積極優化所述功能,在未來的visionOS更新中,數字人會變得更加逼真。另一方面,從發布會上的使用效果來看,數字分身的構建確實已經很逼真了,而且操作上也更加簡單,僅需用設備掃一掃面部信息即可,可以說已經超越了目前市面上一些數字分身軟件。
2. AI情緒檢測
蘋果在2016年就收購了一家AI情緒檢測的公司,而今年據外媒消息顯示,蘋果正在研發一種名為Quartz的人工智能健康指導服務與跟蹤情緒的新技術。
在此次Vision Pro發布后,蘋果前研究員Sterling Crispin在推特中,透露了不少關于Vision Pro的黑科技。其中最令人驚嘆的便是Vision Pro可以通過用戶在沉浸式體驗中的身體和腦部數據,來檢測用戶的心理狀態。Sterling Crispin將其稱為“腦機接口”或“讀心術”。
圖:Sterling Crispin的推特信息
而這項技術背后的主要原理則是,每個人在做每件事之前,瞳孔會做出反應,其中部分原因是你預計在你點擊之后會發生一些事情。因此,蘋果可以通過算法來監視你的眼睛行為。并實時重新設計UI,以創建更多這種預期的瞳孔反應,從而創建個人大腦的生物反饋。
3. 更智能的輸入方式
為了進一步滿足用戶對指引功能和空間內容的交互,Vision Pro引入了全新的輸入系統,即由眼睛、手勢和語音來進行交互,通過注視應用,“輕敲/輕拂”的手勢進行應用的選擇,或使用語音指令來瀏覽應用。
圖源:網絡
當眼睛注視到瀏覽器搜索框時,搜索框即進入聽寫輸入狀態,此時只需語音說出想要檢索的內容,即可自動鍵入文本,進而進行搜索。使用 Siri 還能快速打開和關閉 app,播放媒體文件等。
圖源:網絡
雖然蘋果并沒有在Vision Pro介紹中強調輸入法,但從iOS 17的介紹中可知,蘋果更新的更加智能的輸入法,不僅可以糾正拼寫錯誤,甚至還可以糾正用戶在輸入過程中的語法錯誤。更為重要的是,基于設備端的機器學習,輸入法還會根據用戶每一次的鍵入自動改進模型,將輸入法的自動糾正功能達到了前所未有的準確度。
圖源:網絡
4. 新的操作系統“visionOS”
據蘋果表示,建立在macOS、iOS和iPadOS的研發基礎上,他們從零開始為Vision Pro設計了新的操作系統VisionOS,以實現對低延遲要求非常高的空間計算能力;分別內嵌了iOS框架、空間計算框架、空間音頻引擎、3D空間引擎、注視點渲染引擎、實時驅動的子系統等。
圖源:網絡
據蘋果透露, visionOS將會有全新的 AppStore,未來會有更多專門針對 Vision Pro 開發的應用,例如 3D 解剖圖等。
5. 場景與動作識別
從以上可以看出Vision Pro的創新離不開AI的發展,在Vision Pro的空間音頻計算、眼球動作以及手部行為的捕捉,這些都是人工智能技術所發力的領域,蘋果憑借著M2和R1兩顆芯片提供的算力支撐,順利實現了人工智能的本地化部署。
而除了在Vision Pro隱藏了無處不在的AI能力外,蘋果的所有產品幾乎都能看到AI的技術,AI幾乎已經滲透到了其產品的各個細節中,進一步表明了“AI+”在AR/VR層面發展的重要程度。
雖然蘋果只字未提AI,但庫克在一次訪談中表示“他個人正在使用 ChatGPT 并對這個獨特應用程序感到興奮,并表示蘋果目前正密切關注該工具?!睅炜诉€補充說,“大型語言模型顯示出巨大的希望,但也有可能出現諸如偏見、錯誤信息之類的事情,而且在某些情況下可能更糟。”
在筆者看來,AI作為一項技術本就該用于提升產品的性能,更好地為人類服務,過多的炒作或宣傳反而失去了這項技術本該有的樣子。同時,人工智能或者機器學習在未來會變得更加普遍,對于生成式AI,蘋果或許并沒有以大眾希望的樣子而展開,但相信蘋果默默將其融于產品后一定可以提升用戶的體驗,讓人眼前一亮。
三、“AI+”,AR/VR發展關鍵的一環
之前陀螺君曾在一篇文章中分析過“AI+”對產業競爭格局的影響,可點擊閱讀《攪局者GPT-4已來,AR產業競爭格局邁入新維度》,但拋開產業競爭格局來看,“AI+”也會為AR/VR設備的性能帶來更大的提升。
今年,Meta發布了用于圖像分割的新模型 Segment Anything Model (SAM),據Meta博客表示,SAM已經學會了關于物體的一般概念,并且它可以為任何圖像或視頻中的任何物體生成 mask,甚至包括在訓練過程中沒有遇到過的物體和圖像類型。SAM足夠通用,可以涵蓋廣泛的用例,并且可以在新的圖像領域上即開即用,無需額外的訓練。
如下圖所示,SAM能很好的自動分割圖像中的所有內容:
圖源:網絡
未來,SAM有望接入AR/VR設備, 如用于通過AR眼鏡識別日常物品,用戶僅需要使用目光注視物體,SAM便能夠對用戶看到的畫面進行分割;配合AR眼鏡應用,為用戶展示所注視物體的提醒和說明。
另一方面,大語言模型的發展可以為AR/VR設備的語音交互與物體識別帶來更具沉浸式的交互式體驗。大語言模型能夠理解更為復雜的自然語言,完成更復雜的自然語言處理任務,進而能夠聽懂用戶以語音形式給出的復雜指令并做出響應,增強AR/VR設備語音交互方式的體驗。隨著大模型快速迭代,算力支持不斷堅實,AR/VR的沉浸式體驗的交互方式或更進一步豐富。
其次,生成式AI的發展,也會進一步降低AR/VR應用中3D創作的成本與門檻,解決AR/VR對3D素材大量的需求。關于生成式AI對3D創作的影響,陀螺君之前也寫過一篇短文分析,可閱讀《AI 3D創作來了?“搶飯碗”成真》。
圖源:網絡
最后,“AI+”融合AR/VR的發展已是產業發展的很大趨勢,無論是從蘋果的產品來看,還是Meta最新公布的布局亦或是AI對設備更新的影響,都表明了充分結合AI技術是未來AR/VR產業發展重要的一環。
但值得一提的是,AI的發展到現在還未看到明確的規范性文件出來,如果無限制發展AI給產業帶來的負面影響也不可低估,如侵犯用戶隱私、詐騙、數據泄露、認知偏見等等。
參考文章:
- https://arstechnica.com/gadgets/2020/08/apple-explains-how-it-uses-machine-learning-across-ios-and-soon-macos/
- https://blog.roboflow.com/apple-vision-pro-visionos-computer-vision/
- 蘋果的人工智能應用,跟 ChatGPT 不太一樣
- 蘋果Vision Pro竟暗藏「腦機接口」?
- Apple Vision Pro“泄漏”了蘋果哪些AI能力?
作者:VR陀螺 元橋
來源公眾號:VR陀螺(ID:vrtuoluo),XR行業垂直媒體,關注VR/AR的頭部產業服務平臺。
本文由人人都是產品經理合作媒體 @VR陀螺 授權發布,未經許可,禁止轉載。
題圖來自 Unsplash,基于 CC0 協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
- 目前還沒評論,等你發揮!