起點課堂會員權益
職業體系課特權
線下行業大會特權
個人IP打造特權
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導直播
12場專業技能直播
會員專屬社群
榮耀標識深剖Apple Vision Pro中暗藏的“AI”
前段時間蘋果WWDC大會發布的Apple Vision Pro，引發了許多網友的關注，而雖然在2023的WWDC大會上蘋果沒有提到許多AI人工智能的相關訊息，但在Apple Vision Pro中，我們仍然可以看見其中隱藏的AI能力。一起來看看作者的分析吧。
在今年蘋果開發者大會（WWDC 2023）上，庫克（Tim Cook）延續了喬布斯“one more thing”的表達發布了新一代空間計算產品——Apple Vision Pro。
這是一個值得讓人紀念的歷史性時刻，看到了又一個“one more thing”時刻來臨，更重要的是人機界面技術在蘋果發布新品之后會將迎來全新的發展，人類在虛擬/增強現實層面的腳步又前進了一步。
之所以說“又”是因為在蘋果未發布新品之前，OpenAI推出了ChatGPT以及GPT大模型，讓人類徹底感受到AI能力的不凡，相應地AI技術在AR/VR領域的應用也凸顯了出來，甚至帶來了新一輪產業格局的變化。
AI+便被視為虛擬/增強現實產業發展的關鍵因素，更是推動產業走深的底層技術，而蘋果一直作為行業“游戲規則的制定者”在AI層面的布局亦甚為久遠。雖然在今年WWDC 2023大會上，蘋果只字未提人工智能，但從此次發布會上的產品以及新品Vision Pro中便能夠窺探出一二。
一、蘋果超十年的AI布局
6月2日，據外媒馬克?古爾曼的推特表示蘋果正在招募人工智能方面的人才，而據外媒消息顯示，自5月以來蘋果在招聘門戶網站上發布了至少88個與人工智能相關的職位，涵蓋視覺生成建模、主動智能和應用AI研究等領域。
圖：馬克?古爾曼推特
所招聘的職位隸屬于一個團隊，該團隊將“塑造生成式人工智能技術改變蘋果移動計算平臺的方式”，進一步表明iPhone以及Vision Pro等產品中的AI應用將會得到進一步擴展。
但蘋果在人工智能層面的布局其實更早，2010年蘋果以2億美元的價格收購了Siri團隊，并于2011年，隨著iPhone 4s的發布，Siri以智能語音助手的身份亮相市場，如今被擴展到Mac、iPad甚至新發布的產品Vision Pro中。
圖：Vision Pro中呼喚Siri（來源：網絡）
據VR陀螺梳理，2010至今蘋果收購的AI相關企業近30家，已知的收購金額超14億美元（折合人民幣近100億）。大部分的收購與語音識別有關，應用方向集中在Siri上。但在生成式AI爆火的今年，Siri這一語音助手并未看到有太智能的進步，如當你問Siri一個問題時，Siri仍然還是會告訴你它搜索了哪些網站或者直接回答我不是很清楚。
圖表：蘋果收購一覽（VR陀螺整理）
這種簡單的操作相比如今會寫稿、會編程的ChatGPT很容易讓人忘記其實Siri也是人工智能，只是它與ChatGPT的工作原理不同。Siri的一大工作原理是當它接收到指令后，會優先傳送到蘋果的數據中心，數據中心會根據指令的內容進行分析，給出已知的答案；其次就是上傳到云端，給出答案“我不太清楚，但我從網絡上找到了這些信息”等等。而ChatGPT并沒有本地的流程，直接利用龐大的計算與模型推算，無論是否理解指令，都會給出答案。
蘋果向來對AI的發展都處于謹慎的態度，更喜歡強調機器學習功能以及為用戶提供好處，正如此次WWDC 2023大會上，庫克在接受媒體采訪時所稱“我們確實將它（AI）整合到我們的產品中，但人們不一定將其視為人工智能?！?/strong>正因為如此，蘋果才會限制Siri無節制發展。
不僅是Siri，在蘋果產品中被忽略AI能力還有很多，像Apple Pencil的筆觸追蹤，FaceID的面容識別以及新品Vision Pro中的智能輸入等，都呈現了AI的能力，下文會詳談。
另一方面，蘋果的AI戰略更注重兩個點：性能與安全。在性能層面，蘋果會將AI融入到產品中，提高產品的使用效果；而安全則是隱私，隱私是蘋果歷來注重的一個點，如2015年蘋果收購Perceptio，這家公司主要從事人工智能照片分類，但除了圖片自動分類外，Perceptio還可以保護隱私，無需將用戶數據存儲在云端。
2020年，蘋果機器學習和人工智能戰略的高級副總裁John Giannandrea以及產品營銷副總裁Bob Borchers在一次訪談中便肯定了蘋果的AI戰略，并表示2018年蘋果就加快了這一進程，讓iPhone 中的 ISP 與神經引擎緊密合作（中央處理器），只是蘋果不會向外說太多自己的AI能力，強調的則是Transformer 語言模型、機器學習等。
而Giannandrea和Borchers也清楚地表明：如今，機器學習在蘋果的產品功能中發揮了重要作用，機器學習在蘋果的應用還會繼續增強。
二、Apple Vision Pro中透露出的AI能力
在生成式AI爆火的今年，很多業內人士都預測稱今年的WWDC2023大會，蘋果可能也會談及AI，但在近2小時的發布會上，AI一次都未被提及，只是在其產品中無處不在。陀螺君針對Vision Pro所展現的AI能力進行了梳理，不難看出AR/VR若想進一步發展，必然也離不開AI技術的支持。
1. AI數字分身
AI的接入使數字人制作更加逼真，甚至在一些網站上，用戶也可以根據自己的需求創建符合自己需求的數字人，而3D虛擬數字人也是VR頭顯進一步發展避不開的一節。Meta在去年就發布了Codec Avatar 2.0版本，比1.0進一步完成了逼真的數字人效果。
圖源：網絡
Vision Pro則是通過前置攝像頭掃描人的面部信息，再基于機器學習技術，系統會使用先進的編碼神經網絡，為用戶生成一個“數字分身”。并且當用戶正通過FaceTime通話時，數字分身可以動態模仿用戶的面部和手部的動作，保留數字分身的體積感和深度。
圖源：網絡
根據蘋果表示，目前團隊正在積極優化所述功能，在未來的visionOS更新中，數字人會變得更加逼真。另一方面，從發布會上的使用效果來看，數字分身的構建確實已經很逼真了，而且操作上也更加簡單，僅需用設備掃一掃面部信息即可，可以說已經超越了目前市面上一些數字分身軟件。
2. AI情緒檢測
蘋果在2016年就收購了一家AI情緒檢測的公司，而今年據外媒消息顯示，蘋果正在研發一種名為Quartz的人工智能健康指導服務與跟蹤情緒的新技術。
在此次Vision Pro發布后，蘋果前研究員Sterling Crispin在推特中，透露了不少關于Vision Pro的黑科技。其中最令人驚嘆的便是Vision Pro可以通過用戶在沉浸式體驗中的身體和腦部數據，來檢測用戶的心理狀態。Sterling Crispin將其稱為“腦機接口”或“讀心術”。
圖：Sterling Crispin的推特信息
而這項技術背后的主要原理則是，每個人在做每件事之前，瞳孔會做出反應，其中部分原因是你預計在你點擊之后會發生一些事情。因此，蘋果可以通過算法來監視你的眼睛行為。并實時重新設計UI，以創建更多這種預期的瞳孔反應，從而創建個人大腦的生物反饋。
3. 更智能的輸入方式
為了進一步滿足用戶對指引功能和空間內容的交互，Vision Pro引入了全新的輸入系統，即由眼睛、手勢和語音來進行交互，通過注視應用，“輕敲/輕拂”的手勢進行應用的選擇，或使用語音指令來瀏覽應用。
圖源：網絡
當眼睛注視到瀏覽器搜索框時，搜索框即進入聽寫輸入狀態，此時只需語音說出想要檢索的內容，即可自動鍵入文本，進而進行搜索。使用 Siri 還能快速打開和關閉 app，播放媒體文件等。
圖源：網絡
雖然蘋果并沒有在Vision Pro介紹中強調輸入法，但從iOS 17的介紹中可知，蘋果更新的更加智能的輸入法，不僅可以糾正拼寫錯誤，甚至還可以糾正用戶在輸入過程中的語法錯誤。更為重要的是，基于設備端的機器學習，輸入法還會根據用戶每一次的鍵入自動改進模型，將輸入法的自動糾正功能達到了前所未有的準確度。
圖源：網絡
4. 新的操作系統“visionOS”
據蘋果表示，建立在macOS、iOS和iPadOS的研發基礎上，他們從零開始為Vision Pro設計了新的操作系統VisionOS，以實現對低延遲要求非常高的空間計算能力；分別內嵌了iOS框架、空間計算框架、空間音頻引擎、3D空間引擎、注視點渲染引擎、實時驅動的子系統等。
圖源：網絡
據蘋果透露， visionOS將會有全新的 AppStore，未來會有更多專門針對 Vision Pro 開發的應用，例如 3D 解剖圖等。
5. 場景與動作識別
從以上可以看出Vision Pro的創新離不開AI的發展，在Vision Pro的空間音頻計算、眼球動作以及手部行為的捕捉，這些都是人工智能技術所發力的領域，蘋果憑借著M2和R1兩顆芯片提供的算力支撐，順利實現了人工智能的本地化部署。
而除了在Vision Pro隱藏了無處不在的AI能力外，蘋果的所有產品幾乎都能看到AI的技術，AI幾乎已經滲透到了其產品的各個細節中，進一步表明了“AI+”在AR/VR層面發展的重要程度。
雖然蘋果只字未提AI，但庫克在一次訪談中表示“他個人正在使用 ChatGPT 并對這個獨特應用程序感到興奮，并表示蘋果目前正密切關注該工具?！睅炜诉€補充說，“大型語言模型顯示出巨大的希望，但也有可能出現諸如偏見、錯誤信息之類的事情，而且在某些情況下可能更糟。”
在筆者看來，AI作為一項技術本就該用于提升產品的性能，更好地為人類服務，過多的炒作或宣傳反而失去了這項技術本該有的樣子。同時，人工智能或者機器學習在未來會變得更加普遍，對于生成式AI，蘋果或許并沒有以大眾希望的樣子而展開，但相信蘋果默默將其融于產品后一定可以提升用戶的體驗，讓人眼前一亮。
三、“AI+”，AR/VR發展關鍵的一環
之前陀螺君曾在一篇文章中分析過“AI+”對產業競爭格局的影響，可點擊閱讀《攪局者GPT-4已來，AR產業競爭格局邁入新維度》，但拋開產業競爭格局來看，“AI+”也會為AR/VR設備的性能帶來更大的提升。
今年，Meta發布了用于圖像分割的新模型 Segment Anything Model (SAM)，據Meta博客表示，SAM已經學會了關于物體的一般概念，并且它可以為任何圖像或視頻中的任何物體生成 mask，甚至包括在訓練過程中沒有遇到過的物體和圖像類型。SAM足夠通用，可以涵蓋廣泛的用例，并且可以在新的圖像領域上即開即用，無需額外的訓練。
如下圖所示，SAM能很好的自動分割圖像中的所有內容：
圖源：網絡
未來，SAM有望接入AR/VR設備， 如用于通過AR眼鏡識別日常物品，用戶僅需要使用目光注視物體，SAM便能夠對用戶看到的畫面進行分割；配合AR眼鏡應用，為用戶展示所注視物體的提醒和說明。
另一方面，大語言模型的發展可以為AR/VR設備的語音交互與物體識別帶來更具沉浸式的交互式體驗。大語言模型能夠理解更為復雜的自然語言，完成更復雜的自然語言處理任務，進而能夠聽懂用戶以語音形式給出的復雜指令并做出響應，增強AR/VR設備語音交互方式的體驗。隨著大模型快速迭代，算力支持不斷堅實，AR/VR的沉浸式體驗的交互方式或更進一步豐富。
其次，生成式AI的發展，也會進一步降低AR/VR應用中3D創作的成本與門檻，解決AR/VR對3D素材大量的需求。關于生成式AI對3D創作的影響，陀螺君之前也寫過一篇短文分析，可閱讀《AI 3D創作來了？“搶飯碗”成真》。
圖源：網絡
最后，“AI+”融合AR/VR的發展已是產業發展的很大趨勢，無論是從蘋果的產品來看，還是Meta最新公布的布局亦或是AI對設備更新的影響，都表明了充分結合AI技術是未來AR/VR產業發展重要的一環。
但值得一提的是，AI的發展到現在還未看到明確的規范性文件出來，如果無限制發展AI給產業帶來的負面影響也不可低估，如侵犯用戶隱私、詐騙、數據泄露、認知偏見等等。
參考文章：
- https://arstechnica.com/gadgets/2020/08/apple-explains-how-it-uses-machine-learning-across-ios-and-soon-macos/
- https://blog.roboflow.com/apple-vision-pro-visionos-computer-vision/
- 蘋果的人工智能應用，跟 ChatGPT 不太一樣
- 蘋果Vision Pro竟暗藏「腦機接口」？
- Apple Vision Pro“泄漏”了蘋果哪些AI能力？
作者：VR陀螺 元橋
來源公眾號：VR陀螺（ID：vrtuoluo），XR行業垂直媒體，關注VR/AR的頭部產業服務平臺。
本文由人人都是產品經理合作媒體 @VR陀螺 授權發布，未經許可，禁止轉載。
題圖來自 Unsplash，基于 CC0 協議
該文觀點僅代表作者本人，人人都是產品經理平臺僅提供信息存儲空間服務。
- 目前還沒評論，等你發揮！
