如何理解Vision Pro空間計算中的3D建模、3D影像技術？Apple Vision Pro 所需要的 3D 視頻技術是什么？本文作者從最近國外某團隊發布的一條 AR 建模應用視頻切入，嘗試發表了他的看法，一起來看一下。

最近國外某團隊發布了一條 AR 建模應用視頻，演示了使用 iPhone 手機對廣場上的雕塑進行快速掃描、建模，并重新使用手機 AR 投射到廣場上。

這當然不是什么新鮮的技術，他們只是把蘋果 WWDC2023 上發布的ObjectCapture樣例項目下載了下來，從視頻上顯示的 UI 界面來看，可能一行代碼都沒改過（我在視頻評論中詢問了作者，結果很快評論被刪除了???♂?）。

其實早在 WWDC21 的時候蘋果已經發布了Photogrammetry（攝影測量法）接口，只不過受限于移動設備芯片算力，只能通過 iPhone 或 iPad 連續拍攝物體多角度圖像，然后在 macOS 中執行建模的步驟：

Object Capture

在WWDC23-Meet Object Capture for iOS視頻中， 展示了通過ObjectCapture和PhotogrammetrySession直接在 iPhone/iPad 上進行 3D 掃描建模的方法：

WWDC23 10191

最近官方文檔上更新了示例代碼，下載后可以通過 Xcode（15.0+）編譯到你的設備上，當然這對設備參數有一定的要求，至少需要 A14 仿生芯片和 LiDAR 傳感器，并更新至 iOS/iPadOS 17 ：

實際運行后建模效果如下：

目前移動設備上支持最低面數和尺寸規格的建模，如需要更細致的模型仍需要在 macOS 上執行：

通過移動設備即可讓用戶完成對現實世界中的物體快速掃描、建模，是蘋果為空間計算的內容生態提前做好的技術布局。

除了 3D 模型之外，Vision Pro 還提供了更加令人身臨其境的 3D 影像功能：

3D Photo/Video

和 3D 模型相比，它更像是我們熟悉的 3D 電影，只不過是以照片或短片的形式出現。出于 Apple Vision Pro 嚴格的用戶隱私考慮，以及它目前并不適合戴到室外場景的設計，iPhone 自然而然將成為最適合進行 3D 影像創作的工具（甚至有謠言稱 iPhone 15 將會有一款 Ultra 機型可以為Apple Vision Pro 拍攝 3D 影像，但是國內媒體信源引用著名的 MacRumors 網站，而 MacRumors 引用的是 Weibo user ??）。

當然蘋果已經提前準備好了跨設備內容共享技術，包括：Continuity Camera、 Handoff 、 AirDrop 等。（不得不吐槽這個官方宣傳圖片，估計可以把喬布斯氣活過來）

Continuity Camera

值得說明的是，雖然 iPhone 幾乎必將成為 3D 影像和 3D 建模的創作工具，但兩者還是有些區別。3D 影像利用的是人眼的雙目立體視覺，簡單理解為對（水平方向上）雙眼所看內容差異的還原，例如 3D 電影拍攝時所用的雙目相機（Apple Vision Pro 也是同樣的原理）：

而 3D 建模則是利用激光雷達（LiDAR）實現對縱向深度信息的還原，兩者之間雖然通過不同的方式實現對空間信息的還原，但無論是在最終應用場景還是對信息采集設備的要求上都有所不同，因此并不能簡單的將 ObjectCapture 看作是 Apple Vision Pro 所需要的 3D 視頻技術。

參考：

• 3D成像方法 匯總（原理解析）— 雙目視覺、激光三角、結構光、ToF、光場、全息
• Future ‘iPhone Ultra’ Model Could Capture Spatial Photos and Videos for Vision Pro Headset