Vision Pro 空間計算中的 3D 影像與建模

0 評論 3562 瀏覽 3 收藏 6 分鐘

如何理解Vision Pro空間計算中的3D建模、3D影像技術?Apple Vision Pro 所需要的 3D 視頻技術是什么?本文作者從最近國外某團隊發布的一條 AR 建模應用視頻切入,嘗試發表了他的看法,一起來看一下。

最近國外某團隊發布了一條 AR 建模應用視頻,演示了使用 iPhone 手機對廣場上的雕塑進行快速掃描、建模,并重新使用手機 AR 投射到廣場上。

這當然不是什么新鮮的技術,他們只是把蘋果 WWDC2023 上發布的ObjectCapture樣例項目下載了下來,從視頻上顯示的 UI 界面來看,可能一行代碼都沒改過(我在視頻評論中詢問了作者,結果很快評論被刪除了???♂?)。

其實早在 WWDC21 的時候蘋果已經發布了Photogrammetry(攝影測量法)接口,只不過受限于移動設備芯片算力,只能通過 iPhone 或 iPad 連續拍攝物體多角度圖像,然后在 macOS 中執行建模的步驟:

Vision Pro 空間計算中的 3D 影像與建模

Object Capture

Vision Pro 空間計算中的 3D 影像與建模

WWDC23-Meet Object Capture for iOS視頻中, 展示了通過ObjectCapture和PhotogrammetrySession直接在 iPhone/iPad 上進行 3D 掃描建模的方法:

Vision Pro 空間計算中的 3D 影像與建模

WWDC23 10191

最近官方文檔上更新了示例代碼,下載后可以通過 Xcode(15.0+)編譯到你的設備上,當然這對設備參數有一定的要求,至少需要 A14 仿生芯片和 LiDAR 傳感器,并更新至 iOS/iPadOS 17 :

Vision Pro 空間計算中的 3D 影像與建模

實際運行后建模效果如下:

Vision Pro 空間計算中的 3D 影像與建模

目前移動設備上支持最低面數和尺寸規格的建模,如需要更細致的模型仍需要在 macOS 上執行:

Vision Pro 空間計算中的 3D 影像與建模

通過移動設備即可讓用戶完成對現實世界中的物體快速掃描、建模,是蘋果為空間計算的內容生態提前做好的技術布局。

除了 3D 模型之外,Vision Pro 還提供了更加令人身臨其境的 3D 影像功能:

3D Photo/Video

和 3D 模型相比,它更像是我們熟悉的 3D 電影,只不過是以照片或短片的形式出現。出于 Apple Vision Pro 嚴格的用戶隱私考慮,以及它目前并不適合戴到室外場景的設計,iPhone 自然而然將成為最適合進行 3D 影像創作的工具(甚至有謠言稱 iPhone 15 將會有一款 Ultra 機型可以為Apple Vision Pro 拍攝 3D 影像,但是國內媒體信源引用著名的 MacRumors 網站,而 MacRumors 引用的是 Weibo user ??)。

當然蘋果已經提前準備好了跨設備內容共享技術,包括:Continuity Camera、 Handoff 、 AirDrop 等。(不得不吐槽這個官方宣傳圖片,估計可以把喬布斯氣活過來)

Continuity Camera

值得說明的是,雖然 iPhone 幾乎必將成為 3D 影像和 3D 建模的創作工具,但兩者還是有些區別。3D 影像利用的是人眼的雙目立體視覺,簡單理解為對(水平方向上)雙眼所看內容差異的還原,例如 3D 電影拍攝時所用的雙目相機(Apple Vision Pro 也是同樣的原理):

而 3D 建模則是利用激光雷達(LiDAR)實現對縱向深度信息的還原,兩者之間雖然通過不同的方式實現對空間信息的還原,但無論是在最終應用場景還是對信息采集設備的要求上都有所不同,因此并不能簡單的將 ObjectCapture 看作是 Apple Vision Pro 所需要的 3D 視頻技術。

參考:

  • 3D成像方法 匯總(原理解析)— 雙目視覺、激光三角、結構光、ToF、光場、全息
  • Future ‘iPhone Ultra’ Model Could Capture Spatial Photos and Videos for Vision Pro Headset

作者:V2XR; 微信公眾號:V2XR

本文由 @V2XR 原創發布于人人都是產品經理。未經許可,禁止轉載。

題圖來自 Unsplash,基于 CC0 協議

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!