對話NVIDIA英偉達:AI已照進現實
NVIDIA 創始人兼首席執行官黃仁勛在 GTC 2024 主題演講上表示:下一波 AI 浪潮將是 AI 對物理世界的學習。
當下,全球范圍內價值超過50萬億美金的行業正在競相實現數字化,數字孿生技術正在賦能千行百業。NVIDIA Omniverse 中國區業務負責人何展表示,AI 正在進入物理世界。每一棟建筑、每一個倉庫、每一個工廠,都將實現 AI 化,并持續優化。新一代的數字孿生更需要使用數字化的技術、模擬世界的技術,來訓練和測試 AI。
生成式 AI 有望徹底改變它所觸及的每一個行業,掌握技術是迎接挑戰的關鍵。而我們想要的 AI 一定是值得信賴的、高性能的,這樣級別的 AI,需要在一個遵守物理定律的數字孿生世界中進行模擬、驗證和仿真。
來聽 NVIDIA 英偉達的專家們聊聊,如何將物理世界模擬和 AI 融合在一起。
01 NVIDIA 的“三大靈魂”
今年的 GTC 主題演講上,黃仁勛說:“計算機圖形學、物理學引擎模擬仿真和 AI 是 NVIDIA 的靈魂所在?!?/p>
1、計算機圖形學
眾所周知,NVIDIA 是靠圖形學起家的。何展表示,不夸張地說,幾乎每一位 NVIDIA 的員工都以此為傲。利用 NVIDIA 的底層技術,開發者們可以將現實世界中每一個真實存在物品,都極度逼真地渲染及模擬出來。
2、物理世界模擬技術
有了可以以假亂真的計算機圖形學技術,做出了好的數字資產,要真正賦能到應用,還缺一個要素——物理世界模擬技術。
來看兩個例子,一個是從宏觀的世界去模擬,一個是在極其微小的粒子世界里做模擬技術,以賦能應用。
通過 Omniverse 渲染引擎模擬粒子爆炸的實際情況,運用大量的計算去模擬真實的粒子分析,并且加速了很多倍,以呈現真實的效果。
微觀世界分子結構異常復雜的設計也需要模擬,且物理準確模擬非常重要。一個簡單的例子,如果模擬精準度不夠真實,那么我們今天的靶向藥物治療等方式,就都是無效的。
3、 AI 技術
過去幾年,AI 技術的變革顛覆了眾多行業。有了 AI 的加持,Omniverse 也帶來了全新的功能和體驗。
怎樣通過 AI 技術快速構建一座數字孿生工廠?首先用 2D 的 PDF 圖紙,通過文字描述生成 3D 結構,用到的工具是 NVIDIA 的 DeepSearch,可以通過深度學習的方式檢索出你想要的模型資產,并放置在數字孿生環境中。接著調用SA軟件 BlenderGPT,通過文字生成工廠系統。再用 Adobe 通過文字生成大理石地面。然后通過其他軟件生成 GIS 數據,最終一個數字孿生工廠的 Demo 便完成了。
這一過程較傳統設計有了巨大的變化,無需操作其他軟件,只需通過文字和 Omniverse 便完成了這樣一個復雜的數字孿生制作過程。過去,如此復雜、專業的設計需要科班出身的設計師以及在工廠的實踐經驗才能完成。現在,NVIDIA 提供的技術和平臺可以讓每個用戶,只需輸入文字、會使用 Omniverse 的平臺軟件,就可以完成。
這就是 AI 和 Omniverse 結合之后實現的全新設計流程。
以上,NVIDIA 的三大靈魂,融合起來就是 Omniverse 。
數據顯示,Omniverse 由超過300萬行的代碼編寫而成,在全球范圍內已經集成和整合了超過240款工具軟件。如今,Omniverse 的數字孿生幾乎無處不在,涵蓋汽車、制造、媒體、建筑、能源、科學運算仿真等等各行各業。
02 融合三大靈魂的 Omniverse ,能做什么?
“三大靈魂”全部融合在一起,能做什么?
全球氣候模型 Earth-2,需要進行 3D 交互式的天氣和季候數據的數字孿生模型,不僅要訓練大量的數據,還要把它們數字化。
在這個模型中,我們可以看氣象的走向、大氣河的流動,還能看到颶風,并且精確到1公里范圍內,以幫助人類預測它的準確路徑。充分應用了圖形學、物理世界模擬仿真,以及 AI。
能否用“三大靈魂”分析更多事呢?如何把這些技術融入到真實的企業應用環境中至關重要。
比如,用 AMR 小車(自主移動機器人)眼中的數字孿生,同時還制作了大量“場站”數字孿生,以及工作人員視角下的數字孿生,這么多的數字孿生,通過 USD API,連接到 Omniverse Cloud 上,整合背后超強的算力,不斷優化布局,來響應突發事件的管理,以及和 LLM 一系列的交互。
每一個場站的布局背后都有很多的數字孿生模型,就像有一只無形的手在操作,這個手就是 AI Agents,輔助這個標點符號里每一個場站 ARM 小車最優的路徑,這就是物理世界和數字世界交互的一個非常生動的例子。
給一輛小車布一個最優路徑嘗試一下,再給它一個突發事件,看它如何實時調整路徑。假設這邊貨架突然倒塌,它能否及時調整路徑?可以看到,ARM 小車不但重新規劃了自己的路徑,路過時還對 AI Agents 說:“我感覺出現問題了,你趕緊去處理。”這個過程背后技術的復雜程度其實是非常高的,同時需要數字孿生模型、AI 和算力。
而隨著各行業競相將自己重塑為軟件驅動的科技公司,每個領域的生成式 AI 也都如雨后春筍般興起,3D 數據正在實現互操作性,高級圖形學以及從邊緣到云的仿真計算能力的進步,都為各行業的物理流程數字化帶來了全新機遇。
03 仿真工作流 加速 AI 訓練
今年 GTC 上,Omniverse 帶來的最大更新便是 Omniverse Cloud API,把 Omniverse 放到云端,提供一個應用程序編程接口 API,讓開發人員可以將 Omniverse 最核心的技術直接集成到已有的應用層和工作流中。
Omniverse 不僅可以幫助全球工業企業加速自動駕駛車輛、人形機器人、智能倉儲、大規模智慧城市等工作流程,Omniverse Cloud API,更將為基于 AI 的數字孿生仿真工作流的訓練、模擬,以及后階段的部署帶來全新加速。
隨著全球自動駕駛汽車和機器人需求的不斷增加,AI 開發人員可能需要更多的傳感器數據來進行訓練、測試、驗證這些 AI 的感知系統,而這些感知系統可以通過傳感器模擬方式去實現一個合成數據的 1:1 數字孿生世界,在 Omniverse 構架的虛擬世界里進行訓練、測試、仿真、驗證等。這些合成數據都需要物理上非常精確的、符合物理定律的渲染。
AI 是如何在虛擬世界中進行訓練的?
AI 和仿真最重要的是軟件在環(SIL)和硬件在環(HIL)。將所有機器人、自動駕駛汽車、自主移動設備、傳感器全部仿真放在 Omniverse 里,環境、場景都是實時渲染出來的,以實時喂料的方式喂給機器人的傳感器,傳感器看到的數據是假的,傳感器本身也是虛擬出來的,汽車傳感器看到的畫面也是合成數據。把虛擬傳感器捕捉到的數據,和汽車傳感器得到的數據融合在一起,放在數字孿生里渲染,稱之為 SIL。將 SIL 里訓練好的模型,部署到硬件設備上,再做物理的路測或環境測試,叫做 HIL。做強化學習的時候,要確保學習環境是真實有效的,訓練好的模型也是真實有效的,最后再到物理世界去部署。
最終,機器人系統、AI 和 Omniverse 形成了技術閉環。
04 Omniverse 登錄 Apple Vision Pro
全球最受矚目的兩家科技巨頭攜手,NVIDIA 與 Apple 一起,把 Omniverse 帶到了 Apple Vision Pro 中去,將許多 3D 工作流尤其是工業環境下的數字孿生的工作流游戲化,打破了傳統的工業工作流程。
Omniverse 里的 GPU 是頂尖的 RTX GPU,三大核心點:
1.傳統著色的部分,可以用來做像素的渲染,確保畫面是美輪美奐的;
2.光線追蹤加速,用包裹體便利的方式去做實時光線追蹤,延遲更低,幀率更高,與用戶的互動性也更強;
3. Tensor,RTX GPU 里有針對張量運算的 tensor 運算,還可以加速 AI 的訓練,如大模型、GenA、neural graphics、NeRF 等,都可以用 AI 去運算。
在云端 Omniverse API 連接各種應用程序,基于 USD 或 OpenUSD 打通數字資產之間的連接和調用,再通過 RTX GPU 強大的算力和符合物理定律的實時光線追蹤完成畫面渲染,最后呈現在 Apple Vision Pro 用戶眼前的就是真實的 3D 空間場景。
Omniverse 強大的空間計算帶來的全新工作流,使得設計師可以在 Apple Vision Pro 里實現沉浸式體驗,以及人、產品、流程與物理空間之間的無縫互動。在 MR 里設計出的虛擬產品將與物理世界中的實際產品一模一樣,所見即所得,想想都令人興奮。
結語
波士頓咨詢公司(BCG)對企業最高管理層的調查顯示,近四分之三的管理者計劃在今年增加公司的技術投資,89% 的管理者將 AI 和生成式 AI 列為前三大優先事項中。超半數的企業希望利用 AI 提高生產力、改善客戶服務和提升 IT 效率,以實現降本增效。
“AI 已經進入了物理世界。未來將是可生成的?!?/p>
本文由人人都是產品經理作者【MetaPost】,微信公眾號:【MetaPost】,原創/授權 發布于人人都是產品經理,未經許可,禁止轉載。
題圖來自Unsplash,基于 CC0 協議。
- 目前還沒評論,等你發揮!