AI + 數字孿生:顛覆傳統的科技革命
在當今數字化的浪潮中,AI和數字孿生這兩項前沿技術的結合正以前所未有的方式重塑著各個領域。目前國內的數字孿生應用大多都是三維建模渲染疊加業務數據,主要注重數據以及場景渲染效果,再結合業務需求傳遞業務價值。除此之外,目前AI與數字孿生的結合到底有哪些實際可以落地的呢?
一、行業趨勢
1. 自動化建模
1)文生模型(TEXT TO 3D)
Luma AI是一家提供3D捕捉和建模技術的公司,旨在幫助用戶輕松創建高質量的3D內容。Luma AI于2024年1月發布的Genie 1.0,只需輸入一句文字提示,就能在10秒內生成四個高保真的3D模型,用戶可選擇并在三維網格界面內編輯模型紋理。這些模型可在屏幕上預覽,也能導出到Blender、Unity等工具中進一步使用。
除Luma AI外,市面上還有非常多的文生模型產品,大家可以自行去體驗一下。
2)圖片/視頻建模
目前,由文生模型直接生成的模型在實際項目中還不具備很強的應用價值。那么,另一種圖片/視頻建模更具有實際的應用價值,其原理基本就是根據圖片或者視頻計算空間坐標,生成點云數據,根據點云模型和照片進行簡單的粗建模和點云匹配照片映射,生成一個可看的模型。
目前圖片以及視頻建模,有好多產品都可以做到,這里看一下通過SA完成的圖片建模效果。
由相機拍攝的甜甜圈圖片(需要n多張圖片)
自動建模產生的甜甜圈模型
這里可以看到,由SA完成建模的圖片,質量其實算不錯的,如果是做一些小物件的資產沉淀,大家可以嘗試使用這類方法。
這里推薦下虛幻的Bridge模型庫,號稱價值千億的掃描模型庫。
總的來說,目前自動化建?;径即嬖谝韵聠栴}:
- 細節缺失與精度問題:生成的 3D 模型在復雜的細節和高精度要求方面可能表現不佳。例如,對于具有精細紋理和微小結構的物體,生成的模型可能會顯得粗糙或模糊。
- 材質和光照模擬問題:生成的模型在材質表現和光照效果的模擬上可能與真實情況存在偏差,影響視覺效果和真實性。比如生成的金屬材質可能沒有真實金屬的反射和光澤特性。
- AI理解能力有限(文生模型):在高質量3D數據獲取上,本身就是一個非常大的挑戰,訓練數據又直接影響生成的模型本身。AI 可能無法完全理解模型在特定場景或整體設計中的上下文和語義關系,導致生成的模型在實際應用中不夠貼合需求。例如為特定游戲場景生成的道具模型,可能與游戲的整體風格和邏輯不匹配。
- 后期編輯和修改困難:與傳統手工建模相比,對自動建模生成的3D 模型進行后期的大幅度編輯和修改可能較為困難,需要特定的技術和工具。有時候修改成本甚至會遠遠超出手工建模成本。
以上問題均會導致生成的模型無法直接應用于實際項目。
因此,目前階段,自動化建模還無法被大批量使用來提高生產效率。
2. AI算法訓練
最近自動駕駛與機器人概念十分火爆,那么在這兩個行業中,數字孿生又能發揮什么作用呢?
1)自動駕駛
自動駕駛是經典的四維空間計算難題,其重點在于實現四維空間中的感知、建圖、定位與決策規劃的實現。
目前市面上大多自動駕駛技術前期都會基于仿真三維場景進行大量數據的訓練,通過構建虛擬的交通場景,對訓練好的模型進行測試和驗證。比如,在孿生仿真平臺中設置各種復雜的交通狀況,包括突發的事故、惡劣的天氣等,以檢驗模型的應對能力。
2)機器人訓練
在今年的WAIC世界人工智能大會上,出現了服務型機器人展示,如機器人拿著咖啡杯在咖啡廳移動進行客戶服務,以此來展示其在用餐環境下的服務能力。又或者在景區導覽上,已經有部分導覽機器人在對游客進行服務了。
那么這一類需要在不同環境下具備感知環境、與人交互、執行任務能力的機器人,大多數的實現思路都需要先將周邊環境進行三維建模,再結合特定的服務場景,對機器人進行訓練。那么,在對服務要求較高的情況下,每一個店鋪甚至是每一個場景,都需要進行專門的場景建模以及針對性訓練。
在眾多的仿真場景中,如工業生產、氣象防災、低空經濟等領域,皆需要三維仿真場景來支撐數據訓練,因此,如何快速構建精準的三維場景就顯得極為重要。
二、TEXT TO 3D實測—D5渲染器
D5是我非常喜歡的一款軟件,它高效的場景搭建功能以及高質量的三維資產,真的在市面上很有競爭力。
在D5中有一個還處于內測階段的文生模型功能,作者申請了一下然后拿到了使用次數,大家感興趣也都可以去試試。
接下來看一下實際的使用測試情況。
1. prompt:地鐵進出站閘機模型
結果:最終生成的模型和預期的相差較大,大概是AI并沒有理解我們的提示詞導致的。
然后對第一個結果進行了細化,可以看到,模型的清晰度會比剛生成時好很多。
2. prompt:一幢3層樓的房子,需要有陽臺
結果:這一次AI理解了,提示詞中的三層樓和陽臺都能看出來,但細節以及模型大小都存在較大問題。此次生成沒有繼續細化了,因為生成次數有限。
3. prompt:一個馬克杯,主要顏色為紅色,需要有把手
結果:這一次AI也理解了,提示詞中的馬克杯、紅色、把手都有還原,但同樣的,生成的模型細節仍然有問題。細化后的模型,除了表面稍微細致一點外,無其他明顯細節。
從本次測試可以看出,在第一部分我們總結的自動化建模問題中,在這三次生成中都多多少少存在,因此,文生模型依舊道阻且長。
三、三維高斯重建
目前我們內部在嘗試使用三維高斯重建技術來代替傳統手工建模,主要應用于大場景中的非重點區域模型自動生成。
其主要流程分為三個部分:提供需要生成區域的視頻—生成ply文件—通過插件導入到UE引擎使用;
在實際應用中,三維高斯重建技術還需要解決一些問題,如如何更好地處理混疊(摩爾紋)現象、提高渲染視角相關效果的能力、優化計算效率等。
下面是根據同一個視頻文件,生成的兩個效果截圖,可以明顯看出,優化后的效果好于優化前。
優化前生成效果:
優化后生成效果:
除以上內容外,數字孿生技術結合AI在工業、醫療、城市規劃、氣象防災等方面都得到了充分的應用??傊瑪底謱\生與 AI 的結合是發展的必然趨勢,盡管面臨挑戰,但前景廣闊,將為各個領域帶來深刻的變革和巨大的價值。
本文由 @不理性的小馬同學 原創發布于人人都是產品經理。未經作者許可,禁止轉載
題圖來自Unsplash,基于CC0協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務
所以你說的AI+數字孿生是ai生成模型
我個人接觸的主要還是三維這塊多點,所以可以寫的更偏向建模,確實局限了一點。實際中文章里也寫了,ai算法訓練仿真都會有需求場景