移動互聯網會不會進入“數字人”時代?
編輯導語:逼真、實時的數字人究竟是如何生產出來的?數字人會成為未來的發展方向嗎?本篇文章將介紹這項了不起的技術發展,推薦對此感興趣的朋友閱讀,希望對你有所幫助。
數字技術是信息時代的引擎,當前AR、VR以及3D技術重新引發人們關注,必將在可視化、高精度化為信息世界帶來重塑。
比如我們近年來看到的一些新的國漫電影已經不能視為卡通片,其人物、場景的光影渲染和逼真效果足以比真人出鏡的電影更為震撼,叫好又叫座;其幕后的數字技術開發團隊依靠劇本和故事脈絡制作DEMO從而尋找到意向投資人,不僅減少了資方的風險,也讓觀眾能看到更多新銳、新穎的作品。
實際上除電影以外,還有一些虛擬形象IP、廣告片、樓宇橋梁建筑設計、工廠規劃圖、室內裝飾全景、汽車(全景)預定等等都需要用到3D以及AR視覺化設計的數字技術,以呈現出預期逼真的藍圖效果或制造出用戶線上互動的交互界面。
很多人不知道的是,這種數字技術和工具最早是在游戲開發中應用成熟之后,逐漸“外溢”到其他行業和應用場景的,并且底層開發工作和操作系統就是虛幻引擎(Unreal Engine,以下簡稱“UE”),這家公司可以說是網絡游戲和視覺設計領域的安卓或者蘋果,外界一直難窺其貌。
我們更近一步追問,UE是否可以在數字世界之中用類似的技術手段來模擬人而非是卡通式的動畫,類似于《三體》VR游戲之中用歷史名人來親歷三體環境一樣。答案是肯定的,相關技術條件以及工具完全具備,因為在大量游戲和電影場景之中人物的逼真度都要求相應的開發工具必須使得人物的面孔、眼睛、皮膚、頭發以及走動光影變化等足夠的細膩逼真。
所謂“逼真、實時數字人”并非是虛擬創作的IP或者二次元形象,實際上是真人,逼真、實時的“數字人”,阿星理解是真實的人三維化,類似于是數字化的“杜莎夫人館”,并且是能夠適應于普通人的,因此其技術突破和迭代可能對于AR、VR等普及化、大眾化意義重大。
(杜莎夫人館中陳列的真人明星蠟像)
逼真、實時數字人究竟是如何生產出來的,又將應用在哪些場景之中,當前的發展瓶頸在哪里?筆者有幸請教中國人民大學產業研究院助理院長、文化科技融合中心主任宋震,以及北京理工大學光電學院光電信息技術與顏色工程研究所研究員翁冬冬,他們是高校相關專業研究的權威,在“數字人”呈現和探索處于前沿。
一、用游戲開發全套工具和系統來做“逼真、實時數字人”
先來介紹下,虛幻引擎是游戲公司 Epic Games所開發的操作系統,能夠為游戲開發者提供大量游戲開發之中所需要的核心技術、數據生成工具以及基礎支持,也就是說,UE使得游戲開發者不需要從0開始寫代碼做每一幀的畫面或者設計相應場景,讓游戲開發者更加聚焦于故事和難度設置上,回歸到游戲本身,讓開發變得更加輕松。
在數字世界之中,這就需要UE本身不斷迭代技術和工具包,以滿足線上數字世界游戲化、交互化以及游戲世界逼真化、動態化的需求,用越來越特效、逼真的圖像處理來對畫面進行更為真實、更為細致的全面刻畫。
截止2021年虛幻引擎已經更新到UE5,主要基于Nanite(虛擬微多邊形幾何體)和Lumen(動態全局光照)的核心技術以及支持上億、幾十億甚至無上限的三角面的渲染,不僅為游戲開發和設計師創意提供了廣闊的舞臺,還能夠廣泛應用在人、物、故事以及各種內容之中。
在游戲世界之中,最難表現的依然是人,因為如果是真實、逼真的人的話,他的面孔或表情是隨著年齡、心情、狀態而發生變化的,在不同場景之中,人們的眼神、光線以及腳步、身形等都是很難用虛擬想象進行刻畫。正如現實生活刻畫精彩有時勝過于小說,而真實記錄數字人工作量實際上也遠遠高于虛擬創作人物。
比如12月份網易云在港上市就有兩個數字人“丁磊”在線上敲鐘,有網友認為是丁磊的美顏版,實際上這與真正的“數字人”還有差距,尤其是在面部表情上,觀眾還是能夠一眼看出來“不夠逼真”。
人們判斷一個數字人逼真不逼真、鮮活不鮮活最重要的關注點是在表情上。宋震說:“人對于表情差異是非常敏感的,人的臉上有70多塊肌肉,能夠產生很多復雜和微妙的變化,面孔以及表情數字化是數字人的重點和難點?!?/p>
制造逼真實時數字人,首先需要對模特或者原型人物進行“照相”采集工作,主要是基于測量攝影的孿生數字人方案,通過球形梯隊照明采集模特在不同光影明暗之下的微表情變化,通過對素材(照片為RAW文件)進行校色、摳像并對面部數據處理和渲染等處理之后進行綁定在系統之中,據了解,一個逼真實時數字人可能有200個G原始素材。
據宋震老師介紹,逼真實時數字人創造流程主要分為“光影采集”、“數據清理”、“重拓撲”、“貼圖處理”、“綁定”、“毛發制定”、“導入UE”、“光照和氛圍”、“動態測試”等九個步驟,這些步驟組合起來都需要UE的深度參與。
要讓專業制造高精度實時數字人能夠保持表情實時變化以及相應的摳像處理、光影變化、聲音匹配等都需要用到Metahuman工具。宋震老師說:“虛幻引擎在2021年上半年推出了Metahuman工具,很快就在3D數字人領域樹立了行業標桿和標準。”
由于Metahuman不只有強大的創意工具比如數字人材質系統、動畫系統等降低項目復雜度,還能夠借助于光學掃描設備,Metahuman的技術管線能夠極大的提高生產效率和表現效果,目前的數字人生產管線也能夠遷移到Metahuman上,實現了很好的兼容。
在數字人創建過程中,不只是用到一兩個DCC(數字內容生成)工具,包含著很多復雜完整的生態之中。翁冬冬老師說“虛幻(引擎)不只是實時可視化的工具,還是整個逼真實時數字人的平臺,甚至稱之為操作系統也不過。因為所有數字人(資產)生成、開啟使用都得使用UE,虛幻引擎實際上是把各種各樣的工具匯聚在一起,而這是操作系統最有價值的?!?/p>
虛幻引擎在制作3D數字內容生產之中提供的便利就好比一個廚師要為客戶制造美味可口的菜肴,不需要親自去購買各種廚具或者去菜場買菜,很多案臺、鍋碗、調料都已經準備妥當,更加便于廚師發揮自己的廚藝。
二、高精度逼真實時數字人已能夠生產,突破口是歷史名人數字化
逼真數字人作為3D呈現的“照片”和“影像”,隨著各種數字人生成技術的成熟,會逐漸成為現實并應用到VR(虛擬現實)和AR(增強現實)的設備之中呈現。
宋震老師在演講之中強調,虛幻引擎的Metahuman與RTX(光線追蹤技術)相結合渲染質量會更加好,未來與AI技術深度結合,未來高精度的虛幻人將會很快出現,并且虛擬人的定制會在直播、演唱會等表演場景之中率先應用。
除現實場景數字人出現以外,這樣的技術實際上還是能夠幫助人們去恢復一些著名歷史人物,讓歷史IP走進人們的現實世界之中,比如我們曾經在歷史上看到的一些著名歷史人物的畫像,很多是后代畫家找神態類似的人臨摹的,實際上逼真數字人技術有望和很多博物館以及相關機構深度合作的。
翁冬冬老師說:“團隊希望能做出一套中華名人的標準數字資產,尤其從近代有照片的名人入手來推動”。他在虛幻引擎技術開放日上介紹了團隊對梅蘭芳先生的數字人生產的樣本案例。
翁冬冬老師說,“北京理工大學聯合中央戲劇學院負責通過高保真實時數字技術對梅蘭芳先生進行復現,這將成為國內第一套真正意義上的京劇數字人項目。”
據了解,翁老師團隊對梅先生的影像資料、照片以及舞臺場景進行大量的研究和還原工作,從工藝、動作、服飾、文玩進行研究,通雕刻構建高精度實體模型,再采用UE數字雕刻方式對掃描數據進行反復精修,基于引導線的構建方式對發型等進行高保真發束,以真實立體裁衣為基礎構建高保真服飾等等,最終制作出梅蘭芳先生的3D數字人。
數字人將結合VR和AR,以三維的形式呈現在觀眾面前,假設用戶想看梅蘭芳先生的表演不是在電視屏幕或者是投影薄膜上進行觀賞,而是面對面和“真人”進行交流。
翁冬冬老師說:“凡是需要有真人或者真實的場景出現,都可以應用數字孿生技術進行還原。站在商業化角度看來,實際上數字人本身也是一種生產工具,能以高逼真數字人為數字資產或者IP來創造影視劇或者拍視頻。而在有人的地方,用人來生產內容的地方,數字人都可以派上用場?!?/p>
當前在國內,數字人產業鏈和研發,在北京、上海、深圳等大城市已經落地和推進。翁冬冬老師給出預測,“真實逼真數字人會成為未來三年后的發展方向?!?/p>
當然,對于實時、逼真數字人本身相應的知識產權和法律完善也是兩位老師研究課題,畢竟技術發展往往需要相應的監管隨時跟上腳步。
三、結語
從人類歷史就是一部分人的再呈現角度來看,逼真實時數字人實現了人從二維化電子屏式呈現到三維式的實時呈現,這的確是一項了不起的技術發展;其生產借助于虛幻引擎(UE)開發工具以及操作系統予以完成,未來還將逐漸輕便化、簡捷化,在專業門檻上降低準入門檻,讓更多人實時遠程精準呈現不再是難事。
無論是影視創作還是商業化都有巨大的想象空間,有關數字人相應的資產生成、保護、流轉、使用逐漸也會引人關注。面對這一技術創新,將會帶來商業世界的深遠影響,現在依然處在積極探索早期階段。
#專欄作家#
靠譜的阿星(李星),公眾號:靠譜的阿星,科技自媒體&媒體專欄作家,專注于公司商業模式研究和互聯網行業分析,靠譜匯創始人
本文原創發布于人人都是產品經理。未經許可,禁止轉載。
題圖來自 Unsplash,基于 CC0 協議
我看完的第一反應,居然是面癱演技行業的競爭來了……