效果炸裂!OpenAI首個視頻生成模型發(fā)布,1分鐘流暢高清,網(wǎng)友:整個行業(yè)RIP

2 評論 3948 瀏覽 3 收藏 8 分鐘

昨天,OpenAI公布了一種新的人工智能系統(tǒng),該系統(tǒng)可以根據(jù)用戶的文本提示創(chuàng)建逼真的視頻,使其成為最新一家采用生成視頻技術(shù)的人工智能公司。這個新模型的效果咋樣?我們來看看作者的分析。

剛剛,奧特曼發(fā)布OpenAI首個視頻生成模型Sora

完美繼承DALL·E 3的畫質(zhì)和遵循指令能力,能生成長達(dá)1分鐘的高清視頻。

AI想象中的龍年春節(jié),紅旗招展人山人海。

有緊跟舞龍隊(duì)伍抬頭好奇官網(wǎng)的兒童,還有不少人掏出手機(jī)邊跟邊拍,海量人物角色各有各的行為。

雨后東京街頭,潮濕地面反射霓虹燈光影效果堪比RTX ON。

行駛中的列車窗外偶遇遮擋,車內(nèi)人物倒影短暫出現(xiàn)非常驚艷。

也可以來一段好萊塢大片質(zhì)感的電影預(yù)告片:

豎屏超近景視角下,這只蜥蜴細(xì)節(jié)拉滿:

網(wǎng)友直呼game over,工作要丟了:

甚至有人已經(jīng)開始“悼念”一整個行業(yè):

一、AI理解運(yùn)動中的物理世界

OpenAI表示,正在教AI理解和模擬運(yùn)動中的物理世界,目標(biāo)是訓(xùn)練模型來幫助人們解決需要現(xiàn)實(shí)世界交互的問題

根據(jù)文本提示生成視頻,僅僅是整個計(jì)劃其中的一步。

目前Sora已經(jīng)能生成具有多個角色、包含特定運(yùn)動的復(fù)雜場景,不僅能理解用戶在提示中提出的要求,還了解這些物體在物理世界中的存在方式。

比如一大群紙飛機(jī)在樹林中飛過,Sora知道碰撞后會發(fā)生什么,并表現(xiàn)其中的光影變化。

一群紙飛機(jī)在茂密的叢林中翩翩起舞,在樹林中穿梭,就像候鳥一樣。

Sora還可以在單個視頻中創(chuàng)建多個鏡頭,并依靠對語言的深入理解準(zhǔn)確地解釋提示詞,保留角色和視覺風(fēng)格。

美麗、白雪皚皚的東京熙熙攘攘。鏡頭穿過熙熙攘攘的城市街道,跟隨幾個人享受美麗的雪天并在附近的攤位購物。絢麗的櫻花花瓣隨著雪花隨風(fēng)飄揚(yáng)。

對于Sora當(dāng)前存在的弱點(diǎn),OpenAI也不避諱,指出它可能難以準(zhǔn)確模擬復(fù)雜場景的物理原理,并且可能無法理解因果關(guān)系

例如“五只灰狼幼崽在一條偏僻的碎石路上互相嬉戲、追逐”,狼的數(shù)量會變化,一些憑空出現(xiàn)或消失。

該模型還可能混淆提示的空間細(xì)節(jié),例如混淆左右,并且可能難以精確描述隨著時間推移發(fā)生的事件,例如遵循特定的相機(jī)軌跡。

如提示詞“籃球穿過籃筐然后爆炸”中,籃球沒有正確被籃筐阻擋。

技術(shù)方面,目前OpenAI透露的不多,簡單介紹如下:

Sora是一種擴(kuò)散模型,從噪聲開始,能夠一次生成整個視頻或擴(kuò)展視頻的長度,

關(guān)鍵之處在于一次生成多幀的預(yù)測,確保畫面主體即使暫時離開視野也能保持不變

與GPT模型類似,Sora使用了Transformer架構(gòu),有很強(qiáng)的擴(kuò)展性。

在數(shù)據(jù)方面,OpenAI將視頻和圖像表示為patch,類似于GPT中的token。

通過這種統(tǒng)一的數(shù)據(jù)表示方式,可以在比以前更廣泛的視覺數(shù)據(jù)上訓(xùn)練模型,涵蓋不同的持續(xù)時間、分辨率和縱橫比

Sora建立在過去對DALL·E和GPT模型的研究之上。它使用DALL·E 3的重述提示詞技術(shù),為視覺訓(xùn)練數(shù)據(jù)生成高度描述性的標(biāo)注,因此能夠更忠實(shí)地遵循用戶的文本指令。

除了能夠僅根據(jù)文本指令生成視頻之外,該模型還能夠獲取現(xiàn)有的靜態(tài)圖像并從中生成視頻,準(zhǔn)確地讓圖像內(nèi)容動起來并關(guān)注小細(xì)節(jié)。

該模型還可以獲取現(xiàn)有視頻并對其進(jìn)行擴(kuò)展或填充缺失的幀,請參閱技術(shù)論文了解更多信息(晚些時候發(fā)布)。

Sora 是能夠理解和模擬現(xiàn)實(shí)世界的模型的基礎(chǔ),OpenAI相信這一功能將成為實(shí)現(xiàn)AGI的重要里程碑。

二、奧特曼在線接單

目前已有一些視覺藝術(shù)家、設(shè)計(jì)師和電影制作人(以及OpenAI員工)獲得了Sora訪問權(quán)限。

他們開始不斷po出新的作品,奧特曼也開始了在線接單模式。

帶上你的提示詞@sama,就有可能收到生成好的視頻回復(fù)。

參考鏈接:[1]https://openai.com/sora

作者:夢晨 西風(fēng) 發(fā)自凹非寺

來源公眾號:量子位(ID:QbitAI),追蹤人工智能新趨勢,關(guān)注科技行業(yè)新突破

本文由人人都是產(chǎn)品經(jīng)理合作媒體 @量子位 授權(quán)發(fā)布,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自 Unsplash,基于 CC0 協(xié)議

該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 這是個好消息

    來自廣東 回復(fù)
  2. 王者來了,其他都是弟弟

    來自廣東 回復(fù)