近日，生數科技與清華大學聯合發布了「Vidu」文生視頻模型，那么這一模型，是否可以和 OpenAI 的 Sora 實現對標？一起來看看本文的解讀。

2 個月前，OpenAI 發布了全新的文生視頻模型 Sora，瞬間引爆了全球科技圈，也讓馬斯克說出了「人類愿賭服輸」。在那之后，沒有任何一個大模型敢于在文生視頻領域「挑釁」Sora。

現在，事情有了變化。

在 4 月 27 日舉辦的 2024 中關村論壇上，生數科技與清華大學聯合發布了「Vidu」文生視頻模型，全面對標 OpenAI 的 Sora。

Vidu 生成，動圖經過壓縮。圖/生數科技

不僅是在視頻生成分辨率和時長上，最關鍵的根據官方放出的生成視頻，Vidu 已經實現了相當程度的「擬真」——模擬真實世界的物理原理，以及主體的一致性。這是 Vidu 真正對標 Sora 的底氣。

但 Vidu，離 Sora 到底還有多少差距？

一、對標 Sora，Vidu 還差「一點」

從這次發布可以看出，Vidu 處處都在對標 Sora。同樣是通過提示詞直接生成視頻，同樣支持最高 1080P，雖然 16 秒的生成視頻時長還明顯短于 Sora（最長 60 秒）。

最明顯的還是生成的視頻內容。

比如 Sora 街頭行走這一段，相信會看這篇文章的讀者應該都看過，一度刷爆了各大社交媒體。

Sora 生成，動圖經過壓縮。圖/ OpenAI

Vidu 也同樣生成了類似的視頻內容，開始展示了一男一女一熊走在街頭的畫面，隨后又重點展示了熊人的背景街道。

Vidu 生成，動圖經過壓縮。圖/生數科技

雖然相比 Sora 那段少了很多震撼和細節展示，但不管是皮衣的質感，還是路面的反射和倒影，Vidu 其實都展現了非常有說服力的效果。

更重要的是，背景、人物主體是一致的，并沒有在前后發生大的變形或變化。

類似的表現還出現在其他生成視頻上。

比如開車這一段，鏡頭一直跟隨著汽車前移，但路旁的樹木和汽車主體始終沒有發生變化，并不像很多擴散模型一樣，這一秒和下一秒的主體都可能出現明顯的差異。

Vidu 生成，動圖經過壓縮。圖/生數科技

不過在保真度上，Vidu 還是和 Sora 有比較明顯的差距。相似的提示詞（內容）下，Sora 開車這一段的背景明顯更接近真實世界，用比較通俗的話講，Vidu 有點「油畫」。

Sora 生成，動圖經過壓縮。圖/ OpenAI

但顯然，Vidu 作為國產大模型，還是更懂中國。

Sora 在之前曾經生成過一段街頭「舞龍」的視頻，而 Vidu 干脆直接生成了一段「真龍」的視頻，背景是輝煌的宮殿群。

Vidu 生成，動圖經過壓縮。圖/生數科技

如果 Sora 的重點與其說是舞龍，實則更像展現「圍觀群眾」的驚人模擬，那 Vidu 就是真真正正模擬了一條龍。

此外，Vidu 還生成了一段「熊貓在湖邊彈吉他」，除了主體上的擬真，背景部分的草地、湖水都相當程度地「真實」。

Vidu 生成片段截圖，非動圖。圖/生數科技

在人物生成上，Vidu 也有一組畫面充分展示了它的實力，從面部表情、眨眼到抬頭，都非常接近實拍鏡頭。就算比起 Sora 的人物鏡頭，也不遜色多少。

Vidu 生成，動圖經過壓縮。圖/生數科技

另外考慮到要參與視頻內容制作流程，這類文生視頻模型也繞不開「鏡頭調度」的能力，事實是 Vidu 依然展示了相當不錯的水平。

總的來說，雖然有 Sora 珠玉在前，但從目前公布的生成視頻來看，Vidu 依然展示了極高的視頻生成能力，或者說是模擬物理世界的能力?；蛟S在生成復雜畫面、保真度等方面還差 Sora，但有一些鏡頭完全稱得上可用，這已經是一個很大的進步。

當然，Sora 的反方向跑步，Vidu 的「人物」突然長出第三條腿，都說明即便 AI 在視頻生成領域有了跨越性的進步，仍然還有很大的提升空間。

突然出現的第三條腿。圖/生數科技

正如 OpenAI 在 Sora 發布之初承認的，這類模型當前存在一定的局限性，比如無法模擬復雜場景的物理效應，理解某些特定因果關系等。

二、好飯不怕晚：如何制造 Vidu？

看起來，Vidu 就好像 Sora 一樣橫空出世，以相當驚艷的表現引起刷屏，而且同是基于對 Transformer 與 Diffusion 架構的融合。但很多人并不知道，生數科技聯合創始人兼 CEO 唐家渝上個月就透露過：

「今年內一定能達到 Sora 目前版本的效果?！?/p>

不僅如此，這家幾乎可以算是從清華大學人工智能研究所「孵化」出來的初創公司，在 2022 年 9 月就提出了融合 Diffusion 和 Transformer 的 U-ViT 架構，比 OpenAI 提出 DiT 架構（Sora 的底層架構）還要早。

甚至因為發布時間更早，計算機視覺頂會 CVPR 2023 提前收錄了清華大學的 U-ViT 論文，而以「缺乏創新」為由拒絕了 OpenAI DiT 論文。

但總的來說，這兩家公司的思路大體一致。

目前市面上大部分視頻生成模型都是基于 Diffusion 架構的擴散模型，比如 Stable Video Diffusion。OpenAI 和生數科技則是引入大語言模型底層的 Transformer 架構，在一定程度上，解決了文生視頻一直以來前后一致性和視頻長度過短的問題。

Vidu 生成，動圖經過壓縮。圖/生數科技

所以在 Sora 和 Vidu 生成的視頻中，你可以說有很多不完美，但在保證主體和背景一致性上，它們都有了實質性的飛躍，幾乎不會看到有人物邊走邊變形的情況，背景不會時刻在變，場景也不會在沒有任何轉場的情況下突變。

不過很多人可能還有一個問題：明明更早提出融合架構，生數科技為什么更慢？甚至效果還差一些？

事實上不難理解。要知道，生數科技正式成立于 2023 年 3 月，雖然在不久后獲得了阿里、百度、字節等公司和機構的多輪融資，但最多也就融到數億。相比之下，OpenAI 背靠微軟，在算力、數據、資金、人才等方面都有著更大的優勢。

同時，這也會影響到 Sora 和 Vidu 完全不同的發展路徑。

在接受 WSJ 記者采訪時，OpenAI 首席技術官 Mira Murati 公開表示，Sora 最快將會在今年年內面向公眾推出?？紤]到 Sora 生成視頻需要的海量算力，外界估計，可能將有限度地率先開放給 ChatGPT Plus 用戶。

而據唐家渝表示，生數科技目前要走兩條路。

一是打造覆蓋文本、圖像、視頻、3D 模型等多模態能力的底層通用大模型，面向 B 端提供模型服務能力；二是自己面向圖像生成、視頻生成等場景打造垂類應用，面向游戲制作、影視后期等需求提供訂閱制收費服務。

寫在最后

Sora 剛發布的時候，國內一片驚嘆，又是一片哀嚎。

360 創始人周鴻祎說，Sora 將人類實現 AGI（通用人工智能）的時間從 10 年拉小到了 1-2 年，同時也進一步拉大了中美在 AI 領域的差距。還有更多人認為，盡管國內大模型眾多，做視頻模型的也不少，卻看不到一個能夠追趕 Sora 的競爭對手。

而 Vidu 的發布，至少再次證明了一切皆有可能。但如果說 Sora 的發布是一個開始，那我相信 Vidu 不是結束，「甚至不是結束的開始。但這也許是開始的結束?！?/p>