從Sora的發布到國內各大模型的加速追趕，我們見證了一個充滿潛力的黃金賽道的誕生。但技術的快速發展同時帶來了應用和商業化的挑戰。本文將帶你一探究竟，AI視頻生成的未來將如何塑造我們的數字世界。

“生成的人物一轉身就變成老外，怎么解決呢？”

“沒有辦法，10s中動作大的，人物一致性有問題，只能抽卡，多刷幾個，選擇一個變化不大的?！?/p>

在一個以Ruanway學院為主題的群中，不斷有各種針對AI視頻生成的問題產生，而群內有AI視頻生成使用經驗的，則也在積極分享自己的使用方法論，并解答相關問題。

這樣的AI視頻生成相關的群聊并不在少數，且每個群都相當活躍，大部分用戶對AI視頻生成工具都保持了相當高的興趣，并在各種平臺上分享自己基于AI視頻生成工具所創造出的視頻內容。

國內用戶積極對AI視頻生成工具探索和使用的背后，是今年2月份Sora的發布，作為行業發展風向標，徹底引爆了國內AI視頻大模型生成賽道。

3月字節跳動旗下剪映Dreamina（即夢）開放內測；4月，AI企業生數科技發布號稱首個國產自研視頻生成大模型Vidu；6月，快手可靈AI正式開放內測。

7月，商湯推出最新AI視頻模型 Vimi，阿里達摩院也發布AI視頻創作平臺“尋光”，愛詩科技則發布PixVerse V2，快手可靈宣布基礎模型再次升級，并全面開放內測，而智譜AI也宣布AI生成視頻模型清影（Ying）正式上線智譜清言。

同時，這些AI視頻大模型生成工具大部分都已經向公眾開放使用。7月30日，生數科技的AI視頻大模型Vidu也正式面向全球公眾開放使用。

歷經大半年，國內大模型賽道終于進入Sora時刻。從AI跳舞、火柴人，到5秒~16秒的高質量視頻生成，AI視頻大模型的生成能力整體都邁入了下一個階段。

不過，相比于至今仍未開放的Sora，中國的AI視頻大模型已然開啟加速模式。在技術能力不斷迭代升級的同時，還在持續進行技術應用和商業化落地探索。

事實上，相比于ChatGPT等聊天機器人，AI視頻生成大模型作為一個具有工具屬性的產品，天然就具備商業化變現能力，現階段開放給公眾使用的AI視頻生成工具也皆采用付費模式。

如智譜清影上線的定價策略是：首發測試期間，所有用戶均可免費使用；付費5元，解鎖一天（24小時）的高速通道權益，付費199元，解鎖一年的付費高速通道權益。

不過，當前AI視頻生成賽道的商業化仍處于非常早期階段。

“說實話，我們也不知道未來商業策略會是什么樣，或什么形式最好，目前所謂的收費策略更多是一種早期嘗試，試試看市場和用戶反饋，后面會及時調整?！敝亲VAI CEO張鵬如此說道。

AIGC智能創意平臺筷子科技創始人兼CEO陳萬鋒也表示：“目前C端用戶基于AI視頻大模型平臺開發出的視頻應用指向型不強，這些平臺也并不知道C端用戶將會如何使用這些視頻?！?/p>

從技術的迭代更新，到探尋技術的應用和商業化變現，國內AI視頻生成賽道玩家們無疑是在加足馬力狂奔。但從當前行業現狀來說，卻也仍存在諸多挑戰。

01 AI視頻軍備競賽，都在“卷”什么

用AI生成視頻，并不是新物種，只不過此前AI視頻生成的時長一直卡在2s-4s，且整體視頻生成效果體驗并不足夠令人驚艷。

Sora一發布，則直接展示了其生成的1分鐘視頻，且其視頻所展示的畫面效果驚人，就算在視頻動態運動情況下，隨著空間的移動和旋轉，視頻中出現的人物和物體也會保持場景一致性移動。

這可以說震驚了整個AI屆。Sora背后的技術架構，也被業界所了解并跟進。

此前AI視頻生成的技術路線主要有2大類：

• 一類是Diffusion Model（擴散模型技術路線），主要玩家包括Runway、Pika Labs等。
• 一類是基于Transformer架構的大語言模型生成視頻技術路線。

去年12月底，谷歌發布了基于大語言模型的生成式AI視頻模型VideoPoet，這在當時被視為生成視頻領域中，擴散模型之外的另外一種解法和出路。

Diffusion Model將一張圖片通過引入噪聲使其變成原始馬賽克，在通過引入“神經網絡”，如基于卷積神經網絡（CNN）的UNet結構，從某個時間點的畫面，減去預測的噪音，得到的就是最原始沒有噪音的畫面，也就是最終生成的畫面。

大語言模型則是通過視頻數據來對大模型進行訓練，使其能夠理解視頻數據中的基本Token詞匯以及所對應的視頻畫面。當用戶給予指令詞之后，其就能夠根據學習到的Token詞匯生成對應的視頻內容。

兩種技術路線都存在各自的優劣勢，單一模型所生成的視頻在時長和畫面效果上，都難以實現根本性突破。Sora則選擇了將擴散模型和Transformer模型結合的技術架構體系-DiT（Diffusion ＋ Transformer ）架構。

有業內觀點認為，Sora是將Diffusion擴散模型中的U-Net架構替換成了Transformer架構。

兩者的結合效果，一個AI從業者形象的解釋為：擴散模型就像是一個雕塑過程，將石料上不應該存在的部分去掉，創造出雕塑作品。而Transformer通過自注意力機制，理解時間線之間的關聯，則讓這尊雕塑從石座上走了下來。

AIGC創業者洋芋醬AIgen（藝名）也認為：“視頻是一幀一幀的圖像，采用UNet結構的邏輯是按照生產圖像的方式做視頻，AI每生成一張圖像都是隨機的，所以整個畫面看起來很閃。而用視頻訓練的AI，其產出的畫面就相對穩定，不會狂閃，具有合理的連續的幀?！?/p>

因此，Sora發布之后，DiT技術架構也成AI視頻玩家的主流技術架構，并將其視為通往AGI的關鍵技術。

目前，市面上主流AI視頻工具在生成4秒-10s左右的視頻片段。

生數科技此次Vidu開放文生視頻、圖生視頻兩個功能，提供4s和8s兩種時長選擇，分辨率最高達1080P。在速度上，生成一段4秒片段的實測推理速度只需30秒。

愛詩科技的PixVerse V2，可支持生成單個時長8s的片段，且支持一鍵生成1-5段連續的視頻內容，片段之間也會自動保持主體形象、畫面風格和場景元素的一致性。

智譜AI的智譜清影可生成6秒的視頻，時間只要30秒左右，清晰度可達1440×960（3：2）。

快手可靈生成的視頻時長在5s，但其有將視頻時長延長的功能，可以將視頻時長延長至10s，但在生成視頻的速度上，卻相對較慢，往往需要2-3分鐘時間。

從技術的積累上來看，雖然都在布局DiT架構，但國內AI視頻生成企業還處于追趕階段，AI視頻生成的時長和效果，尚未達到Sora的水平。

張鵬也坦言：“Sora的演示效果不錯，我們還是一個初步的階段性成果，達不到像Sora演示出來那么好、那么長的視頻。我們從來都很坦誠承認與OpenAI、和世界頂級水平之間的差距?！?/p>

但國產大模型也在堅持用自己的方式追趕OpenAI，比如“怎么把視頻生成算力成本降下來，響應速度提升上去，我們在追求技術高度的同時，也同步追求技術的可普及性和成本?！睆堸i說。

無疑，技術上國內AI視頻大模型賽道玩家還在追趕，但在應用和商業化上卻已然走在前列。

02 圖生視頻成主流，不穩定、一致性仍是問題

在技術架構升級之后，現如今的AI視頻生成的視頻效果與時長，已經與年初有了本質的區別。

當前，各AI視頻大模型產品主要提供2大核心能力，一個是文生視頻，一個是圖生視頻。兩個核心功能的工作流并不一致，文生視頻可通過一句指令生成一個想要的視頻。

而圖生視頻的工作流更為復雜，要先用文字指令詞通過Midjourney或Stable Diffusion等工具生成自己想要的圖片，再基于圖片通過AI視頻生成工具生成視頻內容。

于普通的業務愛好者而言，想要體驗AI視頻生成效果，文生視頻功能已經夠用。

但對于想要基于此進行視頻內容商業化交付的從業者而言，“基本上，沒有人用文生視頻?！?/strong>星賢文化創始人、AI原創玄幻IP《山海奇鏡》制作人陳坤對光錐智能說道。