AIGC在視頻生成領域究竟有多大的想象空間?
AI技術正在視頻內容生成領域發揮著越來越大的作用,那么當下,各家產品們的AI視頻生成能力表現得如何?AIGC在視頻生成領域的發展,未來又有著怎樣的想象空間?一起來看本文的分享。
“AIGC在視頻內容生成的賽道上才剛剛起步。”
上周二Stable Video Diffusion(SVD)模型的發布在行業內引起熱議,SVD模型主要提供圖片生成視頻能力。在短視頻的時代,誰能不對智能視頻內容生成能力感到興奮呢?那AI視頻生成能力現在如何能為我們所用,未來會有多大的想象空間呢?
從產品類型區分,AIGC視頻生成產品可以分為:
- 數字人合成視頻:以數字人搭配對話的形式為視頻內容主題,數字人可以為個人真實形象或者是虛擬人物形象;
- 圖文生成視頻:通過輸入圖片搭配文字描述生成以圖片內容為主題的擴展視頻;
- 素材合成:通過文字描述,在素材庫或網絡中檢索匹配的視頻或者圖片內容,組合成一部視頻。
一、數字人合成視頻
通過個人形象+動作+聲音合成視頻,視頻內的相關元素均可通過視頻錄制上傳后制作成為模板。適用于視頻內容相對固定,視頻形式以真人+講解的場景,例如廣告宣傳、知識講解等。
以下是通過HeyGen生成的視頻片段,兩個形象均為數字虛擬人,從產品效果看,數字人的形象、動作、音色的還原度均非常高。
前陣子非?;馃岬耐庹Z對嘴型視頻也可以通過HeyGen進行制作,只要上傳視頻并選擇需要翻譯的語言,就可以將原視頻音頻的語言翻譯為指定的另一門語言,并將視頻中人物發音的嘴型對應上。
二、圖文生成視頻
通過圖片+文字描述生成視頻。由于文字控制的自由度過高,隨著視頻時間的增加,視頻內容的質量目前很難保證(且隨著AI模型對視頻內容記憶的增加,視頻生成將消耗大量的硬件資源),目前適用于制作5秒以內的短視頻(動態圖),作為靜態圖片的延展。
但人類對于AI的幻想從來都不會局限在僅僅幾秒的時間內。Runway在8月推出了Watch功能,展示了分鐘級別的作品,目前已有60多個作品。雖然中長視頻制作的功能暫未開放,但已有的作品為我們展示了AI在未來的可想象性。
以下視頻是Runway的Watch功能里片段,除了人物鏡頭拉遠后身體細節會出現一些扭曲外,視頻整體的質量已經相當不錯。
三、素材合成
通過文字描述在已有的素材庫中選擇合適的視頻及圖片素材進行匹配,文字描述將作為字幕展示,再選擇音色對字幕進行配音。這種應用方式從視頻的角度是生成,而從素材的角度更多是進行合成。由于素材是從已有素材庫提取,故視頻質量相對可控。適用于素材較多的視頻制作場景。
以下是通過剪映文字成片功能制作的視頻片段,視頻內容整體的流暢度與文字描述關聯較大,但有部分素材與文字描述不符,受限于素材庫的素材量。
四、未來展望
從目前的產品形態以及生成質量上看,AIGC在視頻生成領域的發展,還遠未達到批量消費級內容生產的階段。受限于機器資源、內容豐富度、使用場景等因素,視頻生成能力還需要經過很長時間的打磨。
在未來,集成了三類視頻生成能力的工具可能會推動AI生成視頻走向消費級別。我們可以先定義好人物形象、聲音、動作,再從素材庫檢索并添加已有的素材,最后根據文字描述決定故事情節的走向?;蛟S有一天,所有人都可以成為一名AI電影導演。
本文由 @只A不I 原創發布于人人都是產品經理。未經許可,禁止轉載。
題圖來自Unsplash,基于 CC0 協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
- 目前還沒評論,等你發揮!