試了Runway新模型,我覺得OpenAI的Sora真的危險了

1 評論 1305 瀏覽 3 收藏 14 分鐘

試了試 Runway 的新模型,圍觀者皆是歡呼雀躍的聲音,各種鏡頭讓人分不清是虛擬還是現實。Runway 的圖文視頻生成能力究竟如何,讓我們來一探究竟吧。

在今天的文章開始之前,知危編輯部想先鄭重地喊話一下 Sora:哥們,再不開放測試,這飯可就真捂臭了。因為就在今天,萬眾矚目的 Runway 終于全面開放了 Gen3 版本。這個全新一代版本的生成視頻長度,已經從原先的 4s 飛躍到了 10s。

隨手翻一翻評論,你會發現全是歡呼雀躍的聲音,有的圍觀者直接甩出狠話:這就是現在最好的視頻 AI。

從 Runway 這條官方推文里給出的例子來看,Gen3 版本的效果確實讓人眼前一亮。各種鏡頭調度、高清的皮膚紋理、自然的人物動作,試問這下誰還能分清虛擬和現實?

看到這,讓人不禁替隔壁還沒開放跡象的 Sora 捏把汗。因為,在文生視頻領域,大家都在爭先恐后地甩狠貨出來。從 Pika,到 Luma,再到前段時間在海外大殺四方的快手可靈 AI。

此前老外為了尋求快手可靈 AI 的測試資格甚至會用中文打出 “ 求求你了 ”這次 Runway Gen3 的全面開放,算是把大家的注意力,從可靈那邊拉回來了一點。

由于 Sora 尚不能測試,這次知危編輯部就拿快手可靈 AI 這個受到國內外廣泛認可的文生視頻模型與 Runway Gen3 進行比較,大家可以借此看出 Runway Gen3 的效果。

測試前我們先說明一下,可靈 AI 由于出自快手之手,所以特別擅長與吃相關的畫面。而 Runway3 則是重點宣傳自己的真實感、想象力以及有很好的鏡頭審美。大家可以帶著兩家的特點進行觀看。

首先,我們從 Runway Gen3 這個新選手的拿手項目入手,給了可以發揮電影感的關鍵句:一個孤獨的人在酒吧里喝飲料。

( 提示詞:Static, locked-off shot, Harsh, neon lights, A solitary figure sitting at a bar, Sipping a drink, staring into space, A crowded, dimly lit bar, Lonely, melancholic )還沒比出結果,Runway 就在生成時長上小勝一籌了。因為可靈生成 5s 的內容,要花幾分鐘。

但 Runway 一分鐘不到,就做出可靈一倍時長的視頻。而且,別看它用時短,快功反而出細活。鏡頭拉近之后,男人側身并且睜開眼,一系列的鏡頭調度,妥妥的百萬制作。如果不是張嘴的特寫有些不自然,說它是某部好萊塢電影的片段,肯定能忽悠到不少人。

Runway Gen3↓

不過,作為征服過老外的存在,可靈 AI 生成效果也完全不遜色,而且,主角低頭看杯子的神情,完美貼合了【 孤獨 】的設定。

可靈 AI ↓

既然沒分出勝負,那咱們再比一輪,這次給的關鍵句是:消防員在火場滅火的戲劇感。

( 提示詞:Silhouette shot,Fiery flames of a burning building, A firefighter battling the blaze, Spraying water, rescuing people,A burning building in the night, Dramatic, heroic )

到這局,Runway Gen3 的優勢就表現得特別明顯了。人物剪影的鏡頭處理,和橘色的調色,讓整個畫面莊嚴又熱血。

Runway Gen3 ↓

可靈雖然生成內容依然沒有問題,人物動作也都很逼真。可是畫面處理上有點隨意,很像熱無意中路過火場的熱心市民,拿手機隨手錄的。很真實,但是確實鏡頭美感沒有 Runway 好。

可靈 AI ↓

既然第一輪可靈略遜一籌,那現在讓我們調轉主場,來到可靈的主場:吃播。不過,測到這里的時候,出了點小插曲。知危編輯部發現 Runway 變強了,但審查也變嚴了。

我本來想試試經典老番,把威爾史密斯先生請出山,讓他為我們再嗦一次面條。結果卻被遺憾告知【 此內容已被標記 】。不僅是名人,連皮克斯動畫,都被列為了禁止。

沒辦法,咱們只能換個題,改做 “ 一個男人在吃面條 ”。

( 提示詞:Warm, inviting lighting, A person with a focused expression, Using chopsticks or a fork to skillfully slurp up the noodles, A casual dining environment, Enjoyable, satisfying )

到了主場的可靈 AI,果然穩定發揮,所向披靡。效果比我第一次測試還要逼真,感覺面條的熱氣,都飄到我的臉上了。

可靈 AI ↓

到了 Rumway 這邊,果然犯了 AI 的老毛病,出現了面條瞬移,嘴巴錯位的問題。不過其實效果也進步很大了,起碼知道用筷子,只可惜遇到了可靈這個吃播王者。Runway Gen3 ↓

試完吃播之后,知危編輯部還玩了很多其他肢體動作的題。甚至讓它們畫一些現實中根本不存在的事情,比如:讓一只羊來騎自行車。

( 提示詞:Playful POV shot, following the sheep as it rides, Warm, sunny day, A fluffy white sheep perched atop a vintage bicycle, Pedaling enthusiastically, weaving through the countryside,A winding country road lined with wildflowers, Whimsical, joyful )

實是兩邊效果都很不錯,兩只羊都蹬得相當賣力。

Runway Gen3 ↓

可靈 AI ↓

只不過,知危編輯部測得越多,就越發現一個事。那就是:再強的視頻 AI,現在也攻克不了現實物理引擎。比如我讓它們給我打個籃球。

( 提示詞:Dynamic tracking shot, following the man’s movement, High-contrast lighting with a spotlight on the basketball, Subject A young man in stylish black overalls, Dribbling the basketball with flair and precision, An outdoor basketball court with vibrant graffiti art, Energetic )Runway 出現了虛空拍球,和腳下運籃。讓人分不清打的是籃球,還是足球。

( 踢籃球可能是語義理解的原因,因為 “ Dribbling?” 也就是 “?運球?” 這個詞機既可以用在足球上也可以用在籃球上,AI 應該沒能區分理解 )

Runway Gen3 ↓

到了可靈 AI 這邊,畫面就更詭異了。扔出去的籃球原地分身,人也長出第三只手。

可靈 AI ↓

籃球起碼還能保證基本動作是對的,但到了碰撞、翻滾之類的處理,兩邊就抽象得都高度一致了,比如這個誰也摔不破的雞蛋。( 提示詞:The egg fell from the table and broke on the ground,Slow-motion, close-up shot, Natural light from a window, Suspenseful, anticipation building)

Runway Gen3 ↓

可靈 AI ↓

雖然都有不足,但總體體驗下來,Ruwnay3 基本還是強于了正當紅的可靈 AI。在大部分情況下,能做到了官方宣傳的:夠真、夠快、夠穩定,再加上時長這個加分項,這使得不管你有再多天馬行空的想象,它都還你一個高質量的結果。真的讓觀者覺得,現實和虛擬的界限又模糊了一點。

( 提示詞:Navigating through a dense jungle and stumbling upon an ancient, glowing interdimensional portal, science fiction, pov. The air is thick with mystery and the sounds of exotic wildlife. As you approach, the portal pulses with an eerie light, drawing you closer to its otherworldly energy. )

Runway Gen3 ↓

不過,先別急著替 Runway 歡呼,因為這場比賽到這里還沒有結束。除了效果之外,AI 領域還有一個繞不開的問題,就是:商業化。之前知危編輯部就介紹過,根據國內廠商的測算,一個兩分鐘左右的視頻,少說得砸進去 180 塊。。

無底洞的高消耗,使得大家的視頻生成,大多都卡在 5s 左右。甚至很多家的生成效果還很抽象,完全沒有大語言模型出現后,遍地開花的盛況。Runway Gen3 這次雖然突破到了 10s 的關卡,但相應的就是消費者的費用變高。

相比于上一代,我們掏的錢幾乎是翻倍了。如果按照月包套餐計算,基礎會員 15 刀每月,購買者只能拿到 625 的積分。而 Runway3 生成一秒鐘,就要消耗 10 個積分,換算下來,一條 10s 的視頻價值 2.4 刀,約合人民幣 17 塊。

大家可以計算一下,光是本文文章里展示的這些案例,總共要花掉多少錢。這件事誰也沒辦法阻止,因為這是大勢所趨,盈利是擺在所有 AI 大模型面前的問題。

所以,雖然 Runway3 實力很強,贏了比賽。依然不得不承認,完全免費的可靈才更有吸引力。至于 Sora,我們已經有一種開始祛魅的感覺了,在用不到之前,都只是美麗的夢幻泡影,0 分。

本文由人人都是產品經理作者【汪仔2083】,微信公眾號:【知?!?,原創/授權 發布于人人都是產品經理,未經許可,禁止轉載。

題圖來自Unsplash,基于 CC0 協議。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. sora就是造假的。。。。

    來自湖南 回復