AI音樂戰火升級!三路國產大軍全面對決Suno
隨著國際產品Suno的V4版本發布,AI音樂創作進入了一個新的階段,能夠生成更長、更豐富的音樂作品。本文將帶您了解國內三路大軍——字節跳動的海綿音樂、昆侖萬維的天工SkyMusic和趣丸科技的天譜樂——如何憑借自身的技術積累和創新應用,與全球頂級AI音樂產品展開激烈競爭。
在與Suno對壘這條道路上,國內在AI音樂領域積累已久的公司,已經紛紛在自己的優勢之上推出了相應的模型及應用,正與全球頂級產品展開了一場你追我趕的精彩對決。
有趣的音樂創作玩法,不斷驚艷用戶的模型效果,以及現象級的產品傳播方式,音樂大模型是今年垂直大模型賽道上一個十分稀缺的亮點。
3月,當Suno V3面世之后,許多人驚呼音樂行業要“一夜變天”。最近,Suno發布了V4版本,允許用戶生成音質更高、更好聽、時長更長(4分鐘)的音樂,也就意味著,一首完整的歌曲可以被AI創造出來,AI音樂創作進入了一個全新的階段。這在海內外引起了廣泛的關注與討論。
事實上,即便是已經到了V4版本,Suno更擅長的還是英文曲目,中文曲目和中國區用戶并不是其迭代產品需求的重心。而在與Suno對壘這條道路上,國內在AI音樂領域積累已久的公司,已經紛紛在自己的優勢之上推出了相應的模型及應用,正與全球頂級產品展開了一場你追我趕的精彩對決。
一、國產AI音樂應用三路出擊
在Suno V3發布之后,國內大模型玩家紛紛上線了類似的產品,以防錯過音樂行業的“ChatGPT時刻”。
不過,隨著時間的流逝,以近一年的時間線觀察來看,到目前,還堅持在AI音樂大模型賽道投入的玩家主要有三類:
- 以字節跳動豆包旗下海綿音樂為代表的大廠派
- 以昆侖萬維旗下的天工SkyMusic為代表的新興大模型廠商
- 以趣丸科技旗下天譜樂為代表的垂直賽道獨角獸科技公司
作為字節跳動推出的一款免費AI音樂創作和分享平臺,海綿音樂主打利用人工智能技術幫助用戶生成個性化的音樂作品。
在海綿音樂,用戶只需輸入一句靈感或上傳一張圖片,即可生成專屬的音樂作品。平臺提供多種音樂風格和創作工具,幫助用戶輕松創作出高質量的音樂。
相比Suno,海綿音樂在AI生成的中文歌曲,提高了吐字的清晰度和演唱的流暢性,音樂曲風也更符合中國人的喜好。
音樂大模型天工“SkyMusic”是昆侖萬維推出的國內首個音樂SOTA模型,基于昆侖萬維的“天工3.0”超級大模型打造,能夠快速生成多種風格的音樂作品。
“天工SkyMusic”采用的是音樂音頻領域類Sora模型架構,Large-scale Transformer負責譜曲,來學習Music Patches的上下文依賴關系,同時完成音樂可控性,Diffusion Transformer負責演唱,通過LDM讓Music Patches被還原成高質量音頻,使得“天工SkyMusic”能夠支持生成80秒44100Hz采樣率雙聲道立體聲歌曲。
天譜樂是趣丸科技今年7月發布的全球首個多模態配樂大模型,上線時間比天工晚,但也比海綿音樂略早一個月,產品從一上線就全面接入了其旗下應用唱鴨APP,向所有用戶開放。
趣丸科技一直深耕音樂、音頻領域,旗下的拳頭產品還有TT語音,如今累計注冊用戶已超2億,是國內最大的興趣社交平臺之一。
天譜樂大模型集成了圖片理解算法、旋律生成算法、視頻理解算法、配器識別算法等領先技術,多模態理解與生成能力比肩國際先進水平。
值得關注的是,天譜樂大模型不僅支持文生音樂、音頻生音樂,還首創了圖片、視頻生成音樂功能,比Suno早推出3個月,某種程度上,意味著它的多模態輸入能力超越Suno。這也是目前幾款國產AI音樂中,有明顯特色功能的一款產品。
基于自研的畫面情緒理解模型等領先技術,天譜樂大模型不僅可以根據視頻畫面的明暗、色彩、情緒的細微變化逐幀識別和理解,也可以理解音樂的和弦、旋律、歌詞、演唱風格等復雜特征,最終生成高契合度的視頻配樂。
簡單來說,用戶僅需上傳相冊中的一張圖片或一段不超過60秒的視頻,即可生成與高度適配畫面的帶人聲唱詞的完整歌曲,生成效果達到唱片發行級水準。
二、音樂大模型持續進化的關鍵
事實上,國內音樂雙巨頭騰訊音樂和網易云音樂,也分別推出了X·Studio和啟明星這樣的產品,以追趕當前生成式人工智能的浪潮。
但或許是巨頭本身憑借強大的版權庫,已經能夠收獲足夠的市場份額和商業回報,所以外界感受到的是,這兩家公司在AI音樂上的投入和活躍度始終不及上述代表性的玩家。
而在與全球科技巨頭角逐AI大模型這一場比賽,行業內的一個共識是,AI應用是國內公司少有的優勢之一,也是少有能夠趕超國外大模型公司的機會。這也就意味著,探索和創造出更多用戶真正會使用的產品,以及可落地商業化場景,才是國產大模型能夠持續進化的基石和未來。
這也符合趣丸科技副總裁賈朔對音樂大模型的理解。他表示,“降低門檻讓普通用戶體驗音樂創作的樂趣”是自研天譜樂產品的價值主張。
音樂原創的專業度很高,但是,在AI的輔助之下,用戶可以只需要輸入一句話、一張照片或一段視頻,在1-2分鐘內生成一首詞曲結構相對完整的歌曲。
事實證明,這樣的策略的確收獲了不少市場的正反饋。目前已有4600萬人注冊使用唱鴨APP或天譜樂官網,累計創作近1000萬首AI歌曲。
技術平權的意義在于,讓更多人能夠享受到科技進步帶來的便利和好處,縮小不同群體之間的技術差距。
除了服務音樂愛好者等C端用戶,應用在影視制作等專業從業者的工作流,則為AI音樂大模型落地提供更多可商業化的場景。
當前市面上的音樂大模型,一方面,可以服務于專業音樂人,通過縮減詞曲創作、編曲等工作提升了音樂創作效率,讓快速創作和試驗新的音樂構思成為可能。另一方面,在短視頻浪潮之下,音樂大模型正在輔助短視頻創作者,讓他們更容易創造出符合視頻內容的背景音樂,提升內容質量和觀眾體驗。
據了解,天譜樂還將在近期發布新功能——MidiRender,功能類比于一個精準、可控音樂版的Control Net,專業的創作用戶可以輸入自己的音樂構想,讓天譜樂AI根據這個原創音樂片段填充歌詞、完成編曲。
這些提供定制化的音樂解決方案,帶來更多的應用場景和商業機會,能夠持續促進音樂產業的創新和發展。
三、AI音樂創作還有哪些待解的難題?
盡管音樂大模型在2024年以前所未有的速度在狂飆,但它身后依舊給這個行業的操盤手留下了一些難解的尷尬。
首當其沖是音樂版權的問題。高質量的音樂生成模型依賴高質量的音樂音頻數據。
今年6月,環球音樂集團、索尼音樂集團和華納音樂集團等多家唱片公司就對Suno和Udio發起訴訟,稱它們非法使用版權音樂來訓練自己的AI模型并對外提供服務。隨后,Suno進行了回擊,指責它們利用版權訴訟來保護自己在人工智能音樂領域的市場主導地位。
目前雙方的爭奪尚未有一個定論,但唯一可以肯定的是,AI音樂公司在技術上取得了顯著進展,如何在法律框架內運營和商業化,將是這些公司未來必須思考的問題。
此外,音樂大模型生成的音樂作品是否享有版權保護,其版權歸屬如何界定,尚無明確的法律規定,這給音樂大模型的應用帶來了不確定性和風險。
針對版權的問題,賈朔發現,其實可以從技術手段上規避一些紛爭。比如,在產品側,當用戶在使用AI創作時,可判斷其是否有主觀意圖模仿現有藝術家,并且做出彈窗提示。
事實上,人類在進行藝術創作的時候,靈感都未必是憑空產生,多數也是吸取和借鑒過往歷史上、產業里優秀的案例,不斷打磨迭代,在巨人肩膀上創新和創造。訓練AI大模型是如此,人類學習成長與進步也類似。
另一方面,則是音樂的創意與情感。
音樂創作具有很強的專業性,但也屬于人類的情感和情緒的一種表達。雖然音樂大模型可以生成具有特定風格和情感的音樂作品,但其創意和獨特性仍然有限。
如何提升音樂大模型的創意能力,使其能夠創作出更具個性和創新性的音樂作品,是當前音樂大模型需要突破的方向之一。
在這一方向上,行業里有一個思路是,讓AI生產的音樂聲音更像“人”,以此更契合人類的情感表達訴求,使生成的歌曲引發更多人的共情與共鳴。
比如說,消除AI歌曲的電音問題。這是AI音樂過往被用戶吐槽最多的事情,也是很多音樂大模型在人聲技術上攻克的重點之一。趣丸科技表示,最近這一問題已經率先解決,得益于最新的天譜樂大模型2.2版本,在長序列音樂語意建模和高質量音頻空間建模上,實現進一步突破,高度還原音樂音頻在高維空間的連續信號表征,實現音樂性和音質的飛躍。播客“Vibration 歪波音室”主理人拾壹也在公開場合提到,幾乎無法區分天譜樂的人聲唱詞和真人歌曲。
但也需要看到,盡管AI能夠模擬人類的創作模式,它始終很難真正理解和表達人類復雜的情感。音樂中的情感往往是創作者內心深處的真實感受,AI生成的音樂可能在情感表達上顯得較為膚淺。而一些缺乏人類靈氣和感情的作品,在這個流量大爆炸和注意力被狂轟濫炸的時代,我們沒有理由再去承受更多。
作為人類,我們還需要面對的是,AI音樂創作的發展會對部分人類音樂創作者的就業和創作空間造成一定的擠壓。但無論如何,在當前的階段,我們需要尋找一種平衡,實現AI與人類創作者的真正的共存。
*本文系量子位獲授權刊載,觀點僅為作者所有。
允中 發自 凹非寺量子位 | 公眾號 QbitAI
本文由人人都是產品經理作者【量子位】,微信公眾號:【量子位】,原創/授權 發布于人人都是產品經理,未經許可,禁止轉載。
題圖來自Unsplash,基于 CC0 協議。
- 目前還沒評論,等你發揮!