競逐文生圖大模型,百度、快手、網易“明爭暗斗”
隨著科技的發展,AIGC技術助推了新的人工智能浪潮,文生圖大模型即使還不是很完善,但終歸時間還長。下面這一篇文章是筆者整理分享的關于文生圖的相關內容,大家一起來看看吧!
自從進入2023年以來,AIGC技術助推了新的人工智能浪潮,AI大模型的創新應用也按下了加速鍵。隨著AI寫作、AI作曲成功在多個領域落地,AI在內容創作方面的應用也變得越來越廣泛,而AI繪畫作為大模型最火熱的應用領域之一,近幾年也取得了突破性進展。
AI繪畫簡單來說就是“文生圖”,是指輸入一些描述性語言,AI可以以此生成創意畫作。AIGC 技術的飛速發展使得“文生圖”模型不斷實現更加良好的生成效果,得益于此,無論是百度、網易這樣的互聯網大廠,還是快手這樣的新銳公司紛紛爭相入局,試圖借助“文生圖”這一新事物,探索業務上的更多新可能。
一、快手“出其不意”
前不久有消息稱,快手在推出“文生文”大語言模型“快意”(KwaiYii)之后,又在“文生圖”賽道取得了新的進展,推出了自研大模型“可圖”(Kolors),并且已在公司內部全面開啟測試。
據介紹,可圖大模型能夠基于開放式文本生成各類的繪畫作品。
它有著三大突出特點:強大的文本理解、豐富的細節刻畫,以及多樣的風格轉化。
而在可圖大模型強大的圖像生成能力背后,則與快手多年的積淀息息相關。
首先,快手海量的短視頻素材,能為可圖提供數十億的圖文訓練數據。發展至今,快手上的短視頻素材已經數以萬計,根據這些短視頻,可圖可以收集到更多的數據信息,幫助大模型準確理解用戶的需求,讓用戶通過簡單描述即可生成更加多樣化風格的圖片。
據了解,快手擁有數十億來自開源社區和自研AI技術合成的圖文訓練數據,這些數據覆蓋了常見的三千萬中文實體概念,能更好地生成更加貼近文字描述的圖片。
其次,快手較強的用戶粘性,為可圖的落地提供了最佳的應用場景。眾所周知,快手應用的累計互關用戶對數超過311億對,同比增長近50%,日均互動(包括點贊、評論和轉發等)總量達80億次,而且AI玩評也能夠極大地提升用戶參與評論的積極性和滿意度。
不同用戶畫像可以豐富可圖訓練數據,促使可圖生成更多樣化的圖片。因此,擁有較強用戶粘性的短視頻評論區,可以看做可圖大模型最佳的落地應用場景之一。
最后,快手在大模型上的創新性探索,有助于可圖形成差異化優勢??焓盅邪l了一個強大的中文CLIP模型,并且利用自研的中文LLM加上融合CLIP的圖文特征作為文生圖的文本理解模塊,能讓可圖大模型更好地理解中文特色概念。
不僅如此,快手還更改了去噪算法的底層公式和加噪公式,實現了單一基座模型在主體完整的前提下,可生成具有豐富細節和紋理的圖片。而可圖大模型也具有了基于Prompt的自動學習模型,能夠生成不同的風格模版。
二、百度“聲東擊西”
在文生圖領域,快手的自研大模型“可圖”可謂是獨具一格,作為國內領先的AI技術公司,百度的AI作畫產品“文心一格”自然也備受期待。
據了解,文心一格是基于百度文心大模型能力的AI藝術和創意輔助平臺,它可以根據用戶輸入的文本描述和選擇的風格,自動生成獨一無二的畫作。而百度文心一格之所以能對用戶的作畫需求實現精準理解,其中的原因自然不言而喻。
一是文心大模型強大的語言理解能力,使文心一格對中文的理解變得更加精準。
文生圖技術對中文語義的理解尤為關鍵,而文心一格的技術基礎是百度文心知識增強跨模態理解大模型,百度文心學習了海量優質圖文數據,能全面提升圖像生成質量和語義一致性。因此,文心一格不僅能利用知識輔助更好地理解用戶的輸入,并自動豐富語義細節,有效降低用戶輸入描述成本,還能根據不同的需求,靈活適配多種風格畫作生成能力。
二是文心大模型在技術上的深厚積淀,在一定程度上解決了文心一格在實際應用中的技術難題。
眾所周知,文心一格AI作圖產品順利落地,是百度依托于飛槳、文心大模型持續進行技術創新的結果。而百度的文心跨模態大模型ERNIE-ViLG 2.0是全球首個知識增強的AI作畫大模型,也是目前全球參數規模最大的AI作畫大模型。百度在訓練大模型方面取得了長足的進步,也讓文心一格有效解決了復雜概念、屬性混淆等文生圖領域的常見問題。
三是文心大模型豐富的產業應用場景,有助于文心一格實現商業化快速落地。
目前,文心大模型已大規模應用于搜索、信息流、智能音箱等互聯網產品,并已通過飛槳開源開放平臺、百度智能云等賦能工業、能源、金融、通信、媒體、教育等各行各業。而在這個基礎模型職場,文心一格也能結合各個領域的、少量的任務數據,再進行訓練、調優,之后就可以適用更多場景,從而進一步拓寬落地的廣度,加深產業應用的深度。
三、網易“蓄謀已久”
無論是新晉獨角獸快手,還是老牌互聯網大廠百度都相繼進入了AI繪畫領域,互聯網科技公司網易自然不會落后。事實上,網易很早就對“文生圖”領域有所研究。網易旗下專業從事游戲與AI研究和應用的頂尖機構網易伏羲,就自研了文生圖模型——“丹青”。而網易丹青之所以能生成讓用戶滿意的圖片,自然也與其獨一無二的優勢息息相關。
一是,網易伏羲對中文和美的理解深刻,有助于丹青生成更高質量的圖片。生產好的內容之前,需要先理解好的內容。
丹青模型基于原生中文語料數據及網易自有高質量圖片數據訓練,不僅對中文的理解能力更強,對中華傳統美食、成語、俗語、詩句的理解和生成也更為準確。
比如,與其他文生圖模型相比,丹青模型更容易聽懂用戶的意思,在丹青生成的圖片中,魚香肉絲沒有魚,紅燒獅子頭也沒有獅子,生成的圖片效果用戶滿意度更高。
二是,網易伏羲頂尖藝術家的真實反饋,使得丹青創作出的作品更能滿足中式審美。網易會請一些美術專家對模型進行把控,讓其從藝術的角度對生成圖片效果、插件、版本給予專業意見,丹青則會及時根據藝術家們的反饋意見,進一步迭代優化。
比如,依賴于較強的中文理解能力,以及對美學的專業理解,丹青模型生成的圖片更具東方美學,既能生成“飛流直下三千尺”的水墨畫,也能生成符合東方審美的古典美人。
三是,網易伏羲對文生圖的多年研究,能為丹青的快速落地和推廣提供助力。事實上,網易伏羲對文生圖的研究起步較早,在Stable Diffusion還沒開源之前,就已經在不斷地投入,到現在已經有了很多積累。
據了解,網易伏羲團隊已在世界頂級學術會議發表論文200余篇,申請發明專利550余項。不僅如此,網易伏羲還根據實際應用效果不斷對文生圖模型進行迭代優化,以便將其更好更快地應用于實際場景中。
四、前路“危機四伏”
隨著快手、百度、網易等玩家的文生圖大模型相繼亮相,國內外發布文生圖模型的數量也在不斷攀升,模型生成效果和效率也在逐漸邁上新的臺階,文生圖模型商業化落地指日可待。只不過,在此之前,文生圖領域仍有些問題不容忽視。
一方面,文生圖尚處于探索時期,生成細節還不夠完美。雖然文生圖具有一些創新性和實用性,但是不能全面理解用戶的語義,生成的圖像質量自然也就不會很理想,不是人物的臉部或手部細節呈現得不夠完美,就是圖像與文本的相關性不夠緊密,甚至會出現一些毫無邏輯的圖像和文本的組合。
顯然,AI繪畫在語義理解、宏觀結構、細節刻畫、邏輯推理等方面還有較大改進空間。
另一方面,文生圖只是AI輔助創作,生成內容缺乏創造力和情感表達。毫無疑問,技術是標準化的,審美卻是非標準化的。
設計師、畫師可以借助AI,提高自己的創作效率,甚至激發無窮的想象力,但AI并不是設計師、畫師本人,不能擁有人的情感和靈感,不能和人一樣感同身受,而且目前的AI技術對外界生活無法感觸,對真實世界的很多需求自然也是無法精準捕捉和理解,所以短期內,AI繪畫還是很難代替設計師、畫師的。
除此之外,國內外正接連涌現出新的文生圖公司,AI繪畫領域的競爭也將進一步加劇。事實上,除了快手、百度、網易伏羲等走上中國式文生圖的道路之外,國內其他加碼AI繪畫的玩家也都正源源不斷地趕來,國外文生圖應用的景象也是十分熱鬧。
而國內外每一家模型結構都不是完全一樣的,無論是圖片還是文本都做了優化,且都包含著自己的特色,所以文生圖領域的競爭局面可想而知。
盡管文生圖大模型目前尚有一些缺陷,但回顧人類的發展歷史不難發現,一項新技術的出現,往往需要不斷改進和完善,因此對于AI繪畫,我們仍然抱有很多期待。
而在流量紅利逐漸消退的當下,百度、網易、快手等企業主動去擁抱“文生圖”這樣的新技術或許是最好的選擇。只不過,最后這些入局者能做到何種程度,或許只有時間能給出答案。
專欄作家
劉曠,微信公眾號:劉曠(liukuang110),人人都是產品經理專欄作家。海南三車網絡科技有限公司董事長、購團邦資訊創始人、知名自媒體。
本文原創發布于人人都是產品經理,未經許可,不得轉載。
題圖來自 Pixabay,基于 CC0 協議。
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
- 目前還沒評論,等你發揮!