隨著科技的發展，AIGC技術助推了新的人工智能浪潮，文生圖大模型即使還不是很完善，但終歸時間還長。下面這一篇文章是筆者整理分享的關于文生圖的相關內容，大家一起來看看吧！

自從進入2023年以來，AIGC技術助推了新的人工智能浪潮，AI大模型的創新應用也按下了加速鍵。隨著AI寫作、AI作曲成功在多個領域落地，AI在內容創作方面的應用也變得越來越廣泛，而AI繪畫作為大模型最火熱的應用領域之一，近幾年也取得了突破性進展。

AI繪畫簡單來說就是“文生圖”，是指輸入一些描述性語言，AI可以以此生成創意畫作。AIGC 技術的飛速發展使得“文生圖”模型不斷實現更加良好的生成效果，得益于此，無論是百度、網易這樣的互聯網大廠，還是快手這樣的新銳公司紛紛爭相入局，試圖借助“文生圖”這一新事物，探索業務上的更多新可能。

一、快手“出其不意”

前不久有消息稱，快手在推出“文生文”大語言模型“快意”（KwaiYii）之后，又在“文生圖”賽道取得了新的進展，推出了自研大模型“可圖”（Kolors），并且已在公司內部全面開啟測試。

據介紹，可圖大模型能夠基于開放式文本生成各類的繪畫作品。

它有著三大突出特點：強大的文本理解、豐富的細節刻畫，以及多樣的風格轉化。

而在可圖大模型強大的圖像生成能力背后，則與快手多年的積淀息息相關。

首先，快手海量的短視頻素材，能為可圖提供數十億的圖文訓練數據。發展至今，快手上的短視頻素材已經數以萬計，根據這些短視頻，可圖可以收集到更多的數據信息，幫助大模型準確理解用戶的需求，讓用戶通過簡單描述即可生成更加多樣化風格的圖片。

據了解，快手擁有數十億來自開源社區和自研AI技術合成的圖文訓練數據，這些數據覆蓋了常見的三千萬中文實體概念，能更好地生成更加貼近文字描述的圖片。

其次，快手較強的用戶粘性，為可圖的落地提供了最佳的應用場景。眾所周知，快手應用的累計互關用戶對數超過311億對，同比增長近50%，日均互動（包括點贊、評論和轉發等）總量達80億次，而且AI玩評也能夠極大地提升用戶參與評論的積極性和滿意度。

不同用戶畫像可以豐富可圖訓練數據，促使可圖生成更多樣化的圖片。因此，擁有較強用戶粘性的短視頻評論區，可以看做可圖大模型最佳的落地應用場景之一。

最后，快手在大模型上的創新性探索，有助于可圖形成差異化優勢?？焓盅邪l了一個強大的中文CLIP模型，并且利用自研的中文LLM加上融合CLIP的圖文特征作為文生圖的文本理解模塊，能讓可圖大模型更好地理解中文特色概念。

不僅如此，快手還更改了去噪算法的底層公式和加噪公式，實現了單一基座模型在主體完整的前提下，可生成具有豐富細節和紋理的圖片。而可圖大模型也具有了基于Prompt的自動學習模型，能夠生成不同的風格模版。

二、百度“聲東擊西”

在文生圖領域，快手的自研大模型“可圖”可謂是獨具一格，作為國內領先的AI技術公司，百度的AI作畫產品“文心一格”自然也備受期待。

據了解，文心一格是基于百度文心大模型能力的AI藝術和創意輔助平臺，它可以根據用戶輸入的文本描述和選擇的風格，自動生成獨一無二的畫作。而百度文心一格之所以能對用戶的作畫需求實現精準理解，其中的原因自然不言而喻。

一是文心大模型強大的語言理解能力，使文心一格對中文的理解變得更加精準。

文生圖技術對中文語義的理解尤為關鍵，而文心一格的技術基礎是百度文心知識增強跨模態理解大模型，百度文心學習了海量優質圖文數據，能全面提升圖像生成質量和語義一致性。因此，文心一格不僅能利用知識輔助更好地理解用戶的輸入，并自動豐富語義細節，有效降低用戶輸入描述成本，還能根據不同的需求，靈活適配多種風格畫作生成能力。

二是文心大模型在技術上的深厚積淀，在一定程度上解決了文心一格在實際應用中的技術難題。

眾所周知，文心一格AI作圖產品順利落地，是百度依托于飛槳、文心大模型持續進行技術創新的結果。而百度的文心跨模態大模型ERNIE-ViLG 2.0是全球首個知識增強的AI作畫大模型，也是目前全球參數規模最大的AI作畫大模型。百度在訓練大模型方面取得了長足的進步，也讓文心一格有效解決了復雜概念、屬性混淆等文生圖領域的常見問題。

三是文心大模型豐富的產業應用場景，有助于文心一格實現商業化快速落地。

目前，文心大模型已大規模應用于搜索、信息流、智能音箱等互聯網產品，并已通過飛槳開源開放平臺、百度智能云等賦能工業、能源、金融、通信、媒體、教育等各行各業。而在這個基礎模型職場，文心一格也能結合各個領域的、少量的任務數據，再進行訓練、調優，之后就可以適用更多場景，從而進一步拓寬落地的廣度，加深產業應用的深度。

三、網易“蓄謀已久”

無論是新晉獨角獸快手，還是老牌互聯網大廠百度都相繼進入了AI繪畫領域，互聯網科技公司網易自然不會落后。事實上，網易很早就對“文生圖”領域有所研究。網易旗下專業從事游戲與AI研究和應用的頂尖機構網易伏羲，就自研了文生圖模型——“丹青”。而網易丹青之所以能生成讓用戶滿意的圖片，自然也與其獨一無二的優勢息息相關。

一是，網易伏羲對中文和美的理解深刻，有助于丹青生成更高質量的圖片。生產好的內容之前，需要先理解好的內容。

丹青模型基于原生中文語料數據及網易自有高質量圖片數據訓練，不僅對中文的理解能力更強，對中華傳統美食、成語、俗語、詩句的理解和生成也更為準確。

比如，與其他文生圖模型相比，丹青模型更容易聽懂用戶的意思，在丹青生成的圖片中，魚香肉絲沒有魚，紅燒獅子頭也沒有獅子，生成的圖片效果用戶滿意度更高。

二是，網易伏羲頂尖藝術家的真實反饋，使得丹青創作出的作品更能滿足中式審美。網易會請一些美術專家對模型進行把控，讓其從藝術的角度對生成圖片效果、插件、版本給予專業意見，丹青則會及時根據藝術家們的反饋意見，進一步迭代優化。

比如，依賴于較強的中文理解能力，以及對美學的專業理解，丹青模型生成的圖片更具東方美學，既能生成“飛流直下三千尺”的水墨畫，也能生成符合東方審美的古典美人。

三是，網易伏羲對文生圖的多年研究，能為丹青的快速落地和推廣提供助力。事實上，網易伏羲對文生圖的研究起步較早，在Stable Diffusion還沒開源之前，就已經在不斷地投入，到現在已經有了很多積累。

據了解，網易伏羲團隊已在世界頂級學術會議發表論文200余篇，申請發明專利550余項。不僅如此，網易伏羲還根據實際應用效果不斷對文生圖模型進行迭代優化，以便將其更好更快地應用于實際場景中。

四、前路“危機四伏”

隨著快手、百度、網易等玩家的文生圖大模型相繼亮相，國內外發布文生圖模型的數量也在不斷攀升，模型生成效果和效率也在逐漸邁上新的臺階，文生圖模型商業化落地指日可待。只不過，在此之前，文生圖領域仍有些問題不容忽視。

一方面，文生圖尚處于探索時期，生成細節還不夠完美。雖然文生圖具有一些創新性和實用性，但是不能全面理解用戶的語義，生成的圖像質量自然也就不會很理想，不是人物的臉部或手部細節呈現得不夠完美，就是圖像與文本的相關性不夠緊密，甚至會出現一些毫無邏輯的圖像和文本的組合。

顯然，AI繪畫在語義理解、宏觀結構、細節刻畫、邏輯推理等方面還有較大改進空間。

另一方面，文生圖只是AI輔助創作，生成內容缺乏創造力和情感表達。毫無疑問，技術是標準化的，審美卻是非標準化的。

設計師、畫師可以借助AI，提高自己的創作效率，甚至激發無窮的想象力，但AI并不是設計師、畫師本人，不能擁有人的情感和靈感，不能和人一樣感同身受，而且目前的AI技術對外界生活無法感觸，對真實世界的很多需求自然也是無法精準捕捉和理解，所以短期內，AI繪畫還是很難代替設計師、畫師的。

除此之外，國內外正接連涌現出新的文生圖公司，AI繪畫領域的競爭也將進一步加劇。事實上，除了快手、百度、網易伏羲等走上中國式文生圖的道路之外，國內其他加碼AI繪畫的玩家也都正源源不斷地趕來，國外文生圖應用的景象也是十分熱鬧。

而國內外每一家模型結構都不是完全一樣的，無論是圖片還是文本都做了優化，且都包含著自己的特色，所以文生圖領域的競爭局面可想而知。

盡管文生圖大模型目前尚有一些缺陷，但回顧人類的發展歷史不難發現，一項新技術的出現，往往需要不斷改進和完善，因此對于AI繪畫，我們仍然抱有很多期待。

而在流量紅利逐漸消退的當下，百度、網易、快手等企業主動去擁抱“文生圖”這樣的新技術或許是最好的選擇。只不過，最后這些入局者能做到何種程度，或許只有時間能給出答案。