起點課堂會員權(quán)益
職業(yè)體系課特權(quán)
線下行業(yè)大會特權(quán)
個人IP打造特權(quán)
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導(dǎo)直播
12場專業(yè)技能直播
會員專屬社群
榮耀標識Meta首發(fā)「變色龍」挑戰(zhàn)GPT-4o，34B參數(shù)引領(lǐng)多模態(tài)革命！10萬億token訓(xùn)練刷新SOTA
Meta公司的“變色龍”模型挑戰(zhàn)GPT-4，以其340億參數(shù)和10萬億token的訓(xùn)練刷新了多模態(tài)狀態(tài)-of-the-art(SOTA)標準。
GPT-4o發(fā)布不到一周，首個敢于挑戰(zhàn)王者的新模型誕生！最近，Meta團隊發(fā)布了「混合模態(tài)」Chameleon，可以在單一神經(jīng)網(wǎng)絡(luò)無縫處理文本和圖像。10萬億token訓(xùn)練的34B參數(shù)模型性能接近GPT-4V，刷新SOTA。
GPT-4o的橫空出世，再次創(chuàng)立了一個多模態(tài)模型發(fā)展的新范式！
為什么這么說？
OpenAI將其稱為「首個『原生』多模態(tài)」模型，意味著GPT-4o與以往所有的模型，都不盡相同。
傳統(tǒng)的多模態(tài)基礎(chǔ)模型，通常為每種模態(tài)采用特定的「編碼器」或「解碼器」，將不同的模態(tài)分離開。
然而，這種方法限制了模型，有效融合跨模態(tài)信息的能力。
官博介紹，GPT-4o是「首個端到端」訓(xùn)練的，跨越文本、視覺和音頻的模型，所有的輸入和輸出，都由單個神經(jīng)網(wǎng)絡(luò)處理。
而現(xiàn)在，業(yè)界首個敢于挑戰(zhàn)GPT-4o的模型現(xiàn)身了！
最近，來自Meta團隊的研究人員發(fā)布了「混合模態(tài)基座模型」——Chameleon（變色龍）。
論文地址：https://arxiv.org/pdf/2405.09818
與GPT-4o一樣，Chameleon采用了統(tǒng)一的Transformer架構(gòu)，使用文本、圖像和代碼混合模態(tài)完成訓(xùn)練。
以類似文本生成的方式，對圖像進行離散「分詞化」（tokenization），最終生成和推理交錯的文本和圖像序列。
這種「早期融合」的方法，所有的pipeline從一開始就被映射到一個共同的表示空間，因此模型可以無縫處理文本和圖像。
Chameleon生成的多模態(tài)內(nèi)容
與此同時，這樣的設(shè)計，為模型訓(xùn)練帶來了重大的技術(shù)挑戰(zhàn)。
對此，Meta研究團隊引入了一系列架構(gòu)創(chuàng)新和訓(xùn)練技術(shù)。
結(jié)果表明，在純文本任務(wù)中，340億參數(shù)Chameleon（用10萬億多模態(tài)token訓(xùn)練）的性能和Gemini-Pro相當。
在視覺問答和圖像標注基準上，刷新SOTA，性能接近GPT-4V。
不過，不論是GPT-4o，還是Chameleon，都是新一代「原生」端到端的多模態(tài)基礎(chǔ)模型早期探索。
GTC 2024大會上，老黃描述了邁向AGI最終愿景的重要一步——各種模態(tài)互通有無。
一、下一個開源GPT-4o要來？
Chameleon的發(fā)布，簡直就是對GPT-4o做出最快的反應(yīng)。
有網(wǎng)友表示，token進，token出，簡直無法去解釋。
甚至還有人稱，在GPT-4o誕生之后發(fā)布的非常扎實的研究，OOS將迎頭趕上。
不過，目前Chameleon模型支持生成的模態(tài)，主要是圖像文本。缺少了GPT-4o中的語音能力。
網(wǎng)友稱，然后只需添加另一種模態(tài)（音頻），擴大訓(xùn)練數(shù)據(jù)集，「烹飪」一段時間，我們就會得到GPT-4o…?
Meta的產(chǎn)品管理總監(jiān)稱，「我非常自豪能夠給予這個團隊支持。讓我們朝著讓GPT-4o更接近開源社區(qū)的方向邁進一步」。
或許用不了多久，我們就得到了一個開源版的GPT-4o。
接下來，一起看看Chameleon模型的技術(shù)細節(jié)。
二、技術(shù)架構(gòu)
Meta在Chameleon的論文中首先表示：很多新近發(fā)布的模型依舊沒有將「多模態(tài)」貫徹到底。
這些模型雖然采用了端到端的訓(xùn)練方式，但仍然單獨對不同模態(tài)進行建模，使用分開的編碼器或解碼器。
如開頭所述，這種做法限制了模型跨模態(tài)信息的能力，也難以生成包含任意形式信息的、真正的多模態(tài)文檔。
為了改進這種缺陷，Meta提出了一系列「混合模態(tài)」的基座模型Chameleon——能夠生成文本和圖像內(nèi)容任意交織在一起的內(nèi)容。
Chameleon的生成結(jié)果，文本和圖像交錯出現(xiàn)
所謂「混合模態(tài)」基座模型，指Chameleon不僅使用了端到端的方式從頭開始訓(xùn)練，而且訓(xùn)練時將所有模態(tài)的信息交織混合在一起，并使用統(tǒng)一的架構(gòu)處理。
如何將所有模態(tài)的信息混合在同一個模型架構(gòu)中表示？
答案還是「token」。
只要全部表示為token，就可以把所有所有模態(tài)的信息映射到同一個向量空間中，讓Transformer無縫處理。
但是，這種做法會帶來優(yōu)化穩(wěn)定性以及模型擴展性方面的技術(shù)挑戰(zhàn)。
為了解決這些問題，論文相應(yīng)地對模型架構(gòu)進行創(chuàng)新，并使用了一些訓(xùn)練技巧，包括QK歸一化和Zloss等。
同時，論文也提出了將純文本LLM微調(diào)為多模態(tài)模型的方法。
1. 圖像「分詞器」
要將所有模態(tài)全部表示為token，首先需要一個強大的分詞器。
為此，Chameleon的團隊在Meta之前一篇論文的基礎(chǔ)上開發(fā)了一種新的圖像分詞器，基于大小為8192的codebook，將規(guī)格為512×512的圖像編碼為1024個離散的token。
文字分詞器則基于谷歌開發(fā)的sentencepiece開源庫，訓(xùn)練了一個同時含有65536個文本token與8192個圖像token的BPE分詞器。
2. 預(yù)訓(xùn)練
為了徹底激發(fā)「混合模態(tài)」的潛力，訓(xùn)練數(shù)據(jù)也是將不同模態(tài)打散、混合呈現(xiàn)給模型的，既有純文本、文本-圖像對，也有文本、圖像交錯出現(xiàn)的多模態(tài)文檔。
純文本數(shù)據(jù)囊括了Llama 2和CodeLlama所使用的所有預(yù)訓(xùn)練數(shù)據(jù)，共計2.9萬億個token。
文本-圖像對包含了一些公開數(shù)據(jù)，共計14億對、1.5萬億個token。
對于文本和圖像交錯的數(shù)據(jù)，論文特意強調(diào)沒有包含來自Meta產(chǎn)品的數(shù)據(jù)，完全使用公開數(shù)據(jù)來源，整理出共4000億個token。
Chameleon的預(yù)訓(xùn)練分兩個單獨的階段進行，分別占總訓(xùn)練比例的80%和20%。
訓(xùn)練的第一階段就是讓模型以無監(jiān)督的方式學(xué)習以上數(shù)據(jù)，第二階段開始時，先將第一階段得到的權(quán)重降低50%，并混合更高質(zhì)量的數(shù)據(jù)讓模型繼續(xù)學(xué)習。
在模型擴展到超過8B參數(shù)和1T token時，訓(xùn)練后期會產(chǎn)生明顯的不穩(wěn)定問題。
由于所有模態(tài)共享模型權(quán)重，每個模態(tài)似乎都有增加norm的傾向，與其他模態(tài)「競爭」。
這在訓(xùn)練初期不會產(chǎn)生太大的問題，但隨著訓(xùn)練的進行、數(shù)據(jù)超出bf16的表達范圍時，就會有l(wèi)oss發(fā)散的現(xiàn)象。
研究人員將其歸因于softmax函數(shù)所具有的平移不變性，這種現(xiàn)象在單模態(tài)模型中也被稱為「logit 漂移」（logit drift）。
因此，論文提出了一些架構(gòu)調(diào)整和優(yōu)化方法來保證穩(wěn)定性：
-QK歸一化（query-key normalization）：將layer norm應(yīng)用于注意力模塊中的query和key向量，從而直接控制softmax層輸入的norm增長。
-在注意力層和前饋層之后引入dropout
-在損失函數(shù)中使用Zloss正則化
除了數(shù)據(jù)來源和架構(gòu)，論文還大方公開了預(yù)訓(xùn)練所用的算力規(guī)模。
硬件型號為80GB內(nèi)存的英偉達A100，7B版本并行使用1024個GPU訓(xùn)練了約86萬個GPU小時，34B模型所用的GPU數(shù)量則擴大了3倍，GPU小時數(shù)超過428萬。
作為曾經(jīng)開源Llama 2的公司，Meta的研究團隊確實大方，相比連技術(shù)報告都沒有的GPT-4o，這篇有數(shù)據(jù)有干貨的論文可謂「仁至義盡」。
三、全面超越Llama 2
具體的實驗評估中，研究人員將其分為人工評估和安全測試，以及基準評估。
1. 基準評估
Chameleon-34B使用了比Llama 2多四倍的token進行訓(xùn)練后，在各種單模態(tài)的基準測試中都取得了驚艷的效果。
在純文本任務(wù)生成中，研究人員將預(yù)訓(xùn)練（非SFT）模型的純文本功能與其他領(lǐng)先的純文本LLM進行比較。
評估內(nèi)容包括，常識推理、閱讀理解、數(shù)學(xué)問題和世界知識領(lǐng)域，評估結(jié)果如下表所示。
– 常識推理和閱讀理解
可以觀察到， 與Llama 2相比，Chameleon-7B和Chameleon-34B更具競爭力。甚至，34B甚至在5/8的任務(wù)上超過了Llama-2 70B，性能與Mixtral-8x7B相當。
– 數(shù)學(xué)和世界知識
盡管進行了其他模態(tài)的訓(xùn)練，但兩個Chameleon模型都表現(xiàn)出很強的數(shù)學(xué)能力。
在GSM8k上，Chameleon-7B的表現(xiàn)優(yōu)于相應(yīng)參數(shù)規(guī)模的Llama 2模型，性能與Mistral-7B相當。
此外，Chameleon-34B在maj@1（61.4 vs 56.8）和Mixtral-8x7B在maj@32 （77.0 vs 75.1）上的表現(xiàn)均優(yōu)于Llama 2-70B。
同樣，在數(shù)學(xué)運算中，Chameleon-7B的性能超過Llama 2，與Mistral-7B在maj@4上的性能相當，而 Chameleon-34B的性能超過Llama 2-70B，接近Mixtral-8x7B在maj@4上的性能（24.7 vs 28.4）。
總體而言，Chameleon的性能全面超過了Llama 2，在某些任務(wù)上接近Mistral-7B/8x7B。
在文本到圖像任務(wù)中，研究人員具體評測了視覺問答、圖像標注兩項具體任務(wù)。
Chameleon在視覺問答和圖像標注任務(wù)中打敗Flamingo和Llava-1.5等模型成為SOTA，在純文本任務(wù)中也和第一梯隊的Mixtral 8x7B、Gemini Pro等模型表現(xiàn)相當。
2. 人工評估和安全測試
同時，為了進一步評估模型生成多模態(tài)內(nèi)容的質(zhì)量，論文也在基準測試之外引入了人類評估實驗，發(fā)現(xiàn)Chameleon-34B的表現(xiàn)遠遠超過了Gemini Pro和GPT-4V。
相對于GPT-4V和Gemini Pro，人類評委分別打出了51.6%和60.4的偏好率。
下圖展示了，對于一組多樣化的、來自人類標注者的prompt，Chameleon與基線模型在理解和生成內(nèi)容方面的性能對比。
其中的每個問題，都由三個不同的人類標注回答，并將多數(shù)票作為最終答案。
為了了解人類標注者的質(zhì)量，以及問題的設(shè)計是否合理，研究人員還檢查了不同標注者之間的一致性程度。
表5是對20,000個眾包提示和445個紅隊交互進行的安全測試，引發(fā)模型產(chǎn)生不安全內(nèi)容。
與Gemini和GPT-4V相比，Chameleon在處理需要交錯、混合模態(tài)響應(yīng)的提示時，非常有競爭力。
從示例中可以看到，在完成問答任務(wù)時，Chameleon既能理解輸入的文本+圖像，也能為模型輸出內(nèi)容加上合適的「配圖」。
并且，Chameleon生成的圖像通常與上下文相關(guān)，這樣一來，這種交錯內(nèi)容的輸出對用戶來說，極具吸引力。
四、貢獻團隊
論文最后，還放上了參與這項研究的貢獻者。
包括預(yù)訓(xùn)練、對齊和安全、推理和評估、所有項目的參與者。
其中，*表示共同一作，?表示關(guān)鍵貢獻者，?表示工作流程負責人，?表示項目負責人。
參考資料：
https://the-decoder.com/metas-chameleon-ai-model-blends-text-and-images-hinting-at-a-future-gpt-4o-rival/
本文由人人都是產(chǎn)品經(jīng)理作者【新智元】，微信公眾號：【新智元】，原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載。
題圖來自Unsplash，基于 CC0 協(xié)議。
- 目前還沒評論，等你發(fā)揮！
