起點課堂會員權益
職業(yè)體系課特權
線下行業(yè)大會特權
個人IP打造特權
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導直播
12場專業(yè)技能直播
會員專屬社群
榮耀標識少即是多！10億參數(shù)「小巨人」擊敗ChatGPT
只有10億參數(shù)的xLAM-1B在特定任務中擊敗了LLM霸主：OpenAI的GPT-3.5 Turbo和Anthropic的Claude-3 Haiku。上個月剛發(fā)布的蘋果智能模型只有30億參數(shù)，就連奧特曼都表示，我們正處于大模型時代的末期。那么，小語言模型（SLM）會是AI的未來嗎？
大語言模型的Scaling Law被一些人視為「金科玉律」，但另一些人卻不以為意。前陣子，香港大學馬毅教授就公開宣稱，「如果相信只靠Scaling Law就能實現(xiàn)AGI，你該改行了」。
確實有很多模型不是單純靠資源的堆砌，而是憑借創(chuàng)新能力脫穎而出。驗證了一條不同于Scaling Law的道路——少即是多。
xLAM-1B就是如此，只有10億參數(shù)，但是在功能調用任務中表現(xiàn)優(yōu)于更大規(guī)模的模型，包括OpenAI的GPT-3.5 Turbo和Anthropic的Claude-3 Haiku。
它也因此被稱為「Tiny Giant」——小巨人！
憑借遠超預期的卓越性能，這個小模型或許會改變端側AI的格局。
西方將這種以弱勝強的故事稱之為「David-versus-Goliath」（大衛(wèi)迎戰(zhàn)歌利亞），這源于一個圣經(jīng)故事——大衛(wèi)與巨人歌利亞作戰(zhàn)時還是個孩子，他不像歌利亞那樣穿著盔甲，他撿了一塊石頭，放在投石器里。把石頭甩出去，擊中歌利亞的額頭，擊倒了這個巨人。
科技媒體Venturebeat在報道這個小模型時，就將之比喻為人工智能領域的「大衛(wèi)迎戰(zhàn)歌利亞」時刻。
我們最關心的一點是，xLAM-1B是如何做到的？
簡言之，這得益于在數(shù)據(jù)處理上的創(chuàng)新方法。其背后團隊開發(fā)了APIGen，這是一套自動化流程，可以生成高質量、多樣化且可驗證的數(shù)據(jù)集，用于訓練AI模型在函數(shù)調用任務中的表現(xiàn)。
論文地址：https://arxiv.org/pdf/2406.18518
一、小而強大：高效AI的力量
xLAM-1B最令人欣喜的在于，它不占地兒。因為模型規(guī)模小，所以適合設備上的應用。這對企業(yè)人工智能的影響是巨大的，它有可能使AI助手功能更強大、反應更靈敏，并且能在計算資源有限的智能手機或其他設備上本地運行。
訓練數(shù)據(jù)的質量和多樣性是支撐xLAM-1B強大性能的關鍵。APIGen自動數(shù)據(jù)生成流水線利用21個不同類別的3673個可執(zhí)行API，對每個數(shù)據(jù)點進行了嚴格的三階段驗證：格式檢查、實際函數(shù)執(zhí)行和語義驗證。
各種AI模型在不同評估指標下的性能對比圖
GPT-4-0125-Preview在總體準確性方面遙遙領先，而xLAM-7B等較小的模型在特定任務中表現(xiàn)出了競爭力，這對大模型總是表現(xiàn)更好的說法提出了挑戰(zhàn)
這種方法代表了人工智能發(fā)展戰(zhàn)略的重大轉變。
雖然許多公司都在競相建立越來越大的模型，但xLAM-1B所使用的方法表明，更智能的數(shù)據(jù)處理可以帶來更高效、更有效的人工智能系統(tǒng)。
通過關注數(shù)據(jù)質量而非模型大小，xLAM-1B提供了一個很好的例子，它可以用比競爭對手少得多的參數(shù)執(zhí)行復雜的任務。
二、顛覆AI現(xiàn)狀：從LLM到SLM
這一突破的潛在影響絕不僅限于xLAM-1B這個模型的推出。
通過證明更小、更高效的模型可以與更大的模型競爭，xLAM-1B正在挑戰(zhàn)人工智能行業(yè)的主流觀點，作為小語言模型（SLM）的新軍，和一統(tǒng)江湖的大語言模型（LLM）開戰(zhàn)。
科技公司一直在爭相建立最大的大語言模型。例如，今年4月，Meta公司發(fā)布了擁有4000億參數(shù)的Llama 3，它所包含的參數(shù)數(shù)量是2022年OpenAI最初的ChatGPT模型的兩倍。
盡管尚未得到證實，但GPT-4估計擁有約1.8萬億個參數(shù)。
不過，在過去幾個月里，包括蘋果和微軟在內(nèi)的一些最大的科技公司都推出了小語言模型。
這些模型的大小僅為LLM對應模型的一小部分，但在許多基準測試中，它們在文本生成方面可以與LLM相媲美，甚至更勝一籌。
6月10日，在蘋果公司的全球開發(fā)者大會上，發(fā)布了擁有約30億參數(shù)的蘋果智能模型。
4月底，微軟發(fā)布了其Phi-3 SLM系列，擁有38億到140億個參數(shù)。
在一系列測試中，微軟最小的模型Phi-3-mini與OpenAI的GPT-3.5（1750億個參數(shù)）不相上下，其表現(xiàn)也優(yōu)于谷歌的Gemma（70億個參數(shù)）。
測試通過向模型提出有關數(shù)學、哲學、法律等方面的問題，評估了模型對語言的理解能力。
更有趣的是，擁有70億個參數(shù)的微軟Phi-3-small在許多基準測試中的表現(xiàn)都明顯優(yōu)于GPT-3.5。
波士頓東北大學研究語言模型Aaron Müller并不驚訝SLM在某些功能上可以與LLM相提并論。
Müller說，「這是因為一味增加參數(shù)數(shù)量并不是提高模型性能的唯一方法，在更高質量的數(shù)據(jù)上進行訓練也能產(chǎn)生類似的結果?！?/p>
例如，微軟的Phi模型是在經(jīng)過微調的「教科書質量」數(shù)據(jù)上訓練出來的，這些數(shù)據(jù)的風格更加一致，比LLM通常依賴的來自互聯(lián)網(wǎng)的高度多樣化文本更容易學習。
同樣，蘋果公司也在高質量、更復雜的數(shù)據(jù)集上訓練SLM。
Müller表示，更重要的是，SLM可以使語言模型的使用平民化。
迄今為止，人工智能的開發(fā)一直集中在幾家有能力部署高端基礎設施的大公司手中，而其他規(guī)模較小的公司和實驗室則不得不支付高昂的費用來獲得授權。
由于SLM可以在價格更低廉的硬件上輕松訓練，因此資源有限的人更容易獲得SLM。
SLM的興起正值LLM之間的性能差距迅速縮小，科技公司希望能在Scaling Law之外，探索其他性能升級途徑。
在4月份的一次活動中，OpenAI 的首席執(zhí)行官Altman表示，他相信我們正處于大模型時代的末期?！肝覀儗⒁云渌绞阶屇Ｐ妥兊酶谩！?/p>
也就是說，經(jīng)過精心策劃的SLM向構建可解釋性人工智能更近了一步。
對于像蘇黎世聯(lián)邦理工學院計算機科學研究員Alex Warstadt這樣的研究人員來說，SLM還能為一個長期存在的科學問題提供新的見解：兒童是如何用很少的文字數(shù)據(jù)就學會語言和思維的。
Warstadt和包括東北大學Müller在內(nèi)的一批研究人員一起組織了BabyLM挑戰(zhàn)賽，參賽者要在小數(shù)據(jù)上優(yōu)化語言模型訓練。
SLM不僅有可能揭開人類認知的新秘密，還有助于改進生成式人工智能。
在兒童13歲時，他們已經(jīng)接觸了約1億個單詞，在語言方面比聊天機器人更勝一籌，但他們只能獲得0.01%的數(shù)據(jù)。
Warstadt說，雖然沒人知道是什么讓人類如此高效，但「在小規(guī)模上進行高效的類人學習，當擴展到LLM規(guī)模時，可能會帶來巨大的改進」。
三、重塑AI的未來：從云到設備
xLAM-1B展現(xiàn)出的端側AI的發(fā)展?jié)摿?，很可能標志著人工智能領域的重大轉變——挑戰(zhàn)「模型越大越好」的觀念，讓人工智能在消耗有限資源的條件下也能持續(xù)生長。
目前，由于所涉及模型的規(guī)模和復雜性，許多先進的人工智能功能都依賴于云計算。
如果像xLAM-1B這樣的較小模型也能提供類似的功能，就能讓更強大的人工智能助手直接在用戶的設備上運行，從而提高響應速度，并解決與基于云的人工智能相關的隱私問題。
隨著邊緣計算和物聯(lián)網(wǎng)設備的激增，對更強大的設備上人工智能功能的需求也將激增。
xLAM-1B的成功可能會催生新一輪的人工智能開發(fā)浪潮，其重點是創(chuàng)建為特定任務量身定制的超高效模型，而不是「樣樣通」的龐然大物。
這可能會帶來一個更加分布式的人工智能生態(tài)系統(tǒng)，在這個生態(tài)系統(tǒng)中，專業(yè)模型在設備網(wǎng)絡中協(xié)同工作，可能會提供更強大、反應更快、更能保護隱私的人工智能服務。
這一發(fā)展還能使人工智能能力民主化，讓較小的公司和開發(fā)人員無需大量計算資源就能創(chuàng)建復雜的人工智能應用。
此外，它還可以減少人工智能碳足跡，因為較小的模型在訓練和運行時所需的能源要少得多。
xLAM-1B給業(yè)界帶來的沖擊有很多，但有一點是顯而易見的：在人工智能的世界里，大衛(wèi)剛剛證明了他不僅可以與歌利亞競爭，還有可能將其淘汰。人工智能的未來可能不在被巨頭所操控的云端，而是在你自己手中。
參考資料：
https://venturebeat.com/ai/salesforce-proves-less-is-more-xlam-1b-tiny-giant-beats-bigger-ai-models/
https://x.com/SFResearch/status/1807811770267971984?t=j_LOjgVPy41ZpjwkoXmRiQ&s=19
編輯：耳朵 庸庸
本文由人人都是產(chǎn)品經(jīng)理作者【新智元】，微信公眾號：【新智元】，原創(chuàng)/授權 發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉載。
題圖來自Unsplash，基于 CC0 協(xié)議。
- 目前還沒評論，等你發(fā)揮！
