起點(diǎn)課堂會員權(quán)益
職業(yè)體系課特權(quán)
線下行業(yè)大會特權(quán)
個人IP打造特權(quán)
30+門專項(xiàng)技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導(dǎo)直播
12場專業(yè)技能直播
會員專屬社群
榮耀標(biāo)識GPT-4o成為全領(lǐng)域SOTA！基準(zhǔn)測試遠(yuǎn)超Gemini和Claude，多模態(tài)功能遠(yuǎn)超GPT-4
OpenAI半小時的發(fā)布會讓很多人第一反應(yīng)是直呼「失望」，但隨著官網(wǎng)放出更多demo以及更多網(wǎng)友開始試用，大家才發(fā)現(xiàn)GPT-4o真的不可小覷，不僅在各種基準(zhǔn)測試中穩(wěn)拿第一，而且有很多發(fā)布會從未提及的驚艷功能。
OpenAI在發(fā)布會上官宣GPT-4o之后，各路大神也開始了對這個新模型的測評，結(jié)果就是，GPT-4o在多項(xiàng)基準(zhǔn)測試上都展現(xiàn)了SOTA的實(shí)力。
別家發(fā)布會都在畫餅，OpanAI卻總能開出一種「欲揚(yáng)先抑」的效果，驚喜全在發(fā)布會之后。
01 基準(zhǔn)測試結(jié)果
首先，在LMSys聊天機(jī)器人競技場上的ELO分?jǐn)?shù)排行上，GPT-4o套了一個GPT2聊天機(jī)器人的馬甲，以一騎絕塵的態(tài)勢名列第一，評分為1310，和第二名GPT-4-turbo的1253分相比，呈現(xiàn)斷檔式的提升。
再來看多模態(tài)領(lǐng)域的基準(zhǔn)Reka Vibe-Eval，這也是一個很有挑戰(zhàn)性的測試，由 269 個超高質(zhì)量圖像文本對組成，用于評估多模態(tài)語言模型的性能。
在Reka Vibe-Eval 分?jǐn)?shù)的排行榜上，GPT-4o再次榮登第一，相比谷歌新發(fā)布的Gemini Pro 1.5高出了將近三個百分點(diǎn)。
而且GPT-4o克服了這個測試集上大模型常見的「逆縮放」問題，也就是在某些案例中表現(xiàn)不如小模型的問題。
不止如此，GPT-4o的內(nèi)存突破也值得關(guān)注。
針里尋針（Needle in a Needlestack，NIAN）是最近非常流行的開源基準(zhǔn)測試，用于評估大模型關(guān)注上下文內(nèi)容的能力。
大語言模型的進(jìn)展導(dǎo)致曾經(jīng)流行的基準(zhǔn)測試「大海撈針」已經(jīng)過時，在此基礎(chǔ)上，更具挑戰(zhàn)性的「針里尋針」測試誕生了。
https://github.com/llmonpy/needle-in-a-needlestack
測試中，「針里尋針」會從一個大型打油詩數(shù)據(jù)庫中挑出幾首，將其放在prompt中的特定位置，之后再詢問關(guān)于這些打油詩的問題，由此可以很好地考察LLM的上下文記憶能力。
每個測試使用5-10個打油詩，放置在prompt中的5-10個位置，重復(fù)2-10次。
曾經(jīng)，GPT-4 Turbo和Claude-3 Sonnet都在「針里尋針」測試中表現(xiàn)得非常慘烈，側(cè)面證明了這個任務(wù)對LLM的難度和挑戰(zhàn)性。
廣受歡迎的Mistral模型雖然表現(xiàn)得稍好一點(diǎn)，但正確率基本不超過60%。
相比之前的模型，GPT-4o取得了飛躍性的突破，正確率每個token位置上都不低于80%，一度接近100%，表現(xiàn)近乎完美！
02 GPT-4o的能力被嚴(yán)重低估了
新推出的輕量級「GPT-4o」模型，雖然有速率限制，但重點(diǎn)是——免費(fèi)！
語音交互絕對是模型的「亮點(diǎn)」，但它的功能遠(yuǎn)不止于此！
OpenAI表示這是他們第一個真正的多模態(tài)模型，通過單一的神經(jīng)網(wǎng)絡(luò)完成所有任務(wù)。
網(wǎng)友表示「不知道這是否是真的還是有些夸大，但GPT-4o在所有領(lǐng)域的能力都超過了市場上的其他任何產(chǎn)品?！?/p>
有網(wǎng)友發(fā)現(xiàn)，作為原生多模態(tài)模型，GPT-4o的文生圖效果非常驚艷，甚至超過DALLE和MidJourney
而且，在生成圖片上的文字時，效果更是遠(yuǎn)遠(yuǎn)好過DALL-E 3。
DALL-E 3 在圖像上生成超過5個單詞后就會崩潰，而GPT-4o不僅做到文字的連續(xù)性，還能在之前生成圖像的基礎(chǔ)上進(jìn)行迭代。
這種迭代是非常重要的，也標(biāo)志著模型能力的巨大飛躍。雖然生成出來的文字還是非?！干病?，甚至有明顯錯誤，但是迭代能力可以使GPT-4o后續(xù)逐漸減少文字和圖像方面的錯誤。
除了生成文字，GPT-4o還能你為生成獨(dú)立的角色形象，然后進(jìn)行對話互動。
神奇的是，他們把對話界面隱藏在一個懸停圖標(biāo)下！這意味著你可以對它進(jìn)行任意動作、風(fēng)格和場景的設(shè)計(jì)！而且GPT-4o在風(fēng)格表現(xiàn)方面做得非常出色。
平面圖片不夠炫酷？GPT-4o能夠?qū)D片進(jìn)行3D重建。
GPT-4o還是一個強(qiáng)大的PS工具，OpenAI的logo被輕松嵌入到了杯墊上，但仔細(xì)看的話，你會注意到這兩張圖片不是同一個杯墊。
模型沒有在原圖片基礎(chǔ)上進(jìn)行修補(bǔ)，而是從頭生成，因此看起來像原始的、未經(jīng)過PS的圖片。
Reddit上一位網(wǎng)友分析認(rèn)為，OpenAI的Sam Altman等主創(chuàng)團(tuán)隊(duì)可能是太喜歡《Her》這部電影了，他們對GPT-4o的語音互動設(shè)計(jì)很明顯受電影的啟發(fā)（Altman也暗示了這一點(diǎn)），而且發(fā)布會的展示也借鑒了電影的手法——
讓模型自己展示其驚人的能力，而不是像蘋果或者谷歌那樣列出原始數(shù)據(jù)和技術(shù)細(xì)節(jié)。
這樣做非常有「藝術(shù)感」，吊足了圍觀群眾好奇心，但也很容易讓人低估模型的能力。GPT-4o的能力如此強(qiáng)大，也引發(fā)了對模型架構(gòu)的猜測和熱烈討論，網(wǎng)友們的觀點(diǎn)也呈現(xiàn)出兩個方向。
一派認(rèn)為，模型架構(gòu)應(yīng)該基本與GPT-4類似。
而另一方的觀點(diǎn)似乎更占上風(fēng)，認(rèn)為底層架構(gòu)絕對有重大變動，目標(biāo)是對齊GPT-4的文字能力，并在推理和多模態(tài)方面相比GPT-4有更多提升。
03 白熱化的開源與閉源之爭
雖然搭載GPT-4o的ChatGPT聊天界面及其API已經(jīng)免費(fèi)開放給用戶使用，但OpenAI依舊堅(jiān)持了不開源的傳統(tǒng)，這次甚至連一篇技術(shù)報(bào)告都沒有。
但這并不影響GPT-4o在LLM角斗場中掀起風(fēng)云。Liquid AI的資深科學(xué)家Maxime Labonne這樣描述：「LLM 爭奪戰(zhàn)愈演愈烈，GPT-4o 遙遙領(lǐng)先」
這場競爭中值得關(guān)注的另一個角度，則是大語言模型的開源和閉源之戰(zhàn)。GPT-4o能力的快速增長導(dǎo)致閉源和開源之間的差距再次被拉大。
更重要的是，閉源陣容中并非GPT-4o一枝獨(dú)秀。綜合迄今為止發(fā)布的所有LLM，閉源模型的總體表現(xiàn)始終比開源模型更加優(yōu)秀，而且GPT、Claude、Gemini等系列的閉源模型始終走在最前沿。
紅色代表閉源模型，綠色代表開源模型，藍(lán)色區(qū)域表示二者之間的差距
曾經(jīng)，大公司將Linux、安卓等項(xiàng)目開源的動力是希望借助所有開發(fā)者的力量，得到不同角度的反饋和更新意見，從而進(jìn)行快速的迭代優(yōu)化，并且構(gòu)建了在世界范圍內(nèi)有廣泛影響力的大規(guī)模社區(qū)，反哺其他的產(chǎn)品線。
但對于LLM來說，情況就不一樣了。
想要不斷提升大語言模型的能力，算力成本是更大的挑戰(zhàn)。根據(jù)斯坦福大學(xué)發(fā)布的2024年人工智能指數(shù)報(bào)告，訓(xùn)練GPT-4的計(jì)算成本約為7800萬美元，Gemini Ultra則是一億九千一百萬美元左右。
原文鏈接：https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024.pdf
面對這種級別的投入，去中心化的開源社區(qū)對比有巨額投資的科技公司，顯然沒有優(yōu)勢。企業(yè)要想擴(kuò)大模型產(chǎn)品的影響力，只需像OpenAI一樣，免費(fèi)開放API給用戶使用即可。
目前這種開源和閉源模型差距越來越大的趨勢，Jim Fan曾在去年6月就做出過類似的預(yù)測。
但是，LLM的開閉源之爭，不僅是企業(yè)的商業(yè)決策，更關(guān)乎AI行業(yè)整體的發(fā)展。
首先是安全性問題。最近剛從OpenAI離職的首席科學(xué)家Ilya Sutskever本人就對此十分關(guān)注，他曾在2016的一封電郵中寫道：「隨著我們越來越接近構(gòu)建人工智能，開始變的不那么開放是有意義的?！?/p>
可以想象一下，如果像GPT-4o這樣能力強(qiáng)大的模型公布了代碼和模型權(quán)重，任何開發(fā)者都可以在此基礎(chǔ)上微調(diào)，以滿足自己定義的任何功能，AI的力量可能會迅速失控。
「像 GPT 這樣的研究如果落入壞人之手，也可能會進(jìn)化并導(dǎo)致災(zāi)難。」
但另一方面，這些只開放API但不開源的大語言模型對初創(chuàng)公司并不友好。他們沒辦法根據(jù)特定的需求和場景、使用私有數(shù)據(jù)對模型進(jìn)行微調(diào)，開發(fā)出有獨(dú)創(chuàng)性的、功能靈活多樣的產(chǎn)品，只能開始「套殼」。
導(dǎo)致的結(jié)果就是，AI初創(chuàng)公司并沒有像我們想象的那樣蓬勃發(fā)展，我們也沒有看到更多的滲透到工作和生活各方各面的AI產(chǎn)品。
正像Jim Fan推文中提到的，「開源LLM總是有更大的多樣性」。
這似乎是一個兩難問題。
隨著大模型之戰(zhàn)愈演愈烈，相信對于開源和閉源的激烈討論依舊會持續(xù)下去。
參考資料：
https://twitter.com/LiamFedus/status/1790064963966370209
https://x.com/maximelabonne/status/1790519226677026831
https://nian.llmonpy.ai/https://twitter.com/RekaAILabs
https://twitter.com/DrJimFan/status/1669025412138299392
https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024.pdf
https://www.reka.ai/news/vibe-eval
https://www.reddit.com/r/singularity/comments/1crto0m/gpt4o_was_bizarrely_underpresented/?rdt=58871
本文由人人都是產(chǎn)品經(jīng)理作者【新智元】，微信公眾號：【新智元】，原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載。
題圖來自Unsplash，基于 CC0 協(xié)議。
- 目前還沒評論，等你發(fā)揮！
