馬庫斯銳評GPT-5!急需新范式,OpenAI并無優勢

0 評論 1726 瀏覽 1 收藏 12 分鐘

在大模型出現之后,有關其進展或發展的動態,就一直備受業內人士關注,比如在最近,有關有關GPT-5的消息就又火起來了。Gary Marcus也做了分析,或許從GPT-4到GPT-5,其過程將涉及到AI范式的變化。一起來看看本篇內容。

有關GPT-5的消息最近又火起來了。

從最一開始的爆料,說OpenAI正在秘密訓練GPT-5,到后來Sam Altman澄清;再到后來說需要多少張H100 GPU來訓練GPT-5,DeepMind的CEO Suleyman采訪「實錘」OpenAI正在秘密訓練GPT-5。

然后又是新一輪的猜測。

中間還穿插了Altman的大膽預測,什么GPT-10會在2030年前出現,超過全人類的智慧總和,是真正的AGI云云。

再到最近OpenAI名叫Gobi的多模態模型,強勢叫板谷歌的Gimini模型,兩家巨頭的競爭一觸即發。

一時間,有關大語言模型的最新進展成了圈內最熱門的話題。

套用一句古詩詞,「猶抱琵琶半遮面」來形容,還挺貼切的。就是不知道,什么時候能真的「千呼萬喚始出來」。

一、時間線回顧

今天要聊的內容和GPT-5直接相關,是咱們的老朋友Gary Marcus的一篇分析。

核心觀點就一句話:GPT-4到5,不是光擴大模型規模那么簡單,是整個AI范式的變化。而從這一點來看,開發出GPT-4的OpenAI并不一定是先到達5的那一家公司。

換句話說,當范式需要變革的時候,之前的積累可遷移性不大。

不過在走進Marcus的觀點之前,我們還是簡要復習一下最近有關傳說中的GPT-5都發生什么了,輿論場都說了些什么。

一開始是OpenAI的聯合創始人Karpathy發推表示,H100是巨頭們追捧的熱門,大家都關心這東西誰有,有多少。

然后就是一大波討論,各家公司需要多少張H100 GPU來訓練。

大概就是這樣。

  • GPT-4可能在大約10000-25000張A100上進行了訓練
  • Meta大約21000 A100
  • Tesla大約7000 A100
  • Stability AI大約5000 A100
  • Falcon-40B在384個A100上進行了訓練

有關這個,馬斯克也參與了討論,根據馬斯克的說法,GPT-5的訓練可能需要30000到50000個H100。

此前,摩根士丹利也說過類似的預測,不過總體數量要比馬斯克說的少一點,大概是25000個GPU。

當然這波把GPT-5放到臺面上去聊,肯定少不了Sam Altman出來辟謠,表明OpenAI沒在訓練GPT-5.

有大膽的網友猜測,OpenAI之所以否認,很有可能只是把下一代模型的名字給改了,并不叫GPT-5而已。

反正根據Sam Altman的說法,正是因為GPU的數量不足,才讓很多計劃被耽擱了。甚至還表示,不希望太多人使用GPT-4。

整個業內對GPU的渴求都是如此。據統計,所有科技巨頭所需的GPU加起來,得有個43萬張還要多。這可是一筆天文數字的money,得差不多150億美元。

但通過GPU的用量來倒推GPT-5有點太迂回了,于是DeepMind的創始人Suleyman直接在采訪中「錘」了,表示OpenAI就是在秘密訓練GPT-5,別藏了。

當然在完整的訪談中,Suleyman還聊了不少業內大八卦,比方說在和OpenAI的競爭中,DeepMind為啥就落后了,明明時間上也沒滯后太多。

還有不少內部消息,比如當時谷歌收購的時候發生了什么。但這些跟GPT-5怎么著關系就不大了,有興趣的朋友可以去自行了解。

總而言之,這波是業內大佬下場聊GPT-5的最新進展,讓大伙不禁疑云陡起。

在這之后,Sam Altman在一場一對一連線中又表示,「我覺得2030年之前,AGI要出現,叫GPT-10,超過全人類的智慧總和?!?/p>

一方面大膽預測,一方面否認在訓練GPT-5,這讓別人很難真正知道OpenAI在做些什么。

在這場連線中,Altman設想了很多屬于未來的圖景。比如他自己怎么理解AGI,什么時候會出現AGI,真出現AGI了OpenAI會怎么辦,全人類又該怎么辦。

不過就實際進展來說,Altman是這么規劃的,「我和公司中的員工說,我們的目標就是每12個月能讓我們的原型產品性能提升10%?!?/p>

「如果把這個目標設定到20%可能就會有些過高了?!?/p>

這算是個具體安排。但是10%、20%和GPT-5之間的聯系又在哪,也沒說得很清楚。

最有含金量的還是下面這個——OpenAI的Gobi多模態模型。

重點在于谷歌和OpenAI之間的白熱化競爭,到了哪個階段。

說Gobi之前,先得說說GPT-vision。這一代模型就很厲害了。拍個草圖照片,直接發給GPT,網站分分鐘給你做出來。

寫代碼那更不用說了。

而GPT-vision完了,OpenAI才有可能會推出更強大的多模態大模型,代號為Gobi。

跟GPT-4不同,Gobi從一開始就是按多模態模型構建的。

這也讓圍觀群眾的興趣一下被勾起來了——Gobi就是傳說中的GPT-5嗎?

當然現在我們還不知道Gobi訓練到哪一步了,也沒有確切消息。

而Suleyman還是堅定地認為,Sam Altman最近說過他們沒有訓練GPT-5,可能沒有說實話。

二、Marcus觀點

開宗明義,Marcus首先表示,很有可能,在科技史上,沒有任何一款預發布的產品(iPhone可能是個例外)比 GPT-5被寄予了更多的期望。

這不僅僅是因為消費者對它的熱捧,也不僅僅是因為一大批企業正計劃著圍繞它白手起家,甚至就連有些外交政策也是圍繞GPT-5制定的。

此外,GPT-5的問世也可能加劇剛剛進一步升級的芯片戰爭。

Marcus表示,還有人專門針對 GPT-5 的預期規模模型,要求其暫停生產。

當然也是有不少人非常樂觀的,有一些人想象,GPT-5可能會消除,或者至少是極大地消除人們對現有模型的許多擔憂,比如它們的不可靠、它們的偏見傾向以及它們傾訴權威性廢話的傾向。

但Marcus認為,自己從來都不清楚,僅僅建立一個更大的模型是否就能真正解決這些問題。

今天,有國外媒體爆料稱,OpenAI的另一個項目Arrakis,旨在制造更小、更高效的模型,但由于沒有達到預期目標而被高層取消。

Marcu表示,我們幾乎所有人都認為,GPT-4之后會盡快推出GPT-5,而通常想象中的GPT-5要比GPT-4強大得多,所以Sam當初否認的時候讓大伙大吃一驚。

人們對此有很多猜測,比方說上面提到的GPU的問題,OpenAI手上可能沒有足夠的現金來訓練這些模型(這些模型的訓練成本是出了名的高)。

但話又說回來了,OpenAI的資金充裕程度幾乎不亞于任何一家初創公司。對于一家剛剛融資100億美元的公司來說,即使進行5億美元的訓練也不是不可能。

另一種說法是,OpenAI 意識到,無論是訓練模型還是運行模型,成本都將非常高昂,而且他們不確定能否在這些成本下盈利。

這么說好像有點道理。

第三種說法,也是我Marcus的看法是,在Altman上半年5月份演講的時候,OpenAI就已經進行過一些概念驗證方面的測試了,但他們對得到的結果并不滿意。

最后他們的結論可能是這樣:如果GPT-5只是GPT-4的放大版而已的話,那么它將無法滿足預期,和預設的目標差的還遠。

如果結果只會令人失望甚至像個笑話一樣,那么訓練GPT-5就不值得花費數億美元。

事實上,LeCun也是這么個思路。

GPT從4到5,不僅僅是4plus那么簡單。4到5應該是劃時代的那種。

這里需要的就是全新的范式,而不是單純擴大模型的規模。

所以說,就范式上的變革來講,當然還是越有錢的公司越有可能實現這個目標。但區別在于,不一定是OpenAI了。因為范式的變革是全新的賽道,過往的經驗或者積累并不一定能派上多少用場。

同樣,從經濟的角度來講,如果真如Marcus所言,那么GPT-5的開發就相當于被無限期的推遲了。誰也不知道新技術何時到來。

就好像,現在新能源汽車普遍續航幾百公里,想要續航上千,就需要全新的電池技術。而新技術由誰來突破,往往除了經驗、資金外,可能還需要那么一點點運氣,和機緣。

但不管怎么說,如果Marcus想的是對的,那么未來有關GPT-5的各種商業價值想必會縮水不少。

參考資料:

https://garymarcus.substack.com/p/what-if-gpt-5-didnt-meet-expectations

編輯:拉燕

來源公眾號:新智元(ID:AI_era),“智能+”中國主平臺,致力于推動中國從“互聯網+”邁向“智能+”。

本文由人人都是產品經理合作媒體 @新智元 授權發布,未經許可,禁止轉載。

題圖來自 Unsplash,基于CC0協議。

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!