OpenAI附議Ilya預訓練終結!“但Scaling Law還沒死”
在人工智能領域,預訓練模型和Scaling Law一直是研究和討論的熱點。本文將帶您深入了解在最近NeurIPS會議上關于這一主題的最新討論,特別是OpenAI核心成員Noam Brown對于預訓練終結和Scaling Law未來發展的看法。
Is Scaling is All you Need?
在Ilya探討完「預訓練即將終結」之后,關于Scaling Law的討論再次引發熱議。
這屆NeurIPS將被銘記成預訓練終結的一屆會議
在最新研討會上,OpenAI大神,o1核心成員Noam Brown表示,o1代表的是一種全新的,以推理計算為代表的Scaling。
網友們表示:好好好,Scaling Law還沒有死!Scaling Law還在繼續。
演講實錄:Is Scaling is All you Need?
Noam Brown,OpenAI大神一枚,去年7月從Meta離職,曾開發首個在戰略游戲中達到人類水平的AI,此前在游戲AI領域相關研究成果曾登上Science封面。
如今在OpenAI致力于多步推理、自我博弈以及多智能體AI相關的研究。
此前在o1發布的直播時候露過面。
據網友@swyx分享,Noam Brown首先談到Scaling Law的過去演進。
AI從2019年到現在,GPT-2演進到GPT-4,這難以置信的成就都來自于數據和算力規模的擴大。
但大語言模型仍然無法解決像井字棋這樣的簡單問題,
那么隨之而來的一個問題是,Is Scaling is All you Need?我們真的還需要再消耗更高的成本來訓練更好的AI嗎?
這當中被低估的其實是推理的成本,它在過去的擴展(Scaling)要少得多。o1帶來了Scaling的新的維度。
隨后,他追溯了過去模型展現出來的類似規律。
比如在2012年-2015年間撲克模型的擴展。模型規模每年擴展5倍,但收效不大。但依照「人類需要更長時間思考更難問題」這一見解,增加了模型20 秒的搜索時間,效果大致相當于將模型規模擴大了100000倍。
還有在棋牌中擴展推理的歷史,backgammon- 國際象棋 – 圍棋。AlphaGo Zero在原始NN基礎上實現了從3000到5200 Elo增長,都是因為test-time search(推理時間搜索)。
此外,他還引用了Andy L.Jones關于Scaling Laws of games的圖表——可以用10倍的預訓練計算量換取15倍的測試時間計算量。
如果游戲結果擴展到 LLMs,是不是也會是如此?
那么關于o1接下來,會有更高的推理計算能力。在過去 5 年里,LLM概念就是聊天機器人。那么他們可以做得更好”
最后他還打了個小廣告,目前他的多智能體團隊還在招人ing。
網友評論
如果再結合昨天Ilya談到「預訓練時代即將終結」。那么對于市場來說,這一波可不是利好英偉達了(Doge)。
不過也有從業者站出來反對他的看法:推理時間計算(Inference Time Computation)并不新鮮,本來還想把它去掉,但出于需要又讓它回來了。
他還糾正說,里面關于諸多游戲時間順序是錯誤的,許多游戲(包括國際象棋和圍棋)一開始都只專注于推理時間計算。但后來大家都傾向于離線學習策略,這樣省去了大量的在線計算時間。
因此,減少面向用戶的推理時間計算是一個深思熟慮的選擇,甚至導致該領域開始改變對計算復雜性考慮的方式。
這一趨勢在 LLMs 中也得到了延續——所有的重點都放在預訓練上,因此推理時間的計算量可以忽略不計。這樣對終端用戶來說成本極低,甚至可以在本地的邊緣設備上完成。
Ilya在談到未來超級智能的暢想時,也提及了當前推理的不可預測性:
推理越多,系統變得越不可預測,這一點在一些復雜任務中表現得尤為突出。
他還提到:
目前的AI系統還不能真正理解和推理,雖然它們能模擬人類的直覺,但未來的AI將會在推理和決策方面展現出更加不可預測的能力。
不過大模型到底會朝著哪些能力上擴展,這個還得看這些科學家們持續探索。
One More Thing
本來啊,從現場repo來看,這本來是個關于數學AI的研討會,硬生生地被他弄成了討論大模型推理Scaling Law。
現場也是人很多,據說門口都還有20多個人在排隊等待。當然也有部分原因是房間太小了。
參考鏈接:
[1]https://x.com/swyx/status/1867990396762243324
[2]https://x.com/e__honig/status/1868002417045840243
[3]https://x.com/drapersgulld/status/1868023022390485052
白交 發自 凹非寺量子位 | 公眾號 QbitAI
本文由人人都是產品經理作者【量子位】,微信公眾號:【量子位】,原創/授權 發布于人人都是產品經理,未經許可,禁止轉載。
題圖來自Unsplash,基于 CC0 協議。
- 目前還沒評論,等你發揮!