OpenAI CEO 宣布轉向,「大模型時代」即將結束?

1 評論 4301 瀏覽 5 收藏 11 分鐘

最近一段時間,互聯網科技公司或者互聯網大佬入局AI大模型的消息頻頻傳出,而作為推出ChatGPT、走在大模型技術領域前沿的OpenAI,最近卻突然改變了方向聲稱。難道大模型時代真的要走向結束了嗎?一起來看看作者的分析解答。

4月19日,雖然在這個月幾乎每周都至少有一家科技大公司入局訓練大模型,但OpenAI 卻突然改變了方向聲稱,大模型時代已經要結束了。

上周末在麻省理工學院,OpenAI 的 CEO 在演講中警告稱:我們已經處在大模型時代的尾聲,并表示如今的 AIGC 發展中,將數據模型進一步做大,塞進更多數據的方式,已經是目前人工智能發展中最后一項重大進展,并且還聲稱目前還不清楚未來的發展方向何去何從。

消息傳出,立即引發很多外界的質疑,OpenAI 本身已經是大模型技術領域最前沿的研究機構,為何會說出這種能讓研究方向180度掉頭的論調?

在如今的生成式 AI 背后的技術,稱其為大模型甚至已經不夠準確,這些模型所需的參數數量已經是天文數字,稱其為「巨型模型」或許更加準確。

OpenAI 最早的語言模式是 GPT-2,于 2019 年公布,發布時就有 15 億個參數,此后隨著 OpenAI 研究人員發現擴大模型參數數量能有效提升模型完善程度,真正引爆 AI 行業浪潮的 GPT-3 發布時,參數數量已經達到了 1750 億個。

截至目前,OpenAI 并沒有公布最新迭代版本 GPT-4 所用的參數數量。但外界普遍估算其包括的參數量已經達到了 GPT-3 的二十倍 —— 3.5萬億個參數。

但人類互聯網歷史上被保留下來的各種高質量語料,已經在 GPT-3 以及后續發布的 GPT-4 的學習中被消耗殆盡。大模型參數數量仍然可以繼續膨脹下去,但對應數量的高質量數據卻越來越稀缺,因此增長參數數量帶來的邊際效益愈發降低。這如同 AI 行業的「摩爾定律」一般。

除了大模型本身的技術發展方向,Altman 提到的另一個問題:購買大量 GPU 以及建設數據中心的物理限制以及高昂的成本,或許才是更多 AI 大模型開發公司現在所面臨的切膚之痛:運營巨型數據服務中心成本高昂已經是行業公認,但如果是用于 AI 大模型訓練則更是貴上加貴,無論是對電力還是水力的消耗都極其巨大。

即使是 GPT-4 或 New Bing,也多次因為算力不足不得不公開宣布短時間內暫停訪問。算力已經成為限制 AIGC 進一步拓展使用場景的關鍵桎梏。Altman 的說法的根據,或許也有很大一部分來源于 OpenAI 所面臨的現實原因。

在今年三月,英偉達專用于大模型參數計算、采用專用 Transformer Engine 架構的英偉達 H100NVL 系列發布之后,從中嗅到商機的黃牛也開始借機炒價,售價已經飆升至四萬美元。但這些在當下大模型技術巨大的風口面前似乎都不值一提,目前 H100NVL 系列仍然處于一貨難求的狀態。馬斯克也在 Twitter 上驚呼「似乎每個人和他們的狗都在搶購 GPU」。

電廠|OpenAI CEO 宣布轉向,「大模型時代」即將結束?

不過吐槽歸吐槽,即便是馬斯克也不得不為了自己新成立的 AI 公司而買買買:據《商業內幕》報道,馬斯克已經購入了一萬組英偉達最新發布的 GPU 并運至數據中心。并在 Twitter 上聲稱將開發 TruthGPT 來挑戰 ChatGPT。

盡管 Altman 同時還在演講中表示「OpenAI 目前沒有在開發 GPT-5」。但在 AI 大模型發展狂奔的路上,沒有人愿意真的成為「落后六個月」的那個。

根據分析機構 SemiAnalysis 估算,如果按照目前 ChatGPT 的運算處理效率,想要承擔 Google 搜索目前在全球全部訪問流量,至少需要 410 萬張英偉達 A100 GPU。即使只是訓練出目前 ChatGPT 能力的大模型,也需要超過 10000 個 GPU 來完成,后續運營維護還需要更多。

這也是如今幾乎你能見到的每個大模型產品都需要「內測邀請碼」的原因:不僅訓練這些大模型燒錢,運營起來更加燒錢。

這種對于計算硬件極度迫切的需求,推動著英偉達成為這個市場最大的壟斷者。如今英偉達已經占據了計算卡 88% 的市場份額,其他選項 —— 例如 Google 開發的 Tensor TPU,甚至不提供對外售賣的選項。

但正如馬斯克「嘴上說暫停訓練半年,實際光速成立 AI 公司」一樣,在很大程度上,這也只是 Altman 的一家之言。如今很多后來者的技術發展程度都還遠未到能說出「AI 發展不能靠無腦計算」的程度。但 Altman 所說的確實已經成為如今頭部大模型開發公司正在/即將要面對的棘手問題。

「一味不計成本地堆砌硬件不是未來」已經成為越來越多業內人士的共識。

現在的 AI 發展階段,甚至很多地方都有著互聯網發展早期時代的即視感:AI 行業的發展也已經出現了「摩爾定律」,訓練大模型所需的大量 GPU 組成的硬件訓練集群,與世界上第一臺計算機并沒有本質上的區別。

人工智能也需要一次「半導體革命」,探索未來也需要更加高效的方式:或許對大模型參數數量的精簡,以及利用多個較小的模型實現處理能力的提升,會是大模型時代結束之后,AIGC 行業的下一個發展方向。

在 ChatGPT 發布之初,針對參數量過高以及關于道德倫理方面的問題,OpenAI 曾公開過一項新的研究:使用一種通過人類反饋來強化學習 (RLHF) 的技術,對模型數據進行微調。

經過超過一年的測試,OpenAI 由此生成了 InstructGPT,其模型參數量僅有 13 億,只不到原版 ChatGPT 的百分之一,但這個迭代款不僅表現出更準確的回答能力,甚至在回答中關于事實核查以及負面內容的表現,要好于 ChatGPT 本身。

電廠|OpenAI CEO 宣布轉向,「大模型時代」即將結束?

此外,同樣近期大火的 AutoGPT:使用 GPT-4 作為底層技術,加入了從網頁中抽取關鍵信息的能力,根據返回的結果進一步執行命令,幫你自動完成任務處理。突破了只能處理文本相關內容任務的限制。

由此誕生的結果,就是用戶在 AutoGPT 的實際使用中都能明顯感受到,要智能的多的結果,甚至完完全全改變了原本 ChatGPT 常規的使用方式,比如 AutoGPT 能自動完成一整個網頁的代碼實現,甚至還有網友發現 AutoGPT 為了完成最初的任務目標,自行在招聘網站上發布了招聘廣告,吸引其他人來輔助完成。

電廠|OpenAI CEO 宣布轉向,「大模型時代」即將結束?

這些在應用層面的創新,除了能為大模型技術探索更多的應用場景,也是在 AI 領域探索現有算力之下發展的可能?;谌祟惙答亴崟r修改結果的最直觀體驗,就是讓人工智能變得更加聰慧,同時也是真正意義上能實現「一個人就是一個團隊」的技術。

宏觀來看,即使當下大模型技術對于 AIGC 的發展至關重要,但長遠來講,AI 絕不會永遠依賴大模型的參數提升以及堆砌算力來構建未來,開發更小更精準的模型,以及更加具體的應用場景,或許已經是下一個時代真正的方向。

屆時,或許是大模型時代的結束,卻是人工智能時代真正的開始。

作者:張勇毅;編輯:高宇雷

來源公眾號:電廠(ID:wonder-capsule),探索科技公司的未知,為你充電。

本文由人人都是產品經理合作媒體 @電廠 授權發布,未經許可,禁止轉載。

題圖來自 Unsplash,基于 CC0 協議。

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 有道理

    來自北京 回復