最近一段時間，互聯網科技公司或者互聯網大佬入局AI大模型的消息頻頻傳出，而作為推出ChatGPT、走在大模型技術領域前沿的OpenAI，最近卻突然改變了方向聲稱。難道大模型時代真的要走向結束了嗎？一起來看看作者的分析解答。

4月19日，雖然在這個月幾乎每周都至少有一家科技大公司入局訓練大模型，但OpenAI 卻突然改變了方向聲稱，大模型時代已經要結束了。

上周末在麻省理工學院，OpenAI 的 CEO 在演講中警告稱：我們已經處在大模型時代的尾聲，并表示如今的 AIGC 發展中，將數據模型進一步做大，塞進更多數據的方式，已經是目前人工智能發展中最后一項重大進展，并且還聲稱目前還不清楚未來的發展方向何去何從。

消息傳出，立即引發很多外界的質疑，OpenAI 本身已經是大模型技術領域最前沿的研究機構，為何會說出這種能讓研究方向180度掉頭的論調？

在如今的生成式 AI 背后的技術，稱其為大模型甚至已經不夠準確，這些模型所需的參數數量已經是天文數字，稱其為「巨型模型」或許更加準確。

OpenAI 最早的語言模式是 GPT-2，于 2019 年公布，發布時就有 15 億個參數，此后隨著 OpenAI 研究人員發現擴大模型參數數量能有效提升模型完善程度，真正引爆 AI 行業浪潮的 GPT-3 發布時，參數數量已經達到了 1750 億個。

截至目前，OpenAI 并沒有公布最新迭代版本 GPT-4 所用的參數數量。但外界普遍估算其包括的參數量已經達到了 GPT-3 的二十倍 —— 3.5萬億個參數。

但人類互聯網歷史上被保留下來的各種高質量語料，已經在 GPT-3 以及后續發布的 GPT-4 的學習中被消耗殆盡。大模型參數數量仍然可以繼續膨脹下去，但對應數量的高質量數據卻越來越稀缺，因此增長參數數量帶來的邊際效益愈發降低。這如同 AI 行業的「摩爾定律」一般。

除了大模型本身的技術發展方向，Altman 提到的另一個問題：購買大量 GPU 以及建設數據中心的物理限制以及高昂的成本，或許才是更多 AI 大模型開發公司現在所面臨的切膚之痛：運營巨型數據服務中心成本高昂已經是行業公認，但如果是用于 AI 大模型訓練則更是貴上加貴，無論是對電力還是水力的消耗都極其巨大。

即使是 GPT-4 或 New Bing，也多次因為算力不足不得不公開宣布短時間內暫停訪問。算力已經成為限制 AIGC 進一步拓展使用場景的關鍵桎梏。Altman 的說法的根據，或許也有很大一部分來源于 OpenAI 所面臨的現實原因。

在今年三月，英偉達專用于大模型參數計算、采用專用 Transformer Engine 架構的英偉達 H100NVL 系列發布之后，從中嗅到商機的黃牛也開始借機炒價，售價已經飆升至四萬美元。但這些在當下大模型技術巨大的風口面前似乎都不值一提，目前 H100NVL 系列仍然處于一貨難求的狀態。馬斯克也在 Twitter 上驚呼「似乎每個人和他們的狗都在搶購 GPU」。

不過吐槽歸吐槽，即便是馬斯克也不得不為了自己新成立的 AI 公司而買買買：據《商業內幕》報道，馬斯克已經購入了一萬組英偉達最新發布的 GPU 并運至數據中心。并在 Twitter 上聲稱將開發 TruthGPT 來挑戰 ChatGPT。

盡管 Altman 同時還在演講中表示「OpenAI 目前沒有在開發 GPT-5」。但在 AI 大模型發展狂奔的路上，沒有人愿意真的成為「落后六個月」的那個。

根據分析機構 SemiAnalysis 估算，如果按照目前 ChatGPT 的運算處理效率，想要承擔 Google 搜索目前在全球全部訪問流量，至少需要 410 萬張英偉達 A100 GPU。即使只是訓練出目前 ChatGPT 能力的大模型，也需要超過 10000 個 GPU 來完成，后續運營維護還需要更多。

這也是如今幾乎你能見到的每個大模型產品都需要「內測邀請碼」的原因：不僅訓練這些大模型燒錢，運營起來更加燒錢。

這種對于計算硬件極度迫切的需求，推動著英偉達成為這個市場最大的壟斷者。如今英偉達已經占據了計算卡 88% 的市場份額，其他選項 —— 例如 Google 開發的 Tensor TPU，甚至不提供對外售賣的選項。

但正如馬斯克「嘴上說暫停訓練半年，實際光速成立 AI 公司」一樣，在很大程度上，這也只是 Altman 的一家之言。如今很多后來者的技術發展程度都還遠未到能說出「AI 發展不能靠無腦計算」的程度。但 Altman 所說的確實已經成為如今頭部大模型開發公司正在/即將要面對的棘手問題。

「一味不計成本地堆砌硬件不是未來」已經成為越來越多業內人士的共識。

現在的 AI 發展階段，甚至很多地方都有著互聯網發展早期時代的即視感：AI 行業的發展也已經出現了「摩爾定律」，訓練大模型所需的大量 GPU 組成的硬件訓練集群，與世界上第一臺計算機并沒有本質上的區別。

人工智能也需要一次「半導體革命」，探索未來也需要更加高效的方式：或許對大模型參數數量的精簡，以及利用多個較小的模型實現處理能力的提升，會是大模型時代結束之后，AIGC 行業的下一個發展方向。

在 ChatGPT 發布之初，針對參數量過高以及關于道德倫理方面的問題，OpenAI 曾公開過一項新的研究：使用一種通過人類反饋來強化學習 (RLHF) 的技術，對模型數據進行微調。

經過超過一年的測試，OpenAI 由此生成了 InstructGPT，其模型參數量僅有 13 億，只不到原版 ChatGPT 的百分之一，但這個迭代款不僅表現出更準確的回答能力，甚至在回答中關于事實核查以及負面內容的表現，要好于 ChatGPT 本身。

此外，同樣近期大火的 AutoGPT：使用 GPT-4 作為底層技術，加入了從網頁中抽取關鍵信息的能力，根據返回的結果進一步執行命令，幫你自動完成任務處理。突破了只能處理文本相關內容任務的限制。

由此誕生的結果，就是用戶在 AutoGPT 的實際使用中都能明顯感受到，要智能的多的結果，甚至完完全全改變了原本 ChatGPT 常規的使用方式，比如 AutoGPT 能自動完成一整個網頁的代碼實現，甚至還有網友發現 AutoGPT 為了完成最初的任務目標，自行在招聘網站上發布了招聘廣告，吸引其他人來輔助完成。

這些在應用層面的創新，除了能為大模型技術探索更多的應用場景，也是在 AI 領域探索現有算力之下發展的可能?；谌祟惙答亴崟r修改結果的最直觀體驗，就是讓人工智能變得更加聰慧，同時也是真正意義上能實現「一個人就是一個團隊」的技術。

宏觀來看，即使當下大模型技術對于 AIGC 的發展至關重要，但長遠來講，AI 絕不會永遠依賴大模型的參數提升以及堆砌算力來構建未來，開發更小更精準的模型，以及更加具體的應用場景，或許已經是下一個時代真正的方向。

屆時，或許是大模型時代的結束，卻是人工智能時代真正的開始。