50美元訓練出DeepSeek R1?
近期,科技圈流傳著一個令人震驚的消息:李飛飛團隊僅用 50 美元就訓練出了一個與 DeepSeek R1 性能相當的 AI 推理模型。這一消息引發了廣泛討論,許多人質疑其真實性和可行性。本文將深入剖析這一研究背后的真相,探討其技術細節、依賴條件以及潛在的商業應用前景。
前天下午,一個信息在科技圈傳起來了。
說李飛飛團隊花了50美元就訓練出了一個和DeepSeek R1差不多厲害的AI推理模型。這聽起來簡直像科幻小說的情節,但事實真的如此嗎?
我趕緊看了下研究論文,發現并不是這樣。
先說說這個模型是怎么來的。其實,李飛飛團隊并沒有完全從頭開始訓練一個新的模型。這個名為S1的模型,實際上是基于阿里云的通義千問(Qwen)模型進行監督微調的結果。
就像在已經蓋好的大樓上加點裝飾一樣。所以,所謂的“50美元奇跡”,是站在了別人已經搭好的高臺上才做到的。
既然是微調,具體是怎么微調的呢?主要有兩點:
- 精心挑選數據
- 使用高效訓練
他們找了一個很小的數據集,只有1000個問題,但這些問題都是精心挑出來的,難度高、種類多,質量還特別好。這些數據是從谷歌Gemini 2.0 Flash Thinking Experimental模型中蒸餾出來的,就像把精華部分提取出來一樣。
訓練過程是,他們用了16臺很厲害的電腦(Nvidia H100 GPU),訓練時間不到30分鐘,總共花了不到50美元。就這樣,S1模型在有限的資源下實現了性能的提升。
我一聽,這不就像去網吧借了幾臺電腦,花了點零花錢,就開發出了一款王者榮耀一樣。中文自媒體最喜歡這種噱頭,各種蹭熱點,大家都知道,現在DeepSeek R1特別火,誰都想在熱點上分一杯羹。但這種操作,確實有點噱頭了。
不過,我覺得,雖然這個方法聽起來很厲害,但能不能真的推廣開來,還得好好思考一下。
為什么呢?
首先,這個方法太依賴通義千問模型了。如果沒有強大的基礎,這個模型就沒辦法表現得那么好。這就像是搭積木,底下的積木要是不穩,上面再怎么裝飾也沒用。
然后,1000個數據在處理很復雜的問題時可能不夠用。畢竟,有時候,我們要更多的數據來讓模型更聰明。而且,這種依賴外部模型進行微調的方式還可能引發知識產權的問題。
比如,大家都用別人的模型來訓練自己的模型,那原來的模型開發者是不是應該得到一些回報呢?
不過,盡管有這些問題存在,我認為,李飛飛團隊的研究還是給了我們很多啟發。即:可以花很少的錢,也能訓練出很厲害的AI模型。因為,這對于小公司、個人開發者,還有那些教育資源不夠的地方來說,是個很大的鼓舞。
但是,這個模型到底能不能商用呢?
這又是一個問題。雖然訓練成本降低了,但商用還要考慮很多因素。比如:模型的穩定性和可靠性。比如,DeepSeek R1雖然訓練成本低,但它的推理成本其實也不低。而且,訓練模型只是第一步,模型的維護和更新也需要持續投入。
我覺得,這種小模型的確是一種探索。像我前一段時間本地部署了兩個模型,電腦熱得可以蒸雞蛋。那時,我在想,要是能再小點、再聰明點,就好了。
總之,雖然「50美元訓練出AI模型」聽起來很誘人。
但我們還是要理性看待這件事,它并不是說AI技術一下子就變得特別簡單了,而是在特定的條件下,找到了一種新的方法;我們不能因為這個,就忽略基礎研究和大規模投入的重要性。
不過,這也確實是好消息,說明AI技術正在朝著更平民化的方向發展。希望未來,每個電腦上都能有一個小模型。到時候,只要對著電腦說說話,就能搞定很多任務,那該多好。
報告參考:
[1].論文:https://arxiv.org/html/2501.19393v1
[2].GitHub:https://github.com/simplescaling/s1
本文由人人都是產品經理作者【王智遠】,微信公眾號:【王智遠】,原創/授權 發布于人人都是產品經理,未經許可,禁止轉載。
題圖來自Unsplash,基于 CC0 協議。
- 目前還沒評論,等你發揮!