月之暗面撞上算力墻?
Kimi在更新支持更長文本處理后,用戶量激增,但隨即面臨算力瓶頸,導致服務不穩定。文章深入探討了大模型產品在追求規模效應和網絡效應時,如何平衡算力資源與用戶體驗之間的矛盾。同時,分析了大模型公司在商業化道路上的挑戰,以及資本市場對AI技術商業前景的擔憂。
“不好意思,剛剛和Kimi聊的人太多了。Kimi有點累了,可以晚點再問我一遍?!苯谡谮s畢業論文的婁曉彤,時不時仍會收到AI助手Kimi無法使用的提示。
作為大模型初創公司月之暗面旗下的To C應用,自3月份更新成為國內首個支持200萬字上下文的大模型產品后,Kimi爆火出圈,QuestMobile數據顯示,Kimi 應用月活用戶量在3月份飆升至589.7萬,但算力焦慮也隨之而來。即便距產品更新已經過去一個多月,婁曉彤的遭遇仍在部分用戶身上逐一上演。
月之暗面向字母榜解釋稱,“其實是因為每天都有相對的高峰期和低谷期,高峰期可能會遇到(類似婁曉彤的)情況。”
每次產品更新,對大模型公司而言都是一次流量和算力的雙重考驗。在3月18日宣布支持200萬字上下文后,彼時Kimi便遭遇一次大規模宕機:從3月21日開始,Kimi APP和小程序被爆均無法正常使用。月之暗面隨后發布情況說明,“觀測到Kimi的系統流量持續異常增高,流量增加的趨勢遠超對資源的預期規劃?!?/p>
理論上,Kimi等AI助手可以支持的用戶量幾乎沒有上限,只要大模型公司能夠提供源源不斷的算力供給,但這背后涉及的卻是一個現實的效率平衡問題,在商業化尚未走向閉環的當下,這也是一眾大模型產品的共同難題:配置冗余算力,難免帶來部分時間段內的資源浪費;配置緊張算力,則不可避免會在高峰期內影響用戶體驗。
尚需投資儲備算力資源的月之暗面,在近期被爆出創始人楊植麟通過售出個人持股已套現數千萬美元消息后,更是一時間引發諸多猜測。
被商業化絆住的不止Kimi。就連行業老大哥微軟推出的AI編程工具GitHub Copilot,哪怕已經坐擁180萬付費用戶,仍陷在入不敷出狀態:去年10月,月費10美元的GitHub Copilot,被爆平均每個月在每個用戶身上都要倒貼20美元,最高能達80美元。
同樣困在商業變現中的OpenAI,為了盡可能追求效率平衡,在免費版ChatGPT之外,特意設計出了付費版ChatGPT Plus。高峰時段,ChatGPT Plus用戶將享有優先使用權,可以獲得更迅速的服務響應。
但隨著用戶規模暴漲,自去年2月推出付費版以來,OpenAI曾幾度暫停ChatGPT Plus新用戶注冊,給出的理由是“需求量過大”,導致算力資源出現缺口。
大模型產品的規模效應和網絡效應仍處在市場潛伏期。這也使得部分投資人開始對大模型產品去魅,典型代表如金沙江創投主管合伙人朱嘯虎,其在接受騰訊科技采訪中表示,從2023年下半年開始,自己便決定不再和美國同事開原定每周一次的遠程例行會議,探討兩邊大模型產業格局變化,“打了半年我不打了,沒有意義?!毕啾绕诖竽P彤a品在未來某一時刻迎來“iPhone時刻”,朱嘯虎更在意當下能馬上變現的To B應用。
資本市場對大模型商業化的擔憂更是進一步體現在剛剛發布財報的Meta身上?!凹词箤⑽覀兊脑S多現有資源轉移到人工智能上,在我們從這些新產品中獲得大量收入之前,我們仍然需要擴大我們的投資范圍……這將是一個持續多年的投資周期?!痹瞬裥鏀U大對AI投資話音落地,當地時間4月25日,Meta股價盤后應聲下跌超10%。
對于Kimi這類缺乏自身造血能力的大模型創業公司而言,相比Meta,其面臨的挑戰只多不少:在這場效率平衡游戲中,它們宛如行走在懸于空中的鋼絲繩上的雜技演員,投資款便是平衡木,到達對岸的唯一路徑,便是在投資款耗盡之前,找到能夠自我造血的商業模式。
01
春節期間,婁曉彤被身邊同學安利了Kimi,當時Kimi支持的上下文長度只有20萬字。加上彼時還未出圈,在日常使用中,婁曉彤基本沒遇過無法使用情況。
隨著Kimi將上下文長度擴展到200萬字,并通過在資本市場上衍生出Kimi概念股火速出圈,從3月中旬開始,婁曉彤遭遇Kimi提示“有點累了”的情況,逐漸多了起來。
婁曉彤正在遭遇的算力緊張,從Kimi誕生后便已是注定的局面。去年3月創立月之暗面后,楊植麟便定下了做產品的兩大思路:只做To C,且堅持長文本路線。
圖源:月之暗面官網截圖
文本長度和算力成本之間不可調和的矛盾,以及To C和高額營銷成本之間的取舍,成為擺在楊植麟面前的兩重平衡難題。
3月份Kimi借助支持200萬字上下文出圈后,新浪科技曾報道稱,Kimi用戶獲客成本達到12元-13元,其每天獲客成本超過20萬元。
大模型耗錢也早在楊植麟預料之中。“它需要人才聚集、資本聚集?!睏钪谗胄稳莸?。
短短一年多時間內,月之暗面已經拿下近百億人民幣投資:2023年,月之暗面完成兩輪總計近20億人民幣投資;今年2月份,月之暗面完成新一輪10億美元融資,由阿里巴巴領投,紅杉中國、小紅書、美團等機構跟投,投后估值超過25億美元。
近百億融資款,更多都被用以支付算力資源。據市界報道,新一輪10億美元融資款中,領投方阿里出資的8億美元并非全是現金,其中部分將以阿里云提供的算力結算。
這方面行業早有慣例。更早之前微軟百億美元投資OpenAI,其中大部分投資款便是以微軟云服務提供的算力資源結算。在微軟參投之前,OpenAI其實是從谷歌云服務采購算力資源。如此一來,微軟投出去的錢,大部分又以云服務的方式流了回來。
更重要的是,微軟還借此完成了股價飆升,總市值不僅突破3萬億美元,更是超越蘋果,成為全球市值最高上市公司。
亞馬遜隨后便來了個有樣學樣。今年3月底,亞馬遜正式完成對OpenAI最強對手Anthropic 40億美元的投資。與OpenAI一樣,Anthropic也需要選擇亞馬遜作為其主要云服務商。
02
因算力資源而導致服務中斷的現象,不只發生在Kimi一家身上,包括文心一言、ChatGPT等,都曾出現過無法正常使用的情況。
據字母榜不完全統計,每次產品更新升級的節點,便是大模型產品可能迎接“崩盤”命運的開始。
去年4月份,ChatGPT付費版本推出2個月后,ChatGPT Plus被爆暫停新用戶注冊,OpenAI給出的理由是“需求量過大”,導致算力資源出現缺口。付費通道恢復正常后,OpenAI再次收緊GPT-4的互動次數,從每4小時100條消息降為每3小時25條消息。
7個月后的2023年11月,OpenAI在首屆開發者大會上帶來一系列產品更新:全新GPT-4 Turbo、自定義GPT以及上線GPT商店。在大會結束后的短短兩天內,ChatGPT服務器再次崩潰:用戶數量的激增又一次超過了OpenAI的算力容量。
作為OpenAI CEO的山姆·奧特曼都不得不親自下場致歉,稱新功能的熱度遠遠超出了公司預期?!坝捎谪撦d的原因,短期內可能會出現服務不穩定的情況,對不起?!?/p>
最近一次“崩盤”發生在4月份。為了再次降低使用門檻,擴大用戶量,在全球185個國家/地區累積超1億每周用戶量后,OpenAI宣布用戶無需注冊賬戶就可以使用ChatGPT,“我們正在逐步推出這一功能,目的是讓任何對其功能感興趣的人都可以使用人工智能?!?/p>
在OpenAI還沒來得及將上述新功能擴散到全球所有地區時,社交媒體上已經陸續有用戶反饋,自己在與ChatGPT互動時又被提示“系統錯誤”了。
除了采購更多算力資源來提升用戶體驗之外,一眾大模型公司也在想方設法通過降低算力成本來滿足更多用戶需求。
截至4月份,國內文心大模型推理性能被爆提升了105倍,推理成本降到了原來的1%。這意味著,客戶原來一天調用1萬次,同樣成本現在可以調用100萬次。
國外OpenAI的奧特曼,更是在近期接受采訪時預言,“我們(OpenAI)可以將非常高質量的AI技術成本降至接近零……如果我們沒有制造足夠的計算資源、供應和需求失衡,或計算成本攀升,這將導致AI成本非常高。”在奧特曼看來,未來AI技術成本將會變得越來越便宜。
03
使用更高效的硬件,便是推動AI技術成本降低的直接手段。
幾乎在奧特曼預測AI技術成本將變得越來越便宜的同一時期,英偉達創始人黃仁勛又來給OpenAI送芯片,這次是量產最強一代的全球第一臺Nvidia DGX H200超級計算機。OpenAI總裁格雷格·布羅克曼還特意曬出了自己、奧特曼與黃仁勛的三人大合照。
但對于已經無法獲得英偉達最強芯片的中國大模型公司而言,借助人才優化算法以減少算力需求,則是另一條降低AI技術成本的路徑。
4月23日,界面新聞爆出楊植麟通過售出個人持股已套現數千萬美元消息后,月之暗面隨即對外回應稱“消息不實”,并向媒體發來了一則招聘文章說明,里面重點提到,為了吸引并留住最優秀的人才,月之暗面推出全新員工激勵計劃,為優秀人才提供匹配其貢獻的豐厚回報。“從今年開始,我們將在公司取得重要進展時發起員工期權回購計劃,確保團隊成員能夠分享公司發展的果實(2024年底啟動首次期權回購計劃)。每年定期根據工作表現進行調薪和期權增發,確保薪酬和期權充分反映出員工個人的成長和貢獻?!?/p>
由此,外界也猜測楊植麟團隊此次套現,其中或許便包括對重要人才的貢獻獎勵。
在公司創立伊始,楊植麟給出的早期招人畫像便是專注找對口的genius(天才)。“公司上限是由人的上限決定的……之前有對模型動手術的能力,有訓練超大規模模型直接的經驗,就可以很快做出來。包括Kimi發布,資本效率和組織效率其實很高。”
與國內相比,硅谷AI人才之爭,更為瘋狂。馬斯克本人都不得不感慨:“這是我見過最瘋狂的人才大戰?!睘榱吮苊馓厮估瞬磐饬?,馬斯克旗下的大模型公司xAI開出了不少offer。
扎克伯格更是親力親為,通過個人電子郵件給谷歌DeepMind團隊成員發去邀請,希望他們能加入Meta與他共事。谷歌創始人謝爾蓋·布林,為了挽留即將離職轉投OpenAI的員工,也同樣選擇親自出馬,給員工加薪加福利。
人才大戰之下,根據薪資數據網站 Levels.fyi數據,硅谷機器學習和AI工程師的薪酬中位數已經接近 40萬美元,OpenAI總薪資中位數甚至高達92.5萬美元(包括期權)。
盡管為爭奪AI人才,科技巨頭開支增加,但他們的一系列瘋狂舉動已經在股價上迎來正反饋:2024年剛過完4個月,Meta股價年內已經大漲22%,谷歌大漲19%,亞馬遜大漲19%。
參考資料:
《ChatGPT 之父最新演講:GPT-5 聰明程度超乎想象,一大批 AI 初創公司的努力將變得毫無意義》APPSO
《黃仁勛親自給OpenAI送貨,全球首臺DGX H200開箱了》機器之心
《如何評價月之暗面創始人楊植麟一年套現數千萬美金事件?》鈦媒體
《月之暗面創始人楊植麟套現數千萬美金》界面新聞
《月之暗面楊植麟復盤大模型創業這一年:向延綿而未知的雪山前進》騰訊科技
《搞大模型巨虧,微軟都還沒掙到錢!GitHub Copilot每月收10刀,倒賠20》量子位
《Kimi創始人套現4000萬美元疑云》市界
本文由人人都是產品經理作者【字母榜】,微信公眾號:【字母榜】,原創/授權 發布于人人都是產品經理,未經許可,禁止轉載。
題圖來自Unsplash,基于 CC0 協議。
- 目前還沒評論,等你發揮!