太瘋狂了！Claude 3 Opus竟然干掉了GPT-4。在Chatbot Arena最新的聊天機器人對戰排行榜中，Claude 3的超大杯成功登頂，就連最小的Claude 3 HaiKu都達到了GPT-4水平！

太瘋狂了！Claude 3 Opus超越了GPT-4，成為新的國王！

今天，Chatbot Arena更新了聊天機器人對戰的排行榜，在經過了時間的洗禮和群眾的檢驗之后，之前略遜于GPT-4的Claude 3竟然反超了！

而且不僅僅是Claude 3的超大杯Opus成功登頂，藐視眾生，Claude 3家族的整體表現都非常亮眼。

大杯Claude 3 Sonnet排到了第4，就連最小的Claude 3 HaiKu都達到了GPT-4水平！

那么相比于基準測試跑分，這個榜單的權威性如何？

Chatbot Arena（聊天機器人競技場），由伯克利團隊開發，每個模型在榜單上的得分，完全取決于真實人類用戶的使用體驗。

我們來看一下打分規則：

用戶同時向兩個匿名模型（比如ChatGPT、Claude、Llama）提出任何相同的問題，然后根據回答投票給表現更好的模型；

如果一次回答不能確定，用戶可以繼續聊天，直到確定獲勝者；

如果在對話中透露了模型的身份，則不會計算投票。

Chatbot Arena平臺收集了超過40萬人的投票，來計算出這個大模型的等級分排行榜，最終找出誰是冠軍。

顯然，這回Claude 3贏麻了。

我們來看一下真實的戰況：

在所有非平局對戰中， A對B獲勝的比例：

模型之間的對戰次數（無平局）：

GPT-4終于被干掉了，對此，有網友開始惡搞：

剛在當地超市看到Sam Altman，他一臉震驚地看著手機。幾秒鐘后，他真的倒下了，開始劇烈顫抖。經過2分鐘的搖晃和尖叫，一群人圍繞著他試圖幫助他。但令人驚訝的是，他在2分鐘后停止了顫抖和尖叫，站起來，拿起手機開始撥打一個號碼。

“準備釋放……”

咱也不知道Altman要放的是不是GPT-5。

網友表示，Claude確實要比GPT勤奮得多：

GPT-4-Turbo非常懶惰。在任何編碼任務中，它都會跳過部分代碼，并表示“你自己知道要放什么”，而Opus可以毫無遺漏地輸出整個代碼。

就連Claude-2也通過自己的勤奮和耐心感動了這位網友。

更有比較務實的網友指出，Haiku的排名更為重要，因為它是第一個可以以極低成本即時運行的LLM，并且具有足夠高的智能來提供實時客戶服務。

盲生你發現了華點！Claude 3 Haiku不僅與原始版本的GPT-4表現一樣好，關鍵是相當便宜，在一些平臺你甚至可以免費使用。

大家于是紛紛夸起了Claude 3 Haiku：

智能相當于GPT-4，價格比GPT-3.5便宜，而且據說模型可能只有20B大小。

有網友表示，OpenAI不行啦，現在Anthropic才是老大，一時間，平臺內外充滿了快活的空氣。

ChatGPT 一年零增長

回過頭來再看ChatGPT這邊，從最初的高光、王者，到現在不能說泯然眾人吧，反正多少有點寒酸了。
最近，有關統計平臺曝出：ChatGPT在過去一年中居然零增長！

最近一段時間，ChatGPT一直被指責懶惰、系統提示臃腫，而另一方面競爭也愈演愈烈——Claude 3和Gemini Pro 1.5現在都提供了比GPT-4多8倍的上下文長度和更好的recall能力。

對于幾乎每個ChatGPT用例，現在都有大量垂直化的AI初創公司，致力于滿足用戶的需求，而不是滿足于現有的ChatGPT界面和捆綁工具

它們有更好的UI選項（例如IDE和圖像/文檔編輯器）、更好的原生集成（例如用于cron重復操作）、更好的隱私/企業保護（例如用于醫療保健和金融），更細粒度的控制（GPT的默認RAG是幼稚且不可配置的）。

以下是一些網友列舉了相關垂直領域的產品，以及公司的融資情況：

從某種意義上說，OpenAI的B2B和B2C部分相互競爭，這在某種程度上是良性競爭——OpenAI可以使用來自ChatGPT的RLHF數據進行訓練。

而新的GPT商店可以看作是，OpenAI為了抓住這些垂直化需求的嘗試。

——與其離開平臺，到處支付20美元/月，為什么不留在ChatGPT內部而只需要支付一次，讓OpenAI將理論上的收入分配給GPT創作者？

對此，大部分創作者也很明智，一般只向ChatGPT發布精簡版的應用，作為自己主要平臺的一個渠道。

在游戲機業務中，眾所周知，購買決策往往是由平臺獨占游戲驅動的。從某種意義上說，ChatGPT的未來會以平臺專屬模型為特色。

所以，當Sora甚至是GPT-5公開發布時，一定會率先登陸自家的平臺，也許那將是下一輪ChatGPT的增長點。

參考資料：

https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard