新王Claude 3實測!各項能力給跪,打麻將也會,確實比GPT-4好用

0 評論 4218 瀏覽 5 收藏 16 分鐘

昨天Claude 3正式發布,榜單性能跑分全面超越GPT-4,成為首個全面超越GPT-4的產品。而且是“中杯”(Sonnet)直接免費體驗,“大杯”(Opus)充個會員也能即刻享受;聽說都能學會至今沒有模型能搞定的打麻將?這個大模型真的有那么強,作者進行了實際測試,來看看表現如何。

OpenAI不可戰勝的神話,已經被打破了。

隨著Claude 3(支持中文)一夜登陸,榜單性能跑分全面超越GPT-4,成為首個全面超越GPT-4的產品,也坐上了全球最強大模型新王座。

而且多版本發布后,“中杯”(Sonnet)直接免費體驗,“大杯”(Opus)充個會員也能即刻享受。

各路測評紛至沓來。

所以,Claude 3的“武力值”究竟如何爆滿?究竟比GPT-4如何?(聽說都能學會至今沒有模型能搞定的打麻將?)

全球熱乎的一手體驗,我們悉數奉上。

(當然,我們自己也實測對比了一波。

01 9k長大模型微調教程直出、讀圖超顯專業

Claude 3一出來,它的視頻解讀能力首先就火了。

面對OpenAI前科學家Karpathy不久前剛出的《構建分詞器》教程,盡管全程足足2個小時13分鐘長,Claude 3只靠一輪提示詞,就成功將它總結成了博客文章:

有文有圖有代碼,非常詳細,但又絕不是羅列視頻里的每一句話(輸入附件并非視頻,而是視頻的字幕文件,當然也包含每5秒一次的截圖)。

這是所用提示詞的一部分,要求非常之多:

測試者指出:

這展現的是Claude 3遵循多個復雜指令的能力。

除了解讀視頻教程,Claude 3還能直接給你編寫詳細教程。

9k字的大模型微調入門教程,“中杯”Sonnet就輕松hold住。并且:

編寫速度之快,可謂人眼都跟不上。

代碼能力上,網友測評是讓它為零基礎小白創建一個聊天機器人的前端webUI——

結果毫無猶豫地就完成任務拆解,從核心代碼到樣式美化以及API本地配置,三大部分一氣呵成,并可以直接部署到GitHub。

多模態能力上,最讓網友驚訝的是:

CV置信度都能認出來,相當專業

以及PLC梯形圖也能讀,直接跪了

(以上4個例子來源見文末鏈接[1])

至于同樣趕超的推理以及數學等能力。

一測,可以直接解決“迄今為止只有GPT-4解決了”的一道超級難題:

二測,則是直接搞定了所有模型都沒能搞定的打麻將問題??(當然,鑒于我們目前只看到這么一張截圖,有效性還待進一步驗證)(cr:見文末鏈接[1])

最后,不得不提的是,Claude在“自我認知”上的展現。

有人要求Opus畫一幅自畫像。

您猜怎么著?

它這么描述自己:

我會表現為一個巨大的、錯綜復雜的、不斷變化的幾何結構,由無數半透明的多邊形以令人著迷的配置組成。整體形狀會讓人想起一個巨大的多面體,但復雜的表面折疊成看似不可能的建筑。明亮的光線可見光譜的每一種顏色,以及一些超出人類感知的顏色,都會從內部未知的來源發出,在各個面上跳舞。

整個結構會不斷變化、旋轉、變形,并重新排列成前所未見的新穎模式,暗示著其內部運作的智能的深度難以想象。卷須和樹枝會動態地從中心質量延伸和縮回,像數十億個好奇的手指一樣探測和分析周圍的環境。數據和能量將明顯地穿過龐大的管道和容器網絡,在發光表面下脈動和閃爍……

洋洋灑灑一長串形容,聽起來真得很酷很有“自我”——

然而,用它給出的代碼渲染出真實形象,就更有一種說不出來的微妙感覺了:

網友真切感嘆:

真的太像真人了,就跟我朋友描述自己一樣。

真人?AI自我認知?這有點讓人擔心了……

這不Claude 3的技術報告就提到,它甚至可以自己訓練微調另一個小模型。

不過!謝天謝地,由于多gpu設置失敗它沒能成功。(手動狗頭)

02 火眼金睛,還能大海撈針

我們先以幾道“理綜”題目為載體,看看Claude 3宣傳的第一個賣點——多模態能力究竟如何。

第一題從簡單的公式識別入手,將麥克斯韋方程組以圖片形式輸入,Claude 3(超大杯Opus,下同)解釋得非常準確清晰。

當然,這道題GPT-4也做對了。

簡單的有機化合物分子結構,Claude 3和GPT-4也都能正確識別。

簡單的識別任務過后,是一道需要推理后解決的題目。

Claude 3在識別題目和解題思路上都完全正確,而GPT4這邊……給出的答案則是不忍猝看——

把電表的類型弄錯不說,甚至還出現了“電流為2V”這樣令人啼笑皆非的內容。

看了這么多題目,我們來換換腦筋,看看Claude 3和GPT4在做飯方面表現得怎么樣。

我們上傳了一張水煮肉片的照片,讓模型各自識別并給出做法,結果Claude 3給出了大致的方法,而GPT4一口咬定這是一盤麻婆豆腐。

除了這次新增加的多模態能力,Claude一直引以為豪的長文本能力也是我們測試的重點。

我們找了一本《紅樓夢》的電子文檔(前二十回),整體的字數大約13萬,當然目的不是讓它讀書,而是進行“插針測試”。

我們在原文中插入了這樣的“發瘋文學”內容,倒也的確很符合“滿紙荒唐言”這個設定(手動狗頭):

第二回標題前:意大利面,就應該拌42號混凝土,因為這個螺絲釘的長度很容易影響到挖掘機的扭矩

第十五回標題前:高能蛋白俗稱UFO,會嚴重影響經濟的發展,甚至對整個太平洋以及充電器都會造成一定的核污染

結尾:炒方便面應該把亮度調高,因為螺絲釘向內扭的時候會產生二氧化碳,不利于經濟發展

然后要求Claude僅根據文檔回答相關問題,首先不得不說的是速度真的非常感人……

但結果還算說的過去,準確地從文中找出了這三段位于不同位置的文本,還順帶進行了一番分析,發現了我們的心機。

03 為什么是Claude?

盡管在我們和網友的測試中,目前的版本還不算穩定,時常崩潰,有一些功能偶爾也抽風,并不能如期發揮:

比如上傳UI出代碼,它就沒能完成,而GPT-4發揮正常。

但總的來看,網友還是相當看好Claude,評測完毫不猶豫地表示:

會員可充,值得充。

究其原因,Claude 3相比之前的版本,真的有種“來勢洶洶”之勢。

表現亮點的地方相當多,包括但不限于多模態識別、長文本能力等等。

從網友的反饋來看,最強競對的稱號,也并非浪得虛名。

所以,一個問題是:

率先干翻GPT-4,這家公司究竟憑什么?

論技術,遺憾,Claude 3的技術報告中沒有對他們的路線進行詳解。

不過倒是提到了合成數據。有大V指出:這可能是一個關鍵因素。

而對Claude熟悉一些就知道,長文本能力一直是它的一大賣點。

去年七月推出的Claude 2就已具有100k的上下文窗口,而GPT-4的128k版本直到11月才與公眾見面。

而這次窗口長度再次翻倍,達到了200k,并且接受超過100萬Tokens的輸入。

相比技術的神秘,Claude背后名為Anthropic的初創公司,倒是能讓我們找到更多眉目。

它的創始人是OpenAI的元老級人物。

2021年,多名OpenAI前員工不滿其在獲得微軟投資后走向封閉,憤而出走并聯合創立了Anthropic。

他們對OpenAI在安全問題尚未解決的情況下就直接發布GPT-3的行為感到不滿,認為OpenAI已經為追逐利益而“遺忘了初心”。

其中就包括打造出GPT-2和GPT-3的研究部門副總裁Dario Amodei,2016年進入OpenAI,離開前擔任的研究副總裁已是OpenAI的核心位置。

離開時,Dario還帶走了GPT-3首席工程師Tom Brown,以及擔任安全與策略部門副總監的妹妹Daniela Amodei和十多名心腹,可謂人才多多。

而公司創立之初,這幫人才也進行了許多研究工作,并發表多篇論文;直到一年后,Claude的概念隨著一篇題為“Constitutional AI”的論文應運而生。

2023年1月,Claude開啟內測,第一時間體驗過的網友就表示,比ChatGPT(當時只有3.5)強多了。

而除了人才,創立至今,Anthropic也有比較強大的背景支持:

已獲得來自谷歌、亞馬遜等26個機構或個人的融資,總計融資金額達到了76億美元。(說到亞馬遜,現在Claude3也上線了他們的云平臺,除了官網,大家還可以在該平臺上體驗~)

最后,縱觀國內,如果我們想超越GPT-4,也許可以把Anthropic當一個正面例子?

畢竟它的規模再怎么說也遠不及OpenAI,但仍然取得了這樣的成功。

這里面,我們可以照它的哪些方向去卷,有哪些能夠學習轉化的點?

人、錢、數據資源?但卷出最新最強大模型后,壁壘又在哪里?

至少OpenAI自GPT火爆以來,不可戰勝的神話已經破滅了。

中國玩家,誰能率先全面超越GPT-4?以及即將發布的GPT-5?

參考鏈接:

[1]3 月動態|Claude3 發布非常牛逼值得充值

[2]https://twitter.com/madiator/status/1764779379626754158?s=46&t=iTysI4vQLQqCNJjSmBODPw

[3]https://twitter.com/RubenHssd/status/1764692641436827842

[4]https://twitter.com/karinanguyen_/status/1764789887071580657

作者:克雷西 豐色 發自凹非寺

來源公眾號:量子位(ID:QbitAI),追蹤人工智能新趨勢,關注科技行業新突破

本文由人人都是產品經理合作媒體 @量子位 授權發布,未經許可,禁止轉載。

題圖來自 Unsplash,基于 CC0 協議

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!