他們讓GPT-4看起來像個流氓
就在近日,Anthropic發布了最新的Claude 3模型系列,其中,Claude 3 Opus更是在多個測試數據集中全面超過了GPT-4。那么,在具體模型能力方面,Claude 3和GPT-4的差別到底在哪呢?Anthropic和OpenAI的差異究竟體現在何處?
當地時間3月4日,Anthropic發布了最新的Claude 3模型系列,包括Claude 3 Opus、Sonnet和Haiku三個模型,其中Claude 3 Opus在多個測試數據集中全面超過了GPT-4。
Anthropic是一家由OpenAI前成員Daniela Amodei、Dario Amodei和Jared Kaplan共同創立的美國人工智能(AI)初創公司,專注于開發通用AI系統和大型語言模型。
Claude 3 Haiku、Sonnet和Opus三款模型的能力和成本依次遞增,推理速度依次遞減。Claude 3 Opus性能最強,相對的輸出成本最高和輸出時間最長,Claude 3 Opus模型在數學、編程、多語言理解和視覺等多項基準測試中超越了GPT-4和Gemini 1.0 Ultra。
與GPT-4相比,Claude 3 Opus在多個測試數據集中全面超過了GPT-4。
Anthropic在Claude 3系列模型中首次放出了多模態能力,用戶可以上傳各類非結構化數據如照片、圖表等供AI分析。這三個模型均支持200K token的長上下文窗口,并向特定客戶開放超過100萬token的上下文輸入能力。
不過,Claude 3模型的定價也高于GPT-4。能力最強的Claude 3 Opus比GPT-4 Turbo貴得多:GPT-4 Turbo每百萬token輸入價格為10美元,輸出價格為30美元,Claude 3 Opus每百萬token輸入5美元,輸出75美元。
Claude 3的定價
目前Claude 3 Haiku尚未推送,Sonnet已經開放在Claude的官網上可以免費試用,Opus也已經上線,不過要體驗Opus需要花每月20美元(不含稅)訂閱Claude Pro。相對于ChatGPT,目前Claude的全系產品均不能直接鏈接互聯網查詢資料。
一、安全第一
“安全、穩定”一直被認為是Claude的一大特點。
Anthropic開發了所謂的“憲法AI”技術,旨在將一系列原則賦予模型,以引導模型產生符合這些原則的文本,例如非有害、有益的內容。這種方法旨在使Claude 2的行為更易于理解和調整,盡管公司承認在預測模型在所有情況下的行為方面仍面臨挑戰。
Claude 2的另一個重點是降低模型產生有害、有偏見或不準確回應的概率。比如,與Claude 1.3相比,Claude 2在內部評估中在給出“無害”回應方面表現得“兩倍”更好。但是,這種改進的具體含義并未詳細說明,例如是指兩倍不太可能回應帶有性別歧視或種族歧視的內容,還是兩倍不太可能支持暴力或自殘等。
由此,Claude模型曾被質疑“道德標準過高”。
此次發布的Claude 3,在安全性和倫理性方面也進行了改進,包括對有害內容的更好管理和對有益行為的支持,同時減少了對良性提示的拒絕反應。
在訓練數據方面Anthropic也格外小心,盡量規避可能的風險。
Claude 3的訓練數據來自2023年8月之前公開可獲得的互聯網信息、第三方提供的非公開數據、數據標注服務和付費合同工提供的數據以及Anthropic專門制作的數據集上訓練的。Anthropic采用了多種數據清洗和過濾方法,包括去重和分類。值得注意的是,Claude 3的模型系列沒有使用任何用戶或客戶提交給我們的用戶提示或輸出數據進行訓練,包括免費用戶、Claude Pro用戶和API客戶。
在獲取通過爬取公共網頁的數據時,Anthropic遵循行業實踐,尊重網站運營者通過robots.txt指令和其他信號用來指示是否允許爬取其網站內容的做法。根據Anthropic的政策,其爬蟲不會訪問受密碼保護或需要登錄的頁面,也不會繞過CAPTCHA控制。
Anthropic對所使用的數據進行了盡職調查,并以透明的方式運營其爬蟲系統,這意味著網站運營者可以輕松識別Anthropic的訪問并向Anthropic表達他們的偏好。
二、OpenAI的尷尬處境
Claude“過于安全”的屬性,也成了OpenAI的壓力。
Claude發布前月余,業界一直有傳聞認為,OpenAI將在Claude 3發布之際,迅速跟進發布最新的GPT-4.5(5),或是秘密研發的Q*模型。
不過就在2月29日,馬斯克突然對OpenAI提起訴訟,指控OpenAI首席執行官Sam Altman為了追求商業利益,違背了OpenAI“確保AI造福人類”的非盈利性初衷。馬斯克要求法院強制OpenAI回歸開源,并阻止公司及其創始人以及微軟等背后支持者從中獲利。
在此之前OpenAI在AGI研發方面就一直飽受質疑,人們對“巨型”AI模型和AGI安全性的擔憂與日俱增,一些人甚至認為OpenAI及其他AI大模型公司應該暫時停止研發,等待相關法律、監管制度的逐步健全。
此番全新發布的Claude 3,在模型能力方面繼續主打安全、穩定。在Claude 3的襯托之下,如果OpenAI此時發布新模型,能力強則很可能在安全方面刺激監管和輿論敏感的神經,而能力弱,則自然會影響“大模型之王”的形象。
馬斯克的突然襲擊,似乎搞得OpenAI有點左右為難。Sam Altman如今也不得不把注意力從產品、模型中抽出來,轉而關注當下輿論焦點的AI安全問題。
正在發大火箭的馬斯克還特意跑來Anthropic點了個贊
就在Claude 3發布幾分鐘后,Sam Altman也發布了一條X推文,但他的推文卻與AI大模型技術和產品無關,而是關于一封公開信。
Sam Altman推文
風險投資家Ron Conway和他的公司SV Angel發起了一場名為:Build AI for a Better Future(構建人工智能,共創美好未來)的聯名公開信活動,旨在強調“最大限度地發揮人工智能的好處并減輕風險”對社會的“集體責任”。OpenAI、Google、Meta、Y Combinator等科技公司、投資機構參與并簽署了這份聯名公開信。
目前,關于GPT-4.5(5)和Q*的猜測仍未停止,而OpenAI近期是否真的會發布新模型,讓我們拭目以待。
三、GPT-4和Claude誰強?
“跑分”戰勝了GPT-4,但具體模型能力方面,Claude 3和GPT-4的差別到底在哪呢?
首先是多模態理解與處理能力,Claude 3能夠處理和理解圖像和視頻幀輸入,從而解決超出簡單文本理解的復雜多模態推理挑戰。
在AI2D科學圖表基準測試中,Claude 3的能力得到了展示,尤其是在視覺問答評估方面。這項評估涉及到理解和分析圖表,然后根據圖表信息回答多項選擇題。簡單來說,就像在考試中,你被給了一些圖表(比如柱狀圖、線圖等),然后要回答一些基于這些圖表的問題。Claude 3不僅要理解圖表顯示的數據,還要準確選擇正確的答案。
在這個測試中,Claude 3展現了非常高的準確率,特別是Sonnet版本,在沒有任何預備知識(即0-shot設置,也稱為零樣本學習)的情況下就達到了89.2%的準確率,這表明它非常擅長理解圖表和回答相關問題,即使是在沒有特定訓練的情況下。這種能力對于執行需要圖像和文本結合理解的任務非常重要,比如在學術研究、市場分析等領域。
在長文本處理方面,Claude 3模型支持至少1M(1,000,000)個token的上下文,而目前在生產中僅提供最多200k(200,000)token的上下文。在長文檔理解、跨文檔分析、金融數據分析等方面提供了更詳細和可操作的用例。這一點在處理大規模文本數據時,相對于GPT-4可能更有優勢,尤其是在需要綜合分析和提取大量信息的場景中。
此外,Claude 3的多語言能力也被Anthropic認為是一大亮點。Claude 3 Opus在多語言數學(MGSM)基準測試中達到了超過90%的0-shot成績,并在8種語言中實現了超過90%的準確率,包括法語、俄語、簡體中文、西班牙語、孟加拉語、泰語、德語和日語。這表明Claude 3在多語言理解和推理方面具有較強的能力,尤其是在數學問題解決方面。
最后,Claude 3在長文本理解、推理、編程以及科學查詢處理方面均表現出良好的性能。其在長文本問題回答基準測試QuALITY中的表現尤其突出,0-shot和1-shot設置下的表現均優于早期模型,顯示了其在理解和處理長文本上的高效能力。
在Claude的技術論文中也提到了一些模型的不足之處。
首先Claude不能聯網。雖然用戶可以通過直接分享的文檔方式互動互動,但Claude只能基于2023年8月之前的數據回答問題,并拒絕識別圖像中的人物。
其次是所有大型語言模型(LLMs)都會遇到的問題,生成內容的準確性和偏見,Claude亦會產生錯誤信息(confabulations)、展現偏見、犯事實錯誤,并可能被“破解”(jail-broken)。
多語言推理能力的不完備,在處理小語種時性能較不穩定。
多模態能力方面的準確性有待提高,Claude模型有時可能生成關于圖像的不準確信息和描述。性能有時也會在處理小圖像或低分辨率圖像時降低。
最后是新能力的“潛在”負面效應。Claude 3引入了新的多模態、多語言能力等,開發人員認為這些能力有時可能會打破模型原有的“平衡”,某些新改進的能力在其他領域可能造成潛在影響。
論文中提到:隨著時間的推移,決定Claude“個性”和能力的數據和影響因素變得相當復雜。在簡單可自動化的方式中平衡這些因素,跟蹤它們,以及一般減少訓練Claude的復雜性,仍然是我們的關鍵研究問題。
四、走OpenAI沒走的路
Anthropic在Claude 3的發布博客中介紹了三款模型的潛在應用方向,帶著濃濃的ToB商業化氣息。
Claude 3 Opus:任務自動化,跨API和數據庫規劃和執行復雜的操作、交互式編碼;研發,研究回顧、集思廣益和假設生成、藥物發現;策略,圖表、財務和市場趨勢的高級分析、預測。
Claude 3 Sonnet:數據處理,RAG或對大量知識的搜索和檢索;銷售,產品推薦、預測、定向營銷;節省時間的任務,代碼生成、質量控制、從圖像中解析文本。
Claude 3 Haiku:客戶互動,實時互動、翻譯中快速、準確的支持;內容審核,捕捉危險行為或客戶請求;節省成本的任務,優化物流、庫存管理、從非結構化數據中提取知識。
外界一直認為Anthropic是一家有著重度ToB基因的公司。
Anthropic在C輪融資中,引入了Google、Salesforce、Zoom等技術和服務市場上的ToB科技巨頭,這些合作伙伴對AI公司的訴求必然是將先進的AI技術集成到自己的產品和服務中,以提高效率、創新能力和競爭力。
此外,Anthropic已經與Zoom開展合作,旨在“構建以可靠性、生產力和安全性為中心的面向客戶的AI產品”,也清晰地表明了公司的B2B基因。這種合作通常涉及開發能夠為企業提供具體價值的解決方案,如改善客戶服務、自動化工作流程或提供決策支持等。
Anthropic還與波士頓咨詢集團(BCG)合作,旨在將負責任的生成式AI技術引入到企業客戶中。通過這一合作,BCG的客戶可以直接利用Anthropic的AI系統,包括其最先進的模型Claude 2,這些系統專注于可靠性、可解釋性和可控性。
目前,Anthropic聲稱已擁有多個來自不同行業(包括醫療保健、人力資源和教育等)的客戶。
在企業服務和ToB市場上,雖然OpenAI也推出了ChatGPT Enterprise版以及企業的API接口,但相對于Anthropic與企業的深度合作,則ToB屬性輕得多。
從這次Claude 3的中提及的很多重點也可以看出,Anthropic希望在商業化方面,走出一條與OpenAI不同的道路。
作者:齊??;編輯:王一鵬;出品:虎嗅科技組
來源公眾號:虎嗅APP(ID:huxiu_com),從思考,到創造
本文由人人都是產品經理合作媒體 @虎嗅 授權發布,未經許可,禁止轉載
題圖來自 Unsplash,基于 CC0 協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
- 目前還沒評論,等你發揮!