中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

前幾天 OpenAI 發布 "草莓" 系列模型，包括 o1-preview 和 o1-mini，本文詳細分析了這些模型的效果、特性、價格策略和實現原理，并提出了一些關于其性能和實用性的判斷。

實際測試 OpenAI 新發布的「草莓」后，發現問題很多。

在本篇中，我將分幾個章節，來進行全面解讀，包括：

• 效果與特性
• 價格與限制
• 實現原理
• 一些判斷

長話短說

中國時間 9 月 13 日凌晨，OpenAI 發布了 o1 系列模型，包括 o1-preview 和 o1-mini，官方稱其為「草莓」。

從 OpenAI 公布的數據來看，o1 在 STEM（理工科）領域進行了特別優化，在回答之前會進行思考。在物理、生物和化學問題（GPQA）的基準測試中超越了人類博士水平的準確性。

Plus 和 Team 的用戶可在 ChatGPT 中訪問，o1-preview 限制在了 30 條/周，o1-mini 限制在了 50 條/周

T5 級別的開發者可以訪問其 API，每分鐘最多20并發，且價格昂貴。

目前，這個模型還是個半成品，并沒有工程化完整：在 ChatGPT 里不支持聯網、畫圖等功能；在 API 里不支持 system、tool 等字段和 json mode、結構化輸出等方法。

同時，這個模型有坑 – 你可能會被百倍計費：從 pricing table 上看，o1 的價格是 4o 的 6 倍，但這是有迷惑性的！o1 計費并不按最終輸出，其中間思考過程所消耗的 token，并被視作 output tokens，這意味著 100 tokens 的內容輸出，可能會被按 10000 tokens 計費。

這個模型說是有 32k/64k 的最大輸出，但真實輸出遠沒有這么多。

從實際測試的角度，發現 o1 與其說是一個模型，不如說是基于 gpt-4o 的 agent，并且做的并不好。

進行 structured 輸出時，400 報錯

一、效果與特性

首先，o1 模型是 OpenAI 官方認定的「草莓??」

其次，奧特曼對此很滿意：

在其測試結果中，o1 在絕大多數重推理任務中顯著優于 GPT-4o，相關評估如下：

結果上看，顯著優于 gpt-4o：

在 MMLU 的多絕大多數子類別中，優于 gpt-4o。

同時，根據官方報告，在許多需要推理的測試中，o1 的表現已經達到了人類專家的水平。因為最近一些模型在 MATH 和 GSM8K 測試中表現得非常出色，這些測試已經不足以有效地區分它們的優劣。為了更嚴謹地評估模型的數學能力，選擇了 AIME（美國數學邀請賽），這是一項專門為美國頂尖高中數學學生設立的挑戰性考試。

在 2024 年的 AIME 考試中，GPT-4o 的平均成績只有 12%（1.8/15），而 o1 的平均得分卻達到了 74%（11.1/15）。在只用一個答案的情況下，o1 在 64 個樣本上的平均正確率達到了 83%（12.5/15）。當使用學習算法對 1000 個樣本進行優化排序后，o1 的得分進一步提高到 93%（13.9/15）。這個成績相當于進入全國前 500 名學生的水平，甚至超過了美國數學奧林匹克的入圍標準。

二、價格與限制

目前 o1 系列模型可通過 ChatGPT 網頁版，或者是 API 進行訪問：

1）o1-preview

• 128k 上下文
• 32k 最大輸出
• 旨在解決各個領域復雜問題的推理模型
• 訓練數據截止于 23 年 10 月

2）o1-mini：

• 128k 上下文
• 64k 最大輸出
• 一種更快速、更經濟的推理模型，特別擅長編程、數學和科學
• 訓練數據截止于 23 年 10 月

對于 ChatGPT 網頁版，目前僅 Plus 和 Team 用戶目前已經可以訪問了。對于 Enterprise 以及 Edu 的用戶，還需要再等一周：

• o1-preview：30 條/周
• o1-mini：50 條/周

對于 API 用戶，如果你的等級在 Tire5 （支付金額>1000 美金），目前已經可以通過接口進行調用：

• o1-preview：20 RPM，30,000,000 TPM
• o1-mini：20 RPM，150,000,000 TPM

需要注意：

經測試，o1 模型不支持以下內容，并報錯：

• system 字段：400 報錯
• tools 字段：400 報錯
• 圖片輸入：400 報錯
• json_object 輸出：500 報錯
• structured 輸出：400 報錯
• logprobs 輸出：403 報錯
• stream 輸出：400 報錯
• o1系列：20 RPM，150,000,000 TPM，很低，隨時429報錯
• 其他：temperature, top_p and n 被固定為1；presence_penalty 和 frequency_penalty 被固定為 0.

進行 structured 輸出時，400 報錯

更需要注意：

對于 api，文檔說 o1 可以輸出 64k，但實測遠非如此

如：我的 prompt 為「寫一部「黑神話悟空」的同人小說，不少于2萬字」，但返回的內容只有 1000+字

“謹防電信詐騙”

三、實現原理

簡而言之，o1 系列模型，在回答的過程中，本身經歷了多次對話，并根據對對話的評估，進行后續生成。

他會先思考，然后總結輸出

思考可能不止一步，最長思考步驟為 128k，具體步驟如下：

他會先思考，然后總結輸出

需要注意：在 api 調用的過程中，并不會返回中間的思考，比如相同的問題「安徽牛肉板面，為什么是石家莊特產？」，api 側的返回如下：

我把 id 等信息給 *** 了

這個時候，你會發現一個嚴重問題：此處產生了 896 tokens 作為推理。

換個例子，當問題是很簡短的「你好」時，其返回如下：

輸出 471 tokens，其中 448 tokens 為推理，23 tokens為真實輸出

同樣的問題，問 4o：

輸出為 9 tokens

要知道，o1 模型的價格，時 4o-0806 的 6 倍。再加上對推理的消耗（額外n倍），以及這個模型里，token 計算可能比 4o 要多（猜測），api 開支可能會炸！

以「你好」為例，4o-0806 的費用為 ($10*9+$2.5*8)*10^(-6) = 110 * 10^(-6)美金；而 o1 模型中，費用則為 ($60*471+$15*10)*10^(-6) = 28410*10^(-6)美金。在這個案例中，完成相同的任務，o1 比 4o 貴了足足 258 倍?。?！

對于非極端問題，且在 prompt 較短的情況下，比如「安徽牛肉板面，為什么是石家莊特產？」，4o-0806 的開銷為2192.5 * 10^(-6)美金，而 o1 的開銷為 86835 * 10^(-6) 美金。在這個案例中，完成相同的任務，o1 比 4o 貴了 40 倍?。?！

有理由認為：在正常使用中，o1 的開銷，會比 4o 貴百倍！

四、一些判斷

首先，我保持一個觀點：這次的「草莓」，與其說是模型優化，不如說是工程優化。

從訓練數據，以及訓練時間來看，o1-preview，o1-mini，4o，4o-mini 的訓練數據，都是截止到 2023 年 10 月（而更早的 gpt-4-0125 和 gpt-4-turbo 則是截止到 2023 年 12 月）。

在拋去 CoT 行為后，可以發現 o1 和 4o 的行為/語言風格高度相似，甚至可以猜測：這次的「草莓」o1 有可能是 gpt-4o 在進行一些微調/對齊后的 agent。

當我詢問「我的貓為什么不會汪汪叫」的時候，出現了典型的「意圖識別」。

同時，這個 Agent 做得并不好，甚至不能算是及格。當我用 o1-mini 進行「完整輸出千字文」的時候，無論是語言識別、意圖識別還是指令遵循，都非常的不盡如人意：

o1-mini

即便是換用所謂更強的 o1-preview，結果也不盡如人意（選中文字是錯的），并且輸出也不全。

o1-preview

五、綜上

這個版本的草莓，遠低于預期，甚至不如民間的工程化。

作為 AI 從業者，有種難以言表的傷感：我們會喜歡看 OpenAI 的樂子，但絕對不希望看到 OpenAI 塌…