中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

就在最近，一個(gè)由硅谷創(chuàng)業(yè)極客和科研人員更新的播客火了，在這一播客中，他們?cè)敿?xì)闡述了為什么代碼解釋器有如此強(qiáng)大的功能，以及代碼解釋器未來(lái)對(duì)OpenAI工作方向的影響，甚至，他們認(rèn)為代碼解釋器本身就相當(dāng)于GPT4.5。一起來(lái)看看本文的解讀。

在上周，一個(gè)由硅谷創(chuàng)業(yè)極客和科研人員更新的播客Latent Space Podcast火了！

兩個(gè)小時(shí)的播客結(jié)束時(shí)，有接近2萬(wàn)人同時(shí)在收聽(tīng)。

后來(lái)組織者將他們的播客內(nèi)容轉(zhuǎn)錄成一篇長(zhǎng)文 ——《代碼解釋器就是GPT4.5》，在推特上獲得了40萬(wàn)的閱讀量。

文章非常全面地闡述了代碼解釋器的功能和它未來(lái)對(duì)OpenAI工作方向的影響。

他們甚至認(rèn)為，代碼解釋器是一條通往AGI的高速公路！

一、不要在意版科技產(chǎn)品的版本號(hào)和名字

在技術(shù)領(lǐng)域，版本號(hào)大多是為了營(yíng)銷(xiāo)目的而存在，這已經(jīng)是一個(gè)公開(kāi)的秘密了。

Windows 3.0 躍遷至95版本是為了讓公眾感知到微軟的重新設(shè)計(jì)（如今已成微軟的標(biāo)志）。

而且MacOS和Windows有意跳過(guò)了9版本，是為了吸引00后用戶(hù)。

那么我們應(yīng)該如何理解大模型版本之間的關(guān)系呢？

理解版本號(hào)，對(duì)于科研人員來(lái)說(shuō)，這可能是一個(gè)相對(duì)陌生的概念。

因?yàn)樗麄兛赡軙?huì)輕松地訓(xùn)練400個(gè)不命名的語(yǔ)言模型來(lái)證實(shí)一個(gè)觀(guān)點(diǎn)，但隨著AI工程師在這些模型之上構(gòu)建產(chǎn)品和業(yè)務(wù)的重要性日益增加，版本管理變得越來(lái)越重要了。

在生成式人工智能的簡(jiǎn)短歷史中，我們有了一些案例可供參考。

GPT1→2→3 ，每一次更新都是明顯的進(jìn)步，而Midjourney 4→5則預(yù)示著B(niǎo)alenciaga Pope的到來(lái)。

但類(lèi)似 Stable Diffusion 1→2 的發(fā)展卻引起了用戶(hù)的爭(zhēng)議。

小版本號(hào)理應(yīng)是代表著某種意義上的升級(jí)。

它可能意味著從某一個(gè)基點(diǎn)開(kāi)始，進(jìn)行了更多的訓(xùn)練，比如 SD v1.3→1.4→1.5…

…這就引出了今天的話(huà)題，即GPT的.5版本號(hào)代表了很重要的改進(jìn)。

應(yīng)該大家還記得，GPT3.5緊跟著ChatGPT發(fā)布，并且包括了text-davinci-003和code-davinci-002。

這次更新完成了兩個(gè)目標(biāo)：

首先，讓用戶(hù)認(rèn)識(shí)到GPT3.5相較于 GPT3（2020年的版本）優(yōu)秀太多了。

原因是：

1. 增加了代碼；
2. 進(jìn)行了指令微調(diào)；
3. RLHF/PPO。

其次，表明這種新的聊天人機(jī)互動(dòng)方式是通往AGI的未來(lái)之路。

我們對(duì)代碼解釋器認(rèn)知的核心問(wèn)題是：

1. 讓人們理解從GPT-4更新到代碼解釋器的影響到底有多大；
2. 討論種新的范式是未來(lái)通往通用人工智能的方向。

這兩個(gè)特點(diǎn)導(dǎo)致我得出了一個(gè)結(jié)論：代碼解釋器應(yīng)該被視為事實(shí)上的 GPT 4.5。

而且如果將來(lái)再加入API功能的話(huà)，我敢打賭，代碼解釋器結(jié)合起來(lái)就會(huì)被正式命名為 GPT 4.5。

那現(xiàn)在我們?cè)偕晕⒒仡櫼幌麓a解釋器到底能干什么。

二、全面認(rèn)識(shí)代碼解釋器

代碼解釋器是「一個(gè)實(shí)驗(yàn)性的ChatGPT模型」，可以將Python代碼寫(xiě)入Jupyter Notebook并在Sandbox中執(zhí)行，具有以下特點(diǎn)：

1. 與其他用戶(hù)和互聯(lián)網(wǎng)隔離的防火墻

2. 支持高達(dá)100MB的上傳/下載（包括.csv、.xls、.png、.jpeg、.mov、.mp3、.epub、.pdf、.zip等整個(gè)Git存儲(chǔ)庫(kù)的文件）

3. 預(yù)裝了超過(guò)330個(gè)庫(kù)，如 pandas（數(shù)據(jù)分析）、matplotlib、seaborn、folium（圖表和地圖）、pytesseract（OCR）、Pillow（圖像處理）、Pymovie（ffmpeg）、Scikit-Learn 和 PyTorch、Tensorflow（機(jī)器學(xué)習(xí)）

它本身是作為ChatGPT插件更新的一部分于3月23日官宣的，并由Andrew Mayne和Greg Brockman進(jìn)行了專(zhuān)門(mén)的演示。

Alpha測(cè)持續(xù)了3個(gè)月。

最后，在7月6日至8日間，作為一項(xiàng)可選擇的測(cè)試版功能向所有約200萬(wàn)的ChatGPT Plus用戶(hù)推出。

由于這些功能可以在代碼中靈活且無(wú)限地組合，很難完全列舉出這個(gè)功能所有的潛力。

但通過(guò)示例學(xué)習(xí)（例如使用p5.js創(chuàng)建游戲、繪制表情包、創(chuàng)建交互式儀表板、數(shù)據(jù)預(yù)處理（包括季節(jié)性）、編寫(xiě)復(fù)雜的AST操作代碼、大規(guī)模人臉檢測(cè)，參見(jiàn) Discord 上的 #code-interpreter-output 頻道）并瀏覽庫(kù)列表是很有幫助的。

Ethan Mollick提供了一些樣本，他并不懂Python，但非常擅長(zhǎng)從代碼解釋器中獲取結(jié)果

Ethan還將他的經(jīng)驗(yàn)總結(jié)為一份適用于代碼解釋器的系統(tǒng)提示。

代碼解釋器實(shí)際上引入了兩個(gè)新的東西 – 沙盒和模型：

7月之前的大部分Alpha測(cè)試都是側(cè)重于Python沙盒以及用戶(hù)可以在沙盒里做什么，只是偶爾會(huì)用到自主編碼的能力。

但在發(fā)布后，功能的重點(diǎn)變成了通過(guò)代碼解釋器所能提供的模型的質(zhì)量上。

據(jù)傳聞，它似乎比當(dāng)今的GPT-4更好（在編寫(xiě)代碼、自主進(jìn)行多個(gè)步驟、決定何時(shí)不繼續(xù)并要求用戶(hù)在一組選項(xiàng)中進(jìn)行選擇方面）。

這個(gè)模型的自主性需要親眼看到才能相信。以下是它在沒(méi)有任何人類(lèi)輸入的情況下進(jìn)行編碼和調(diào)試的示例：

這種模型的進(jìn)步之所以令人驚嘆，是因?yàn)樗鼘⒛Ｐ团c模態(tài)性能夠完美地結(jié)合在一起，就像之前的 ChatGPT 一樣。

當(dāng)然它也有一些缺點(diǎn)和限制：

1. 環(huán)境經(jīng)常重置代碼執(zhí)行狀態(tài)，丟失已上傳的文件，并且其從故障中恢復(fù)的能力有限。
2. 它的OCR功能與GPT-4 Vision相去甚遠(yuǎn)。
3. 它會(huì)拒絕做它能做的事情，而你必須堅(jiān)持讓它做。
4. 它無(wú)法在代碼中調(diào)用GPT3/4，因?yàn)樗鼰o(wú)法訪(fǎng)問(wèn)網(wǎng)絡(luò)，因此無(wú)法執(zhí)行諸如數(shù)據(jù)增強(qiáng)之類(lèi)的任務(wù)，因?yàn)樗噲D編寫(xiě)解決問(wèn)題的代碼。

但拋開(kāi)這些不足，總體來(lái)說(shuō)，所有人對(duì)代碼解釋器的評(píng)價(jià)都是非常高的：

Karpathy：「代碼解釋器 Beta 功能非常強(qiáng)大。它是你的個(gè)人數(shù)據(jù)分析師：可以讀取上傳的文件、執(zhí)行代碼、生成圖表、進(jìn)行統(tǒng)計(jì)分析等等。我預(yù)計(jì)社區(qū)需要一些時(shí)間來(lái)充分發(fā)揮它的潛力?！?/p>

Simon Willison：「我開(kāi)始使用Code Interprete后，它完成了我接下來(lái)兩年的計(jì)劃的所有任務(wù)。」

三、推理：大模型下一個(gè)最前沿的方向

在我們與George Hotz的對(duì)話(huà)之后，引發(fā)了一場(chǎng)關(guān)于OpenAI是否「沒(méi)有創(chuàng)意」、GPT-4是否真的「只是8個(gè)220B專(zhuān)家模型」的討論。

暫且不論像PanGu這樣的萬(wàn)億參數(shù)級(jí)模型的Routed Language Models和Switch Transformers的工作是否是真正的進(jìn)步，代碼解釋器表明，只要不將進(jìn)步的定義局限于純粹的語(yǔ)言模型推理，仍然有提升的空間，并且OpenAI已經(jīng)抓住了關(guān)鍵的這一點(diǎn)。

2017年，Noam Brown開(kāi)發(fā)了Libratus，這是一個(gè)在12萬(wàn)次無(wú)限制德州撲克對(duì)決中擊敗了四名頂級(jí)職業(yè)選手的人工智能。

Noam Brown在Lex的訪(fǎng)談中談到自己在這個(gè)項(xiàng)目中產(chǎn)生的最重要的一個(gè)想法：

神經(jīng)網(wǎng)絡(luò)通常需要大約100毫秒的時(shí)間才能給出一個(gè)回答…但我們發(fā)現(xiàn)，如果你做一點(diǎn)搜索，就能使預(yù)先計(jì)算的策略（pre-computed strategy）擴(kuò)大1000倍。而只需做一點(diǎn)搜索。就能使我們之前的所有研究都成了垃圾。

這個(gè)想法現(xiàn)在看起來(lái)是那么的顯而易見(jiàn)：

• 在現(xiàn)實(shí)生活中，當(dāng)面臨一個(gè)更困難的問(wèn)題時(shí)，人們會(huì)花更長(zhǎng)時(shí)間思考，而不是面對(duì)一個(gè)更容易的問(wèn)題。但是GPT3對(duì)于「一個(gè)球是圓的嗎？」和「P = NP？」這樣的問(wèn)題幾乎花費(fèi)相同的時(shí)間來(lái)回答。那么，如果我們讓它花上一年的時(shí)間呢？
• 我們已經(jīng)看到Kojima著名的論文「讓我們逐步思考」，通過(guò)允許模型在上下文中外化其思考過(guò)程并增加推理時(shí)間，就大大改善了語(yǔ)言模型的性能。Beam和Tree of Thought類(lèi)型的搜索能夠更有效地利用推理時(shí)間。
• AI的每一個(gè)重大飛躍都源于某種能力的大量擴(kuò)展（scaling）。Transformer 解鎖了可并行預(yù)訓(xùn)練計(jì)算的能力。掩碼語(yǔ)言建模（Masked Language Modeling）讓我們可以處理大量的無(wú)標(biāo)簽數(shù)據(jù)。規(guī)模定律（Scaling Law）為我們提供了擴(kuò)展模型規(guī)模的地圖。似乎很明顯，推理時(shí)間的計(jì)算/「實(shí)時(shí)的搜索」是下一個(gè)有希望的前沿防線(xiàn)，用Noam Brown的話(huà)來(lái)說(shuō)「只需將時(shí)間話(huà)在上面就一定會(huì)有豐厚回報(bào)」。

Noam后來(lái)在2019年利用這個(gè)想法解決了6人德州撲克問(wèn)題，然后在2022年利用這一見(jiàn)解解決了Diplomacy游戲（感謝了AlphaGo和AlphaZero的搜索算法）。

上個(gè)月，他仍在考慮這個(gè)問(wèn)題：

兩周后，他加入了OpenAI。

四、代碼生成、沙盒和智能體云（Agent Cloud）

我一直在強(qiáng)調(diào) LLM 編碼能力的特殊地位。

這是 AI 工程師崛起的重要推動(dòng)因素。

這不僅僅是一個(gè)「噢，很可愛(ài)，Copilot 對(duì)開(kāi)發(fā)人員有好處，但不太適合其他人」的故事 – LLM 代碼是普遍有用的，即使對(duì)于不懂編程的人來(lái)說(shuō)。

我所知道的關(guān)于「Code Core」的最早實(shí)驗(yàn)來(lái)自 Riley Goodside，他在去年在「你是GPT-3，你不能做數(shù)學(xué)」中展示了這一點(diǎn)。

這個(gè)實(shí)驗(yàn)第一次表明了，要彌補(bǔ)LLM的缺陷（如數(shù)學(xué)計(jì)算、與外部環(huán)境的交互、可解釋性、速度/成本）的最佳方式是：

利用編寫(xiě)好的代碼在LLM之外完成任務(wù)。

Nvidia的Voyager代理提供了將這一思路推向其邏輯結(jié)論的路線(xiàn)圖：

當(dāng)然，Voyager也存在一個(gè)明顯的問(wèn)題：現(xiàn)實(shí)世界比Minecraft更加隨機(jī)，文檔化程度更低，反饋周期更長(zhǎng)。

就像Minion AI，Multion和AutoGPT一樣，當(dāng)前所有的智能體實(shí)例都可在實(shí)時(shí)瀏覽器/桌面上運(yùn)行。

這使得潛在的幻覺(jué)和錯(cuò)誤就是災(zāi)難性的，形成了就像「自動(dòng)駕駛汽車(chē)中總是不得不把手放在方向盤(pán)上」一樣的情況。

自從Ada Lovelace在Babbage Difference Engine存在之前就開(kāi)始編寫(xiě)代碼以來(lái)，開(kāi)發(fā)人員就一直在用現(xiàn)實(shí)中的人群進(jìn)行測(cè)試。

但最終，要知道代碼是否可以運(yùn)行并按預(yù)期執(zhí)行，唯一的方法就是為其創(chuàng)建一個(gè)沙盒。（而代碼解釋器就能和用戶(hù)一起創(chuàng)建無(wú)數(shù)個(gè)這樣的沙盒）

大部分的代碼生成/沙盒功能可以在本地完成。

但隨著《本地主機(jī)的終結(jié)》（一篇討論未來(lái)本地開(kāi)發(fā)環(huán)境將會(huì)被云端開(kāi)發(fā)環(huán)境取代的文章）中描述的情況越來(lái)越近。

越來(lái)越多的代理構(gòu)建者和用戶(hù)意識(shí)到構(gòu)建和運(yùn)行這些LLM推理過(guò)程的代碼片段所需的云基礎(chǔ)設(shè)施的需求。

我們可以合理地預(yù)未來(lái)代理云的興起，以滿(mǎn)足這一需求。

這實(shí)際上是一種新型的無(wú)服務(wù)器基礎(chǔ)設(shè)施需求。

它不僅是臨時(shí)的和可編程的，還將具備特殊的功能以提供必要的反饋給非人類(lèi)操作者。

毫不奇怪，有一系列的可供選擇的產(chǎn)品來(lái)適應(yīng)這個(gè)新興的代理云行業(yè)：

• 來(lái)自 Replit 的 Amjad 已經(jīng)被公開(kāi)討論了
• E2B 的Vasek擁有一個(gè)開(kāi)源的Firecracker microVM實(shí)現(xiàn)
• Codesandbox的Ives也有一個(gè)實(shí)現(xiàn)
• Fly的Kurt在5月份推出了Fly Machines

你會(huì)注意到他們都使用了Firecracker，這個(gè)亞馬遜在2018年開(kāi)源的QEMU替代品微型虛擬機(jī)技術(shù)（對(duì)于一個(gè)通常不以開(kāi)源軟件領(lǐng)導(dǎo)者而聞名的公司來(lái)說(shuō)，這是一個(gè)不錯(cuò)的勝利）。

然而，一個(gè)對(duì)比性的方法可能來(lái)自于Deno（在JavaScript領(lǐng)域）和Modal（在Python領(lǐng)域），它們的自動(dòng)配置運(yùn)行時(shí)提供了更輕量級(jí)的代理開(kāi)發(fā)者和基礎(chǔ)設(shè)施提供者之間的協(xié)議，但熟悉程度更低。

當(dāng)然，OpenAI構(gòu)建了自己的代理云，為200萬(wàn)用戶(hù)提供托管和擴(kuò)展代碼解釋器。

多年來(lái)，他們一直在使用這個(gè)技術(shù)，并且我們其他人才剛剛意識(shí)到它的重要性。

五、通往 GPT-5 的道路：代碼增強(qiáng)推理

將所有這些綜合起來(lái)，我們可以將代碼解釋器與先前的方法進(jìn)行對(duì)比：

就像上圖列的一樣，考慮到主要和次要版本升級(jí)的改進(jìn)，考慮到代碼解釋器賦予了模型這么多的新能力，我認(rèn)為代碼解釋器是「GPT 4.5」。

在我們的播客中，我們還會(huì)注意到，GPT4的重度使用者堅(jiān)信GPT4基本版的質(zhì)量已經(jīng)有所下降（雖然OpenAI的Logan 聲稱(chēng)服務(wù)的模型沒(méi)有改變）。

這些粉絲同時(shí)也報(bào)告稱(chēng)，在沒(méi)有編寫(xiě)代碼的情況下，代碼解釋器的輸出與原始的GPT4 在「削弱」之前的輸出一樣好。

假設(shè)這是真實(shí)的（很難證明，沒(méi)有明確的代碼解釋器 API 來(lái)運(yùn)行 lm-eval-harness），很可能是為了讓代碼解釋器能夠編寫(xiě)代碼而進(jìn)行的額外微調(diào)也改善了整體輸出質(zhì)量（這是我們從研究和Replit的經(jīng)驗(yàn)，再考慮到GPT3.5本身的起源，即 code-davinci-002，所得到的結(jié)果）。

這使得代碼解釋器的基本模型，即使沒(méi)有沙盒，從模型質(zhì)量上來(lái)看也是「GPT 4.5」。

OpenAI的領(lǐng)先優(yōu)勢(shì)：

Sundar Pichai在6月份宣布了 Google Bard 的「代碼執(zhí)行」功能。

聲稱(chēng)Bard可以執(zhí)行簡(jiǎn)單的無(wú)依賴(lài)性的Python功能，比如數(shù)字相加和字符串反轉(zhuǎn)。

有趣的是，在一個(gè)月后我重新運(yùn)行Google宣傳時(shí)相同提示，發(fā)現(xiàn)完全用不了了！

與此同時(shí)，OpenAI正在推出一個(gè)全新的LLM編碼范式。

OpenAI的領(lǐng)先優(yōu)勢(shì)令人難以置信！

參考資料：

https://www.latent.space/p/code-interpreter#details