Claude接管人類(lèi)電腦編程,程序員沸騰!OpenAI反擊,智能體大戰(zhàn)一觸即發(fā)

0 評(píng)論 165 瀏覽 0 收藏 16 分鐘

AI接管人類(lèi)電腦,未來(lái)已來(lái)!Claude自主操控電腦,從編程到科研無(wú)所不能,代表著萬(wàn)能API。另一邊,OpenAI內(nèi)部加急研發(fā)多智能體AI,已經(jīng)有了雛形。

AI像人一樣操作電腦,已然成為下一個(gè)前沿。

兩天前,Anthropic進(jìn)化版Claude 3.5 Sonnet首次實(shí)現(xiàn)自主操控電腦屏幕、移動(dòng)光標(biāo)、完成任務(wù),驚艷了所有人。

當(dāng)時(shí),Anthropic開(kāi)發(fā)者關(guān)系負(fù)責(zé)人稱(chēng),「『計(jì)算機(jī)使用』是萬(wàn)能的API,它代表著全新人機(jī)交互范式的第一步」。

拿到測(cè)試資格的網(wǎng)友們,瘋狂體驗(yàn)了這項(xiàng)「超能力」。

甚至,就連初創(chuàng)公司CEO對(duì)此贊不絕口,AI智能體已經(jīng)來(lái)臨,你現(xiàn)在可以建立AI軍隊(duì)為你工作。

在Anthropic加速布局智能體未來(lái)同時(shí),OpenAI似乎也感受到了緊迫感。外媒最新爆料稱(chēng),OpenAI內(nèi)部正開(kāi)發(fā)新品來(lái)自動(dòng)化復(fù)雜的軟件編程任務(wù)。

恰在昨天,OpenAI研究科學(xué)家、德?lián)渲冈赥ED活動(dòng)中表示,「自己對(duì)構(gòu)建o1失去信心,正在OpenAI組建多智能體團(tuán)隊(duì)」。

這意味著,一場(chǎng)全新的競(jìng)賽即將開(kāi)始,AI不再僅僅是對(duì)話(huà)生成,而應(yīng)該去執(zhí)行和操作。

01 Claude接管人類(lèi)電腦,科研求職編碼一鍵通

那些上手Claude計(jì)算機(jī)使用能力的開(kāi)發(fā)者們,根本停不下來(lái)創(chuàng)作。

從復(fù)雜的編碼任務(wù)到深入研究,再到收集 「零散」的信息,許多令人驚嘆的典型案例誕生了。

畢竟是自家首發(fā)的,Anthropic開(kāi)發(fā)者關(guān)系負(fù)責(zé)人Alex Albert先了打個(gè)樣。

他先用Claude計(jì)算機(jī)和bash工具,在線下載一個(gè)隨機(jī)數(shù)據(jù)集,然后安裝sklearn,在數(shù)據(jù)集上訓(xùn)練一個(gè)簡(jiǎn)單的分類(lèi)器。

最后,在網(wǎng)頁(yè)上就得到了分類(lèi)器結(jié)果。

這些過(guò)程,不到5分鐘的時(shí)間就完成了。其中用到的提示,他也貢獻(xiàn)出來(lái)了:

Go to https://data.gov, find an interesting recent dataset, and download it. Install sklearn with bash tool write a .py file to split the data into train and test and make a classifier for it. (you may need to inspect the data and/or iterate if this goes poorly at first, but don’t get discouraged!). Come up with some way to visualize the results of your classifier in the browser.

一位開(kāi)發(fā)者已經(jīng)開(kāi)始讓Claude幫自己自主做科研了。

驗(yàn)證「你是不是人」,Claude可以代勞了。

想要Claude控制你的電腦,只需要:

pip install open-interpreteri
nterpreter –os

搜索YouTube視頻,并跳過(guò)廣告。

Claude一頓操作猛如虎,以后視頻內(nèi)置廣告,通通交給它了。

打工人求職申請(qǐng)表填寫(xiě),Claude也能勝任。這不,下面這位開(kāi)發(fā)者小哥已經(jīng)讓AI自動(dòng)申請(qǐng)Anthropic職位了。

進(jìn)化版(左)和舊版(右)Claude 3.5 Sonnet在「我的世界」中構(gòu)建的樣子,令人印象深刻。

新升級(jí)后的Claude 3.5 Sonnet將如何影響「多智能體社會(huì)」的進(jìn)步?

智能體研究初創(chuàng)公司Altera Al給出了答案,新模型是對(duì)長(zhǎng)時(shí)間自主性的最大升級(jí)。我們的25個(gè)智能體在「我的世界」中合作,在20分鐘內(nèi)收集了超過(guò)40%的不同物品。

2. 分析工具

順便提一句,Claude今天還重磅推出了可以編寫(xiě)和運(yùn)行代碼「分析工具」,為1024開(kāi)發(fā)者們送上大福利。

目前,這一功能已在Claude中上線。

假設(shè)讓Claude繪制銷(xiāo)售渠道進(jìn)展的直觀圖,它能自主分析數(shù)據(jù)寫(xiě)代碼,并給出要求的可視化圖。

然后,你可以在Artifacts中,可以詳細(xì)查看細(xì)分項(xiàng)的數(shù)據(jù)。

二、AI智能體競(jìng)賽打響,Anthropic搶跑

雖然計(jì)算機(jī)使用工具并不完美,但它代表了Anthropic在AI中的一種愿景:

讓Claude像人一樣,看懂屏幕自主操作現(xiàn)有軟件,完成各種復(fù)雜的任務(wù)。

這項(xiàng)能力背后的工作原理是:Claude先對(duì)屏幕截圖,確定需要采取的行動(dòng),然后執(zhí)行這些行行動(dòng)。然后,再次截圖決定下一步應(yīng)該做什么。

暢想一下,如果智能體能夠直接查看屏幕內(nèi)容而無(wú)需依賴(lài)輔助功能,或查看底層代碼的AI軟件,可能會(huì)開(kāi)啟大量新機(jī)遇。

比如,當(dāng)你搭建網(wǎng)站時(shí),如果按鈕中的文字意外超出按鈕邊界,AI智能直接看到后修復(fù)了這個(gè)問(wèn)題,就省去了查看底層代碼倒推步驟。

再舉個(gè)栗子,當(dāng)前網(wǎng)站制作者,已經(jīng)非常巧妙地隱藏網(wǎng)站上廣告的HTML代碼。

這使得基于AI的廣告攔截軟件更難分析代碼,并確定需要?jiǎng)h除什么來(lái)去除廣告。

但是,能夠直接看到廣告本身的「計(jì)算機(jī)使用智能體」會(huì)發(fā)現(xiàn)這項(xiàng)任務(wù)容易得多。

不過(guò),這項(xiàng)技術(shù)帶來(lái)弊端首先是「截圖操作」成本太高,而且AI往往會(huì)假設(shè)它的操作已經(jīng)成功執(zhí)行。

「當(dāng)它獲取新的截圖時(shí),它已經(jīng)不知道自己在操作流程中處于哪個(gè)階段了」

另一方面,就是隱私問(wèn)題了。

此前,已經(jīng)有公司禁止員工使用ChatGPT、GitHub Copilot等編程工具,害怕不小心向模型開(kāi)發(fā)商泄露專(zhuān)有信息或代碼。

03 OpenAI急了,加碼AI年底上新

在勁敵Anthropic連連發(fā)布重壓下,OpenAI其實(shí)早已開(kāi)啟了新的布局。

還記得幾天前,Sam Altman突然冒泡,「下個(gè)月是ChatGPT的第二個(gè)生日,我們應(yīng)該送它什么生日禮物呢」?

當(dāng)時(shí),一大波網(wǎng)友寫(xiě)下自己的愿望清單。就在剛剛,有一條被傳瘋了的報(bào)道稱(chēng),OpenAI計(jì)劃在12月,解禁新一代大模型,代號(hào)為Orion。根據(jù)爆料,Orion將使用o1合成的數(shù)據(jù)進(jìn)行訓(xùn)練,并會(huì)在ChatGPT兩周年前后發(fā)布。但與GPT-4o和o1不同的是,它最初不會(huì)通過(guò)ChatGPT上線,而是先授予與OpenAI密切合作的公司訪問(wèn)權(quán)限(比如微軟),方便他們構(gòu)建自己的產(chǎn)品和功能。不過(guò),網(wǎng)友們的「美夢(mèng)」還沒(méi)做多久,Altman就站出來(lái)辟謠了:通通都是fake news!

在軟件開(kāi)發(fā)上,OpenAI目前正在開(kāi)發(fā)多個(gè)產(chǎn)品和功能:

一部分簡(jiǎn)化在Microsoft Visual Studio Code等主流代碼編輯器中使用OpenAI的AI進(jìn)行開(kāi)發(fā)的流程;

另一部分則著眼于處理更復(fù)雜的軟件開(kāi)發(fā)任務(wù)。

知情人士透露,OpenAI這款產(chǎn)品能夠處理原本需要人類(lèi)耗時(shí)數(shù)小時(shí)乃至數(shù)天的軟件工程任務(wù),還能據(jù)客戶(hù)的指令自動(dòng)編寫(xiě)和執(zhí)行復(fù)雜應(yīng)用程序的代碼。

不過(guò),具體發(fā)布時(shí)間還未確定。

畢竟,代碼開(kāi)發(fā)是OpenAI大語(yǔ)言模型的早期應(yīng)用場(chǎng)景之一,主要是因?yàn)锳I生成的代碼可以快速驗(yàn)證其可用性。

2021年開(kāi)始,微軟GitHub團(tuán)隊(duì)利用OpenAI大模型推出AI Copilot,為程序員提供實(shí)時(shí)代碼建議。

緊接著,ChatGPT在22年年底面世,提供一個(gè)更加易用、免費(fèi)的替代方案,迅速走紅。

隨后,OpenAI成功說(shuō)服數(shù)百萬(wàn)程序員付費(fèi)使用「升級(jí)版」ChatGPT。

他們可以比GitHub Copilot更早體驗(yàn)升級(jí)版LLM,并能通過(guò)對(duì)話(huà)式指令處理各類(lèi)開(kāi)發(fā)任務(wù)。正因此,報(bào)道稱(chēng)這些功能讓OpenAI相關(guān)訂閱產(chǎn)品的年收入有望達(dá)到約30億美金。

在智能體布局方面,OpenAI內(nèi)部正組建一支多智能體團(tuán)隊(duì),下一步可能傾向于智能體領(lǐng)域。

前段時(shí)間,他們發(fā)布的多智能體框架Swarm,也是引發(fā)了AI社區(qū)的關(guān)注。

1. 內(nèi)部研究助手

據(jù)透露,OpenAI已經(jīng)開(kāi)發(fā)出了一款能夠幫助提升工作效率的「內(nèi)部研究助手」,并且獲得了研究人員的一致好評(píng)。

其中的功能,就包括為AI模型相關(guān)的實(shí)驗(yàn)生成代碼。

這款內(nèi)部工具似乎是朝著開(kāi)發(fā)能夠自主進(jìn)行AI研究的系統(tǒng)邁出的一步——這種能力不但需要編程技能,而且還需要具備為新實(shí)驗(yàn)提出想法和腦洞等能力。

OpenAI的領(lǐng)導(dǎo)層已公開(kāi)表示,這一目標(biāo)可能會(huì)在未來(lái)幾年內(nèi)實(shí)現(xiàn)。

另外,知情人士透露,OpenAI正在考慮開(kāi)發(fā)升級(jí)版Canvas,這是一款對(duì)標(biāo)Anthropic Artifacts的工具。

它能夠?qū)崿F(xiàn)和ChatGPT對(duì)話(huà)同時(shí),在新的畫(huà)布中協(xié)作,不論是編程還是創(chuàng)作,皆可互動(dòng)。

就代碼方面,在Canvas中用戶(hù)能夠讓AI一鍵審查代碼、修改bug等,幫助理解現(xiàn)有的代碼基礎(chǔ)和項(xiàng)目類(lèi)型。

不過(guò),他們還需要進(jìn)行將代碼復(fù)制粘貼到chatbot中,這一繁瑣操作。

OpenAI所希望的是,能夠推出更通用的AI智能體,類(lèi)似于Anthropic發(fā)布「計(jì)算機(jī)使用智能體」,可以接管人類(lèi)電腦處理代碼以外更廣泛的任務(wù)。

目前,OpenAI已在內(nèi)部展示了一個(gè)AI智能體的初步版本,能夠通過(guò)用戶(hù)的計(jì)算機(jī)完成在線訂餐等任務(wù)。

其實(shí),Claude已經(jīng)實(shí)現(xiàn)了在線點(diǎn)餐的能力

當(dāng)遇到編程或應(yīng)用開(kāi)發(fā)難題時(shí),這個(gè)AI智能體還能夠自動(dòng)查詢(xún)網(wǎng)絡(luò)資源尋求解決方案。

如今在AI編程領(lǐng)域,OpenAI已處于守勢(shì),曾經(jīng)獨(dú)占鰲頭的局勢(shì)正在改變。

現(xiàn)在,面對(duì)這個(gè)最危險(xiǎn)的競(jìng)爭(zhēng)對(duì)手Anthropic,它確實(shí)該做點(diǎn)什么了…

參考資料:

https://x.com/JeremyDanielFox/status/1849471327075270707https://x.com/AnthropicAI/status/1849466471556038752

https://venturebeat.com/ai/anthropics-agentic-computer-use-is-giving-people-superpowers/

https://www.theverge.com/2024/10/24/24278999/openai-plans-orion-ai-model-release-december

https://www.thariq.io/blog/claudecomputer/

編輯:桃子 好困

本文由人人都是產(chǎn)品經(jīng)理作者【新智元】,微信公眾號(hào):【新智元】,原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來(lái)自Unsplash,基于 CC0 協(xié)議。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒(méi)評(píng)論,等你發(fā)揮!