中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

這兩天參加了 OpenAI 的一些活動。有一部分是討論 Agent/智能體系統(tǒng)在落地時，遇到的各種問題，以及一些可行的實(shí)踐。這里我?guī)砹艘恍┕P記。
基于下面的這篇論文，地址是：
https://openai.com/research/practices-for-governing-agentic-ai-systems

01 關(guān)于 Agent

Agent 是一種 AI 的應(yīng)用方式，但隨著語境的遷移，它慢慢從「AI 應(yīng)用」里剝離了出來。不準(zhǔn)確來說，這里的感覺，就像是 H5 從 html5 中剝離了出來。

按當(dāng)前的語境，我們會把 ChatGPT 就是看成一種 AI 應(yīng)用，它能理解你的問題并給出回答。而會把 GPTs 這種訂制后的、能調(diào)用外部功能的、能夠自己處理復(fù)雜任務(wù)的產(chǎn)品，叫做 Agent。

Agent 和 AI應(yīng)用（如ChatGPT）之間的區(qū)別和聯(lián)系主要體現(xiàn)在“代理性”（agenticness）這的程度上。如果一個AI系統(tǒng)，能夠在沒有直接人類監(jiān)督的情況下運(yùn)作，其自主性越高，我們稱之為代理性越強(qiáng)。這是一個連續(xù)體，不是非黑即白的判斷，而是根據(jù)它在特定環(huán)境中的表現(xiàn)來評估其代理性的程度。

在這種定義下，正統(tǒng) Agent 不僅能回答問題，還能自己決定做什么，它能夠通過生成文本來“思考”，然后做出一些操作，甚至能創(chuàng)造出更多的 AI 幫手來幫幫忙，就比如下面這個圖。

但我們發(fā)現(xiàn)，盡管 Agent 看起來很美好，但在實(shí)際落地的場景中，也是困難重重，風(fēng)險多多，出現(xiàn)了問題，責(zé)任劃分也很麻煩。比如這里：如果我希望讓某個 Agent 幫我微信收款，但它給別人展示的是付款碼，那么這里誰背鍋？

也是因?yàn)檫@些問題，就有了本次的話題：「從實(shí)踐的角度出發(fā)，落地 Agent 有哪些注意點(diǎn)」。共包含 7 個主要點(diǎn)：執(zhí)行效果評估、危險行為界定、默認(rèn)行為確定、推理透明展示、Agent 行為監(jiān)控、Agent 作惡追責(zé)、危險事故叫停。

02 Agent 落地難點(diǎn)

由于會上的 PPT 不便分享，我便在自己吸收后，重新制作了一份 PPT，安心食用

1. 執(zhí)行效果評估

在商業(yè)環(huán)境中，確保任何工具的可靠性是基本要求。

然而，AI Agent 的復(fù)雜性在于其工作場景和任務(wù)的不確定性。例如，一個在模擬環(huán)境中表現(xiàn)優(yōu)異的自動駕駛車輛，可能因現(xiàn)實(shí)世界中不可預(yù)測的變量（如天氣變化和道路條件）而表現(xiàn)不穩(wěn)定。

我們尚缺乏有效的方法，來準(zhǔn)確評估 AI Agent 在實(shí)際環(huán)境中的性能。

2. 危險行為界定

AI Agent 在執(zhí)行高風(fēng)險操作之前需要獲得用戶的明確批準(zhǔn)。例如，在金融領(lǐng)域，AI 執(zhí)行大額轉(zhuǎn)賬前必須得到用戶同意。

但需要注意，頻繁的審批請求可能導(dǎo)致用戶出現(xiàn)審批疲勞，從而可能無視風(fēng)險盲目批準(zhǔn)操作，這既削弱了批準(zhǔn)機(jī)制的效果，也可能增加操作風(fēng)險。

3. 默認(rèn)行為確定

當(dāng) AI Agent 遇到執(zhí)行錯誤或不確定的情形時，是要有一個默認(rèn)行為的。例如，如果一個客服機(jī)器人在不確定用戶需求時，其默認(rèn)行為是請求更多信息以避免錯誤操作。

然而，頻繁的請求可能會影響用戶體驗(yàn)，因此在保障系統(tǒng)安全性與保持用戶體驗(yàn)之間需要找到平衡。

4. 推理透明展示

為了保證 AI Agent 決策的透明性，系統(tǒng)需要向用戶清晰展示其推理過程。舉例來說，一個健康咨詢機(jī)器人應(yīng)詳細(xì)解釋其提出特定醫(yī)療建議的邏輯。

但如果推理過程太復(fù)雜，普通用戶可能難以理解，這就需要在確保透明性和易理解性之間找到平衡。

5. Agent 行為監(jiān)控

假設(shè)一個 AI 系統(tǒng)用于監(jiān)控倉庫庫存，如果監(jiān)控系統(tǒng)誤報(bào)，誤認(rèn)為某項(xiàng)商品缺貨，進(jìn)而不斷的進(jìn)貨，那么可能導(dǎo)致庫存的嚴(yán)重積壓，并造成極大損失。

于是，我們思考：是否需要另一個 Agent 來監(jiān)控這個 Agent？成本賬怎么算？

6. Agent 作惡追責(zé)

考慮一個匿名發(fā)布內(nèi)容的 AI Agent，如果其發(fā)布了違規(guī)內(nèi)容，要追蹤到具體負(fù)責(zé)的人或機(jī)構(gòu)可能極其困難。這種情況下，建立一個能夠確保責(zé)任可追溯的系統(tǒng)尤為關(guān)鍵，同時還需要平衡隱私保護(hù)和責(zé)任追究的需求。

7. 嚴(yán)重事故叫停

想象一個用于自動化工廠管理的 AI Agent，在系統(tǒng)檢測到嚴(yán)重故障需要立即停機(jī)時，不僅需要停止主控系統(tǒng)，還要同步關(guān)閉所有從屬設(shè)備和流程。如何設(shè)計(jì)一個能夠迅速且全面響應(yīng)的緊急停止機(jī)制，以防止故障擴(kuò)散或造成更大損失，是一項(xiàng)技術(shù)和策略上的復(fù)雜挑戰(zhàn)。

最后，本次就這些。