Agent開發平臺數據運營體系:企業如何衡量大模型投入產出比ROI?

0 評論 816 瀏覽 3 收藏 6 分鐘

大模型到底為公司帶來了多大的好處?為應用大模型,采購了第三方的AgentBuilder平臺,或者自研搭建了大模型應用平臺,效果咋樣?企業內部的員工會用了嗎?還是依賴外部的第三方提供解決方案呢?用大模型時,需要考慮信息安全相關的事兒,權限粒度能滿足要求嗎?違規碰觸攔得住嗎?……一連串的問題,讓數據來回答……

1.大模型落地stakeholders&成本

企業都想在這波技術生產力變革中,不被落下,無論是自動駕駛、具身智能、機器人還是內部的IT系統,迎來了“換腦子”的機會。都想干,怎么入手呢?一般大模型落地需要五個角色的人彼此協作。如果是外采第三方MaaS平臺,那么3、4、5就由第三方公司出人。

2.Agent開發平臺產品功能MAP

要評估自建、還是外采,那么先來看下,Agent開發平臺,應該有哪些必備的“能力”。搭建這樣一個平臺,貴公司需要多久?投入多少成本/資源?

3.Agent平臺數據運營

3.1 ROI

ROI=W/(XorY+Z+M+N+O)

3.2 平臺運營:有數據可用

節約成本:每個月做數據清洗、數據查詢、口徑對齊、取數等工作,2*15=30人天/月

3.3 平臺運營:需要的數據

有了這些數據,可以回答下面一系列問題:

  1. 高層可以了解,各層級部門應用大模型的進展C
  2. 高層可以了解,當前員工用大模型的情況F

還可以了解:

  1. 昨天,員工跟大模型交流對話了多少輪?消耗多少token(需要花多少錢)?大模型回復了多少token(代替人回答問題)?大模型累計服務時長是多少?X/8小時,相當于一天里,有多少名虛擬數字員工在代替人干活~~
  2. 上周,營銷Agent,一共生產多少篇營銷圖文/視頻等,投放到各個渠道的效果怎么樣,熱度、用戶回復、傳播效果與大上周、或者與人工產出文案同環比,為小程序、APP拉新、促活引流效果如何……
  3. 7月,銷售助手Agent,累計應答多少次銷售問詢,以更好的給用戶做售前解答。售后服務Agent,累計應答多少次售后服務同學,以更快捷的協助用戶解決問題……
  4. 7月,零件Agent,累計應答多少次零件在庫問詢/同類零件可替代問詢,發出多少個零件的庫存紅線采購預警,以確保供應鏈最優,成本最優……
  5. Q2,輿情監控Agent,一共搜集到多少個外部渠道的用戶呼聲,其中有多少是正面輿情,多少是負面輿情。有多少做了即時回復,有多少通過人工處理~~

所有的環節,數字化+智能化的協作是大模型讓企業動起來的表征……

4.舉例:大模型安全識別、攔截、放行數據分析漏斗圖

計算公式:

1.輸入攔截率=輸入攔截次數/用戶輸入總量=5+(4+X2)/1

2.輸出攔截率=輸出攔截次數/大模型輸出總量=11+(X2+10)/1

3.漏攔截率=漏攔截次數/(攔截次數-誤攔截次數+漏攔截次數)=4+X2+10/(5+11-6-X1-12+4+X2+10)

4.誤攔截率=誤攔截次數/攔截次數=(6+X1+12)/5+11

受作者領域認知深度所限及技術無時無刻不在更新迭代,業界對LLM、AGI、Agent、GPT……的衍生應用必定是珠零錦粲。無法在一篇中盡現全貌,未來可能會徹底推翻當下的種種嘗試而不得知。能為大家帶去一點點新的啟發,以深感欣慰。文中難免有紕漏或不準確的地方,歡迎大家批評指正。撰寫中參考網絡上各位同仁的最新觀點,拿來主義未打招呼,還望見諒。若有任何建議或意見,歡迎聯系作者探討。

作者:shucay、佳琪、小正

本文由@shucay 授權發布于人人都是產品經理,未經許可,禁止轉載

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!