華為大咖說 | 企業應用AI大模型的“道、法、術”—— 法:場景篇
人人都談AI大模型是未來趨勢,企業里也焦慮的不行,不搞AI怕掉隊,搞了AI又難看到收益。問題出在哪兒呢?
從我們最近這幾年搞企業AI應用的經驗來看,AI應用要成功,首先要找到好場景,但說起來容易做起來難。于是我們就提出了“AI場景12問”,下面就是我對這套方法對詳細解析。
這是我的AI應用系列第二篇,想談談“如何找個好場景”。場景找對了,那就成功一大半,這個道理放在AI大模型的應用上,再合適不過。
核心觀點:
本輪AI革命,在企業應用還遠未成熟,可奈何大家求AI心切,因此識別“好場景”至關重要
場景識別對了,大家投入才有回報;場景識別不好,折騰一圈,一地雞毛
分享AI場景“12問”及其背后的思考邏輯
PS.觀點不保證絕對正確,歡迎留言討論,兼聽則明。
01 為什么AI大模型這么“挑活兒”?
當我們站在企業內部看AI大模型落地場景時,很容易被兩種情緒裹挾:要么AI無所不能,要么AI啥也不是。
當然,感謝業界的同行們一直不斷推出新產品,最近聽到的第二種聲音越來越少了,更多是急迫地希望做些什么。
坦率講,目前的企業AI大模型應用場景,如果挨個拉出來盤ROI,有正收益的是少數,特別是動輒幾百上千張卡的場景,單純看眼下收益,都是很難講的。
但是,AI變革的浪潮已至,我們又必須要跟上,所以如何選擇一個好場景,就至關重要了。
這里我想分享“AI場景12問”和其中的思考邏輯。
02 如何識別好場景:AI場景“12問”
整體上,希望通過三個維度來評估:
D1:商業價值
D2:場景成熟度
D3:持續運營
這三個方面,分別代表著是否值得做、是否能做、做了以后是否能持續演進。
D1:商業價值
之前這個維度叫“業務價值”,為了更突出我們是商業組織,我特地改成了“商業價值”。
① 業務場景是否能清晰度量價值?
什么叫度量價值,無非是增收、降本、增效。能夠直接帶來收入增長或者成本降低,那是最好的,如果不能直接帶來收入,那效率提升也是不錯的。
舉個最近的例子:
1.如果AI助手能直接跟客戶打電話,并且成單,那這就是“增收”,這是可遇不可求的場景;
2.如果AI助手可以替代我們的一些資源(包括人和物),那這就是“降本”,這種場景次之;
3.如果AI助手可以在作業過程中起到部分替代或輔助作用,使得我們的現有人或物做事時,更快、質量更好、效果更加,這就是“增效”,這種場景最次。
這里關于場景價值評估,我經驗也有限,總結了這么幾個小技巧,可供參考:
1.重點關注“增收”和“降本”類場景,盡可能將“提效”類場景轉換成這兩種場景,具體給出計算邏輯,一旦邏輯清晰,計算和評估非常簡單,價值顯而易見。
2.“提效”類場景數量最多,但魚龍混雜,是很需要花精力探討和分析的。說實在的,每個人都有“提效”的訴求,我也恨不能找個AI幫我碼字,這樣對于我來說可以輕松愉快一些,但是這對于公司來說意義有限,這就是最大的矛盾點。
3.如果真的要做“提效”類場景,避免使用百分比。我們太多場景喜歡用“提效xx%”,年年做,年年提,擠擠總會有,這個游戲很容易玩兒,但是壞處是在業務側很難形成真正的壓力和動力,Nice to have,不做也無所謂,這樣的后果就是戰略資源被消耗掉了。如果要提,就把具體業務KPI的from和to拿出來,計算邏輯寫清楚。
4.“降本”的收益計算要從“投資”角度來看。這里我舉個“巡檢”的小例子,在沒有AI的時候,只能每天人工檢查x次,有了AI,可以每分鐘都檢查一次,這么一算,看似節約了不少成本。實際上,這個事兒就搞反了,應該看業務上愿意投多少錢來增加人力做巡檢,AI節約的只是這些投資。
② 落地后收益評估,3年期ROI是否為正?
ROI評估這事兒非常重要,投資不看回報,那是非營利性組織,咱們不能這么搞。
這一條存在,是為了加強第一條的存在感,同時也避免為了一個小場景過度的投入資源。
這里其實我們給AI類的投資留了個buffer,就是“3年期ROI”,核心是因為AI大模型的應用太新了,能夠上線即巔峰的場景又太少,大部分場景上線以后都不能直接形成價值,需要持續地喂養和優化,因此我們希望資源和人力的投入可以在中期形成真正的業務價值。至于為啥是3年,說實話,這個數是我自己預估的,可能不同領域情況會有差異。
D2:場景成熟度
場景成熟度包括業務成熟度、數據成熟度、技術成熟度。這三個成熟度,是從華為AI團隊借鑒來的,從數據、業務、技術三個角度來審視。具體細節內容上,增加了一些自己的思考。?
D2.1?業務成熟度
③ 業務場景有明確的業務Owner(對投資和結果負責)
Owner很重要,這個事兒可以倒著想,如果一個AI場景,沒有業務Owner,會導致什么問題:
1.沒有人投資,這是最直接的。雖然我們現在很多AI基建的投資都是IT空載,但是AI應用的落地,終究是要業務投的,業務要感知到這個投資;
2.沒有人對結果負責,這個也很重要。一般業務Owner是業務流程Owner,也是業務部門主官。他能夠對結果關切,一方面說明我們做的事兒對口,另一方面也是對業務團隊的驅動力(AI場景落地能不能成,我越來越覺得跟IT有關系,但是很有限)。
④ 業務場景有明確的流程規則(業務說得清)
這個不過多贅述,是不是說得清這事兒,其實就是業務是不是成熟,還是很容易辨別的。一個還在不斷調整、不斷變化的業務,過早地搞AI,甚至數字化,對雙方都是一種煎熬。
⑤ 業務場景有明確的用戶觸點(業務已數字化)
智能化的基礎是數字化,業務數字化的程度,決定了AI能不能落地。這輪AI大模型的應用,和傳統的IT應用最大的差異,就是AI大模型需要數據喂養。沒有數字化,何來數據呢。(這里提到的數據,是全場景、全流程、全方位的知識數據,主打的就是“全”,越完整越好)
再一個,沒有數字化,就意味著我們的AI落地以后,沒有現成的觸點接入,就意味著沒有現成的流量繼承,就意味著AI運營的成本會大大增加。
從另一個角度看,如果一個業務場景還沒有數字化,或者數字化程度不高,以我的經驗來看,一定是有隱情的,還是不碰的好,要碰也是要先把數字化補上再說。
D2.2 數據成熟度
先提一嘴,這里提到的數據,包含知識數據,且暫時以知識數據為主。另外,這兩條,是從AI訓練的兩個階段來看對數據的訴求,一個是冷啟動,一個是持續運營。
⑥ 業務數據是否足夠支撐0~1冷啟動(范圍清晰、完整、易獲得)
足夠支撐冷啟動,就意味著能夠達到上線標準。目前我們以AI答準率60%為基線,判定一個場景是否能夠上線。當然,也不排除有一些非常通用的場景,不需要額外數據,基模型能力就能夠支撐,不過,這種“天使”場景可遇不可求,不在后續討論范圍內。
具體落地時,還考慮要到業務是否能夠清晰地說清楚需要哪些數據、是不是方便拿到這些數據。目前大部分知識類場景都是通過RAG(檢索增強生成(RAG)是指對大型語言模型輸出進行優化,使其能夠在生成響應之前引用訓練數據來源之外的權威知識庫)來實現,R的本質就是搜索,搜索就要有個知識清單,這個清單包括哪些知識,要業務輸出,然后IT來評估可行性。比如,我遇到有場景需要CSDN的技術博客,這類就很難獲取。
⑦ 業務數據是否隨作業持續產生、更新和反饋
一個AI場景冷啟動結束后,就到了持續運營階段。這個階段由于企業場景的用戶基數極其有限,沒辦法獲得海量的用戶側反饋(OpenAI的MAU有1億,我們可能大部分場景不會超過1千),這就使得我們將不遺余力地挖掘和利用作業過程中的每一個反饋和留痕數據,確保最大化地從這些有限的數據中汲取價值。
這塊扯遠一點,我們后來探討出一種玩法,叫“作業即標注”也就是說,每一次作業動作的過程中,都預埋了標注和反饋過程。這當然需要巧妙的設計,甚至略微改動原有IT的交互邏輯,更甚至通過犧牲一點點用戶體驗為代價。
D2.3?技術成熟度
⑧ 現有技術能力是否能夠支撐場景實現(技術可行、風險可控)
前面整這么多,總體上都是在做業務場景的評估和分析,也就是業務側的梳理和分析為主?;谇懊嬖u估OK的前提下,技術同學要開始工作了。
這里有個巨大的“陷阱”,或者是認知上的反差:AI大模型為什么POC(POC:Proof of Concept,為觀點提供證據)這么簡單,做好卻這么難?
在傳統IT開發的場景上,技術可行性是容易評估的,一般技術架構或者SE同學都能夠勝任;但是針對AI大模型相關場景,很多時候是要評測的,也就是要試一下,做個POC。
不過,AI大模型的POC反倒是我見過最容易的,就是搞幾句提示詞拿基模型試一下。這輪AI創新的非常重要一環,就是引入了自然語言指令,使得人人都能操作AI大模型。
然而,企業垂域場景,大概率第一次試結果是不太好的(大概就是瞎貓碰見死耗子的概率,我印象非常深刻,不論是文本還是多模態,沒有超過10%的)。
于是下一步就是要AI技術專家或者AI SE來判斷下,這個場景是否可以改進。改進就分兩塊,要么是“等”,要么是“調”。
等,就是等AI基模型能力提升。
調,就是要看,這個場景是不是能做微調:針對典型任務(高頻、規范、標準),準備幾百上千條數據調一下是合適的,但是針對尚未從業務上收斂、抽象的任務,是沒法調的,也就是用少量數據沒法教會大模型干活。
另外還有一個,就是“風險可控”,當然這背后雖然可以建立一套AI安全的玩兒法,但是無論如何AI大模型的“幻覺”是一種不可消解的風險,只能做風險規避和一定程度的接納。如果某個場景不能容忍任何不確定性,那就確實還不適合,至少當下不行。
⑨公司內是否有成功經驗,可以復用/借鑒
這里我特地強調,是公司內部有成功經驗,有三個意圖:
1.正視自己的技術能力差距,無論是基模型還是模型應用。比如我們看到GPT4可以干啥、甚至微軟office的copilot可以干啥,對于我們的參考意義有限。把有限的資源押注在這樣一些不確定性上,是很有風險的,卡點會非常多。
2.公司內部的同學已經做成,已經拿出來分享的場景,反而是我們喜而樂見的,這意味著“觸手可及”,拿來抄個作業很順手,哪怕不能抄,交流交流學習討論下也是不錯的。
3.我一直認為我們是AI技術應用團隊,要以業務成功為唯一目標,把突破創新讓給更專業的人,做好AI應用過程的學習、提煉、總結,是我們的“道”。不求高精尖,只求能落地,越簡單、低成本、易復制,就說明把AI應用玩兒明白了。
D3:持續運營
這一章節是我們最后加的,并不是不重要,而是在早期易被忽視,很難充分意識到其重要性。
“持續運營”放在這里,是為了突出“生”和“養”同等重要,甚至“養好”比“生好”在項目成功、業務成功方面更重要,也是希望跟業務主管強調這方面的重要性。
上圖是一個AI助手的持續運營示例,可供參考,核心是業務和IT的聯合,且以業務側為主(在業務運營、知識運營之外,新增了AI訓練師角色)。
⑩ 有清晰的業務運營目標
一個AI場景,除了業務價值的指標之外,還需要很多過程指標,需要觀測其分子分母、周邊因素、關鍵依賴(比如知識)、副作用等等,業務運營是需要設計的。
?業務目標有運營數據支撐(過程可度量)
原則上一個相對成熟的業務,會有一套現成的業務運營體系,我們要做的是從其中摘到AI應用強相關的部分,再加入IT側的過程指標,如AI應用情況(比如性能、并發、UV/PV、資源消耗)、反饋情況(比如答準率、搜準率)、NSS等等。
?業務有持續運營的組織、資源、機制和能力
運營要有流程和組織支撐,才能有生命力。我司的管理哲學就是把公司制度建筑在流程上,所以沒有固定的模式在支撐,運營工作會變成“腳踩西瓜皮”,干到哪兒算哪兒,甚至有一搭沒一搭地搞,哪怕搞看板、搞分析、搞預警,都沒個啥用,最后生成一堆任務也沒人執行。
當然,這一切背后,其實只有一個,就是要業務主管非常清楚地意識到,這里需要投入,而且需要持續投入。
以上這十二個問題,并不是我個人的經驗,是華為的集體智慧。
最后,我還想說,目前業界關于AI應用有兩種認知:
1.一種是“AI+”:真正的AI應用是沒有AI就無法運行的。畢竟大家總用“汽車”和“馬車”來類比AI和傳統IT,給馬車裝個內燃機可能不是我們想做的?,F在的很多創新類的AI產品,包括chatgpt就屬于這種。
2.一種是“+AI”:就是在很多場景上,增加AI屬性,一點點翻盤。這個觀點一樣有支撐,就像移動互聯網來了之后,PC網站還在,線下門店也還在,但是互相支撐后,效果更好了?,F在的copilot式操作,就是這么個玩法。
這里的核心,是你拿AI當什么。如果你認為這是生產力工具,那一定是all in,全換,過去不值得留戀。如果你認為這是基礎設施,那一定是適用的先來,適配一個切換一個。
我自己內心是認可生產力工具的說法的,但是現實情況是企業要運轉,運轉邏輯是寫好的,現在掀桌子就都沒得吃。
所以,我一直有個觀點,當下的AI大模型場景應用,是面向未來的一種蓄力和能力儲備,從量變到質變的過程。比如我們從去年單獨看客服AI,到現在可以看客戶服務全流程,逐漸把售前、售中、售后都拉齊以后,一個AI+的雛形就有了,這個過程可能需要3~5年甚至更久,但非常值得。
作者:鄭巖(華為云AI變革首席專家)
本文由人人都是產品經理作者【鄭巖】,微信公眾號:【時習知】,原創/授權 發布于人人都是產品經理,未經許可,禁止轉載。
題圖來自Unsplash,基于 CC0 協議。
說的很有道理,但感覺是車轱轆話。這篇文章把AI換成互聯網,在十年前也說得通;把AI換成ERP,在二十年前也說得通??瓷先ナ钦fAI,實際上放在新興技術或者科技上都可以帶入,希望能看到更有深度關于AI的說明