AI時代,企業(yè)服務(wù)智能化管理
之前分享過的5篇文章,主要講述了本人4個月的AI轉(zhuǎn)型學(xué)習(xí)歷程,當(dāng)時還沒做過AI相關(guān)的產(chǎn)品。目前我在一家創(chuàng)業(yè)公司負責(zé)創(chuàng)新類的產(chǎn)品團隊,從0到1打造了4款A(yù)I產(chǎn)品并相繼落地。本文分享了我們在企業(yè)服務(wù)智能化管理方向的探索,關(guān)于:智能化管理都面臨哪些痛點?針對這些痛點有哪些解決之道?B端客戶在AI產(chǎn)品的認知上有哪些誤區(qū),以及團隊如何實現(xiàn)敏捷進化。
智能管理的四個發(fā)展階段
AI在企業(yè)服務(wù)中已經(jīng)得到了廣泛應(yīng)用,其中“智能管理”的產(chǎn)品定位與“智能客服”有明顯的差別。
- 智能客服是用Bot來代替客服人員完成對話過程,降低企業(yè)用人成本;
- 智能管理是利用AI幫助質(zhì)檢員做數(shù)據(jù)洞察,幫助客服坐席完成實時協(xié)同、仿真陪練,其核心價值是合規(guī)、風(fēng)控和提效,降低管理成本只是它的附帶價值。
我們將智能管理的發(fā)展定義為4個階段:
第一階段:基于傳統(tǒng)專家系統(tǒng)的智能質(zhì)檢。
通過關(guān)鍵詞模版、正則表達式對客戶和坐席的會話日志進行分析,生成文本質(zhì)檢報告。在此基礎(chǔ)上前置一層 ASR和聲學(xué)特征檢測,可生成語音通話的質(zhì)檢報告。但這類實現(xiàn)方式在準(zhǔn)確率、泛化能力和運營有效性上都存在明顯瓶頸。
第二階段:基于深度學(xué)習(xí)(語音+語義)的智能質(zhì)檢
很多客戶找到我們說想要更換質(zhì)檢系統(tǒng),原因是老系統(tǒng)要維護關(guān)鍵詞模版,效率低下,還容易出現(xiàn)漏命中、誤命中的情況。這些痛點恰恰可以靠深度學(xué)習(xí)來彌補,比如:用 RNN 實現(xiàn)語義理解,用 CNN、RNN 實現(xiàn)聲學(xué)和文本的情感分析,用 CNN、Bi-LSTM 實現(xiàn) VAD(語音活動檢測)。
監(jiān)督學(xué)習(xí)依賴標(biāo)注數(shù)據(jù),初始化階段需要一定的人力投入。但長期來看 AI 訓(xùn)練師的投入會逐步遞減,整體 ROI 遠超專家系統(tǒng)。
第三階段:利用自學(xué)習(xí)的智能化運維工具,大幅提升質(zhì)檢引擎的運營有效性
基于深度學(xué)習(xí)的 B 端產(chǎn)品能否取得成功,不僅取決于神經(jīng)網(wǎng)絡(luò)等底層技術(shù),很大程度上取決于工程化、產(chǎn)品化和運營的成熟度。模型效果可以決定產(chǎn)品的下限,而運營有效性、用戶體驗、交付和售后服務(wù)則決定了產(chǎn)品的上限。
客戶拿到產(chǎn)品后,大量的訓(xùn)練數(shù)據(jù)需要人工標(biāo)注,規(guī)則策略需要人工編寫,Badcase 需要人工核查,效果調(diào)優(yōu)需要人工操作。高門檻、高頻的人工操作,已經(jīng)成為 B 端 AI 產(chǎn)品的最核心痛點。為了解決這一痛點,我們做了兩件事:
(1)提供智能化運維工具包
例如:數(shù)據(jù)標(biāo)注、深度學(xué)習(xí)訓(xùn)練平臺、語義快速教育、新語義發(fā)現(xiàn)、語義智能消歧以及模型調(diào)試等工具,盡最大可能減少維護的難度。
(2)授人以魚不如授人以漁。
將運營過程中的經(jīng)驗、方法論沉淀成《智能管理運營手冊》,詳細描述智能冷啟和持續(xù)運營的 5 個階段。它可以作為指導(dǎo)教材,幫助 AI 訓(xùn)練師有坡度、有溫度地掌握工具,幫助企業(yè)牢牢守護住運維 ROI。
第四階段:事前+事中+事后的閉環(huán)智能管理解決方案。
隨著企業(yè)對風(fēng)控、質(zhì)控的要求越來越高,事后質(zhì)檢很難滿足時效性的需求。所以培訓(xùn)機器人和坐席助手兩種產(chǎn)品形態(tài)就應(yīng)運而生,它們分別補全了事前培訓(xùn)和事中人機協(xié)同的環(huán)節(jié),配合智能質(zhì)檢覆蓋了整個坐席服務(wù)的周期。
回顧一下智能管理這四個發(fā)展階段:從專家系統(tǒng)到深度學(xué)習(xí),從窮舉式運維到智能化運維,從事后質(zhì)檢到全周期服務(wù)管理,共發(fā)生了三次質(zhì)變。
閉環(huán)化的智能管理產(chǎn)品
目前在智能管理方向上,絕大多數(shù)廠商處于第一階段,第二階段的廠商不到3家。只有1家公司能提供三款閉環(huán)產(chǎn)品 + 基于深度學(xué)習(xí)的語義理解 + 智能化運維工具包,并支持標(biāo)準(zhǔn)化交付。
下面分別介紹智能管理的三款產(chǎn)品:
1.?See:智能質(zhì)檢
See 的定位是對坐席與客戶的通話錄音、文本會話進行質(zhì)檢分析。其模塊包含質(zhì)檢引擎、分角色的工作臺(人工抽檢、客服申訴、復(fù)審、訓(xùn)練師)和數(shù)據(jù)統(tǒng)計等功能。質(zhì)檢引擎包含 12 個維度的分析算子,幫助質(zhì)檢員實現(xiàn)更加精準(zhǔn)的質(zhì)控。
See 的分析引擎支持十幾種算子,除了關(guān)鍵詞、正則、RNN、情緒等文本算子以外,還支持語音情緒、語速、搶話、靜音等聲學(xué)算子。初始化階段會有一定的 AI 訓(xùn)練師投入,后期業(yè)務(wù)方每周只需要投入少量時間即可完成調(diào)優(yōu)工作。
2. Pal:坐席助手
Pal 的定位是坐席的智能助手,在電話服務(wù)過程中為客服坐席提供人機協(xié)同能力。包括合規(guī)管理、流程導(dǎo)航、用戶畫像、話術(shù)推薦、智能表單和一鍵直達等功能,幫助提升業(yè)務(wù)效率、降低上崗門檻,提升營銷轉(zhuǎn)化。
客服坐席在通話過程中會伴隨大量業(yè)務(wù)操作,比如工單系統(tǒng)、CRM。好的產(chǎn)品是用完即走的,Pal 如何以貼心助手的角色融入到場景中呢?
我們?yōu)樗O(shè)計了三種模式:隱藏模式、簡單模式和完整模式。只有當(dāng)坐席需要的時候,各項功能才會冒出來與坐席交互,多數(shù)情況下在后臺就自動完成分析過程。
3. Learn:智能培訓(xùn)
Learn 的定位是對新手或者有短板的坐席進行場景仿真練習(xí)。客服行業(yè)人員流動率非常高,傳統(tǒng)的老帶新培訓(xùn)模式效率較低,老員工的耐心有限,但機器人是不知疲倦的。
Learn 分為學(xué)、練、考、評四個模塊:
- 學(xué)習(xí):坐席通過教學(xué)視頻、PPT 等素材完成學(xué)習(xí)輸入的過程。
- 練習(xí):坐席與機器人模擬接聽、外呼等場景,反復(fù)模擬練習(xí),直到掌握業(yè)務(wù)。
- 考試:場景交互過程比練習(xí)模式增加了難度,去掉了提示指引。除了場景交互考題,也有選擇、判斷等傳統(tǒng)題型。
- 評分:自動化閱卷生成評分,將多維考評項合成能力臉譜,為學(xué)員指明提升路徑。
以上就是三款產(chǎn)品的介紹,智能管理是一套閉環(huán)的解決方案:Learn 在服務(wù)前幫助學(xué)員達到上崗門檻;Pal 輔助坐席完成實時人機協(xié)同,并將語音流、實時分析結(jié)果給到 See 做進一步的挖掘;See 輸出坐席畫像、將優(yōu)質(zhì)案例和反面案例給到 Learn 做為課件和題目的參考素材,并根據(jù)坐席能力短板推薦課程和考題。三款產(chǎn)品貫穿客戶服務(wù)的全流程,實現(xiàn)了數(shù)據(jù)的高效復(fù)用。
做產(chǎn)品創(chuàng)新的團隊,需要主動承擔(dān)起定義標(biāo)準(zhǔn)、解釋標(biāo)準(zhǔn)和推廣標(biāo)準(zhǔn)的責(zé)任。我們?yōu)橹悄芄芾碇贫艘惶昨炇諛?biāo)準(zhǔn),包含功能模塊、效果指標(biāo)、用戶體驗等三個方面。項目實施的過程中,客戶會收到詳細的自測驗收報告。
挑戰(zhàn)與思考
1. 智能分析引擎應(yīng)該依賴深度學(xué)習(xí)還是專家系統(tǒng)?
先來看下 RNN 和關(guān)鍵詞主要有哪些差異:
(1)匹配模式不同
關(guān)鍵詞是精準(zhǔn)匹配,優(yōu)勢是可解釋性,配置后立即生效。RNN 有更強的泛化能力,局限是不可解釋,無法做可控的調(diào)優(yōu)(AI 訓(xùn)練師可以憑借經(jīng)驗做一定的優(yōu)化)。舉個例子:當(dāng) ASR 轉(zhuǎn)譯出錯的時候,用關(guān)鍵詞匹配就很難正確命中。
(2)數(shù)據(jù)來源和運維效率不同
關(guān)鍵詞和正則更依賴用戶對業(yè)務(wù)的理解,需要人工梳理出關(guān)鍵詞;而 RNN 的訓(xùn)練數(shù)據(jù)主要來源于生產(chǎn)系統(tǒng)的會話日志,后期的維護效率也比關(guān)鍵詞高 1.5 到 2 倍。
(2)適用的語境不同
開頭語、結(jié)束語、禮貌用語、禁用語就很適合用專家系統(tǒng),例如「你好,很高興為您服務(wù)」,這種講話的定式很容易用正則來窮舉。但像【客戶表達不滿】這種相對發(fā)散的語義,敘述方式靈活多變,更適用 RNN 來匹配。
為了分析 RNN 和關(guān)鍵詞的取舍問題,我們拿實際落地的項目做了些研究。在確保質(zhì)檢引擎準(zhǔn)確率≥90% 的前提下,尋找效果最優(yōu)的匹配邏輯,不刻意偏重使用關(guān)鍵詞或 RNN。結(jié)果某基金公司有 80% 的質(zhì)檢規(guī)則使用 RNN+關(guān)鍵詞,10% 的規(guī)則純用關(guān)鍵詞,10% 的規(guī)則用聲學(xué)算子;某新能源車企的 33 條質(zhì)檢規(guī)則都同時使用 RNN 和關(guān)鍵詞;其他項目大多數(shù)規(guī)則也是兩種算子共存。
最終結(jié)論是:關(guān)鍵詞決定了質(zhì)檢水平下限,RNN 決定了質(zhì)檢水平的上限。過度依賴其中的一種,都是產(chǎn)品不夠成熟的表現(xiàn),二者互相結(jié)合才能做出好的效果。
除了算子的選取,影響質(zhì)檢引擎效果的因素還有很多,比如分類體系、語料歧義、數(shù)據(jù)量、數(shù)據(jù)粒度、話者分離等。在講智能管理發(fā)展階段的時候,我提到了運營有效性和方法論。通過《智能管理運營手冊》和行業(yè)數(shù)據(jù)積累,可以幫助客戶完成高效的智能冷啟和持續(xù)運營。
2. 如何做好語音交互的場景化?
B 端產(chǎn)品最終也是給人用的,我們在打造智能管理的過程中,很多場景體驗都按照 C 端的標(biāo)準(zhǔn)。
語音類產(chǎn)品的場景化有三個原則:
- 單場景的極致閉環(huán):例如 Pal 坐席助手的 5 個模塊有相互獨立的觸發(fā)條件,流程上相互照應(yīng),交互體驗和諧統(tǒng)一。
- 跨場景的無縫銜接:例如智能管理將實時、事前和事后的三個場景銜接貫通,共用分析引擎和訓(xùn)練數(shù)據(jù);質(zhì)檢分析結(jié)果回流到培訓(xùn)系統(tǒng)中,形成服務(wù)閉環(huán)。
- 人性化的交互體驗:例如機器人的 TTS 播報略顯生硬,如果用錄音來代替,交互的感受就更有溫度。同時也減少調(diào)用 TTS 服務(wù)的時間,還能砍掉 TTS 的成本;在 VUI 邏輯中,我們加入了容錯輪次,給坐席一次重說的機會,避免了學(xué)員的尷尬。
在技術(shù)選型上,也需要忠于用戶體驗。對于偏流程化、目的性強的語音場景,業(yè)界一般用任務(wù)型來實現(xiàn)。但培訓(xùn)機器人和智能外呼的角色完全對調(diào),我們反復(fù)推敲了二者的差異性,最終決定只引入任務(wù)型的設(shè)計思想,沒有拿外呼的 NLP 方案來生搬硬套。
3. 客戶對 AI 產(chǎn)品的過高期望和誤解
(1)客戶應(yīng)該對 AI 抱有怎樣的期望?
有人提出要用機器代替人去扛營銷轉(zhuǎn)化率,其實營銷是一門體現(xiàn)情商和柔性技巧的學(xué)問,連人類都未必能扛得住營銷轉(zhuǎn)化率。在營銷場景中,機器輔助人的可落地性遠遠強于機器人代替人。如果一定要用 Bot 直接做營銷,可以盡量避免過于發(fā)散的場景,截取一段相對收斂的流程用任務(wù)型來實現(xiàn)。
就連大家津津樂道的 Alpha Go,也是挑選了收斂的圍棋場景,在既定規(guī)則內(nèi)最大化發(fā)揮出計算性能的優(yōu)勢。深度學(xué)習(xí)的根基是統(tǒng)計學(xué),神經(jīng)網(wǎng)絡(luò)的抽象層級還比較淺。相比于人類,AI 不具備背景常識,更沒有自我意識和感情,不要苛求它去做特別深刻的邏輯推理。
(2)AI 技術(shù)是場景落地的主要瓶頸么?
技術(shù)實力的確是落地的核心基礎(chǔ),但發(fā)展到一定規(guī)模后,產(chǎn)品運營、后端資源、服務(wù)能力會成為商業(yè)化成功的關(guān)鍵。即便是擁有超強算法能力的 AI 巨頭,也沒有精力做好每個細分領(lǐng)域的產(chǎn)品。各種算法模型從實驗階段到工程化、產(chǎn)品化、規(guī)模化交付再到口碑運營,中間有太長的路要走。
(3)如何快速驗證一款深度學(xué)習(xí)產(chǎn)品的水平?
任何廠商都可以對外宣稱自己擁有某項 AI 技術(shù),但產(chǎn)品的落地依托于真實的投入與沉淀。很多客戶都沒意識到這一點,也很難分辨出廠商之間的真正差距在哪里。其實到底有沒有,拉出來遛一遛就知道了。
分享個小技巧:讓廠商實際操作數(shù)據(jù)標(biāo)注、模型訓(xùn)練和模型調(diào)用的流程,證明自己有基于深度學(xué)習(xí)的智能運維工具。然后看這套工具是否跟產(chǎn)品系統(tǒng)融合統(tǒng)一,給到用戶的交互界面是否友好。如果這些都滿足,就說明產(chǎn)品相對成熟,技術(shù)也差不到哪里去。
(4)深度學(xué)習(xí) or 專家系統(tǒng)?
現(xiàn)在有很多 AI 廠商過度渲染深度學(xué)習(xí)的優(yōu)勢,也有更多專家系統(tǒng)的廠商攻擊深度學(xué)習(xí)冷啟動周期的弊端,其實這些都是有局限性的無意義對比。比如:智能管理場景的最優(yōu)方案,就是通過專家系統(tǒng)+深度學(xué)習(xí)的多維算子疊加來實現(xiàn)。并不絕對依賴于某一種技術(shù),同時也能確保運維的效率。鼓吹其中的任何一種,都是產(chǎn)品不成熟的表現(xiàn)。
(5)一些訓(xùn)練數(shù)據(jù)或模型能否復(fù)用?
關(guān)鍵看場景的重合度,比如智能管理的 3 款產(chǎn)品之間有部分模型可以復(fù)用,而外呼機器人跟智能質(zhì)檢的模型就無法強行復(fù)用。客戶想要復(fù)用模型,其本質(zhì)訴求無非就是降本升效。我們假設(shè)模型真的可以復(fù)用,也就只提升了 1 倍的運維效率,依然無法應(yīng)對新業(yè)務(wù)的迭代,而我們提供的【新語義發(fā)現(xiàn)】+【快速教育】工具卻可以將運維效率提升 10 倍以上。
(6)會話輪數(shù)是不是越多越好?
會話輪數(shù)從來都不是考核 Bot 交互能力的指標(biāo),關(guān)鍵是多輪會話的目的是要完成一項清晰的任務(wù),還是完成一通閑聊?如果是為了完成任務(wù),就要將場景盡可能收斂,交互路徑盡可能縮短。聊的越久,越容易出錯。
4. AI 時代團隊如何敏捷進化?
最后是一些關(guān)于敏捷的思考。我們團隊是公司的一個產(chǎn)品研發(fā)小組,在 18 年 3 月上線 See,6 月上線 Pal,9 月上線 Learn,12 月份做出其他創(chuàng)新型產(chǎn)品,奔跑速度已經(jīng)不弱于互聯(lián)網(wǎng)公司。
快速裂變的過程中,蒙眼狂奔一定會掉鏈子,關(guān)鍵看如何堅守克制與取舍。我國的 toB 大環(huán)境下很難避開定制化,如何尋找標(biāo)準(zhǔn)化與定制化的平衡點呢?
這非??简灝a(chǎn)品團隊的基本功,我經(jīng)常拿 2 個問題來挑戰(zhàn)組員:
- 給產(chǎn)品做加法時,能解決人無我有的問題,還是人有我優(yōu)的問題?
- 最終能獲勝的憑什么是你?需要講清楚背后的隱性邏輯。
做產(chǎn)品必須要敢于接受直逼靈魂的拷問。這是個不缺腦暴的時代,模糊、發(fā)散的 idea 并不值錢。只有當(dāng)我們對核心細節(jié)做到入微操控,推演出金字塔尖的東西時,才可能做出核心競爭力。
然后,組件化思維非常重要,通用的 AI 能力應(yīng)該趁早被抽象出來,以便后期快速復(fù)用到新的 AI 產(chǎn)品上。
同時,敏捷進化只靠內(nèi)部團隊遠遠不夠,更需要群智效應(yīng)和創(chuàng)造力賦能。群智效應(yīng)是指業(yè)務(wù)方、廠商一起貢獻智慧;創(chuàng)造力賦能是指價值傳遞過程中,給到客戶的不僅是工具本身,更包含駕馭工具、探索新事物的能力??蛻襞c合作伙伴的創(chuàng)新型探索,也可以倒逼產(chǎn)品的進化。
目前 AI 行業(yè)競爭非常激烈,各公司的保密工作都很到位。外界對 AI 公司有強烈的好奇心,希望能得到業(yè)內(nèi)的更多分享。AI 公司也渴望通過更多合作來獲取數(shù)據(jù)、打磨場景,提升業(yè)務(wù)縱深能力和規(guī)模化落地能力。
產(chǎn)品和業(yè)務(wù)本質(zhì)上是共生關(guān)系,脫離業(yè)務(wù)的 AI 產(chǎn)品就是沒有靈魂的軀殼,如果業(yè)務(wù)方和 AI 公司都持有更加開放的心態(tài),大家坐下來深入探討場景,就一定能挖掘出有價值的解決方案。
作者:于長弘,公眾號:AI小宇宙(ID:AI_endless)
本文由 @于長弘 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議
厲害厲害,目前AI的落地應(yīng)用這方面的分享實在是太稀缺了,讀的過程中感覺解答了一些我的困惑,整理了一些我平時零碎的思考;看來目前行業(yè)內(nèi)都在思考類似的問題呀~