如何判斷一個對話機器人有多智能?

0 評論 11298 瀏覽 38 收藏 13 分鐘

有些對話機器人總讓人崩潰,也許是智能級別不夠高。本文,就來一起看看如何判斷一個機器人的智能程度。

隨著智能對話技術的發展,對話機器人越來越多地出現在人們的日常工作和生活中。

從企業的角度,在合適的業務場景中使用對話機器人,能夠極大地提升服務效率和用戶體驗。因此,引入對話機器人逐漸成為每個企業數字化和智能化轉型過程中的重要戰略。

那么,我們應該如何來評判一個對話機器人的能力,或者更具體一點,如何判斷一個對話機器人的智能程度呢?

本文介紹一種對話機器人的分級,讓我們可以更清楚地了解不同等級的對話機器人分別具有什么能力,適用于什么場景。

對話機器人的分級

目前業界并沒有一個成熟的對話機器人分級體系,但自動駕駛的分級能夠給我們一些啟發。

根據行業標準,自動駕駛能力被分為L1到L5共5個等級(L0代表完全人類駕駛,不算在5個等級之內),等級越高代表自動駕駛能力越強。比如,L1代表輔助駕駛,L5代表完全自動駕駛。

在不同的級別下,駕駛員和車輛所扮演的角色有所不同,級別越高駕駛員需要對車輛的控制越少(如下圖所示)。

如何判斷一個對話機器人有多智能?

圖片來源[1]

參考國外開發者社區對于智能助手的分級[2],我們從對話機器人能夠解決的問題及其應用場景出發,將對話機器人的能力也進行分級,分為L1到L5共5個等級,等級越高代表對話機器人的能力越強(如下圖所示)。

下面我們分別介紹這5個等級。

如何判斷一個對話機器人有多智能?

L1 單向推送

機器人可向用戶推送消息,但沒有對話能力。

L1級別的對話機器人,只具備向用戶單向推送的能力。今天,我們所使用的App、微信公眾號都會使用這種方式與用戶交互。

這種方式的好處是受眾廣,效率高;缺點是用戶只能被動接收推送,無法和機器人進行對話交互。因此,L1級別的機器人在嚴格意義上不能被稱為“對話機器人”。

L2 單輪問答

機器人能回答用戶的常見問題,但沒有上下文理解能力,無法主動與用戶交互。

L2級別的對話機器人開始具備對話交互能力,具體體現在它能夠回答用戶的常見問題。最典型的應用場景是簡單的問答型客服機器人,即用戶問一個問題,機器人回答答案。

這類對話機器人通?;谝粋€特定的知識庫,當用戶提出問題后,機器人需要對用戶的問題進行語義理解,并從知識庫中找到對應的答案回復給用戶。

因此,評價L2級別對話機器人的效果,主要看召回率和準確率這兩項指標。其中,召回率等于有多少用戶的問題能夠被機器人回答,準確率等于機器人回答的問題中有多少回答正確。

關于L2級別對話機器人背后使用的技術,感興趣的讀者可以閱讀之前的文章《對話機器人平臺智能問答技術拆解》。

綜合來看,L2級別的對話機器人適合比較簡單的客服場景,機器人能準確回答用戶的問題,用戶問完即走。

L3 多輪對話

機器人能理解上下文,和用戶進行多輪對話,幫用戶完成任務。

L2級別的對話機器人經過訓練后雖然能夠準確地回答用戶的問題,但仍然存在兩個明顯的缺陷:

  1. 它沒有上下文理解的能力,即機器人在回答一個用戶問題時,不會考慮用戶之前所說的內容;
  2. 它只能被動地回答用戶的問題,無法主動發起與用戶交互,導致機器人的應用場景相對受限。

因此,我們需要更加智能的L3級別對話機器人。

我們以快遞領域的客服機器人為例,通過兩個具體的例子來說明L3級別對話機器人和L2級別的差別。

L2級別對話機器人無法理解上下文

因為缺少上下文理解能力,當用戶問“星期天開門嗎”時,缺少了主語 “中關村的門店”,L2級別的對話機器人無法理解用戶其實是在問“中關村的自提點星期天開門嗎”,導致機器人無法回答這個問題。

對于L3級別的對話機器人,它能夠理解上下文,從而補全了用戶問題的主語,這樣一來便可以回答出這個問題。

L3級別對話機器人能夠理解上下文

有些時候,機器人在滿足用戶需求時,不僅要聽懂用戶在說什么,還需要主動向用戶發問,來獲取相關的信息。

我們來看另一個例子。

L2級別對話機器人能夠回答問題,但無法解決問題

上面的例子中,在機器人回復的消息里,“預約取件”是一個可點擊的鏈接,需要用戶點擊后在一個新的圖形化用戶界面(GUI, Graphical User Interface)中輸入取件時間、取件地址、取件電話等信息完成預約取件,這種需要在CUI和GUI之間來回切換的交互方式顯然不夠高效。

L2級別的對話機器人之所以要這樣,對話機器人并不知道取件時間、取件地址、取件電話等信息,沒有這些信息的情況下,機器人只能提供一個鏈接讓用戶自己操作。也就是說,L2級別的對話機器人有時候雖然回答了用戶的問題,但并沒有真正幫用戶解決問題。

理想情況下,我們希望機器人能夠通過對話直接幫助用戶完成任務,這要求機器人能夠通過多輪對話去理解和澄清用戶的意圖。

L3級別對話機器人通過多輪對話解決用戶問題

綜上所述,L3級別對話機器人的核心能力有兩點:

  1. 能夠理解上下文;
  2. 能夠通過主動交互澄清用戶意圖,并通過多輪對話幫助用戶完成任務。

因此,在準確率和召回率之外,任務完成率是L3對話機器人的重要指標。

L3級別的對話機器人適合更加復雜的業務場景,尤其是需要機器人通過主動對話收集用戶信息的場景,例如營銷獲客等。

L4 個性化對話

機器人能基于用戶標簽,為用戶提供個性化的對話體驗。

理想情況下,對話機器人在和用戶交互時,不僅需要理解用戶在說什么,也需要知道用戶是誰。

具體而言,機器人可以基于用戶標簽,即用戶的屬性、興趣等,為用戶提供更個性化的對話體驗,也提升交互的效率。

我們繼續以預約上門取件為例,L4級別的對話機器人會以這樣的方式來進行對話。

L4級別對話機器人基于用戶標簽提升對話效率

上面的例子中,機器人曾經服務過這個用戶,所以它已經記錄了用戶的取件地址和取件電話。在這次對話中,機器人無需再向用戶詢問取件地址、取件時間、取件電話,大大提升了交互效率和用戶體驗。

對于L4級別的對話機器人,其核心在于能夠為用戶打標簽,并在對話過程中靈活使用用戶標簽來提升對話效率和體驗。當然,如果個性化的對話體驗如果處理得不恰當,可能會給用戶帶來困擾,甚至傷害用戶的體驗。

因此,對于L4級別的對話機器人,用戶滿意度是一個非常重要的指標。

L4級別的對話機器人則更適合機器人和用戶保持長期關系的場景,例如智能助手等。

L5 多機器人協作

多機器人相互協作,滿足更復雜的用戶需求。在某些情況下,用戶的需求無法被單一的對話機器人滿足。

以預訂餐廳為例,用戶可以對一個智能助手說出需求,智能助手通過對話的方式收集到了用戶要訂哪家餐廳、什么時間、就餐人數等信息。此時,智能助手需要再調動另一個電話機器人給餐廳打電話進行預訂。

我們可以發現,這個需求的滿足過程涉及到智能助手和電話機器人這兩個對話機器人的協作,未來會有更多的場景和需求需要多機器人協作。

另一方面,對話機器人只是一種形態的智能機器人,還有更多種不同類型的智能機器人。比如,機器人流程自動化(RPA)就是一種能夠控制軟件自動完成特定任務流程的機器人。對話機器人和RPA機器人也有很多可以結合的場景。

還是回到預訂餐廳的例子,如果餐廳提供在線預訂的網站,那么可以由對話機器人完成信息的收集,由RPA機器人完成預訂的操作。

未來趨勢

未來,無論是企業還是個人用戶,都可以根據自己的業務場景,使用L2到L4級別的對話能力,來提升交互的效率和體驗。

注:

[1] SAE關于自動駕駛的分級,了解一下?網址為“http://www.lilunpai.com/w/466”

[2] Conversational AI: Your Guide to Five Levels of AI Assistants in Enterprise. 網址為“https://blog.rasa.com/conversational-ai-your-guide-to-five-levels-of-ai-assistants-in-enterprise/”

 

作者:吾來;公眾號:吾來對話機器人(ID:wulaipingtai),幫助每家企業或個人快速擁有屬于自己的對話機器人。

本文由 @吾來 原創發布于人人都是產品經理,未經許可,禁止轉載

題圖來自 Unsplash,基于 CC0 協議

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!