起點課堂會員權益
職業體系課特權
線下行業大會特權
個人IP打造特權
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導直播
12場專業技能直播
會員專屬社群
榮耀標識基于文本智能技術的AI產品設計實踐
人工智能的浪潮遍及各行各業，隨著自然語言處理技術的發展，計算機對文字的處理也進展到了一個新的層次，什么是文本智能？怎樣在產品中找到人工智能可賦能的場景？當ai遇上產品設計，又將碰撞出怎樣的火花？
一、什么是文本智能
文本智能通俗來講，是計算機像人類一樣理解自然語言。
“冬天，能穿多少穿多少。夏天，能穿多少穿多少。”
“中國足球隊，誰都打不過。中國乒乓球隊，誰都打不過”。
人類看一眼就知道什么意思，對計算機來說則困難重重。因為人的表達方式千變萬化，短詞匯可以傳達非常寬泛的語義信息。
現在的文本智能處在什么層面？
- 人工智能的分類層次，第一層“運算智能”。計算是計算機的強項，通過分布式系統及高性能的CPU、GPU可以很好解決。
- 第二層“感知智能”。感知是在更多聽覺、視覺、觸覺等方面的創新。
- 文本智能處于第三層：認知智能。研究如何進行自然語言理解、知識的構建和邏輯推理。
- 第四層“創建智能”，是人工智能行業終極目標。
文本也可以分成兩種類型：一種是書面文本，承載的形式為網頁、word、txt或pdf； 另外一種則是日常交流的口語形式。達觀專注于第一種。
一份簡歷、一份合同、一份上市公司的債券募集說明書、一條評論都可以算書面文本。
面對一篇文本，我們能做什么呢？
（1）拆解
像庖丁解牛一樣把文檔結構化。
簡歷的姓名、照片、工作經歷、教育背景；合同中交易的甲乙方、合同標的物、付款方式、條款；新聞的標題、摘要、來源、正文、關鍵人物、事件，組織機構名稱，都是對文本拆解后抽取到的信息。
抽取是文本處理中最重要和實用的技術。抽取出合同中的“付款方式”之后，業務方才能夠去進一步審核“付款方式”是否符合法律法規。
（2）聯接
對多個文本進行庖丁解牛式的拆解，相關知識就能聯接形成一個巨大的知識網。
對標到知識圖譜，新聞中的人、事、物、關系，公司年報中的出現的公司名稱及關系，都可以作為文本智能處理的大腦和背景知識，在知識網絡上進行邏輯推理和判斷。
（3）生成
生成是學術界研究的熱點，在當前階段是非常困難的事情。騰訊的Dreamwriter，今日頭條的xiaomingbot都在嘗試用機器創作短新聞。
接下來我們具體看一些文本智能的例子。
根據一篇新聞資訊，生成不同長度的摘要，主要有兩種技術手段：抽取式和生成式。
給定一個用戶評論，提取出標簽信息和觀點，屬于一個短文本處理。
文本分類和情感識別，在文本質量管控和輿情分析方面使用較多。
文本審核也是分類的一種，涉黃涉政及判斷是否是廣告，是每一個做互聯網產品的公司比較頭疼的事。
下面是金融行業的債券募集說明書。
這樣一個文檔中，行業研究人員比較關注公司高管信息，比如：姓名、公司職位。在債券募集說明書中收購標的是哪些，包括資產、標的業務、標的所在行業是否涉外、交易對手是否涉外、各類財務指標等。
一般債券募集說明書從100到500頁不等，讓人從這么長的文檔中找到這些關鍵信息，非常容易出錯。
在公開的金融資訊網站上，債券募集說明書非常多，一個金融從業人員不可能在短時間內把每篇文章內的信息都抽取出來。所以在整個領域來說，文本智能處理出現了非常大的機會。這也受益于算法的進步，特別是深度神經網絡從圖片識別領域到文本處理的遷移。
促成文本智能處理飛速發展的原因很多。
最近Google 的bert模型刷遍AI界朋友圈：NLP歷史突破，谷歌BERT模型狂破11項記錄，全面超越人類。
- 第一因素是算法因素，算法層面一直在不斷取得很大的創新和進步是主要因素。
- 第二因素是計算能力，如：分布式系統、GPU等應用。
- 第三因素是語料庫的積累，互聯網行業，可以通過多種手段迅速積累語料庫，傳統企業也有資料積累，但量級無法與互聯網比。
文本智能處理的需求遍及各行各業。只要存在文字處理工作的行業，都有文本智能處理的需求，金融、法律、政府行業，媒體、互聯網，大型企業等。
二、設計思維和機器學習
掌握AI算法和基于AI算法設計產品之間的距離是非常大的，如同從火藥到火藥槍、從鈾到核炸彈、從硝化甘油到C4的區別。
怎樣才能基于這個AI算法設計產品呢？
產品經理的思維是從用戶、場景和需求三要素出發。
要給客戶解決什么問題？目標客戶如何刻畫？客戶在什么樣的場景下會使用我們的產品？怎么用一系列問題，需要產品系統的思考。
設計思維的六個步驟重點包括：啟發、構思和實施。
機器學習的流程，是對要解決的問題定義好后，對數據加工處理，提取特征，進行算法選擇，從而確定可使用的模型。
當這些模型滿足上線要求或業務要求以后，我們把模型放到線上系統中。當新接受到的數據進行同樣的處理后，用訓練出來的模型來判斷是否屬于垃圾郵件。
算法接受不同的數據可以訓練出不同的模型。整個過程是迭代優化，因為數據的分布和蘊含的特征可能隨著業務的不斷發展在產生改變。
- 設計思維是以用戶為中心，強調敏捷開發、快速迭代。
- 機器學習是以數據為中心，強調數據+模型閉環驅動。
兩者怎么樣進行深度的融合，是在人工智能時代下對產品經理能力模型的要求。
這兩年AI的宣傳，特別是Alpha GO的普及作用，我們感受到每一個行業都會被人工智能技術所影響，任何職業都會受到影響。
但AI到了無所不能的地步嗎？
顯然不是。
AI對行業或職業影響的有多大，很大程度上，是取決于這個領域技術的成熟度和邊界在哪。
比如文本處理領域，針對文本處理技術評估可以分為3類：可用 、基本可用、難以應用。
- 達到人類水準的有垃圾內容的檢測、主題分類、文本相似度分析、對詞性進行標注。
- 基本可用但仍存在缺陷的，比如關鍵短語生成、實體鏈接、機器翻譯、語義消歧。
- 難以應用，包括多輪對話、QA問答、內容改寫等。
當產品經理在設計一個基于文本智能的產品時，要考慮這項技術處于什么類別。類別決定技術用到最真實場景時、場景對準確度的要求。例如：自動駕駛或無人駕駛，場景容錯率是零，因為輕則車毀，重則人亡。
保守一點講，我們還處于AI的初級階段，AI的常識邏輯和邏輯推理能力都還很弱，但在日常生活中人類已經享受到了AI帶來的價值。
三、如何找到AI賦能的場景
那么，該如何找到AI賦能的場景，讓算法專家、行業專家和應用開發專家三種角色的合作使人工智能落地呢？
找到這個場景的前提是需要思考，運用AI產品和解決方案的本質什么。
首先，應用可以分為兩類：互聯網行業應用和企業級應用。
在互聯網行業應用，無論是搜索、推薦系統、廣告，提升的是過程中信息傳遞的效率。在企業級應用上，主要是提升生產效率和創造新價值。
提到AI產品和解決方案，當我們將它們服務于我們企業級場景的時候，它的核心是在提升生產效率。
產品需要找到在當前的業務流程中，生產效率到底出現什么問題，或哪個環節希望借助AI技術進行生產效率的提升、節省人力。
這些可以分四個步驟做，算法開發人員也是站在這四步實現代碼：
1）流程拆解
對當前的工作流程或業務場景進行詳細拆解，診斷阻礙生產效率的最大問題，對核心問題進行拆解。
2）數據評估
如果想解決問題，公司的哪些數據是跟這個問題相關的？
- 有沒有數據？如果有數據，這些數據的質量怎樣；
- 缺不缺數據？如果缺數據，這部分數據可不可以通過外部采購，或跟其他的應用、產品進行連接后獲得。這些都是在數據評估階段要考慮的問題。
3）方案設計
方案設計是針對當前的數據現狀去完善基礎數據，選擇可能存在的AI算法是什么。比如進行垃圾分類，有很多分類算法可以采納：貝葉斯模型、SVM邏輯回歸。
第三點比較重要，很多時候人不知道算法的效果怎樣，如果工具能夠幫助我們進行快速的測試，會很快的驗證和優化方案。
4）有機整合
當設計好解決方案以后，準確率是可接受的，這時考慮這項服務或應用怎么跟現有的系統進行結合。
大體來看有兩種方式：
- 一種方式基于AI，做獨立的產品，在這個產品中有這項功能；
- 第二種是一種以API接口的方式和業務進行打通。
系統上線以后，怎么做模型升級、怎么做維護，也是我們面臨的挑戰的問題。概括來講，想找到AI能夠賦能或落地的場景，需要對流程進行拆解，然后評估數據，進行AI方案的設計，最后和系統進行有機整合。
如果對差旅的報銷流程進行梳理，共有五個環節：
- 第一，整理出差待報銷的發票；
- 第二，填寫報銷申請表；
- 第三，上傳遞交的票據 ；
- 第四，財務部門進行審核；
- 第五，最終審核通過。
對流程進行拆解，第一步，整理出差待報銷的發票。要先根據票據的類型進行分類，分好類分別計算各個票據的金額，交通、住宿，進行匯總。第四個環節，財務部門需要核對申請表上的金額與提交的紙質票據的原件是否一致。
當對流程進行拆分以后，就可以進行AI技術的評估。比如：票據類型分類，能不能通過OCR技術。
當對進行各項金額計算時，能否通過文本關鍵信息提取技術把金額自動提取出來，進行匯總計算。填寫報銷申請表時，能否根據數據接口的方式自動傳達財務部門的審核系統中。同樣，通過文本內容關鍵信息提取技術，把提取出來的數字和用戶上傳過來的數字進行復核，來判斷是否通過。
這幾項AI技術幫助賦能，在這個環節中，我們需要哪些數據？
第一環節需要報銷的原件，第四個環節既需要原件，又需要申請表。通過這樣的方式，我們找到了AI落地的場景點，并明白了技術在里面可以做到什么程度，同時讓業務方也了解到了這項技術確實是可以落地的。
通過拆解可以發現三個場景充分利用文本智能技術：
- 第一，合同的差異比對。合同有不同的版本，且不同的版本是內部不同的人配合協作的，有時還涉及到外部的咨詢公司。
- 第二，合同條款的讀取。當我們進行審核時，需要公司的法務人員對合同進行閱讀，找出需要審核的條款進行法律法規的判定。
- 第三，合同審核。
找到這三個點以后，明確了提供AI產品價值是提升效率，幫助法務部門控制風險。
當我們找到可以AI賦能的場景后，我們需要遵循什么樣的原則去設計產品和解決方案呢？
四、AI產品設計原則
我們先來看下傳統軟件設計和AI驅動軟件的差別。
傳統軟件設計，設計過程注重的因果、邏輯。設計一個OA系統，要考慮員工辦公流程、每個流程要達到的目標是什么、功能實現最短路徑。如果有輸入不符合預期時，傳統軟件產品時，開發工程師比較容易重現BUG和解決問題。而AI驅動的軟件，重點需要考慮的是結果不確定性、逼近優化目標。
比如合同條款讀取，通過歷史的合同數據，已經能夠訓練出文本智能模型，可以對某些字段進行抽取。假對某個字段的抽取準確率是98%，在歷史合同數據中這個非常高的準確率了，站在業務方來評估，也基本能夠滿足上線要求。但當系統上線以后，對新的一份合同，也許沒有抽取出來。又來一份新的合同，也許就抽取正確了。
對AI算法來說，準確率98%是站在數據集的角度考慮的，但真正把模型或產品應用到業務系統中，業務人員面對的是一份一份的數據。
另外，優化目標是個逼近的過程，過程是上下起伏的，總效果是逼近目標的。就像人喝醉酒后回家一樣，搖搖晃晃，有時多走了幾步，但是還是往家的方向走。
可這種情況，對產品的使用者怎么辦？
使用者知道產品在優化，但使用過程中還是會出現錯誤。優化的過程有起伏，使用者被告知針對目前的問題，上了一個新的版本，新版本的準確率由98%提升到99%，可在真正使用時，可能發現連續3份合同抽取錯誤了。這種情況下業務方很難接受，因為他們對AI算法本身不是太理解。作為產品經理，這是一個需要解決的問題。
對AI產品，大家總是期望主動表現出智能型，對于這種需求，UI設計和功能設計都是可以起到作用的。
對于功能性，有4點比較重要：
- 第一，怎么設計“消除不確定性”。AI算法的流程和處理方式就決定了它存在的不確定性。產品要通過各種方式來攤銷或消除不確定性，或存在不確定性時有合適的處理方式。
- 第二，“注重學習反饋”。算法的智能很大一部分來自數據，也來自用戶的反饋。當新的數據源源不斷進來后，通過我們產品的界面設計糾正錯誤后，產品怎么接受這種反饋，實現自我演化。
- 第三，“使用人機交互”。用戶的反饋通過怎么樣的交互方式來體現？可以讓用戶先試用一段時間，基于這段時間出一個報表，在報表把系統處理的各項錯誤羅列出來，用戶通過離線方式進行批量的修改確認，把修改的結果導入到系統中重新訓練模型，這是一種人機交互。能否在線實時處理掉，也是一個非常重要的問題。有時產品認為用戶通過人機交互方式進行了反饋，也許因為產品功能設計得不夠友好，用戶誤點了。要區分哪些真正有價值的反饋，哪些是需要消除的噪音。
- 第四，“注重檢測錯誤”。準確率不是100%的情況下，線上系統的錯誤處理和運維是非常具有挑戰的。尤其是當線上數據具備高度機密性的情況下，線上系統處理的數據不可能導出到測試環境中讓AI人員去研究復現時，怎么辦？
理想的結果是交付一個AI產品，可以不斷的優化、迭代，越來越聰明，成為一個動態的AI系統，而不是靜態的。
AI也重新定義了產品設計和開發流程。
圖的上面跟機器學習算法相關，識別問題、獲取數據，進行模型訓練、模型管理。模型之間有不斷的版本迭代，我們要進行模型的部署，上線以后模型要去適應新數據的變化。
下面是站在開發角度，怎樣去進行需求建模、架構設計、軟件設計、怎樣對AI產品進行開發測試、上線以后的維護。
當系統上線后，用戶就是用來處理數據的，新的數據源源不斷，可能會出錯，系統會產生行為的異常，用戶看到錯誤時會跟系統進行人機交互，把自己的反饋提出來。
有時用戶有自己的專業知識、行業知識，把自己的行業知識傳授給AI系統，讓它更加聰明。除了自我演化外，也通過接收外部信息的方式增強自己的智能。如果把這種視角加進來，可以讓AI產品站在宏觀角度把握各環節，從而指導我們設計出更好的產品。
舉兩個例子展示，怎樣通過產品進行合同條款的抽取和進行規則審核。
場景一：合同關鍵信息的抽取
共分為5步，前2步是預先做好的。根據客戶已有的歷史合同數據去訓練AI模型，讓AI模型識別不同類型的合同，就不同類型合同中的關鍵要素進行自動抽取，做好這2步后預置到產品平臺中去。
對使用者來說，是三步完成：上傳到合同文檔、機器進行自動關鍵詞提取、提取結果呈現。形成這樣一個關鍵信息抽取的報告，法務人員可以對報告一目了然。
場景二：合同風險進行審核
前兩步也是預置到產品中，針對各個不同的合同類型，根據業務方設計合同審核項，對每個合同類型的風險點都配置好，機器模型可以自主的進行學習和訓練。
業務方上傳合同文檔，機器可以進行自動處理，并給出些建議。
審核結果中包含針對這個合同，有哪些是必改問題、有哪些是缺失條款、有哪些是建議優化的，都可以滿足。
這是我們產品的全景圖，展示了AI的幾個不可缺失的關鍵要素，只有保證這幾個要素后，提供的產品時才能夠消除由AI算法帶來的不確定性。
客戶是不可能為不確定性買單的。如果交付了一個產品，客戶問準確率是多少，答“看數據情況吧”，客戶又問系統上線使用時撞戶率有多高，答“這個我也不清楚，需要新的線上數據判斷”，任何一個客戶都不會為不確定性的回答買單。
最后一部分，如何進行產品價值的評估。
五、如何進行產品價值評估？
針對上面的合同智能處理，我們了解到：
對不同的合同，原本通過人工閱讀的方式進行審核，處理時間基本是在小時級。引入智能合同審閱平臺以后，整個過程從待審閱合同、智能合同審閱到人工復查，從小時級變成分鐘級。
從價值來說：
- 提升效率、降低成本。
- 降低風險。
- 把長期非結構化文檔的管理問題很好的管理起來。
合同評估對于AI產品有兩個層面：
算法層面的評估，更多的是面向AI算法和研發人員，比如：準確率、召回率、F1值。
機器翻譯、智能客服、多輪對話、搜索、推薦、文本抽取等在算法層面都有不同的指標，對業務方很難講明白準確率是多少，用戶很難把準確率和它的業務價值映射起來。
評價的維度也非常多，取決于業務方怎么看待這個產品以及通過這個產品達到什么目標。有時客戶的期望是通過AI的產品提升人員的工作效率、降低出錯。有的客戶使用AI的產品專注在創新。
不管做to C還是to B都是圍繞用戶進行服務的，有一個經典的模型叫“AARRR”：怎么獲取用戶、激活、留存、商業變現、用戶幫助評估。
在這個場景實現AI落地，針對這幾個不同的環節，到底帶來哪些業務價值上的提升：是新的獲客數量增加了、轉化率提升了，還是某項產品的營業額收入增加了。
節省人力；創造新價值，這是我們希望AI產品能夠達到的理想目標。
以上是我想給大家分享的多年做AI產品設計和項目交付的經驗，謝謝大家！
作者：賈學鋒，達觀數據副總裁，負責AI解決方案及產品設計。
本文由 @賈學鋒 原創發布于人人都是產品經理。未經許可，禁止轉載
題圖來自Unsplash，基于CC0協議
- 目前還沒評論，等你發揮！
