手把手帶你設計產品后臺(3)——審核篇
審核是中后臺系統非常重要的職能之一,尤其是對于內容領域和金融領域來說。本文作者在研究免疫系統和病毒的過程中,發現免疫系統和病原體的抗爭和協同過程,同審核系統和風險的關系是很類似的,于是將免疫系統對審核系統設計的啟示寫了出來,希望能給你帶來一些啟發。
審核是中后臺系統非常重要的職能之一,尤其是對于內容領域和金融領域。
后臺審核的核心目標是風險控制,發現可能對或已經對公司業務產生不良影響的合作、內容、輿情等不利影響,將其扼殺在萌芽之中或者避免惡劣影響進一步擴大。
筆者曾經做教育后臺時,主導過作業批改和審核從0到1到系統設計,有過一些審核的經驗。最近因為新冠疫情,也對免疫系統和病毒產生了興趣,并進行了一些學習和研究。
在此過程中發現,免疫系統和病原體的抗爭和協同進化過程,其實同審核系統和風險的關系是很類似的,其底層邏輯更是一樣一樣的。當然,也可以推而廣之到殺毒軟件和病毒的關系。
筆者雖然在審核系統的設計方面只有粗淺的經驗,但是實在技癢,在此拋磚引玉,將免疫系統對審核系統設計的啟示寫出來。
一、免疫系統的啟示
我們贊美人工設計時,常常會說“巧奪天工”。而隨著人類科技實力的不斷進步,我們也會產生一些錯覺:天然的是質樸的、粗陋的,人工的是完美的、精巧的。
然而我們去多了解一些自然中的現象,那么就會逐步體驗到事實恰好與直覺相反。生物尤其是人類的免息系統在漫長的進化中,已經形成了系統性、多層次、高效的機制,十分精妙。
其特點總結如下,也是在設計審核系統中非常值得借鑒的原則。
- 普適性和特異性:免疫系統分為先天免疫系統和適應性免疫系統。先天免疫系統快速響應病原體的入侵,能夠應對大部分的感染。對于小部分的嚴重感染,再啟用更加強大的適應性免疫系統。
- 兼顧效率和成本:在上述兩個免疫系統結合之下,實現了效率與成本的平衡。因為適應性免疫系統雖然效果強大,但是調用消耗的成本非常高。而先天免疫系統足以應對絕大部分情況。
- 有效的級聯反應:無論是兩個免疫系統內部還是兩個系統之間的配合,都有非常精密的相互觸發機制,比如廣泛地收集信息、抗原傳遞、多次認證等。因為免疫系統生效不止會消滅病原體,也會對正常的細胞造成傷害,就是所謂的假陽性。因此審核策略的制定既需要謹慎,又需要在發生嚴重情況時能果斷觸發更有效的應對機制。
- 整體性的應對:兩個免疫并不是孤立的,而是可以相互協同、相互增強或控制的。這樣可以高效而靈活地應對病原體感染,根據實際情況加強或適時停止免疫反應,避免浪費資源或造成更多假陽性。
- 二次感染快速響應:感染一次之后,免疫系統會形成各種記憶細胞,有持續生效的,也有暫時休眠的。當相近的病原體再次感染的時候,就能快速地、低成本地調用適應性免疫,高效消滅危險的病原體。
雖然筆者嘗試盡量總結的面面俱到,但是免疫系統幾十億年伴隨生命和病原體演化而形成的精妙體系,絕非三言兩語就能描述清楚。
感興趣的讀者不妨閱讀《免疫系統與病毒的戰爭》,相信會對產品的審核系統設計有更多啟發。
那么如何設計一個完善的審核系統呢?
二、業務分析
筆者一貫強調,做產品設計一定要先深入了解、分析業務,然后抽象出其背后的信息流,再進行系統界面設計。
業務的分析方面有很多成熟的方法論,建議整體框架使用用戶體驗五要素(參考《產品“無”之道(一)——戰略篇》)。
對于審核系統來說,最起碼搞清楚幾個問題:
- 整體商業的模式是什么?
- 面向用戶的產品是什么?有什么功能?
- 用戶群體是誰?有什么特征?
- 用戶在什么場景下使用產品?
- 造成業務風險的因素有哪些?
- 需要審核的內容是什么?
- 要達成什么樣的審核目標?
比如說,我們要做一個內容社區的審核系統。
- 商業模式可能是會員付費、廣告收入、流量銷售、帶貨抽成等。
- 產品是移動APP為主,包括內容生產者和內容閱讀者相關的功能。
- 用戶群體可以參考業務部門的用戶畫像和用戶數據。
- 用戶主要在休閑娛樂或是遇到問題等場景使用產品。
- 風險可能包括政治、法律等底線風險,黃恐暴等不良習性,用戶隱私、用戶引導等輿論風險,低質量內容等其他風險。
- 需要審核的內容可能包括文字、圖片、聲音、視頻等各種類型的PGC或UGC內容。
- 審核目標可能是規避風險,保證社區的良性生態,從而支持業務可持續發展和變現等。
三、信息流分析
深入了解業務之后,就可以著手開始對信息流的抽象、分析和可視化。應用方法可以參考筆者之前的文章,《火眼金睛:一眼看破產品邏輯》。
我們以內容審核相關的業務為例。
經過簡單的分析,我們就能夠比較全局地了解在整個商業模式下,內容和風險是怎樣流轉的,進而影響內容分發和用戶。
- 內容信息流:核心內容在整個系統中的流轉,包括內容生產,內容提交后的機器人和人工審核,審核結果的復核,以及內容審核通過后的分發。內容分發之后,便可以被內容受眾消費。
- 業務監控信息流:內容上線之前,雖然已經經過審核,但是不可能所有的內容都能被正確審核。而且有的內容上線雖然通過了審核,但是也可能造成某些難以預知的問題。那么就需要對上線后的內容持續監控(同樣可以采用機器和人工的方法)。
- 用戶反饋信息流:對上線后內容的跟蹤,還有一個很好的方法就是借助用戶的力量。對用戶針對內容的評價,或者直接開辟舉報窗口,都能夠幫助識別有風險的內容。
- 風險處理信息流:已上線的內容出現風險之后,需要妥善處理風險。在確認之前可以做限流處理;對于嚴重的風險,可能要下架內容并觸發發布者;對于質量低等內容,可以降低分發的流量。
- 數據反饋:一個審核系統想要不斷提升效率、優化審核效果,就需要不斷收集內容、反饋等審核之后的效果,并且將審核有效或失效的數據再輸入審核系統,幫助優化機器審核的算法和人工審核的規則。
四、系統架構和業務流程圖
梳理清楚信息流之后,整個審核系統劃的系統架構就清晰多了。
- 用戶端:包括為作者和消費受眾提供相關功能,由相關的業務團隊決定,是審核平臺重要的需求來源和服務對象,需要與之保持密切合作。
- 機器審核平臺:利用機器審核對提交的內容進行自動審核。一般審核能力通過調用AI平臺對應的接口能力實現,也需要把審核的結果反饋給AI平臺,幫助其迭代審核算法。
- 人工審核平臺:對于機器審核無法完成審核的內容,可以通過人工審核。人工審核需要制定明確的審核規則,以讓審核人員在審核時有明確的審核依據。人工審核的審核結果同樣可以反饋給AI平臺用于迭代審核算法,也可以用于完善審核規則。
- 分發平臺:內容審核通過之后,過審的內容通過分發平臺進行流量分發。當然分發的策略可以根據用戶信息、AI算法進行優化。而且也要隨時根據風控反饋,及時處理有風險的內容。
- AI平臺:為機器審核提供AI能力,也可以輔助人工審核、以提升效率。一般可以外采或者自己研發。
下一步就是根據每個平臺的具體業務需求,結合人(用戶、后臺工作人員)繪制流程圖。還是建立使用泳道圖,將系統、人的重要流程梳理清楚。
泳道圖的繪制屬于產品經理比較基礎的技能,在《火眼金睛:一眼看破產品邏輯》也有案例,在此不再具體演示。
五、機器審核平臺
機器審核是個比較偏向技術的平臺,產品經理的工作就是要為內容安全提供一個高效、準確的機器審核和風控支持。
做好機器審核平臺,需要在幾個方面做出權衡。
- 風險和體驗:審核策略越嚴格,上線內容的風險越小,但是越可能誤傷正常的內容,且為人工審核帶來更多的工作量,影響用戶體驗。反之體驗有所提升,但是自身的風險會提高。
- 效率和成本:算法越精準,識別效果越好,然而也意味著更大量的訓練數據、更復雜的算法模型、更高的運算量;部署的硬件性能越好、數量越多,審核的速度越快,但是成本也越高。
那么,筆者上文介紹的免疫系統的特點就有用武之地了。
比如受先天免疫系統和適應性免疫系統的啟發,我們也可以將機器審核劃分成普適性審核和適應性審核。事實上,大多審核系統也是這么做的,但是可以模仿免疫系統,做得更極致。
在作者提交內容時,可以對普遍性的問題進行快速識別。比如敏感詞、錯別字等,讓作者可以馬上修正,以避免等待一段時間之后才發現要修正。這樣就可以一定程度提升用戶體驗。
對于所有的內容,應當先讓一個簡單、高效的模型完成普遍性問題的識別,可以引用人工配置的關鍵詞、策略等幫助增強識別效果。比如可以將完全合規的內容直接發布;對于機器識別置信度低、難以判斷的問題類型直接流轉人工審核系統;對于適合機器識別的問題進行歸類,再分發給不同的適應性算法。甚至以上幾種目的也可以交給不同的算法識別分別實現。
適應性算法則可以針對某一類問題進行深度的定制。比如根據國家劃分,可以充分考慮不同國家的法律法規和文化;專門針對政治敏感、色情、恐怖等不同類型問題的識別;專門對內容質量、重復性、版權問題識別的模型等。目前人工智能算法的特點還是通用性難做,但是針對特定的問題則可以達到更佳的效果。
再比如建立有效的級聯反應機制,讓不同類型的問題都得以妥善地處置。
合理配置審核策略,尋找不同整合之間的相似性、關聯性,可以對相近的策略進行合并,有沖突的策略進行隔離,有關聯的策略設定前后觸發關系等。
針對不同類型的問題,還可以設定不同的閾值。比如對政治敏感、青少年色情、版權等底線性的問題,應當采取寧愿誤傷,也不放過的策略,然后再交由人工審核進一步判斷。對于重復、低質量的內容,則可以適當放寬標準,先讓內容發布,再根據后續用戶的行為、評價、舉報等進一步處理。
有條件時,針對同一類問題可以使用多個模型同時進行分析。這樣的好處,一個是可以進行交叉驗證,提升審核的準確度。也可以比較不同的算法模型效果,不斷淘汰舊的模型,應用新的模型。
還有可以挖掘不同算法模型之間的協作關系。
因為現實世界,內容很多的問題都是混雜在一起的,比如有的內容可能既色情又暴力。
那么普適性審核模型也應當能夠提取一些關鍵特征,幫助適應性審核模型更精準、高效地完成審核;適應性審核模型也可以抽取出更多普適性的特征,反哺普適性審核模型,幫助其優化。
而不同的適應性審核模型,也可以抽取出自己無法完全識別,但是可能與另一種問題相關的特征,并且提供給相關的模型,幫助其更準確地完成識別。
最后就是優化機器審核的記憶性。
機器審核平臺應當提供審核結果的數據平臺,包括每個算法模型的調用次數、識別效率、識別準確性(來自模型的交叉驗證、人工審核、用戶反饋等)等數據,用于衡量模型效果。
也應當允許查看內容的識別結果,并盡可能標注出問題的區域。同時也可以人為對結果進行訂正,以提升反饋數據的質量。
對于已經發生的問題,可以總結其規律性,比如是否跟國家地區、時間(季節、節日等)、偶然事件、賬號用戶行為等是否有關。對于持續性、易發性的問題,可以作為固定的檢測對象固定下來(配置關鍵詞、審核策略、甚至新增模型等);對于規律性、偶發性的問題,可以設定有效的觸發策略,平時可以不作為審核對象。
借鑒疫苗的思維,可以建立模擬的沙盒,在新審核策略、新審核模型發布前,在沙盒中測試效果。還可以人工或機器生成大量的違規內容,然后輸入沙盒用以優化模型等。
由于筆者在審核方面的經驗有限,上述的想法拋出來供各位讀者參考,也歡迎大家留言交流。
六、人工審核平臺
人工審核平臺要支持審核人員審核和管理的要求,相對來說有更多的界面設計和流程流轉。但機器人審核平臺的很多思路也可以借鑒。
1. 將審核人員分層和有效的級聯機制
可以指定一批基礎的審核人員,初步判斷機器給出的判斷建議是否合理,比如是否需要人工審核、問題分類是否恰當。
特定問題的審核人員同樣可以分層,優先由初級審核人員處理,對于難以判斷的問題,可以升級、交給更資深的審核人員處理。因為審核人員的培養也是需要成本的,而有疑難雜癥的內容也是少數,這種策略可以兼顧效率和成本。
2. 審核人員之間的協作
對于重要的問題,可以同時交給若干審核人員交叉驗證。這樣的好處是一方面可以避免嚴重的問題被誤判而分發給用戶,造成惡劣的影響;另一方面也可以對重要作者更謹慎的審核,避免因為誤判損害其積極性和利益。
雖然經過機器和人工分類,但是還有部分問題難免分配到錯誤的類別,那么處理特定問題的審核人員可以根據個人判斷,直接移交給其他組別或者打回給分類審核人員。
3. 強化人工審核系統的記憶
可以從兩方面入手。
一個是同樣要提供審核結果的數據平臺,幫助管理人員不斷發現人工審核的不足之處,通過優化審核規則、加強審核人員培訓等動作,提升審核效果。
另一個是要建立對審核人員的獎懲措施。獎勵審核快、結果準的審核人員,懲罰審核慢、結果差的審核人員。鼓勵有想法的審核人員反饋問題和建議,則可以更好地優化人工審核系統乃至機器審核系統。
用AI進行輔助。
雖然前序的機器審核可能無法準確判斷問題,但是可以給出處理意見、標注出問題最大的位置,幫助審核人員快速定位。
還可以提示相關的審核規則,方便審核人員在有疑問時能快速查找依據。也可以在審核規則發生變動時及時予以提醒。
甚至對于有顯著問題的審核結果進行提醒,進一步降低出錯概率。
而人工審核的結果,則是優化AI算法模型的極佳數據。
最后想提醒的是最重要的審核頁面的設計,界面設計的合理性、易操作性,極大影響審核人員的效率乃至準確性。需要結合業務特點和審核內容類別(文字、圖片、聲音、視頻)等有針對性地進行設計。也需要結合可用性測試、數據埋點等手段不斷優化審核界面。
由于差異性顯著,筆者在此不提供具體案例,但是提示可以參考各類設計軟件,使用通用性的交互、快捷鍵等方式提升效率。
關于審核系統的設計思路就介紹到這里。
觸類旁通,是一個優秀產品經理必備的素質。閱讀筆者的公眾號文章,是一個不錯的選擇。
專欄作家
一直產品汪,微信公眾號:apmdogy,人人都是產品經理專欄作家。邏輯型產品經理,致力于將科學思維與產品經理方法論結合。關注人工智能、教育領域,擅長產品孵化、需求挖掘、項目管理、流程管理等產品技能。
本文原創發布于人人都是產品經理,未經許可,禁止轉載。
題圖來自Unsplash,基于CC0協議。
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
如果沒有AI開發能力的公司,是否有途徑也可以買到可嵌入式的AI子系統?
牛逼