審核是中后臺系統非常重要的職能之一，尤其是對于內容領域和金融領域來說。本文作者在研究免疫系統和病毒的過程中，發現免疫系統和病原體的抗爭和協同過程，同審核系統和風險的關系是很類似的，于是將免疫系統對審核系統設計的啟示寫了出來，希望能給你帶來一些啟發。

審核是中后臺系統非常重要的職能之一，尤其是對于內容領域和金融領域。

后臺審核的核心目標是風險控制，發現可能對或已經對公司業務產生不良影響的合作、內容、輿情等不利影響，將其扼殺在萌芽之中或者避免惡劣影響進一步擴大。

筆者曾經做教育后臺時，主導過作業批改和審核從0到1到系統設計，有過一些審核的經驗。最近因為新冠疫情，也對免疫系統和病毒產生了興趣，并進行了一些學習和研究。

在此過程中發現，免疫系統和病原體的抗爭和協同進化過程，其實同審核系統和風險的關系是很類似的，其底層邏輯更是一樣一樣的。當然，也可以推而廣之到殺毒軟件和病毒的關系。

筆者雖然在審核系統的設計方面只有粗淺的經驗，但是實在技癢，在此拋磚引玉，將免疫系統對審核系統設計的啟示寫出來。

一、免疫系統的啟示

我們贊美人工設計時，常常會說“巧奪天工”。而隨著人類科技實力的不斷進步，我們也會產生一些錯覺：天然的是質樸的、粗陋的，人工的是完美的、精巧的。

然而我們去多了解一些自然中的現象，那么就會逐步體驗到事實恰好與直覺相反。生物尤其是人類的免息系統在漫長的進化中，已經形成了系統性、多層次、高效的機制，十分精妙。

其特點總結如下，也是在設計審核系統中非常值得借鑒的原則。

• 普適性和特異性：免疫系統分為先天免疫系統和適應性免疫系統。先天免疫系統快速響應病原體的入侵，能夠應對大部分的感染。對于小部分的嚴重感染，再啟用更加強大的適應性免疫系統。
• 兼顧效率和成本：在上述兩個免疫系統結合之下，實現了效率與成本的平衡。因為適應性免疫系統雖然效果強大，但是調用消耗的成本非常高。而先天免疫系統足以應對絕大部分情況。
• 有效的級聯反應：無論是兩個免疫系統內部還是兩個系統之間的配合，都有非常精密的相互觸發機制，比如廣泛地收集信息、抗原傳遞、多次認證等。因為免疫系統生效不止會消滅病原體，也會對正常的細胞造成傷害，就是所謂的假陽性。因此審核策略的制定既需要謹慎，又需要在發生嚴重情況時能果斷觸發更有效的應對機制。
• 整體性的應對：兩個免疫并不是孤立的，而是可以相互協同、相互增強或控制的。這樣可以高效而靈活地應對病原體感染，根據實際情況加強或適時停止免疫反應，避免浪費資源或造成更多假陽性。
• 二次感染快速響應：感染一次之后，免疫系統會形成各種記憶細胞，有持續生效的，也有暫時休眠的。當相近的病原體再次感染的時候，就能快速地、低成本地調用適應性免疫，高效消滅危險的病原體。

雖然筆者嘗試盡量總結的面面俱到，但是免疫系統幾十億年伴隨生命和病原體演化而形成的精妙體系，絕非三言兩語就能描述清楚。

感興趣的讀者不妨閱讀《免疫系統與病毒的戰爭》，相信會對產品的審核系統設計有更多啟發。

那么如何設計一個完善的審核系統呢？

二、業務分析

筆者一貫強調，做產品設計一定要先深入了解、分析業務，然后抽象出其背后的信息流，再進行系統界面設計。

業務的分析方面有很多成熟的方法論，建議整體框架使用用戶體驗五要素（參考《產品“無”之道（一）——戰略篇》）。

對于審核系統來說，最起碼搞清楚幾個問題：

• 整體商業的模式是什么？
• 面向用戶的產品是什么？有什么功能？
• 用戶群體是誰？有什么特征？
• 用戶在什么場景下使用產品？
• 造成業務風險的因素有哪些？
• 需要審核的內容是什么？
• 要達成什么樣的審核目標？

比如說，我們要做一個內容社區的審核系統。

• 商業模式可能是會員付費、廣告收入、流量銷售、帶貨抽成等。
• 產品是移動APP為主，包括內容生產者和內容閱讀者相關的功能。
• 用戶群體可以參考業務部門的用戶畫像和用戶數據。
• 用戶主要在休閑娛樂或是遇到問題等場景使用產品。
• 風險可能包括政治、法律等底線風險，黃恐暴等不良習性，用戶隱私、用戶引導等輿論風險，低質量內容等其他風險。
• 需要審核的內容可能包括文字、圖片、聲音、視頻等各種類型的PGC或UGC內容。
• 審核目標可能是規避風險，保證社區的良性生態，從而支持業務可持續發展和變現等。

三、信息流分析

深入了解業務之后，就可以著手開始對信息流的抽象、分析和可視化。應用方法可以參考筆者之前的文章，《火眼金睛：一眼看破產品邏輯》。

我們以內容審核相關的業務為例。

經過簡單的分析，我們就能夠比較全局地了解在整個商業模式下，內容和風險是怎樣流轉的，進而影響內容分發和用戶。

• 內容信息流：核心內容在整個系統中的流轉，包括內容生產，內容提交后的機器人和人工審核，審核結果的復核，以及內容審核通過后的分發。內容分發之后，便可以被內容受眾消費。
• 業務監控信息流：內容上線之前，雖然已經經過審核，但是不可能所有的內容都能被正確審核。而且有的內容上線雖然通過了審核，但是也可能造成某些難以預知的問題。那么就需要對上線后的內容持續監控（同樣可以采用機器和人工的方法）。
• 用戶反饋信息流：對上線后內容的跟蹤，還有一個很好的方法就是借助用戶的力量。對用戶針對內容的評價，或者直接開辟舉報窗口，都能夠幫助識別有風險的內容。
• 風險處理信息流：已上線的內容出現風險之后，需要妥善處理風險。在確認之前可以做限流處理；對于嚴重的風險，可能要下架內容并觸發發布者；對于質量低等內容，可以降低分發的流量。
• 數據反饋：一個審核系統想要不斷提升效率、優化審核效果，就需要不斷收集內容、反饋等審核之后的效果，并且將審核有效或失效的數據再輸入審核系統，幫助優化機器審核的算法和人工審核的規則。

四、系統架構和業務流程圖

梳理清楚信息流之后，整個審核系統劃的系統架構就清晰多了。

• 用戶端：包括為作者和消費受眾提供相關功能，由相關的業務團隊決定，是審核平臺重要的需求來源和服務對象，需要與之保持密切合作。
• 機器審核平臺：利用機器審核對提交的內容進行自動審核。一般審核能力通過調用AI平臺對應的接口能力實現，也需要把審核的結果反饋給AI平臺，幫助其迭代審核算法。
• 人工審核平臺：對于機器審核無法完成審核的內容，可以通過人工審核。人工審核需要制定明確的審核規則，以讓審核人員在審核時有明確的審核依據。人工審核的審核結果同樣可以反饋給AI平臺用于迭代審核算法，也可以用于完善審核規則。
• 分發平臺：內容審核通過之后，過審的內容通過分發平臺進行流量分發。當然分發的策略可以根據用戶信息、AI算法進行優化。而且也要隨時根據風控反饋，及時處理有風險的內容。
• AI平臺：為機器審核提供AI能力，也可以輔助人工審核、以提升效率。一般可以外采或者自己研發。

下一步就是根據每個平臺的具體業務需求，結合人（用戶、后臺工作人員）繪制流程圖。還是建立使用泳道圖，將系統、人的重要流程梳理清楚。

泳道圖的繪制屬于產品經理比較基礎的技能，在《火眼金睛：一眼看破產品邏輯》也有案例，在此不再具體演示。

五、機器審核平臺

機器審核是個比較偏向技術的平臺，產品經理的工作就是要為內容安全提供一個高效、準確的機器審核和風控支持。

做好機器審核平臺，需要在幾個方面做出權衡。

• 風險和體驗：審核策略越嚴格，上線內容的風險越小，但是越可能誤傷正常的內容，且為人工審核帶來更多的工作量，影響用戶體驗。反之體驗有所提升，但是自身的風險會提高。
• 效率和成本：算法越精準，識別效果越好，然而也意味著更大量的訓練數據、更復雜的算法模型、更高的運算量；部署的硬件性能越好、數量越多，審核的速度越快，但是成本也越高。

那么，筆者上文介紹的免疫系統的特點就有用武之地了。

比如受先天免疫系統和適應性免疫系統的啟發，我們也可以將機器審核劃分成普適性審核和適應性審核。事實上，大多審核系統也是這么做的，但是可以模仿免疫系統，做得更極致。

在作者提交內容時，可以對普遍性的問題進行快速識別。比如敏感詞、錯別字等，讓作者可以馬上修正，以避免等待一段時間之后才發現要修正。這樣就可以一定程度提升用戶體驗。

對于所有的內容，應當先讓一個簡單、高效的模型完成普遍性問題的識別，可以引用人工配置的關鍵詞、策略等幫助增強識別效果。比如可以將完全合規的內容直接發布；對于機器識別置信度低、難以判斷的問題類型直接流轉人工審核系統；對于適合機器識別的問題進行歸類，再分發給不同的適應性算法。甚至以上幾種目的也可以交給不同的算法識別分別實現。

適應性算法則可以針對某一類問題進行深度的定制。比如根據國家劃分，可以充分考慮不同國家的法律法規和文化；專門針對政治敏感、色情、恐怖等不同類型問題的識別；專門對內容質量、重復性、版權問題識別的模型等。目前人工智能算法的特點還是通用性難做，但是針對特定的問題則可以達到更佳的效果。

再比如建立有效的級聯反應機制，讓不同類型的問題都得以妥善地處置。

合理配置審核策略，尋找不同整合之間的相似性、關聯性，可以對相近的策略進行合并，有沖突的策略進行隔離，有關聯的策略設定前后觸發關系等。

針對不同類型的問題，還可以設定不同的閾值。比如對政治敏感、青少年色情、版權等底線性的問題，應當采取寧愿誤傷，也不放過的策略，然后再交由人工審核進一步判斷。對于重復、低質量的內容，則可以適當放寬標準，先讓內容發布，再根據后續用戶的行為、評價、舉報等進一步處理。

有條件時，針對同一類問題可以使用多個模型同時進行分析。這樣的好處，一個是可以進行交叉驗證，提升審核的準確度。也可以比較不同的算法模型效果，不斷淘汰舊的模型，應用新的模型。

還有可以挖掘不同算法模型之間的協作關系。

因為現實世界，內容很多的問題都是混雜在一起的，比如有的內容可能既色情又暴力。

那么普適性審核模型也應當能夠提取一些關鍵特征，幫助適應性審核模型更精準、高效地完成審核；適應性審核模型也可以抽取出更多普適性的特征，反哺普適性審核模型，幫助其優化。

而不同的適應性審核模型，也可以抽取出自己無法完全識別，但是可能與另一種問題相關的特征，并且提供給相關的模型，幫助其更準確地完成識別。

最后就是優化機器審核的記憶性。

機器審核平臺應當提供審核結果的數據平臺，包括每個算法模型的調用次數、識別效率、識別準確性（來自模型的交叉驗證、人工審核、用戶反饋等）等數據，用于衡量模型效果。

也應當允許查看內容的識別結果，并盡可能標注出問題的區域。同時也可以人為對結果進行訂正，以提升反饋數據的質量。

對于已經發生的問題，可以總結其規律性，比如是否跟國家地區、時間（季節、節日等）、偶然事件、賬號用戶行為等是否有關。對于持續性、易發性的問題，可以作為固定的檢測對象固定下來（配置關鍵詞、審核策略、甚至新增模型等）；對于規律性、偶發性的問題，可以設定有效的觸發策略，平時可以不作為審核對象。

借鑒疫苗的思維，可以建立模擬的沙盒，在新審核策略、新審核模型發布前，在沙盒中測試效果。還可以人工或機器生成大量的違規內容，然后輸入沙盒用以優化模型等。

由于筆者在審核方面的經驗有限，上述的想法拋出來供各位讀者參考，也歡迎大家留言交流。

六、人工審核平臺

人工審核平臺要支持審核人員審核和管理的要求，相對來說有更多的界面設計和流程流轉。但機器人審核平臺的很多思路也可以借鑒。

1. 將審核人員分層和有效的級聯機制

可以指定一批基礎的審核人員，初步判斷機器給出的判斷建議是否合理，比如是否需要人工審核、問題分類是否恰當。

特定問題的審核人員同樣可以分層，優先由初級審核人員處理，對于難以判斷的問題，可以升級、交給更資深的審核人員處理。因為審核人員的培養也是需要成本的，而有疑難雜癥的內容也是少數，這種策略可以兼顧效率和成本。

2. 審核人員之間的協作

對于重要的問題，可以同時交給若干審核人員交叉驗證。這樣的好處是一方面可以避免嚴重的問題被誤判而分發給用戶，造成惡劣的影響；另一方面也可以對重要作者更謹慎的審核，避免因為誤判損害其積極性和利益。

雖然經過機器和人工分類，但是還有部分問題難免分配到錯誤的類別，那么處理特定問題的審核人員可以根據個人判斷，直接移交給其他組別或者打回給分類審核人員。

3. 強化人工審核系統的記憶

可以從兩方面入手。

一個是同樣要提供審核結果的數據平臺，幫助管理人員不斷發現人工審核的不足之處，通過優化審核規則、加強審核人員培訓等動作，提升審核效果。

另一個是要建立對審核人員的獎懲措施。獎勵審核快、結果準的審核人員，懲罰審核慢、結果差的審核人員。鼓勵有想法的審核人員反饋問題和建議，則可以更好地優化人工審核系統乃至機器審核系統。

用AI進行輔助。

雖然前序的機器審核可能無法準確判斷問題，但是可以給出處理意見、標注出問題最大的位置，幫助審核人員快速定位。

還可以提示相關的審核規則，方便審核人員在有疑問時能快速查找依據。也可以在審核規則發生變動時及時予以提醒。

甚至對于有顯著問題的審核結果進行提醒，進一步降低出錯概率。

而人工審核的結果，則是優化AI算法模型的極佳數據。

最后想提醒的是最重要的審核頁面的設計，界面設計的合理性、易操作性，極大影響審核人員的效率乃至準確性。需要結合業務特點和審核內容類別（文字、圖片、聲音、視頻）等有針對性地進行設計。也需要結合可用性測試、數據埋點等手段不斷優化審核界面。

由于差異性顯著，筆者在此不提供具體案例，但是提示可以參考各類設計軟件，使用通用性的交互、快捷鍵等方式提升效率。

關于審核系統的設計思路就介紹到這里。

觸類旁通，是一個優秀產品經理必備的素質。閱讀筆者的公眾號文章，是一個不錯的選擇。