產品設計:內容審核中臺

6 評論 23042 瀏覽 228 收藏 9 分鐘

編輯導語:每個產品設計完成后都需要進行內容審核,一些公司想要對自己生產的內容進行審核往往會選擇對接第三方產品進行審核。這篇文章介紹了第三方審核產品功能、如何搭建審核中臺以及業務如何對接審核,一起來看看吧。

市面上有很多非常成熟的內容審核的云服務產品,比如阿里云、騰訊云服務等。一些非此領域的公司,如果要對本身產生的內容進行審核,往往會對接一些成熟的第三方產品。

一、第三方審核產品功能簡介

市面上的審核媒資,主要是文本、圖片、音頻和視頻。

1. 相關技術簡介

(1)文本審核

對于文本的處理主要是采用了NLP(自然語言處理)技術,將語句通過語法分析、情感分析、詞向量分析等技術進行識別和歸類,再與平臺本身的素材庫進行比對,返回匹配的結果。比如涉政內容識別、廣告內容識別、垃圾內容識別等。

(2)圖片審核

圖片審核有兩種審核方式,一是通過圖片的MD5與素材庫中的MD5進行比對從而獲得審核結果,二是通過CNN(卷積神經網絡)技術進行特征提取、各部分特征匯總以及產生分類器從而預測識別來進行審核。

(3)音頻審核

音頻的處理,是先通過ASR(語音識別)將音頻經過降噪、斷句處理成文字,然后再通過文本審核對其進行處理。

(4)視頻審核

視頻審核實則是通過抽幀技術,對視頻進行抽幀頻率的設定,然后對視頻中的圖片進行圖片審核?;蛘邔σ曨l的MD5與素材庫已有的MD5進行比對從而獲得審核結果。視頻中的音頻審核同上。

2. 第三方審核產品

審核平臺往往會在簽約后提供對應的后臺系統和API接口,包括如下的內容:

(1)后臺系統

  • 模版配置模塊:根據不同的審核規則,配置不同的審核模版。
  • 黑白名單:可以將審核平臺沒有檢測到的素材加入黑名單或者白名單進行特殊處理。
  • 內容模塊:對請求的內容和結果進行記錄和查詢。

(2)API接口

  • 審核接口
  • 結果通知
  • 查詢接口

公司接入第三方時,先在第三方后臺配置對應的模版和審核規則,后續通過三方提供的API接口進行審核的調用。以上就是第三方審核產品主要提供的服務。

二、審核中臺的搭建

審核公司的模版會提供接入文檔。仔細調研文檔,或者和第三方的產品或者技術支持對接審核流程,確定流程。

比如云點播的視頻,需要先進行視頻的上傳后,才能進行對應的審核,而且審核是以任務的形式進行審核的。

定型的規則,可以中臺系統進行處理,如果基于業務規則不同,那么就講規則交由業務系統進行處理。

1. 審核中臺的意義

隨著公司業務高速發展,逐漸有很多內容需要過審,又由于這些審核需求需求高度相似,重復的開發建設,導致復用性低、產研資源浪費。于是產品化的提供一個審核中臺服務是非常有必要的。

2. 審核系統的搭建

所謂大中臺小前臺。中臺作為業務服務的提供方,不需要過度依賴業務,而是需要不斷為新業務提供能力支持。所以主要考察的是產品的抽象整合能力。

在調研了公司業務需求和第三方審核功能后,確定了整體的業務流:

圖1:審核業務流程圖

從審核中臺出發,搭建審核后臺系統,應包括以下模塊:

圖2:系統模塊拆解圖

(1)搭建審核后臺系統

系統分為兩部分,一是配置模塊,二是內容模塊。

①配置模塊

業務配置:針對每種接入的業務,需要進行對應的配置,比如業務本身審核的平臺規則,請求第三方審核的策略配置。還有審核員審核的時候領取規則的配置等。

賬號角色配置:針對系統的操作人員,配置不同的角色范圍和業務范圍。比如某審核員只能審核業務ABC對應的內容,此處可以進行配置。

參數配置:系統產品規則的一些靈活配置項。

②內容模塊

設計的時候是按照漏斗設計了兩個池子,一個是機審池,另一個是機審完如果需要人審進入人審的池子。盡管兩個數據池內容有所差異,但具體的展示并無明顯差異。都包括:

  • 審核狀態:審核中、通過、駁回,具體根據公司業務來設計。
  • 駁審核依據:此處可以按照平臺規則進行抽象出一套模版,如涉政,涉黃,涉暴等。也可以直接采用第三方結果進行展示。
  • 操作:大致的操作包括領取,審核,釋放,可能還會涉及到分配。

(2)數據報表

數據報表部分主要是對審核內容進行統計,可以進行后續的算法優化或者人員審核效率的考量標準。

以上就是基于第三方服務,公司內部的審核中臺搭建的具體實例。

三、業務如何對接審核

拿做過的評論審核進行舉例。

我們公司的審核之前是沒有接入內容審核的,都是審核員全部過一遍。后來由于量逐漸起來以后,業務方要求接入內容審核。

于是我在思考如何基于現有業務和內容審核系統進行融合,使現在的系統變化最小,同時完成業務方的審核要求。舉個簡單的審核流程圖為例:

圖3:評論審核流程圖

總的來說,就是要:

確定這個業務,是先發后審,還是先審后發??紤]到用戶評論是個實時操作,所以做的是先發后審。

是否需要進行機審或者人審,審核策略是什么樣的。因業務團隊要求,我們的評論機審過后,還需要進入人審。如果 N分鐘沒有拿到機審結果,評論按照機審通過進行處理,后續進行人審復審。

當拿到機審結果后,業務系統就可以對評論進行操作了,比如說評論回復等。此處不再贅述業務系統對評論本身的操作功能。

業務系統是否反復接收審核處理。比如說評論,會對機審和人審同時響應并修改評論狀態,業務系統也必須在拿到機審結果以后再對評論進行后續操作。諸如此類也都是業務系統接入內容審核系統時需要說明的。

以上就是審核中臺搭建以及業務接入的完整鏈路。

 

本文由@把個脈吧 原創發布于人人都是產品經理,未經許可,禁止轉載。

題圖來自Pexels,基于CC0協議

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 有點復雜,有簡易點的審核機制嗎?

    來自浙江 回復
  2. 中臺作為業務服務的提供方,不需要過度依賴業務,而是需要不斷為新業務提供能力支持。

    來自廣東 回復
  3. 感謝作者分享

    來自福建 回復
  4. 隨著公司業務高速發展,逐漸有很多內容需要過審。

    來自廣西 回復
  5. 業務系統是否反復接收審核處理。都是在后面進行處理

    來自河南 回復
  6. 對審核中臺搭建以及業務接入的完整鏈路有了一個清晰的了解,在網上沖浪時確實會發現很多內容評論都是先發后審的

    來自廣東 回復