對于資訊類產品和內容產品來說，內容審核是必不可少的環節之一。平臺如何搭建審核體系？本文給大家分享了內容審核體系搭建的5個步驟，并對與審核相關的問題展開了分析說明，希望對你有用。

不用懷疑，我們在網上創建和發布的任何信息都會被審核，包括實名信息、昵稱頭像、個人自拍、甚至自己設置私密的動態。

大多數情況下，只要我們遵紀守法，不會感知到自己被審核，但是審核不止決定發言會不會被封，還決定能不能發出去，獲得多少曝光，后兩種很多時候是不會察覺到的。

內容審核在互聯網行業發展已經趨向成熟，建立內容審核體系無外乎這5個步驟：

1. 盤點平臺里可能會產生用戶發布內容的渠道和量級
2. 定義可能會產生的內容類別，并根據風險程度排序
3. 根據風險情況及平臺需要選擇合適的審核方式和處理方式
4. 搭建線上審核平臺，選擇自建或采購的機器審核工具
5. 自建或外包人工審核團隊，包括規則、培訓、SOP

一、為什么需要審核？

用戶發布的內容不受平臺控制，而部分內容會給平臺造成風險，審核是阻斷內容風險的主要方式。有風險的內容粗略劃分主要有兩種：

不能接受的內容：誰也碰不得的紅線內容，審核是為了避免用戶發布違法不良內容，讓平臺承受整改關停風險。

主要是黃反等違法違規類，只有守住這條紅線，才能讓平臺在國內正常運轉。有關部門會時不時對平臺內容進行抽查，一旦被查到輕則點名批評、重則關停封殺。這些內容出現的概率很低，但任何平臺都不惜任何成本去來規避這類內容的出現，代價包括建立龐大的人工審核團隊，犧牲一定用戶體驗，禁止發布任何沾邊的內容，哪怕你不是這個意思，這是不得已而為之。

不合適、不鼓勵的內容：審核是為了讓平臺內容有自己的調性。

比如在人人都是產品經理，投稿一篇娛樂八卦文章，肯定不會被通過，因為平臺只鼓勵展示跟互聯網產品相關的內容，其他內容即使會帶來流量但會影響自身品牌形象，久而久之失去專業性。

很多平臺因為對自己的內容定位把控不清晰或者力度不夠大，從神壇跌落，百度貼吧就是一個。值得注意的是，有關部門越來越重視內容平臺的整體調性，尤其是直播，對直播的要求越來越接近電視媒體，甚至更嚴格。

• 不能接受的內容：：風險高、投入高、需要快速處理，杜絕出現。
• 不合適、不鼓勵的內容：風險低、可以結合平臺需要來選擇處理方式和力度。

百度、抖音等app都因為內容問題被約談過：

二、審核方式

按時間維度可分為先審后發、先發后審。選擇什么樣的審核方式，是對內容風險和用戶體驗的一種取舍，先審后發沒有風險必傷體驗，先發后審體驗好但必定有大風險。

先審后發：所有內容審核通過后才可以提交，適用于對自身定位很強，對內容質量要求很高，信息量不是很大的平臺，比如人人都是產品經理，以新聞為主的資訊平臺，比如一點資訊等。優點是可以避免所有的違規，缺點是用戶創作的環節和成本提高了，可能會勸退很多想試試的用戶。

先發后審：發布后再審核，適用于信息量非常大的內容，沒有那么多資源可以支撐先審后發，比如評論等。

這兩種是比較粗暴的分類，現在大部分平臺不會單一地采取一種方式進行審核，更多是組合審核。前邊也說到過，即便是一條短短幾個字的評論，如果出現紅線問題，也是致命的。所以先審后發還是先發后審，不進是時間維度的劃分，也是風險維度的劃分，只有違規風險低的內容才適用先發后審。

所有的內容，必定先過一道機器，如果識別出現違規，直接處理，比如一些評論根本不出去，或者發出去了也被打上*。

有些不確定是否違規，需要綜合判斷，綜合上下文理解，這就需要先審后發，補充一點，如果平臺資源足夠強大，這一道審核的效率是可以瞬間審核完成的。

如果沒有出現不能接受的內容的風險，不會出現才會進入到先發后審的環節。

需要注意的是，在內容場景中，直播不可能先審后發，先審后發那就不是直播了，直播的審核體系比其他內容更復雜要求更高。

此外，先發后審必須配合授權審核、舉報反饋等方式來節約審核資源，縮短我們發現和審核的時間。

• 授權審核：平臺設置某些用戶幫助維護社區氛圍，比如直播間管理員，貼吧吧主等。
• 舉報反饋：所有內容都需要有一個舉報的渠道，有些內容審核沒發現違規，并不代表沒問題，用戶會提供更多有效的信息，比如詐騙。

三、處理方式

內容維度：清除內容，比如自見、刪除；限制曝光，也就是常見的限流，大部分時候用戶不會知道限流是因為審核操作還是算法推薦的結果。

限流是最好用的一種，不進能達到控制曝光的效果，而且對于用戶來說沒有感知。限流不是簡單地給多少流量這么簡單，限流的手段有：限制這個內容展現的渠道，比如某條微博關注的人可見，非關注不可見；限制這個內容的曝光上限，避免成為熱點；

帳號維度：限制功能，某類功能不能使用，比如微信限制轉賬提現功能，直播平臺限制開播。封禁賬號也就是限制賬號登錄。

對于一些鉆平臺漏洞的黑產大佬們，弄幾百上千個賬號也是分分鐘的事，所以還有針對設備號、ip號、甚至身份證號的審核處理，限制某個手機某個人使用app。

四、人工審核

審核方式包括機器審核、人工審核。機器審核解決大批量問題，人工審核解決其他問題。所有平臺設立了人工審核團隊，因機器審核只適用于特征極為明顯的，大眾有所共識的違規，也可作為人工審核的輔助判斷工具。

比如當審核員審核我這篇文章時，可能不會逐字看完文章，而是通過機器標記了敏感詞來輔助判斷。（編輯回復：并不是……）

機器審核的弊端：不靈活，只依據客觀特征來判斷內容，機器眼里一張色情圖片就是肉色很多的人體圖片，一句話里出現草就會被屏蔽，容易帶來體驗不佳的問題。

某個第三方機器審核工具：

人工審核不是平臺隨心所欲，也不是管理員主觀判斷，審核規則的設定就是為了避免同樣的內容被不平等對待，因此人工審核必須嚴格遵循一套非常嚴格的審核規則進行操作。

審核規則如何制定？形式類似于法條，但需要結合平臺的內容特征來因地制宜。無外乎這個套路：內容定義+內容特征+內容以外的條件限制+處理結果。

比如某視頻的精品視頻審核標準：

• 內容定義：優質內容
• 內容特征：畫質清晰，豎屏，無水印……
• 條件：使用微視拍攝
• 處理結果：這里不清楚，既然是精品視頻結果可能是獲得額外流量

一條規則寫得清晰明了，準確可執行，可以省下很多為了讓審核同學理解，解釋和培訓的成本，更重要的是，準確定義需要干預的內容類型也影響著這類內容生產者的存亡。因此越來越多的UGC平臺也開始重視這方面的人才，并設立了規則運營等相關崗位。

但，人并非機器，人對事物有自己的理解，大家所受的教育和生長環境不同，怎么讓一條規則每個人執行都一樣呢？這就需要針對人工審核團隊設立培訓體系和sop體系，操作準確-符合要求，操作不準確-克扣績效，并加強培訓，通過無數次循環考核，可達到非常一致的效果，人工審核操做越來越機械化……

內容量級越大，對應的審核團隊也越龐大，很多公司會選擇通過外包的方式節省辦公成本。谷歌、臉書等就在東南亞地區設立了龐大的審核團隊。隨著外界對內容審查的要求越來越高，審核從業者也越來越多。

審核人員不僅需要承受大量的夜班工作，還會瀏覽到很多血腥暴力等有損身心健康的內容，有的干1，2個月就會出現心理問題，所以人員流動性極大。

五、內容審核平臺

前面已經定義好了我們的審核方式和處理方式，那審核人員怎么進行審核呢？這就需要建立一個線上內容審核平臺，審核后臺一般分為信息區、操作區，審核員根據提供的信息判斷并操作。

審核平臺展示的信息是從規則和效率出發的。比如色情信息，我們規定用戶名、頭像、簡介出現色情信息，用戶需要標記處罰，那么審核后臺需要展示用戶名、頭像、簡介。

信息越充分，越有助于準確判斷，但信息越多也會增加判斷的時長。為了提高審核效率，會按內容元素拆分為圖片審核、文本審核、音頻審核，審核員幾秒鐘就能看完并標記一條內容，視頻和直播同樣也能拆解成這3個元素。

針對不同類型的內容也可以配備不同的輔助信息幫助審核，比如敏感詞高亮顯示、命中風險的圖片截出風險部分。

圖:電影《網絡審查員》截取

本文由 @暉暉 原創發布于人人都是產品經理，未經作者許可，禁止轉載。

題圖來自Unsplash，基于CC0協議。