起點課堂會員權益
職業體系課特權
線下行業大會特權
個人IP打造特權
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導直播
12場專業技能直播
會員專屬社群
榮耀標識安全產品之內容審核體系
對于資訊類產品和內容產品來說，內容審核是必不可少的環節之一。平臺如何搭建審核體系？本文給大家分享了內容審核體系搭建的5個步驟，并對與審核相關的問題展開了分析說明，希望對你有用。
不用懷疑，我們在網上創建和發布的任何信息都會被審核，包括實名信息、昵稱頭像、個人自拍、甚至自己設置私密的動態。
大多數情況下，只要我們遵紀守法，不會感知到自己被審核，但是審核不止決定發言會不會被封，還決定能不能發出去，獲得多少曝光，后兩種很多時候是不會察覺到的。
內容審核在互聯網行業發展已經趨向成熟，建立內容審核體系無外乎這5個步驟：
- 盤點平臺里可能會產生用戶發布內容的渠道和量級
- 定義可能會產生的內容類別，并根據風險程度排序
- 根據風險情況及平臺需要選擇合適的審核方式和處理方式
- 搭建線上審核平臺，選擇自建或采購的機器審核工具
- 自建或外包人工審核團隊，包括規則、培訓、SOP
一、為什么需要審核？
用戶發布的內容不受平臺控制，而部分內容會給平臺造成風險，審核是阻斷內容風險的主要方式。有風險的內容粗略劃分主要有兩種：
不能接受的內容：誰也碰不得的紅線內容，審核是為了避免用戶發布違法不良內容，讓平臺承受整改關停風險。
主要是黃反等違法違規類，只有守住這條紅線，才能讓平臺在國內正常運轉。有關部門會時不時對平臺內容進行抽查，一旦被查到輕則點名批評、重則關停封殺。這些內容出現的概率很低，但任何平臺都不惜任何成本去來規避這類內容的出現，代價包括建立龐大的人工審核團隊，犧牲一定用戶體驗，禁止發布任何沾邊的內容，哪怕你不是這個意思，這是不得已而為之。
不合適、不鼓勵的內容：審核是為了讓平臺內容有自己的調性。
比如在人人都是產品經理，投稿一篇娛樂八卦文章，肯定不會被通過，因為平臺只鼓勵展示跟互聯網產品相關的內容，其他內容即使會帶來流量但會影響自身品牌形象，久而久之失去專業性。
很多平臺因為對自己的內容定位把控不清晰或者力度不夠大，從神壇跌落，百度貼吧就是一個。值得注意的是，有關部門越來越重視內容平臺的整體調性，尤其是直播，對直播的要求越來越接近電視媒體，甚至更嚴格。
- 不能接受的內容：：風險高、投入高、需要快速處理，杜絕出現。
- 不合適、不鼓勵的內容：風險低、可以結合平臺需要來選擇處理方式和力度。
百度、抖音等app都因為內容問題被約談過：
二、審核方式
按時間維度可分為先審后發、先發后審。選擇什么樣的審核方式，是對內容風險和用戶體驗的一種取舍，先審后發沒有風險必傷體驗，先發后審體驗好但必定有大風險。
先審后發：所有內容審核通過后才可以提交，適用于對自身定位很強，對內容質量要求很高，信息量不是很大的平臺，比如人人都是產品經理，以新聞為主的資訊平臺，比如一點資訊等。優點是可以避免所有的違規，缺點是用戶創作的環節和成本提高了，可能會勸退很多想試試的用戶。
先發后審：發布后再審核，適用于信息量非常大的內容，沒有那么多資源可以支撐先審后發，比如評論等。
這兩種是比較粗暴的分類，現在大部分平臺不會單一地采取一種方式進行審核，更多是組合審核。前邊也說到過，即便是一條短短幾個字的評論，如果出現紅線問題，也是致命的。所以先審后發還是先發后審，不進是時間維度的劃分，也是風險維度的劃分，只有違規風險低的內容才適用先發后審。
所有的內容，必定先過一道機器，如果識別出現違規，直接處理，比如一些評論根本不出去，或者發出去了也被打上*。
有些不確定是否違規，需要綜合判斷，綜合上下文理解，這就需要先審后發，補充一點，如果平臺資源足夠強大，這一道審核的效率是可以瞬間審核完成的。
如果沒有出現不能接受的內容的風險，不會出現才會進入到先發后審的環節。
需要注意的是，在內容場景中，直播不可能先審后發，先審后發那就不是直播了，直播的審核體系比其他內容更復雜要求更高。
此外，先發后審必須配合授權審核、舉報反饋等方式來節約審核資源，縮短我們發現和審核的時間。
- 授權審核：平臺設置某些用戶幫助維護社區氛圍，比如直播間管理員，貼吧吧主等。
- 舉報反饋：所有內容都需要有一個舉報的渠道，有些內容審核沒發現違規，并不代表沒問題，用戶會提供更多有效的信息，比如詐騙。
三、處理方式
內容維度：清除內容，比如自見、刪除；限制曝光，也就是常見的限流，大部分時候用戶不會知道限流是因為審核操作還是算法推薦的結果。
限流是最好用的一種，不進能達到控制曝光的效果，而且對于用戶來說沒有感知。限流不是簡單地給多少流量這么簡單，限流的手段有：限制這個內容展現的渠道，比如某條微博關注的人可見，非關注不可見；限制這個內容的曝光上限，避免成為熱點；
帳號維度：限制功能，某類功能不能使用，比如微信限制轉賬提現功能，直播平臺限制開播。封禁賬號也就是限制賬號登錄。
對于一些鉆平臺漏洞的黑產大佬們，弄幾百上千個賬號也是分分鐘的事，所以還有針對設備號、ip號、甚至身份證號的審核處理，限制某個手機某個人使用app。
四、人工審核
審核方式包括機器審核、人工審核。機器審核解決大批量問題，人工審核解決其他問題。所有平臺設立了人工審核團隊，因機器審核只適用于特征極為明顯的，大眾有所共識的違規，也可作為人工審核的輔助判斷工具。
比如當審核員審核我這篇文章時，可能不會逐字看完文章，而是通過機器標記了敏感詞來輔助判斷。（編輯回復：并不是……）
機器審核的弊端：不靈活，只依據客觀特征來判斷內容，機器眼里一張色情圖片就是肉色很多的人體圖片，一句話里出現草就會被屏蔽，容易帶來體驗不佳的問題。
某個第三方機器審核工具：
人工審核不是平臺隨心所欲，也不是管理員主觀判斷，審核規則的設定就是為了避免同樣的內容被不平等對待，因此人工審核必須嚴格遵循一套非常嚴格的審核規則進行操作。
審核規則如何制定？形式類似于法條，但需要結合平臺的內容特征來因地制宜。無外乎這個套路：內容定義+內容特征+內容以外的條件限制+處理結果。
比如某視頻的精品視頻審核標準：
- 內容定義：優質內容
- 內容特征：畫質清晰，豎屏，無水印……
- 條件：使用微視拍攝
- 處理結果：這里不清楚，既然是精品視頻結果可能是獲得額外流量
一條規則寫得清晰明了，準確可執行，可以省下很多為了讓審核同學理解，解釋和培訓的成本，更重要的是，準確定義需要干預的內容類型也影響著這類內容生產者的存亡。因此越來越多的UGC平臺也開始重視這方面的人才，并設立了規則運營等相關崗位。
但，人并非機器，人對事物有自己的理解，大家所受的教育和生長環境不同，怎么讓一條規則每個人執行都一樣呢？這就需要針對人工審核團隊設立培訓體系和sop體系，操作準確-符合要求，操作不準確-克扣績效，并加強培訓，通過無數次循環考核，可達到非常一致的效果，人工審核操做越來越機械化……
內容量級越大，對應的審核團隊也越龐大，很多公司會選擇通過外包的方式節省辦公成本。谷歌、臉書等就在東南亞地區設立了龐大的審核團隊。隨著外界對內容審查的要求越來越高，審核從業者也越來越多。
審核人員不僅需要承受大量的夜班工作，還會瀏覽到很多血腥暴力等有損身心健康的內容，有的干1，2個月就會出現心理問題，所以人員流動性極大。
五、內容審核平臺
前面已經定義好了我們的審核方式和處理方式，那審核人員怎么進行審核呢？這就需要建立一個線上內容審核平臺，審核后臺一般分為信息區、操作區，審核員根據提供的信息判斷并操作。
審核平臺展示的信息是從規則和效率出發的。比如色情信息，我們規定用戶名、頭像、簡介出現色情信息，用戶需要標記處罰，那么審核后臺需要展示用戶名、頭像、簡介。
信息越充分，越有助于準確判斷，但信息越多也會增加判斷的時長。為了提高審核效率，會按內容元素拆分為圖片審核、文本審核、音頻審核，審核員幾秒鐘就能看完并標記一條內容，視頻和直播同樣也能拆解成這3個元素。
針對不同類型的內容也可以配備不同的輔助信息幫助審核，比如敏感詞高亮顯示、命中風險的圖片截出風險部分。
圖:電影《網絡審查員》截取
本文由 @暉暉 原創發布于人人都是產品經理，未經作者許可，禁止轉載。
題圖來自Unsplash，基于CC0協議。
不進 不僅
編輯回復是真的嗎…..
編輯回復hhhh
寫的真棒 看完受益匪淺
之前給知識付費平臺的用戶評論業務建立審核機制時所考慮的點大致跟作者相同。