起點課堂會員權益
職業體系課特權
線下行業大會特權
個人IP打造特權
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導直播
12場專業技能直播
會員專屬社群
榮耀標識從內容監管策略到職業發展建議，產品經理都關心的5大問題
新浪微博熱搜停更一周成為了熱點話題，引起了行業重視。關于內容監管的討論熱度居高不下，本文從五個方面探討內容監管到底該怎么做，并且就產品經理感興趣的職業發展問題提出建議，希望對你有幫助。
近日新浪微博被約談，引起了一片嘩然，也讓如何應對網絡信息安全管理，成為了產品經理、運營人所重視的話題。
自今年5月份以來，國家網信辦就在全國開啟了2020“清朗”專項行動，全面覆蓋各類網絡傳播渠道和平臺，集中清理網上各類違法和不良信息。
稍有不慎，就會有關停的風險。
上圖為花瓣網和掘金的平臺維護公告
上周，網易易盾聯合人人都是產品經理，發起了一場微信群群討論的活動，特邀網易易盾的內容安全專家，對于如何做好網絡信息安全展開了幾天的討論，產生了很多優質的內容。
小編將這次群討論的話題，做了整理：
一、不同的內容載體，有哪些內容監管策略
內容的呈現形式從文本、圖片發展到音視頻，面對內容展示多樣化，如何制定行之有效的內容監管策略？
Q1：針對目前語音違規該如何去規避風險內容，怎么實現降低平臺風險性且提升用戶體驗？
語音違規檢測目前主要通過機器檢測及人工審核兩種途徑進行審核。
機器檢測主要通過語音識別、聲紋檢測、語種識別、語義識別等做深度學習的方式來進行，人工審核可針對機器檢測不確定部分進行人工再次確認。
為了最大程度提升用戶體驗，減少因機器檢測帶來的審核延遲，建議針對熱度較高的語音采取先審后發，針對部分熱度較低/官方內容采取先發后審策略。
Q2：5G消息下的富媒體內容（包含文本、圖片、語音、視頻、優惠券）是否有更優的解決方案，尤其是視頻，是否有更高效的檢測處理方案？
5G來了，必然數據量增多，并發增加，對內容檢測的延遲、并發等要求都變高了。因為還沒有真正的到5G時代，暫時還沒有看到特別大的影響。
我的看法是，檢測的技術手段基本不變，還是靠算法模型，規則等等，未來會提高內容檢測效率的幾個方面：
1、算法更新（比較難，周期慢，完全看科研界的發展速度）；
2、硬件更新（GPU等運算性能提高、成本降低，就可以增強檢測算力）；
3、一些解決方案的提升：
比如富文本整體解決方案，拿音視頻來講，有的客戶需要同時檢測聲音和畫面，最初是分開檢測，有兩個結果。 后續發展為同時檢測，在同一個結果內返回音頻和圖像檢測結果，這樣從業務處理上來講提升了效果。類似的解決方案的提升，也會有一些作用。
Q3：請問，對于即時通信類產品（如微信），該如何制定內容安全策略以及審核流程，可否講下相應的想法或思路？如有相關經驗，可否介紹一下？
IM基本情況是群聊過檢，私聊不過。IM對延遲尤其敏感，同時盡量避免誤傷。
有一些策略上的小技巧，比如發送內容如果被檢測違規，并且屬于比較嚴重的，可以先對自己可見。
還有像視頻這種，需要上傳時間的，可以對用戶展現的是上傳中，而不是分：上傳中、檢測中，把實際檢測時間也包含在上傳過程中。這樣體驗能好點。
特殊時期，檢測規則從嚴處理，尤其對那種踩紅線嚴重違規的。
二、內容審核與用戶體驗，兩者之間如何平衡
源源不斷的UGC內容為平臺注入活力，而垃圾內容的滋生卻給平臺帶來負面影響；既要維護平臺內容安全，又要考慮用戶體驗，如何平衡是好？
Q1：平臺進行內容審核勢必會影響用戶體驗影響發展，如何平衡內容治理中平臺企業的“安全”與“發展”？
核心思路：先保安全，再談發展！
真被關停了就沒有機會發展了。而且我覺著做安全對運營來說是加法，而不是減法，我試想了一下如果一個平臺沒有任何約束，難免會有一些謾罵灌水之類的，反而影響運營發展，所以安全等于保障了舒適的環境，另外就是平臺的一個核心吸引力是優質內容，我理解優質環境+優質內容，這些方面對于平臺發展都是不可缺少的。
安全做的多少，和公司發展階段相關聯。初期都是先業務發展，逐漸凸顯問題的時候才會逐步加大安全投入。
Q2：如何平衡國家網絡安全要求和用戶使用自由度這兩者？
國家網絡安全要求是有紅線的，在紅線內最大程度給到用戶自由。所以關鍵在于對國家法律法規的正確解讀，及時洞察國家政治意識形態，可根據業務場景不同，制定審核嚴格程度的不同，避免傷及用戶體驗。
三、不同的崗位，如何做好內容安全
維護平臺內容安全，離不開產品、運營、技術等各部門的協作發力，那不同崗位的同學，在內容安全這條路上會遇到什么問題？
Q1：有時候違規內容和非違規內容的界限比較模糊，機器識別之后還需要人工審核，怎樣進行產品設計才能讓審核更高效？
- 一般為了最大程度保持審核的及時性、確保用戶體驗并保證內容安全，針對機器識別較為確定的結果直接進行處理（例如.機器判定通過的內容可以直接發出、機器判定不通過的內容可以刪除）；
- 僅針對機器無法確定的部分流入人工審核（此時為了保證實際用戶的體驗，待審核的數據建議保持僅自己可見狀態，針對非熱點區域亦可采取先發后審策略）。
Q2：如何通過分析，感知平臺內容安全態勢情況？
基本三方面：
- 第三方的安全審核服務（可以感知總體業務量、違規情況的分類、數量、用戶畫像等內容），屬于最主要的了解業務違規風險的一個渠道；
- 自身運營團隊/人審團隊 的數據分析（比如抽檢）；
- 來自用戶的信息（舉報、申訴等渠道獲知違規內容信息）。
Q3：技術問題，文本過濾主要用到了那些解決方案，針對不同分類有什么策略，怎么識別富文本的文本過濾？
- 文本檢測的算法結構最底層是通用的基礎技術，如分詞、詞向量等；
- 中層應用內容安全領域相關的預處理，主要是變種內容的識別和修正；
- 上層是具體的檢測技術，由規則引擎、相似度匹配、傳統機器學習模型、深度學習模型4個模塊構成。
針對富文本，易盾包裝了組合接口解決方案，可將富文本通過接口一次性提交，易盾會自動拆分文本、圖片分別過檢，返回整體結果。
四、針對內容安全具體問題，網易又是怎么做的
網易擁有20年內容安全體系建設經驗，內部積累了豐富的“反垃圾”經驗和數據，針對同學們提出的業務問題，網易有何解決方案？
Q1：易盾是如何進行視頻直播和音頻內容的審核的？
目前易盾針對直播場景提供了基本機器檢測方案，及通過智能電視墻輔助熱度檢測的人工審核方案：
- 機器檢測部分——直播視頻目前主要通過截幀來進行過濾，直播語音主要通過感知靜默時間，提取語音斷句來進行語音檢測的方案。
- 智能審核電視墻——與傳統的直播電視墻全量推送純視頻流審核不同，智能審核電視墻依托易盾機器檢測智能化分析視頻潛在風險，及時告知審核人員，嫌疑視頻高亮并放大提醒，多維業務數據輔助審核，輔助熱度檢測（異常彈幕、異常評論、在線人數激增、禮物數激增等異常指標監控）實時動態變更嫌疑指數，幫助審核人員盡快鎖定嫌疑視頻，極大提升審核效率，確保視頻審核效果。
Q2：如何在特殊時期針對平臺安全做預警，常用預警方案？
常規存在如下幾種處理方案：
- 數據強制先審后發；
- 建議平臺對留言區、評論區、頭像更換、昵稱修改等涉及UGC內容產出高危區域采取短暫關閉處理/停止推送至首頁功能；
- 關閉分享功能。
五、產品經理的職業發展建議
產品經理想要轉換職場環境，有哪些行業、崗位值得參考？
Q1：我是一個從內容安全平臺離職的產品經理，想跳槽進入其他公司，能匹配的崗位很少，有什么相關領域可以推薦的嗎？
如果不想轉崗還是產品經理，可以看下目前做內容檢測的互聯網公司的崗位；如果考慮相關崗位，有關內容檢測的，可以看下運營崗位、業務風控部門的崗位，現在看好多客戶把內容風控放在了業務風控部門來做。
光看文字不過癮，來看看群內互動實況，帶你感受群內專家與同學們的思維碰撞：
上圖為網易易盾群討論互動問答截圖
除了前期精彩有料的互動問答活動，6月17日（周三）晚20:00-21:30，網易易盾將在群內開展一場內容分享活動。
屆時，網易易盾的內容安全專家，將結合網易20多年在內容安全方面的研究，圍繞內容安全監管、內容安全體系搭建等話題，與大家進行分享與話題討論！
參與方式
掃碼填寫報名表單，若審核通過，工作人員將在3個工作日內發送短信通知，一定要留意你的短信喲！
題圖來自Unsplash，基于CC0協議
質檢
有料，報名了
怎么進群？
掃碼報名，若審核通過會給你發送短信，邀請你進群喲~
有些問題確實也是我想知道的，收藏了