在治理內容社區、維護內容安全的平臺運營過程中，運營人員往往需要保證內容質量，避免違規內容的出現，以保障用戶的使用或閱讀體驗。那么，常見的內容安全問題和質量問題有哪些？我們又應該如何做好治理動作？一起來看看作者的經驗分享。

寫這篇文章最害怕的就是涉及公司機密信息，反復檢查了好幾遍所舉案例。

寫這篇文章的目的，首先，這并不會涉及到公司機密。其次，我們治理過的這些問題大部分屬于內容行業共存的問題，但對于不同公司的風控人人員不一定能夠關注全面。

所以打算脫敏寫出來，風控人員可以查漏補缺，希望能夠對內容行業產生一點幫助，共同使行業更好。

在工作中，我負責公司社區生態治理，主要包括干掉壞內容、干掉壞用戶、提升內容質量、提升用戶體驗。這篇主要說干掉了哪些壞內容、干掉了哪些壞用戶。

本文從以下幾個方面展開來說：

1. 治理內容安全問題；
2. 治理內容質量問題；
3. 從用戶角度做治理；
4. 處罰方式；
5. 治理經驗。

一、治理內容安全問題

干掉壞內容包括兩部分，一部分是業務型內容，即業務不需要的這部分內容，一部分是安全型內容，即監管部門讓刪除的內容。

治理過的安全內容很多，例如涉黃、危害青少年、引導錯誤的價值觀、負面輿情等，這些是監管部門明確要求不能存在的（這幾個好舉例，其他治理過的涉及安全的內容不一定適合舉例）。

二、治理內容質量問題

對于質量型內容，監管部門不會來要求刪除，但平臺不希望這類型內容存在，例如有用戶 5 月份在多條帖子下大量評論“新年快樂”，這個對業務來說，屬于低質評論，需要治理的對象，下面將展開說我們主要治理過的問題。

1. 重復 / 改寫 / 抄襲

由于生產有獎勵，用戶生產有成本，所以部分用戶有動機將已經生產的優質內容復制，然后重新發布以便快速獲得獎勵。

為避免內容同質化，及平臺花錢買到低質內容，所以會治理這類型內容。

從內容形式上劃分可劃分為重復圖片、重復文本（也有重復視頻，但治理方式識別方式類似重復圖片，所以未單獨劃分）。

1）重復圖片

需要治理重復圖片是因為用戶消費一段圖文內容時，會優先看到圖片，若圖片相同，用戶會默認為文本也相同，進而認為內容同質化。

若相同圖片出現次數較少，則可通過算法打散分發，不讓同一個用戶在短時間內看到相同圖片內容即可。但若相同圖片出現次數較大，則較難由分發打散，且部分分發場景是 timeline，算法不參與分發。

使用的識別形式包括兩種，一種是計算圖片 md5，使用絕對相等，一種是相似圖模型識別。識別之后再結合一些策略，當相似度達到一定值，且相似或重復次數達到一定量，且由≥一定 uid 數量發布時，則會對之后進行發布的內容進行一些處理。

在這條通用策略之下，還會配置一些特殊策略，例如針對某些場景 / uid / md5 執行不同策略等。

2）重復文本

針對重復文本是和用戶不斷對抗的過程。

① 用戶發布重復內容，平臺開發重復模型，且將重復度≥一定值的內容判定為重復內容。注：治理重復內容本質是希望當前線上不給用戶展示重復內容，所以對比內容庫僅為線上內容。

② 用戶對抗，用戶將之前發布的內容刪除后重新發布，平臺將對比內容庫增加已刪除內容。

③ 用戶對抗，用戶通過刪除一頭一尾、替換部分文本、替換數字、更換不影響語義的標點符號 / 無意義字符、刪掉部分內容、替換同義詞、固定模板等方式，生產人工能快速判斷為重復，但重復模型無法識別的內容。平臺迭代重復模型，通過梳理用戶改寫的類型，迭代模型，使模型能夠識別出這些類型的重復內容。

④ 用戶對抗，用戶通過隨意摘抄一段菜譜、名人語錄、歌詞、電影臺詞等，平臺通過制定審核規則，由人工判斷。

⑤ 用戶通過其他無法預知的方式生產重復內容，平臺通過產品功能優化來解決。例如：

• 要生產重復內容，則會從一個地方復制然后在另一個地方粘貼，則可在粘貼提示、粘貼限制等產品功能上優化；
• 生產重復內容的用戶有個共性，發帖量較大，則可對單位時間發帖上限做限制；
• 有粘貼行為的用戶較大概率為重復內容生產者，則可通過粘貼行為拎出用戶做離線數據分析，從用戶維度進行處理；
• 也可對新進行用戶教育、新手引導、優質內容引導等。

注：以上僅為極簡的策略，在實際應用場景上還有很多細節限制，例如重復文本的判斷僅針對字數≥一定值的內容才執行；例如評論場景和帖子場景會差異化的配置；例如重復模型迭代需要不斷發現并梳理重復違規類型。

2. 虛假信息

對于任何平臺都會存在虛假信息，這些虛假信息來自用戶主動或不自知的生產。虛假信息雖然占比較低，但對用戶的影響很大?？赡苁怯绊懹脩襞袛?、可能是了解到錯誤信息、可能是進入到一個錯誤行業、可能是被騙錢財等，幾乎每一個都會對用戶造成較大負面影響。

不管平臺是希望用戶能夠更相信平臺，還是從平臺承擔著一定社會責任角度來說，都需要治理虛假信息。

要治理虛假信息，第一個問題一定會問：什么是虛假信息？

并不能說讓模型判斷，模型覺得是虛假的就是虛假。也不能讓審核人員自己判斷，他覺得是虛假就是虛假，那可能會出現審核人員 A 覺得是虛假信息，但審核人員 B 覺得不是虛假信息。

但也沒辦法給虛假信息一個統一的定義，如果能給出，那一定是去掉了很多細節，是不具有可執行性的一個定義。

所以只能看大量 case、以及看用戶反饋、用戶舉報信息、審核反饋等，收集大量可能是虛假的信息。再自己判斷其中屬于虛假的信息，再劃分不同場景，根據每一個場景制定不同的標準，定義清楚什么叫做虛假信息。

舉例我們制定過的幾個細分場景下的虛假信息的定義。

① 外賣員、快遞員等，曬收入截圖，月收入超過一定值，或日收入超過一定值，則定義為虛假信息。從行業數據來看，能達到這個數值的用戶不到 0.5%， 相對虛假信息帶來的危害，平臺寧愿接受這部分誤傷的存在。

② 男性，發布女性照片， 并且表達意思為想相親，如果有大哥覺得合適可聯系我，則定義為虛假信息?？山Y合用戶認證信息、機器識別照片及文本語義來判斷。

③ 用戶在一定周期內過渡頻繁的在內容中更換職業，例如昨天的發帖說自己是理發師，今天說自己是電焊工，明天說自己是廚師，則判斷為虛假信息。因為正常用戶不會在這么短的周期內這么頻繁的更換職業，在我們內部稱這類型用戶為“百變小櫻”。

此類用戶目的大多為吸引用戶聯系自己，以便進行下一步詐騙。我們也會制定相應的策略來識別，在一定周期內用戶發帖的身份大于等于一定值，則會送人審，結合這個用戶的其他信息來判斷是否屬于百變小櫻（因為這個策略存在相對較高的誤傷，所以不能機器識別后直接處理）。

通過對虛假信息定義的經驗，可形成以下四個步驟來定義治理問題的標準化流程。

• 步驟一：通過各種渠道瀏覽大量樣本，渠道包括自己瀏覽、用戶反饋、用戶舉報、審核反饋等。
• 步驟二：針對樣本做特征分析。
• 步驟三：總結歸納。
• 步驟四：細分場景制定標準。

3. 話題不相關

話題不相關是指，內容行業為了控制生產方向，往往會產生話題，讓用戶基于話題進行生產相關內容。

但用戶在生產內容時，可能由于生產成本過高，或無能力生產相關話題的內容，或其他原因，會主動去生產和話題不相關的內容。

對于用戶消費聚合內容來說，這就屬于垃圾內容，例如在一個聊 AIGC 的話題下包含一篇聊母豬的產后護理的優質文章，對于用戶來說是不需要的，在這個場景下屬于垃圾內容。

對于識別和話題不相關的內容，開發了話題相關度模型，根據相關度高低來決定給創作者多少獎勵，及決定內容應用場景。

模型主要識別兩個方面。

一類是與話題不相關，例如將話題復制一遍、內容和話題完全不相關、答非所問、內容完全無意義、同一領域但完全沒回答問題等。舉例：

• 話題：快遞派送前如何錄入系統？
• 內容：快遞派送前如何錄入系統？他們都在一各家一各減的少嗎？少馬國系統所以說相對來說還是比較麻煩的，只不過是少馬路系統，這樣的話基本上不會有酒駕的問題，我覺得還算是很不錯的吧

另一類雖然與話題相關，但脫離話題的限定條件，例如話題限定了行業、需包含收入水平、限定了場景，但內容并不包含相關信息。舉例：

• 話題：因為做焊工工作，你得了什么職業??？
• 內容：沒從事過焊工，不過倒是有職業病，比如筋膜炎等。

4. 水帖

來自百科的定義，水帖：水帖是貼吧、論壇或bbs中一種對于主題不重要的、無意義的帖子的統稱。

對于社區來說， 內容中充斥著水帖，會降低整個社區內容質量，成熟社區都會治理水帖。

在具體治理過程中就需要生態治理產品去發現水帖并總結歸納類型、思考是否需要治理、治理到什么程度、以什么工具治理、給予什么處罰等。

下面舉例一些制定過的策略、規則，以及使用過的識別模型。

① 純文本，且字數小于等于一定值

通過分析歷史數據發現，當用戶發帖小于等于一定值，且不帶圖片時，對于我們平臺，這條內容基本不具有消費價值，就會以一種用戶無感知的不分發的形式處理。

舉例：啦啦啦、夕陽無限好、美好的一天、湖州你好

② 僅包含標點符號、數字、emoji 等

③ 部分 uid 在部分場景發帖 / 評論

用戶每次違規都會有記錄，也會扣相應的分數，當某些類型的違規在一定周期內達到一定次數，或一定周期內的扣分數達到一定值，則會對用戶進行處罰，即階梯處罰。

舉例，用戶在 7 天內發布水帖次數≥10 次，則會將用戶在激勵場景的發帖或評論全部不給予獎勵（注，這并非系統完整邏輯，也并非真實數字）。

④ 命中水帖治理詞庫

⑤ 多賬號多設備

若用戶同一個設備上一定周期內登錄過多個 uid，或一個 uid 在多個設備上登錄過，分析這些用戶的歷史數據，發現較大量的存在無法識別的水帖（因為平臺策略是有限的，用戶違規方法是無限的，當用戶了解平臺策略之后，會用各種辦法逃過策略）。

所以會制定一條策略，當用戶觸發「多賬號多設備」時，則會將他內容送入更嚴的模型，例如普通用戶對于低質模型，達到 0.9 才處罰，對于「多賬號多設備」用戶的內容，則達到 0.8 就會處罰。

⑥ 文本中包含某些關鍵詞，且文本字數≤一定值

在評論場景，當把所有水帖內容拉出來看時會發現，水帖內容也會有一些共性，例如字數相對較短，雖然長尾很分散，但也會有一些頭部的高頻詞匯，例如紅紅火火恍恍惚惚、哈哈哈、支持一下、謝謝分享、開心每一天、打個卡、你好、謝謝、加油等內容。

對于一些短文本，這些詞為主要內容，則可理解為水帖。如果是一段 100 字評論，里面包含這些詞，則不能認為這是水帖內容。如果不限制字數或比例，則會很容易出現誤傷。

但這對不同平臺的處理嚴格程度不同，我們平臺會選擇治理，其他平臺可能會選擇不治理。治理是因為寧愿用戶少看到評論，也不愿讓用戶看到低質評論，以及避免帶來連鎖反應，其他用戶跟著學。

⑦ 非新年期間評論包含「新年快樂」

這是在我剛開始做風控時做過的一條非常失敗的策略。

背景信息，分析歷史數據發現，五月份有部分用戶在評論區大量發布「新年快樂」相關評論，雖在設備、IP、賬號、注冊信息、登錄信息等均無關聯性，但從發布的內容及發布內容時間來看，基本可確認是屬于同一個人或團伙在操作。

且發類似文本的賬號在不斷新增，所以沒從賬號或設備維度進行治理，而是僅從內容維度出了策略，策略邏輯：在非新年期間評論新年快樂及其變形的文本做自見處理（僅自己可見）。

這條策略失敗的點在于，只能解決了當前存在的這個特定問題，未考慮這類問題在將來如何有一個通用的解決方案。例如用戶將「新年快樂」變為「中秋快樂」或「背包好看」就失效了，且用戶的變形成本極低。

例如可以計算單個用戶周期內詞頻，一定頻率可直接處理，一定頻率可送人審。也可以計算全局周期內詞頻，對于環比變化過大的詞可給人工預警提示等。

⑧ 低質模型

低質模型識別包含語句通順度、虛詞、感嘆詞、亂打字、文本無實際意義等邏輯，以及一些既定策略會融合進模型。

雖然很多策略可融合進模型，但由于策略的可解釋性強，易調整等優點，還是會讓一些策略單獨存在，不融合進模型。

以上一些案例幾乎都是從內容維度來識別，進而從內容維度進行治理，但在工作中還有較大一部分是從內容維度識別，然后從用戶維度進行治理，以及從用戶維度識別，從用戶維度治理，從用戶維度進行治理將在下一章展開說。

以上所舉例都是發現了某些問題，然后進行治理，但如何去發現這些問題的，在這篇文章中有詳細說：《風控：上線一條規則/策略的完整流程》。

5. 聯系方式

所說聯系方式包括圖片 / 視頻 / 音頻 / 文本中包含手機號、微信號、qq、網址、二維碼等聯系方式，以及以上內容的變形。例如空格隔開、中英文、拼音、手寫、中文音異、電話通話截圖、半打馬賽克、形異、文本頭像結合、拍攝名片 / 拍攝二維碼 / 海報 / 宣傳單 / 紙條 / 手寫聯系方式、手寫并簡單計算，以及誘導聯系方式等。

我們不允許發布聯系方式，因為社區場景不需要聯系方式。并且經分析歷史數據發現，當出現聯系方式時，比較大概率會同時出現詐騙、刷鉆引流、廣告、逃單、隱私安全、線下風險、騷擾、賬號交易等，帶來危害比較嚴重，且容易漏識別，所以可從杜絕聯系方式角度降低詐騙、刷鉆引流、廣告等問題。

針對這些問題也會建設對應策略來識別。舉例部分策略：

• 文本中數字或字母連續≥一定值，則認為這是連續方式；
• 檢測電話、QQ號、微信號、網址、二維碼；
• 檢測數字+分段聯系方式；
• 檢測變形聯系方式；
• 檢測多昵稱拼接聯系方式；
• 檢測多條回復拼接聯系方式；
• 檢測含數字變形的聯系方式；
• 檢測內容包含惡意引流文本且檢測包含聯系方式；
• 以及制定人工審核規則等；
• ……

一些案例：

• 點擊[http:/xxxxxxxx]查看表情
• 看到你的留言了，佳沃k16rvvf7
• 為我，A嗯6嗯0嗯5嗯9嗯3嗯9嗯8嗯
• 妖霧氣 嗚嗚妖吧 妖霧三氣
• 加v ?yan 七二四三九xx五
• 想了解咨詢我吧：壹肆柒xx伍零柒柒柒捌?。。?！
• l六七4420五xx久
• 請連起來152號823室791廳66聊
• 1??7??6??9??3??1??9??8??8??3??
• ??一三八0??一四七0??二八三
• 欒城房源出租，三室精裝拎包入住?？捶侩娫?80-3xx1-3401蘇星
• 招美團騎手，微信電話同步188..4381…2xx6
• 中山市 上門回收 空調 冰箱 洗衣機 紙皮等 上門回收范圍 中山市 小欖 東鳳 東升 古鎮 橫欄 需要回收舊電器和廢品 的朋友們可以私聊本人寶師傅 ①③⑥②O③⑧②②⑨
• 各種廣告牌，安裝，設計，制造，電話199。0161。xx27
• 本人有一輛電動車三輪車轉讓，有需要做各種小吃可以聯系我178?44xx?0758謝謝
• 讓每個家庭擁有一個懂健康的人，管理家人健康，遠離各種疾病。一起學習交流健康知識。18三，1 五七，6 4四二
• 昌黎上風上水六加一電梯洋房二樓106平帶大下房，電話一，八。 三 ！三五，（七；八。九/（五@ 9同微信，有意者聯系我
• 喬家溝租個房子 最好是獨院 讓養貓 養狗 有的?176…～3616……xx19
• 花都北門輕紡城自己的房子出租，一室一廳一廚一衛，需要的聯系，微信同號1八七六九零零三xx三

6. 廣告

絕大多數平臺都不允許，或者至少是不希望平臺內充滿用戶發布的廣告，只是不同平臺的處理方式不一樣。朋友圈可能是折疊，小紅書可能是不給流量，其他平臺可能是無法審核通過。這些廣告由于大量重復、低質、以及無法驗證真假、影響公司其他業務、污染信息流等問題，平臺通常會選擇治理廣告。

對廣告的治理和虛假信息的治理類似，沒辦法對「廣告」有一個統一的定義，所以得梳理 case，在各個細分場景制定規則。

• 舉例一些制定過的策略；
• 對廣告文本的檢測；
• 對出租求租信息檢測、對招聘求職信息檢測；
• 對屏蔽詞庫檢測、對刷鉆吸粉詞庫檢測、廣告法詞庫檢測；
• “連、起、來”開頭結尾黑產檢測；
• 過引流模型；
• 營銷反作弊數據檢測；
• 以及制定相關的人審規則；
• ……

上面舉例的是一些識別廣告的策略，但從廣告特性上來說，用戶發布廣告絕大部分是希望能夠與自己聯系，所以具體在治理時大部分是從聯系方式、私聊角度來治理，會更高效?；蛘吒鶕鄺l策略的結果結合來決定處罰方式。

以下兩個案例為引流模型識別出來的內容。

1. 帶一些新人，看個人銀行額度賺錢，一天一萬+ 感興趣私聊詳談。
2. 押車借款利息低，額度高。

注：還有很多類型內容也屬于廣告，但會被劃分到更細的分類里面，例如「副業」類、「醫美」類。

7. 不文明用語

對于不文明用語，在不同平臺的接受程度不同，我們平臺會治理辱罵及不文明用語，希望給生產者及消費者帶來一個更文明和諧的生態環境。

治理方式主要是辱罵詞檢測、辱罵模型檢測，以及人工審核。對于詞庫網上可找到公開詞庫，以及平臺自己不斷完善。對于辱罵模型，屬于中臺工具，業務只是應用，模型具體邏輯未有機會詳細了解。對于人工審核規則，則會結合上下文本判斷。

8. 其他類

有很多細分分類被治理過，除了前面展開說的七種，還包括這些。

• 街拍視頻、網紅無意義擺拍等無消費價值的視頻，對其他平臺可能屬于優質內容，但對我們業務定位來說，則不需要這類型內容；
• 低俗類、軟色情類；
• 重復領養、贈送、配對；
• 視頻帶水印，因為希望用戶發布原創視頻，而不是從抖快等平臺盜視頻來發布；
• 個人隱私，例如涉及完整的各類證件號、爆料某人，并且涉及家庭住址電話號碼等隱私信息；
• 詐騙類，這其實也是一個大類，下面還可以劃分很多細分場景進行治理，例如信用卡類詐騙、創業合伙類詐騙、相親類詐騙、理財類詐騙、東南亞招聘類詐騙、菠菜類詐騙；
• ……

9. 治理中一些常用工具（模型能力）

重復模型、相似圖模型、低質模型、網賺模型、涉黃模型、低俗模型、引流模型、辱罵模型、涉政算法等。

識別香煙、變形聯系方式、政治人物、明星、美女圖、emoji、血腥、暴恐、蠟燭、刀具、識別人體各個部位，包括腿 / 胸 / 肩 / 背 / 臀等。

業務進行治理時，大多數能力會應用中臺能力，部分時候由于中臺無法提供個性化能力或時間緊張等原因，業務會自己開發模型。

三、從用戶角度做治理

我的工作是內容治理，但很多情況下內容不易識別，會考慮從用戶角度來做內容治理，從作弊動機出發。

對于我們業務，用戶作弊動機主要分為兩類，一類是發廣告，一類是通過做任務進而獲得收益。

對于發廣告動機的用戶，從內容角度特性明顯，例如高頻發布重復內容、都帶聯系方式、主要從非賺錢入口發布等，比較好治理，涉及到用戶相關只有用戶在短期內多次發布廣告，然后拉黑用戶。

對于通過做任務獲得收益，用戶會有一個完整的作弊流程，如下圖：

• 正常用戶的流程：注冊 → 登錄 → 發帖/評論 → 獲得收益 → 提現。
• 作弊用戶的流程：注冊 → 登錄 → 發帖/評論 → 多設備多賬號/相互評論/互刷流量/發重復圖等 → 低質內容 → 獲得收益 → 轉移金額 → 提現。

作弊用戶的流程中每一個環節均有多種可作弊空間，例如：

① 注冊 / 登錄，可能會涉及

惡意注冊、批量注冊、設備指紋黑名單、黑卡賬號、機器登錄、貓池、root、hook、篡改設備、安裝黑產工具 & 模擬點擊 App、篡改 ua、安裝改機app、安裝云控 App、短時關聯用戶過多、參數格式錯誤、參數間不匹配、設備硬件信息不匹配等。

注：這些信息均為網絡公開可了解到的信息，不涉及公司機密，不代表我們公司全都用了這些，也并不代表我們公司只用了這些信息。

② 發帖 / 評論，可能會涉及

發帖后刪除、短時間互動量超過一定值、以各種方式生產平臺不易識別的違規內容、同一個人擁有多個賬號多個設備發帖、使用相同圖片等。

③ 獲得收益，可能會涉及

僅從在某些激勵場景發帖、僅給某些用戶互動、互動量主要來自某些用戶、互動量主要來自某些渠道、瀏覽及被瀏覽數據異常，包括渠道 / 時間 / 用戶 / 用戶等級異常等問題。

④ 轉移金額，可能會涉及

因為平臺限制提現必須綁定微信，所以用戶會將多個賬號獲得的金額轉移到一個賬號上，然后進行提現。

轉移金額異常，包括單次轉移金額、累計轉移金額、轉移金額對象、金額來源占比等的異常。

上面提到的某些行為可能會貫穿用戶生命周期全流程，例如機器模擬點擊，所以在接入策略時也需要在各個需要驗證的場景均接入。

由上面可知，黑灰產可能會在各個環節作弊，一個完整的風控方案也應該是全流程各個環節進行防控。

舉例可參考的策略：

• 用戶有機器注冊、篡改設備、模擬點擊等行為時打上一個標簽，但并不直接處理，會在用戶后續有其他行為時在結合這些標簽決定是否需要處理；
• 對獲得獎勵后刪帖的用戶拉入一定周期的獎勵黑名單，例如用戶獲得獎勵后，將內容刪掉，則此用戶在接下來幾天不可獲得獎勵；
• 觸發違規做任務用戶，限制做任務；
• 設置發帖上限，在一定周期內僅可發一定量的帖，超過則提示暫時不能再發布；
• 針對多賬號、多設備以更嚴的策略識別其內容；
• 識別為互評、刷流量不給予獎勵；
• 降低金額轉移上限，用戶作弊會有作弊成本，降低轉移上限可提升用戶作弊成本，保持收益 ≤ 作弊成本，用戶會主動放棄作弊。注：這個上限設置也需要控制對正常用戶的誤傷；
• 分析金額轉移數據，針對收入來源異常、收入總金額異常、收入與等級不匹配等用戶，再結合其內容及觸發機器模擬操作 / 改機等相關標簽離線處置用戶。

四、處罰方式

在治理中，對內容、對人，都會有很多處理方式，例如常見的通過、拉黑、刪除等。

1. 對內容

對內容處理方式相對較簡單，例如，包括通過、不通過、自見（僅自己可見）、沉貼（去個人主頁能看見，但不分發）、降權分發、僅在部分場景分發、加精選、置頂等都可用理解為對內容的處理方式。

2. 對用戶

對用戶的要相對復雜些，但常見的可以按照以下這樣來劃分。

1）標記

僅做標記，不直接處罰，例如機器登錄，在登錄時判斷為機器登錄，會依然讓用戶進行后續動作，可結合后續動作再決定是否處置。這樣好處是避免誤傷、環節更長黑灰產也更難摸清平臺的策略，以便減少變形對抗。

2）挑戰

策略、模型都有一定誤傷，為了降低對誤傷用戶的傷害，對觸發某些策略，則可讓用戶輸入驗證碼、滑塊等方式做挑戰，挑戰成功則可以繼續使用，挑戰失敗，則繼續限制。

3）處罰

階梯處罰，每次內容違規會對用戶扣分，在一定周期內分數達到一定值時，會出現相應功能限制。舉例，用戶在評論區發一條辱罵文本，則可以扣 1 分，但不處罰用戶，如果在 3 天內發了 10 條，扣了 10 分，就可限制用戶 3 天不允許評論。

黑白灰名單，最簡單的理解就是將用戶拉黑，但是從限制主體、限制功能、限制時間上會有很多組合。

主體，可以是賬號、手機號、設備、身份證、銀行卡、微信等。

時間，可以是 24h、3 天、1 個月、1 年、永久等。

功能，可以是限制登錄、注冊、綁定、發布、點贊、查看、精選等。

組合起來舉一個例子就是，限制某個賬號在 3 天內不能登錄，這就可理解為被拉入黑名單了。

注：黑白灰名單的組合如果做到足夠細致，幾乎可以有無限種組合，但需在滿足業務需求，和易用性之前做好平衡。據說淘寶有數百種處罰方式。

柔性觸發，即讓用戶做挑戰。

用戶教育，對于屢教不改的用戶，平臺可能會拉入黑名單，但由于用戶在無知的情況下第一次犯錯，則可讓用戶做一些答題、學習規范等。舉例，哈羅單車在第一次違規停放，可在通過答題學習規范后取消處罰，第二次再違規停放，則會扣 20 塊錢。

隨機處罰，這是為了解決一個問題，平臺上線一套策略，用戶比很快就能試出了策略邏輯，所以會將相同違規的用戶選擇性放過一定比例，給予不同的處罰，甚至不處罰，讓用戶更難摸清平臺的策略邏輯。注：需考慮哪些策略使用隨機處罰，選擇哪部分用戶放過。

迷城，是為了在用戶無感知的情況下，避免用戶帶來的傷害。一些在已經判斷為違規的用戶，并未限制其使用私聊功能。因為如果限制，則用戶容易變著方來違規，增加平臺對抗成本。例如可將用戶發的消息轉接給平臺機器人（或固定回復策略），讓違規用戶和機器人私聊，這樣可避免其他用戶收到這個用戶的違規消息。

五、治理經驗

• 做風控需要非常了解業務。
• 盡早建立指標評估體系，在工作推進將會大大降低阻力。
• 任何時候都得有兜底方案。
• 黑灰產作弊一定有作弊動機，有作弊成本，可多從提升作弊成本打擊作弊動機角度考慮。
• 木桶原理，風控水平取決于防御體系最薄弱的環節，漏洞被利用的速度遠超你的想象。
• 訓練數周的模型比不過一條業務規則，這是常有的事情。
• 對于黑灰產治理，需要系統性的主動防御，避免被黑灰產牽著鼻子走，永遠有堵不完的口子，填不完的坑。

這里核心是兩個詞主動、系統性。

主動，需要對業務足夠熟悉、對黑灰產產業鏈足夠了解、有情報來源、掌控黑灰產動向，在還未發生某些風險之前就提前堵上漏洞。

系統性，需要全鏈路防御，技術結合產品功能、運營一起形成系統性防御。包括在產品的各個可能出現問題的場景上的事前、事中、事后的防御。以及相應的監控體系、預警體系。

用戶為了達到作弊目的，他在業務的每一個節點都可能出現異常，所以在治理前首先要繪制出完整的用戶行為路徑，理清楚每一個可能產生異常行為的業務位置，然后從各個節點全鏈路的打擊，可參考上面「從用戶角度做內容治理」這部分。注：不要指望在一個業務節點上解決所有問題。

每個業務節點的數據串聯是重中之重，當前業務節點產生的所有有效結論，都應該流入下一個業務節點作為輔助特征。下游節點產生的確切結論，也應反哺上游判斷。

找到絕對原因很難，但這不影響工作推進。有時候很難找到一群賬號是否有血緣關系，但從他們的業務數據上來看，基本可確定這是一群人，則可先處理。

六、最后

這篇文章是在寫實際治理的問題，以及應用的方法，接下來會更新一篇治理的整體框架，即把本篇抽象歸納出一個通用框架。