起點課堂會員權益
職業體系課特權
線下行業大會特權
個人IP打造特權
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導直播
12場專業技能直播
會員專屬社群
榮耀標識實戰分享：UGC內容質量提升策略設計
對于UGC社區而言，在內容生產端，把控其質量非常重要，需制定維持或提升平臺內容質量的相關策略。本文結合作者相關項目經歷詳細展開，如何進行UGC內容質量提升策略設計，一起來看看吧。
如上一篇文章【實戰思考：從0到1搭建UGC社區系統】所說，在內容生產端，需制定維持或提升平臺內容質量的相關策略，本文將圍繞筆者的項目經歷對其進行更詳細得介紹。
先說下筆者在這塊走過的彎路。最開始搭建社區時，一個關鍵指標是內容量，當時整個產品和運營團隊側重在創作者的拉新和激勵上，忽視了內容質量，導致平臺出現以下幾個典型問題：
1、當時的創作者激勵活動，側重于求量而非求質，導致出現大量低質灌水內容；
2、某類似于精選的功能僅與點贊量掛鉤，導致平臺發出錯誤的優質內容信號；
3、真正的優質內容流量受限。部分高優內容，由于無法獲得流量傾斜，曝光不夠，導致創作者失去優質創作的動力；
4、對于平臺整體內容質量的走向，無直接的數據指標評價，只能靠人工感知。
基于此，團隊需迫切調整方向，筆者便是在此背景下提出了內容質量提升的相關策略，供各位參考。
一、增加關鍵指標
所有策略的制定都需要有一個指標來衡量。針對于內容質量的提升，提出了“內容詳情頁的日人均停留時長”指標，選擇該指標的原因是：
1、該指標是用戶行為指標，客觀且可量化；
2、與內容質量提升有很強的因果關系，內容質量的提升會直接帶來用戶更久的停留時長；
3、相比點擊率、消費內容數這類指標，時長指標的提升背后是更長期更穩定的用戶行為，比如標題黨、臨時運營活動對指標的影響較小，即該指標更加“健康”；
指標拆解如下：
內容詳情頁的日人均停留時長=?人均消費內容數量?*?單個內容停留時長=人均消費內容數量??*（完成單個內容所需時長?*?完讀率）
注：此處的=并不是完全相等
以上共拆解到了三個子指標上，這三個子指標有各自不同的價值：
1、“人均消費內容數量”的提升側重于更高的點擊率，即平臺更強的內容分發能力；
2、“完成單個內容所需時長”的提升側重于更長的內容。從團隊的運營經驗來說，平臺優質內容往往有較多字數（大于500字），因此該指標能在一定程度上反映平臺的內容質量。但該指標有明顯的缺點，如果只單一考慮，容易導致內容湊字數或內容過長現象，因此需要下面的“完讀率”指標進行牽制；
3、“完讀率”的提升側重于內容對當前用戶的吸引力，一是受到內容質量本身的影響，二來也受到內容分發能力的影響（是否是用戶真正感興趣的內容）；
二、提出解決方案
1、給標準——完善內容質量評級
平臺需要清晰界定什么是優質、什么是低質內容，即給出質量評判的標準。需要產品和運營團隊配合輸出，主要工作包括：
（1）確定內容范圍。比如回答、文章；
（2）提出質量等級和評定方式
當時提出共6層，如下圖供參考（其中等級0-4互斥，等級5的內容同時也屬于等級4）。不同平臺由于所處階段、定位、資源配置、內容量級、內容風險程度等原因，在質量等級劃分和評定方式/流程上各有不同，但核心思路均是通過質量劃分，將好內容和差內容進行足夠精準得圈定以配合后續的獎懲策略。
（3）質量標準制定
由內容運營團隊輸出質量標準文檔給到審核團隊，然后由審核團隊按照標準進行打標。質量標準文檔并不是一個固定的文檔，需逐步調優適配平臺內容。而調優的方向是否正確，可以通過引入關聯的數據指標進行糾偏，流程如下。
此外還需注意的是，不論質量標準文檔多么完善，對于審核團隊來說，3和4的質量評定難度往往會高于0和1，因為“好內容”的邊界更加模糊，審核團隊在這里所使用的主觀判斷會更多。也由于評定具有主觀性，存在兩個風險：
a.在既定標準下，審核團隊的人員不同所帶來的標注結果不一致；
b.在既定標準下，審核團隊核心人員更換所帶來的標注結果前后不一致。
如果審核團隊不在部門內部構架范圍，以上風險則需特別關注，除了通過運營抽檢識別和控制外，也可以通過引入關聯的數據指標進行觀測。
（4）提出關聯的數據指標
a.針對質量標準調優?？梢酝ㄟ^“1～4各個質量等級下的內容占比”和“1～4各個質量等級下的內容曝光收藏率”兩個指標進行糾偏。
第一個關聯指標是平臺先預設好數值范圍，確保最終的數據結果在該范圍內。這是因為不論平臺當前的整體內容質量有多好或者多差，都需要從中按照一定比例挑選出“更好”和“更差”的內容，用以配合內容分發。假設等級為4的優質內容在平臺看來應該是稀有的，最高比例預設為5%，那如果最終的結果超過這個范圍，就需要進一步提高等級4的評判標準；
第二個關聯指標提出的原因是平臺的內容主打知識內容，質量越高往往被收藏的概率越大。在數據表現上，從1到4各個等級的數據是遞增并且是斷層的，如果某兩個等級的數據差異不大甚至遞減，那則需要調整相關標準。
b.針對審核團隊主觀性判斷風險。也可以通過“1～4各個質量等級下的內容占比”指標進行觀測，與上面不同的是，在這里該指標主要是用于觀測趨勢變化。因為該指標數據短期內是足夠穩定的，長期來看即使由于整體質量提升，各個等級內容占比有所遷移，但也是平滑遷移。所以如果短期內某等級線出現了變化，那就應該立即確認是否有質量標準調整或者審核團隊人員變動的情況。
注：以上指標均未考慮0等級的情況，原因是不合規、不安全的內容標準并不會受平臺質量的變化而變化，同時不具有主觀性。
2、給態度——釋放可見的平臺優質內容信號
質量等級為4和5的內容均為平臺優質內容。在功能設計上，特別是平臺前期內容分發還不夠完善時，需突出其在用戶端的可見和可知性，比如打上“精選”“每日最佳”這類標識，即告訴平臺的消費者和創作者：“你看，這是我們平臺認為的好內容?！?/p>
同時可以將這類標識內容進行聚合，形成精選、每日最佳合集，以便用戶進一步消費。
3、給獎懲——流量扶持與打壓
在圈定完“好內容”和“差內容”后，平臺能夠最直接最快速給出的獎懲方式就是流量分配。
（1）不合規和不安全內容。審核不通過，僅主人態（創作者自己）可見；
（2）低質量內容。從平臺來說，這類內容價值很低，如果不控制其露出對平臺的整體的內容氛圍/感官有較大影響，但同時這類內容又是平臺允許的（擴充內容量、不設過高的創作門檻）。因此這類內容會被審核通過，但在核心個性化推薦場景將被直接過濾掉，另外在內容列表頁也會被折疊；
（3）一般內容。也就是“不好不壞”，平臺往往不對其做單獨的干預策略；
（4）較好內容。在部分場景做適當加權，比如內容列表頁排序加權；
（5）優質內容。平臺最高質的一批內容，在個性化推薦場景、搜索、內容列表頁均可以對該特征進行加權；
（6）每日最佳。由運營從優質內容中選出的具有代表性的內容，數量極少，主要是用于運營投放。比如站內消息推送、banner位投放等
以上流量分配的實現是否如預期可以通過引入“各內容質量等級下的內容條均瀏覽量“指標進行觀測。
4、給成長——精細化觸達低、中質創作者
低中質創作者可以定義為過去某個時間段內生產內容1-2等級在1-4等級中的占比超過某一閾值的創作者，這類用戶本身具備創作意愿和能力，平臺可以通過精細化消息觸達，推送相關內容教程和說明，引導提升其后續內容質量。
三、定期回顧進展并更新方案
到具體執行后，隨著進展需進一步補充相關策略，另外在回顧策略和數據觀測過程中往往會發現新的問題，也需及時調整。
1、算法與人工審核的配合
在項目前期，除了命中敏感詞庫的內容直接被系統駁回，其他的內容均需要經過人工逐個審核，審核除了判定內容是否通過以外，還需勾選相關內容標簽、評估內容等級，人力成本較高，且響應速度有限。
隨著內容量的增多，在積累了足夠訓練樣本后，項目引入了算法模型。涉及：
（1）低質量內容直接判定，人工抽檢反饋badcase調優；
（2）一般內容到優質內容的初步判定，人工復審，算法再根據復審結果訓練模型；
（3）自動生成內容標簽，人工抽檢反饋badcase調優。
低質量內容之所以直接由算法判定，一是因為低質量的識別難度最小，測試集準確率最高；二是從平臺的角度，誤判低質量所帶來的損失低于誤判高質量的損失。
2、更豐富的激勵方式
除了流量扶持以外，針對高質量內容的創作者，平臺還進行了：
（1）成就激勵。包括創作者排行榜、創作者等級標識、創作者周報、創作者證書、頒獎典禮等；
（2）物質激勵。在常規創作者激勵活動中，滿足相關條件的創作者可以獲得平臺補貼。
3、抄襲駁回
由于創作者激勵活動對存在金錢補貼，部分創作者為了最大化得獲得補貼，出現了抄襲現象。抄襲對象為平臺內的其他優質原創內容，并且往往通過“縫合拼接”多個其他創作者的優質內容實現。
在此背景下，平臺上線了內容管理端的抄襲識別功能。其中抄襲識別功能是通過高亮存在抄襲的內容，并且由算法計算出整體抄襲率，超過某一閾值，系統直接駁回。
4、黑名單用戶
針對生產不安全內容、抄襲內容的用戶，在首次平臺均會發出警告。如果二次觸發，平臺運營會根據其惡劣程度選擇短期、中期、永久性凍結該用戶賬號。
以上便是筆者在UGC內容質量提升策略上的實戰分享，由于經驗有限，不嚴謹的地方歡迎指正和探討。下一篇筆者會對個性化推薦進行介紹，歡迎關注。
本文由@wen 原創發布于人人都是產品經理，未經許可，禁止轉載。
題圖來源于Unsplash，基于CC0協議
該文觀點僅代表作者本人，人人都是產品經理平臺僅提供信息存儲空間服務。
你們都好厲害，我默默的點個贊
樓主，你們是什么類型的內容？新聞類？
金融垂域的問答內容
樓上說的對，而且補充一點，內容質量不能單獨遵循行業或專家標準，還要從產品受眾出發，受眾喜愛的可能不是傳統意義上的高品質內容，但數據表現可能更好。
不知是否有看我的文章（或者只看了圖？？），你所提及的“內容質量不能單獨遵循行業或專家標準”：非常贊同，所以需要引入真實的用戶數據指標，不斷調優標準文檔，詳見文章。
有幸做過內容方向的策略產品經理，也先后落地過低質及優質內容的機器識別策略，針對版主我說一下部分遇到的不可行點；
1. 內容分層過于精細
內容質量區分為五個階層，實際操作或許不可行。部分內容如低質與不準入，人工審核區分是比較簡單的，但是如果需要人工審核區分出一般，優質，精品，這個是比較難的，即使有相當詳細的審核規則，如豐富，權威等規則，也會造成同一批內容不同審核人員給出不同的審核結果，無法用于后續訓練機器策略；并且會降低審核人員效率；
2.再說指標問題
選用閱讀時長或者完讀率作為衡量質量的指標的不可行之處在于，內容是層次不齊的，存在長短文本的差異，長文本諸如2000字的行業發展報告，閱讀時長一般都會長于200字的一年級作文，但是不能以此為依據發展報告就一定優于作文，這一點我認為要從垂類出發，不同的垂類內容制定不同的衡量標準，或者直接從結果出發，cpm高，cvr高的內容定義為優質，再去改善這部分優質內容存在的顯而易見的低質問題；
3.針對低質內容的處理方式上
低質的特征點還是可以細分的，部分是能夠通過機器策略直接識別并自動修改的，這部分內容應當在修改后重新進入人工審核，而不是直接下線；例如非主觀的的低質，我的寫作水平就是很差，存在標點符號缺失，段落不分段等問題，但是我的內容比較豐富，那么我們應當著手幫助用戶需改，提升他的作品質量；
4.作品內容質量不是定死，或者固定不變的
給內容質量打標簽，這些標簽并不是固定不變的，可以設置一些后驗數據閾值，例如200收藏晉升到下一層級，否則我們主觀認為他低質，不給予分發，但實際有很大的需求量，這部分內容也是相當重要的；
感謝評論，針對這4點我回復下，希望越辯越明哈：
1、內容分層過于精細——不管分3層還是5層，都會存在不同審核人員給出不同的審核結果這個問題，畢竟“好內容”是帶有主觀性的，文章里有提到引入關聯指標去監控，從平臺的視角是允許人工審核錯誤/不一致的，只要最終的數據落在預設的范圍。另外，分層分幾級、可不可行，需要和運營側結合平臺內容的實際情況進行評估，也如文章所說“不同平臺由于所處階段、定位、資源配置、內容量級、內容風險程度等原因，在質量等級劃分和評定方式/流程上各有不同，但核心思路均是通過質量劃分，將好內容和差內容進行足夠精準得圈定以配合后續的獎懲策略”；
2、指標問題——你說的問題其實和“閱讀時長”、“完讀率”沒啥關系，而是與平臺的核心指標“日人均停留時長”有關，畢竟前兩者都是為核心指標所服務。你舉例的行業發展報告與一年級作文，如果行業發展報告整體能帶來更高的“日人均停留時長”，那從平臺來說報告就是優于作文的，這沒啥毛病。可以再回過頭來看看“日人均停留時長”，文章將這個指標拆解成了3個指標，用戶瀏覽的內容量、完讀率、完讀所需時長，這3個指標其實是相互制衡的，這也是提升核心指標的難點所在。你所說的cpm\cvr，電商和廣告平臺常見，在文本平臺作為一個拆解指標可以（替代“瀏覽內容量”），但如果要作為核心指標，結果會是標題黨盛行、劣幣驅逐良幣；
3、低質內容的處理——（1）不安全內容是直接駁回，帶有駁回理由，用戶可以選擇重新修改后提交；（2）排版問題不影響最終的質量等級評定，如果排版已經嚴重影響了閱讀，審核是有權利直接修改的；
4、內容標簽動態調整——針對存量內容標簽問題，這篇文章沒有說，計劃是在下一篇個性化推薦里提及。針對低質量內容，平臺審核標準簡單，人工誤判概率極低，因此這些內容永久不會被推薦（badcase量太少，對平臺分發影響微乎其微，除非平臺審核標準發生質變）；針對非低質內容，是可以正常進入推薦池的，高質內容會在前幾天被推薦加權，如果某個中質內容實際有很大的需求量，是完全有機會反超高質內容的。