中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

短視頻需要防止色情低俗內(nèi)容，如何設(shè)計(jì)人工審核功能？作者從這一考題出發(fā)，從多個(gè)方面對這個(gè)問題進(jìn)行了分析解答。

前言：這是和網(wǎng)友的一個(gè)即興考核題，以下的內(nèi)容僅代表個(gè)人觀點(diǎn)，內(nèi)容可能會有措辭不正確，觀點(diǎn)不切實(shí)際，考慮不周的情況出現(xiàn)，希望大家不吝賜教，抱拳。

注：考察側(cè)重點(diǎn)是功能的設(shè)計(jì)而不是如何對內(nèi)容做識別。

思考：防止色情低俗視頻出現(xiàn)污染視聽，提高視頻審核效率減少人工成本。

綜合起來我們需要有敏感詞監(jiān)控機(jī)制、任務(wù)分配機(jī)制、視頻評分機(jī)制、發(fā)布者評分機(jī)制、員工考核機(jī)制以及人工智能識別機(jī)制。

01 敏感詞監(jiān)控機(jī)制

敏感詞監(jiān)控機(jī)制不僅對發(fā)布的內(nèi)容有監(jiān)控對評論也有監(jiān)控，反正就是只要你在這個(gè)App說的每句話我都監(jiān)控一遍，不同的是內(nèi)容監(jiān)控到敏感詞直接拒絕發(fā)送，評論區(qū)監(jiān)控到敏感詞達(dá)到一定復(fù)審要求需要對視頻復(fù)審，并記錄敏感評論的用戶到“嫌疑人關(guān)押處”。

怎么知道哪些是敏感詞呢，首先要有一個(gè)敏感詞庫，庫中的詞從哪里來呢，一個(gè)是滿大街都知道的敏感詞先導(dǎo)進(jìn)去，一個(gè)是從封號或低分內(nèi)容和評論中不斷獲取還有就是和友商資料共享尤其是做閱讀類的友商（也不知道行的通不）。

02 任務(wù)分配機(jī)制

視頻每日都在產(chǎn)出，內(nèi)容五花八門，如何審核這些視頻，怎么分配?

這就需要一個(gè)任務(wù)分配機(jī)制，按量或地區(qū)分配視頻?？紤]到視頻的每時(shí)每刻都在產(chǎn)生，這就需要任務(wù)分配機(jī)制有個(gè)定時(shí)器，視頻積累到某個(gè)量或者隔某段時(shí)間就自動(dòng)分配任務(wù)給人工審核，人工優(yōu)先審核發(fā)送時(shí)間較早的視頻。

人工也有各種突發(fā)情況比如離職、生病請假導(dǎo)致任務(wù)無法完成這怎么辦，視頻不能不審吶，這就需要一個(gè)任務(wù)再分配轉(zhuǎn)入轉(zhuǎn)出的功能來保證當(dāng)天視頻盡量當(dāng)天審核。

03 視頻評分機(jī)制

任務(wù)分配完了需要審核視頻，這時(shí)視頻評分機(jī)制就開始作用。視頻評分機(jī)制分兩種，一種是連續(xù)被評為優(yōu)秀視頻發(fā)布者發(fā)布的視頻系統(tǒng)自動(dòng)通過審核。

這個(gè)優(yōu)秀的標(biāo)準(zhǔn)可以是極其嚴(yán)苛的，比如毫無污點(diǎn)且達(dá)到某種數(shù)目的點(diǎn)贊、評論和關(guān)注才可以評級優(yōu)，也可以是發(fā)布的內(nèi)容和評論、點(diǎn)贊的內(nèi)容只要沒有污點(diǎn)即可評優(yōu)。這么做的主要目的是提高進(jìn)審效率，因?yàn)槿斯な钦娴谋容^慢。

第二種就是人工評分機(jī)制，評分標(biāo)準(zhǔn)暫時(shí)分為低俗、色情、正常。低俗色情的直接刪除反饋給發(fā)布者，同時(shí)記錄下用戶數(shù)據(jù)、操作者、原因和時(shí)間做到每個(gè)審核都跡可尋，同時(shí)也可用于統(tǒng)計(jì)該App中發(fā)什么類型的視頻比較多，用于年度總結(jié)反思用。

對于人工來說每日都在審核大量視頻，百密總有一疏，漏網(wǎng)之魚也不少，如何在事情沒有傳播開來就扼殺掉，這就需要舉報(bào)機(jī)制。泱泱大國總是不乏正義之士的，舉報(bào)機(jī)制分等級，等級高的直接百里加急件送給人工復(fù)審，等級低的都是小打小鬧，市場最常用的手段是系統(tǒng)自動(dòng)限流可以參考使用，當(dāng)然還有其他的。

舉報(bào)的等級可按舉報(bào)數(shù)量、舉報(bào)時(shí)選擇的舉報(bào)原因等級或者兩個(gè)結(jié)合使用。

04 發(fā)布者評分機(jī)制

發(fā)布者評分機(jī)制的依據(jù)包括發(fā)布的內(nèi)容和評論或者瀏覽記錄，總結(jié)起來就是他在此App的一言一行。

對于發(fā)布的內(nèi)容可根據(jù)其每年、每季度、每月、每周發(fā)布視頻的評分標(biāo)簽給出得分，色情低俗達(dá)到某值說明是慣犯就直接封號處理，首犯不嚴(yán)重或者還沒到達(dá)某值就統(tǒng)統(tǒng)丟到“嫌疑人關(guān)押處”，此處的人只有兩種結(jié)果要么繼續(xù)作惡封號要么改過自新慢慢脫離嫌疑釋放出來。

評論也是內(nèi)容輸出的一個(gè)入口，在法治社會人人說話都要付出代價(jià)，評論舉報(bào)隨處可見，被舉報(bào)次數(shù)多，慣于妖言惑眾日的就直接封號處理，偶爾評論言辭激烈次數(shù)達(dá)某值或者被舉報(bào)次數(shù)還不是很嚴(yán)重就放到“嫌疑人關(guān)押處”，日后哪天發(fā)個(gè)視頻也能及時(shí)審核評分。

總是會有一些人只看不說話，看視頻就圖個(gè)樂子。這時(shí)瀏覽記錄就比較重要了，他瀏覽的創(chuàng)作者評分是多少，瀏覽的內(nèi)容有哪些，這種用戶只需要保持瀏覽記錄不出問題就可以了。

“嫌疑人關(guān)押處”的主要作用是在“嫌疑人”后續(xù)發(fā)布的視頻在人工審核時(shí)有標(biāo)簽且置頂顯示用于提醒人工審核該人時(shí)需要注意。畢竟有些視頻萬一發(fā)出去不及時(shí)處理影響的不只一點(diǎn)點(diǎn)，App的命運(yùn)搞不好就此發(fā)生大轉(zhuǎn)折。

05 員工考核機(jī)制

員工考核機(jī)制的主要目的就是為了防止員工懈怠，審核不嚴(yán)格以及作為優(yōu)秀員工的獎(jiǎng)勵(lì)標(biāo)準(zhǔn)之一。

機(jī)制主要分三個(gè)方面（暫且就想到這三個(gè)）：

一個(gè)是日完成比例，一天中審核完的視頻有多少，還剩下多少；

二是審核通過率，審核同過率高為啥子呢，審核通過率低又為啥子呢，不高不低就是在摸魚么？

三是平均單位視頻審核時(shí)長，是高于平均值還是低于平均值。高于平均值到底是因?yàn)樾傅⌒枰埶缺柽€是因?yàn)樾率制鸩铰枰f帶新或者員工培訓(xùn)。低于平均值是因?yàn)榉笱芰耸逻€是技術(shù)純熟的得心應(yīng)手。

以上這些都是要算在考核之內(nèi)的。

審核通過率這個(gè)怎么說，有可能有標(biāo)準(zhǔn)但是需要行業(yè)通過數(shù)據(jù)分析出來?；蛘呔蜎]有，那只有異常數(shù)據(jù)才能作為參照標(biāo)準(zhǔn)。還有平均單位視頻審核時(shí)長這個(gè)數(shù)據(jù)也是需要系統(tǒng)大量計(jì)算人工審核速度才能計(jì)算出來的，不能紙上談兵亂說一通。

06 人工智能識別機(jī)制

這個(gè)識別主要是對視頻做第一層評判，不堪入目的內(nèi)容就通過人工智能視頻解析直接pass不通過并在發(fā)布者評分機(jī)制中留下軌跡。

這個(gè)人工識別機(jī)制只能是粗略的篩選不能作為主要的篩選工具。實(shí)在不行我覺得去掉也可以，也不知道視頻解析有沒有達(dá)到這個(gè)技術(shù)，之前看新聞某視頻播放軟件的標(biāo)點(diǎn)師說，kiss鏡頭現(xiàn)在的技術(shù)還捕捉無法完全找到，只能人工標(biāo)點(diǎn)，希望人工智能可以解決。最重要的一點(diǎn)是不知道價(jià)位。

以上就是我對“短視頻為防止色情低俗需要一個(gè)人工審核功能，如何設(shè)計(jì)”這個(gè)問題的一些個(gè)人理解和看法。

本文由 @一一得一 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)作者許可，禁止轉(zhuǎn)載。

題圖來自Unsplash，基于CC0協(xié)議。