起點課堂會員權益
職業體系課特權
線下行業大會特權
個人IP打造特權
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導直播
12場專業技能直播
會員專屬社群
榮耀標識【視頻后臺專題】算法與后臺的完美結合——視頻內容理解
編輯導語：視頻行業的發展從曾經的專業劇組制作內容，到如今人人都可以進行內容創作，大家想要表達的內容也通過視頻的形式呈現了出來。正是因為如此，視頻的供給量出現了指數級的增長曲線。因此，算法與后臺的完美結合是當下可以改進的一大方向，內容理解也相應成了輔助視頻質量評判的重要引擎。本文對該引擎進行了總結，并與你分享。
視頻行業從曾經基本以專業劇組制作內容為主到現在個人博主+小型工作室+專業劇組的多元內容制作，現在越來越多人開始嘗試通過以視頻的形式承載自己想要表達的內容。
這樣的環境下，視頻生產者逐月遞增，伴隨著視頻生產者人數的增多，視頻的供給量便出現了指數級的增長曲線。在龐大有復雜的視頻內容的海洋中，篩選出來優質視頻，淘汰劣質視頻在當下僅通過人工的方式已經無法覆蓋行業的素材，因此內容理解便成為了輔助業務對視頻進行優劣鑒定的重要引擎。
一、什么是視頻內容理解
視頻內容理解，主要是針對視頻進行從碼流質量到內容表現及含義的分析。視頻行業中，會針對于視頻內容生產源對視頻內容進行區分，主要是分為PPC（專業版權采購或自制內容）、PGC（專業分賬內容）、UGC（用戶原創內容）這三類視頻內容。
內容理解的目的是通過AI的方式將視頻內容（包括視頻、音頻、字幕）和視頻互動互動內容（評論、收藏、點贊、評分、彈幕、屏蔽、不推薦等）等多維度內容進行表征和語意的詳細分析，并將分析的結果推動給前端如推薦、搜索等業務。
1. 行業發展
內容行業發展至今主要存在三個時代：
- 門戶時代
- 搜索/社交時代
- 智能時代
（1）門戶時代
1995~2002年主要是門戶網站主導下的互聯網內容服務，國內代表公司是四大門戶網站，新浪、網易、搜狐、騰訊。在互聯網的初期，由于用戶的消費信息數量基本只能從紙媒和電視中獲得，又由于紙媒版面限制和電視廣告的按時間線型排布的特點，導致報紙+電視+廣播這三種傳統方式內容數據較少且不具備長時間儲存的特性。
因此在那個時代用戶亟需一個內容聚合平臺，因此門戶網站變成為了人們夠快速的尋找信息的基礎設施。門戶網站主要運營的方式是通過人工對內容進行整理，然后以頻道頁形式滿足用戶需求。
前期主要是以人工對信息的判斷進行運營，伴隨著數據量級的的增多，僅依靠人工運營的方式會出現成本急劇攀升，人員沒有更多精力處理海量內容，因此各大企業紛紛引入自動化內容分類等技術，此后，內容分類技術伴隨著數據增多而發展迅速。
（2）搜索/社交時代
2003年~至今，國內及海外互聯網都在搜索社交的時代中。主要代表公司：騰訊、Google、Facebook、百度、愛奇藝（愛奇藝做了能力最強的全站視頻搜索引擎）。
隨著家用電腦及智能手機的不斷普及，內容數量和類型不斷豐富，門戶網站已經很難承擔多類型海量內容的分發任務，用戶面對爆炸內容時，傳統門戶網站對于用戶選擇呈現了低效的現象。
于是，一種新的信息分發技術誕生——搜索。搜索主要解決的問題是根據用戶搜索的內容找到相關內容，并根據將內容有序的呈現在用戶面前。搜索初期關鍵詞技術很好的解決了這個需求，于是也成為那個時期的研究熱點。
但是關鍵詞技術同樣存在實體歧義的局限性，比如搜索亞瑟王，關鍵詞很難區分出來是亞瑟玩傳奇的亞瑟王，還是Type-moon的Saber。在2012年 Google 提出知識圖譜概念，主要就是用于解決上述的實體歧義問題，實體鏈指的問題也有了比較大的進展。
（3）智能時代
自2012年~至今，伴隨著內容爆炸式的增長，用戶消費模式更進一步融合了門戶網站的海量內容呈現+搜索時代的精準化內容檢索，推薦及個性化推薦應運而生。2012年則是作為智能時代的開端，雖然個性化推薦技術早有研究，但是對于信息分發這個任務有不可或缺的推動作用。
① 圖文時代
個性化推薦其實經歷了兩個時代，其一是圖文時代，其二是視頻時代。圖文時代在國內則是以今日頭條和一點資訊為代表的個性化圖文分發引擎，初期內容基本上是通過爬去各個傳統門戶網站的內容經過自己的內容理解做好基礎分類的標簽歸屬，然后在通過個性化分發引擎做到你關心的就是頭條。
② 視頻時代
自2015年開始，伴隨4G普及及終端設備的急劇降低，用戶消費場景正式步入移動時代。在內容消費中也逐步變成從傳統圖文消費轉變為了視頻、音頻消費的模式。這個時候，由于音視頻本身的識別難度遠大于圖文內容，在優劣內容判別時，傳統的知識圖譜、關鍵詞、人工運營已經無法覆蓋生動的視頻內容，這個時候內容理解便得到了重要發展。
2. 內容理解的重要性
內部因素來看：伴隨內容爆炸式增長，UGC創作者創作水平、創作目的各不相同；PPC&PGC內容則面臨著視頻二次創作，選擇優質經典內容成本極高的問題；消費者存在內容理解偏差，平臺需要保證基礎內容質量將優質內容呈現在消費者面前。
平臺面臨運營人力成本控制及優質內容選擇，優秀創作者篩選，版權采購及運營工業化等各方面問題。
外部因素來看：自2015年開始，食品消費增速不斷擴大，視頻消費已經占據用戶在內容領域消費的絕對大頭，并且在2021年及之后的一段時間內依然是保持增長賽道。
外部需求有，內容供給足，運營成本高，三者結合，視頻內容理解則成為了平臺重要扶持對象。
二、視頻內容理解產品架構
產品能力上來講，內容理解主要分為三個部分：視頻信息歸類、視頻特征整理、優劣內容識別。
視頻信息歸類：通常情況下內容理解算法經過深度學習以后，可以對視頻內容進行內容分類及標簽定義，用于給視頻內容自動化定義基礎的分類和相近的標簽。
視頻特征整理：視頻特征主要針對于視頻內容本身和視頻評論進行特征標識的。通常情況下會視頻本身的特征主要是對畫面和音頻兩個方面進行特征整理。畫面方面主要是強調的是視頻主題（視頻帶貨、才藝表演、古裝電視、綜藝真人秀）、作者類型（穿搭博主、顏藝博主）、創作者能力及興趣（資訊版本、歷史板塊、泛知識類板塊）、OCR識別（主要識別視頻畫面中的文字關鍵信息）。
對于音頻則主要是識別音頻中的音樂（出現位置、BGM名稱等）、ASR識別（語音轉文字、音色、音調等）。針對于視頻評論主要是整理評論估計推薦度、評論關鍵詞等信息作為輔助本身本身特征及歸類的描述。
優劣內容識別：一般情況下內容理解后臺會對線上視頻內容做組合式內容優劣識別，組合式包括了內容本身及內容評論兩個部分。這之中主要是會對內容本身、內容評論做獨立優劣識別，同時會根據內容評論的分析結果作為內容本身優劣的一個評判維度。
針對于內容本身一般會分為優質內容、次優質內容、一般內容、劣質內容四項，評論通常情況下會分為神評論、一般評論、爭議評論、劣質評論、抑制創作評論這五種類型。整體對于內容優劣的判斷通常如下圖所示：
1. 內容理解流程
為了快速對視頻內容形成信息歸類、特征理解與優劣判定，當視頻入庫的時候，內容理解后臺會監聽視頻內容入庫的消息，視頻入庫完成后通常會到存儲將視頻內容下載到內容理解后臺中，在內容理解后臺對視頻展開畫面及音頻的內容分析，確定視頻的基本歸類、特征、優劣判斷。
在視頻上線一段時候以后，展開周期性的根據視頻互動數據對視頻內容理解進行多次優化，不斷深化內容畫像。
目前線上視頻業務中，用戶視頻通常情況下不會給用戶對線上已發布時候進行視頻調整的機會，因此內容理解中不太需要判斷視頻是否存在修改而進行相應的畫像調整；版權視頻由于成本問題，通常收到監管要求以后會對視頻進行再加工處理，因此線上視頻會進行剪輯渲染等調整，所以當內容理解后臺監聽到視頻調整以后，需要對視頻進行重新內容分析。
對于一些重點內容，需要內容理解后臺將分析的結果呈現在運營面前，運營可以對分析結果進行調校。通過以上的行為，便可以對視頻內容做相對詳細的分析，結合上述內容，內容理解的流程如下圖所示：
2. 內容理解業務覆蓋
如前文內容理解的介紹，內容理解后臺主要的作用是在于視頻信息歸類、視頻特征整理與應用、優劣內容識別三個部分，包含了對視頻、音頻、字幕、評論為主的多維度內容分析。
由于在PPC、PGC、UGC內容中業務對于視頻內容的運營策略與人力資源的不同，因此內容理解對于不同生產形勢的視頻內容會進行區別化分析。
我們通常情況下將版權采購和平臺自制時長高于20分鐘的視頻稱之為版權長視頻，把用戶上傳的稱作用戶視頻，目前新興的如《生活對我下手了》系列版權采購單集5分鐘以內的視頻可以稱之為微劇。由于微劇整體從內容供給和消費而言與PPC、PGC長視頻相似，因此可以并入到版權或自制視頻中進行分析。
（1）信息歸類
分類：版權內容一般會對自己的視頻做200-300個分類，包括一級分類（如電影、電視劇、綜藝、動漫、紀錄片等）、二級分類（華語、港臺、日韓、歐美等）、三級分類（喜劇、愛情、動作、青春、奇幻等）。由于版權視頻在內容購買時存在投資與購買片庫的兩種邏輯，因此新熱大火的內容通常是人工運營選擇分類，其它片庫內容可以通過內容理解后臺對分類進行建立。
用戶內容通常情況下會做相對于版權視頻相對多一些但是層級少一些的分類，一般情況下用戶視頻分類的個數約500-800個，包括一級分類（游戲、舞蹈、鬼畜、美食等）、二級分類（美食制作、美食偵探、美食測評等），這部分內容一般都是由內容理解后臺或用戶選擇進行自動歸類（由后臺歸類節約用戶上傳視頻步驟容易提升產量，因此由后臺歸類逐步變得更廣泛的應用），頭部大號一般會有相應的大V運營同學對分類進行調整。
標簽：一般情況下，內容理解后臺會根據視頻畫面內容、音頻、字幕內容進行初步的標簽核對，后續會通過離線加載視頻評論的方式，將視頻評論的標簽和視頻內容的標簽全部打入視頻，后續經過搜索等、推薦等行為，不斷確定標簽的優先級，將標簽打在視頻內容、專輯、播單等主體上面。與分類相同，頭部大V的內容會由公司運營對標簽進行調整。
（2）特征整理
特征理解主要分為視頻表征理解（如視頻主題、創作者興趣特長等）、優質音視頻內容識別（精彩片段分析、BGM分析等）這兩部分。
視頻表征理解：表征理解顧名思義是對視頻表達的內容主題、創作者長短板、消費匹配等進行分析，通過對畫面、字幕、音頻的分析，確定視頻的表達主題、出鏡人員識別（演員、網紅之類的）等信息，將信息存放在內容理解庫中，并廣泛應用于視頻的編目信息。
優質音視頻識別：優質音視頻識別的主要的應用場景是在于長視頻消費和生產，同樣也可以適用于直播領域的點播內容制作，特殊場景下的內容展現（如足球比賽的關鍵進球、紅黃牌等信息）。
由于版權視頻業務中，在消費和生產端存在優質音樂回放、優質視頻拆條等素材，因此在整體的制作消費環節中，內容理解后臺可以通過算法分析并識別出優質的音視頻內容給到生產、消費端進行使用。
音視頻特征識別除了本身作為音視頻內容外，同時存在著從視頻中提取并分析相應音視頻內容，并根據內容識別專場、優質幀位等信息，從而找到并廣告位精彩點位等關鍵位置；進一步生產個性化封面圖、個性化標題等信息用于后續的推薦、搜索、播放等業務場景中。
（3）優劣分析
一般情況下內容理解后臺會從三個方面對視頻進行優劣判斷，分別是音視頻質量、視頻內容質量、視頻互動。會對以上三個方面各處每個方面的基礎分數，同時會將三者的分數在消費端的綜合表現及權重做多次加權給出總體分數。
① 音視頻質量
通常情況下，音視頻質量是視頻優劣的一個重要指導指標。。一般情況下評價音視頻質量主要有以下3大方面：
- 畫面問題
- 音頻問題
- 音畫問題
畫面問題：畫面問題主要是涵蓋了花屏、拉絲、灰屏；分辨率；幀率；橫豎屏；畫面細節展現；模糊、馬賽克；黑屏等問題。
音頻問題：爆音；噪音多；卡頓等問題。
音畫問題：主要面臨的問題的是音畫不同步。
根據以上三類問題，通常情況下會將對音視頻質量分析的步驟稱之為質量檢測。質量檢測一般是會根據已經上線的視頻，按照視頻內容的重要程度進行自動檢測及人工檢測，一般情況下為了保證人工檢測的置信性會進行兩輪的人工檢測，視頻行業的說法是一檢和二檢。
自動檢測：
視頻進入到平臺通過安全審核上線后，會優先利用算法對視頻進行質量檢測，質量審核是面對所有平臺已上線視頻做的。
一般情況下對視頻質量進行畫面、音頻、字幕等單方面檢測，同時會利用平臺用戶消費狀況給予視頻一個綜合分數。在自動檢測時，為了更加清晰地了解到是平臺對視頻二次編碼的出現的質量問題還是視頻原始介質的問題，一般都會對原視頻介質和線上碼流都進行自動檢測。
現在常用的綜合分數主要主要是分為兩種，一種是平臺自行開發的，另外一種是基于開源工具進行檢測。
VMAF是一款Netflix開發的一款基于視頻畫面進行綜合打分算法的工具，視頻畫面經過工具后會得到PSNR的分數，通常情況下PSNR分數相差3以上基本就是肉眼可見的質量差異。下圖上面兩張圖片PSNR分數為31分，下面兩張個圖片是34分。
雖然目前市面上各家公司都習慣于對外宣傳使用自研視頻質量分數，如果希望做跨平臺對比視頻內容一般還是使用第三方數據可靠性比較高。
人工檢測：
對于平臺內部的重點視頻在自動檢測出現出現比較有爭議的分數時，便需要人工檢測進行校驗。一般人工檢測的視頻包括平臺版權采購內容、平臺自制內容、頭部創作者視頻、近期播放指數陡增的視頻這四類。
人工檢測一般的檢測項和自動檢測保持一致，需要經過二次人工檢驗對視頻進行最終定性，并給出視頻調整的綜合性建議（如對原視頻介質進行優化、重新對運營流進行編碼等操作）。
② 視頻內容質量
視頻內容質量主要指的是視頻內容本身（不計算編碼后音視頻碼流質量）對于用戶價值平臺價值的綜合得分。由于這部分視頻計算得分需要模仿用戶心理狀態，因此在視頻內容質量的計算過程中需要主要考慮的是基于平臺消費情況視頻的客觀事實和符合平臺及用戶消費導向的優質視頻篩選這兩個部分進行視頻內容質量打分和推薦。
對于視頻內容消費而言，人們對于優質的理解總是各不相同的，此時優質內容的識別就需要給予平臺調性和主推以及用戶消費進行綜合性篩選；劣質內容的認定基本上用戶會形成相應的共識，因此內容理解后臺對于劣質內容識別可以通過規則及算法精準找到。
劣質視頻識別：
劣質的視頻內容一般可以通過標題與內容的聯系、視頻內容畫面、音頻等元素是可以通過系統識別出來的。具體的表現有標題黨、視頻時間過短、營銷導流（貼二維碼、硬廣）、有明顯的臺標、作品重復、誘導互動、性暗示、非原創投自制等。通過這樣通用性的劣質視頻規則和算法的識別可以第一時間內識別出來平臺內的劣質視頻并加以標識。
優質視頻探索：優質視頻需要滿足的條件是熱門、多樣、經典、符合平臺價值觀這三方面的需求。
- 熱門
- 多樣
- 經典
- 符合平臺價值觀
視頻的熱門判斷：
熱門內容一般分為總體熱門內容和地方性熱門內容，總體熱門內容主要是需要具備的條件是實效性、權威性、廣泛性這三大特點。
實效性內容主要是基于熱點事件，網絡用戶查閱量較高的話題做成的內容，筆者當年做了一個監控微博熱搜+自動圖文轉視頻的工具，對實效性內容制作和分發起到了還不錯的收益；
權威性主要指的是賬號，對于熱門內容而言，最簡單的判斷方法是看賬號的屬性；
廣泛性指的是需要篩選出來的內容具備規模效應，至少平臺中60%以上的用戶會喜歡這樣的內容，產生的長播放覆蓋占比需要超過當日活躍用戶數的30%以上，比如B站在熱門內容的選擇中對于二次元宅舞動漫混剪會有相應加權。
地方性熱門內容需要給予LBS進行推薦，作為一手分析優質內容的視頻理解后臺，需要對地方性優質內容做好相應的地域標記，比如某些地區第二天強暴雨預警就是地方性很強的熱門內容。
視頻多樣性選擇：
平臺在判斷優質內容的時候，會根據內容分類在每個分類下都找到一些評分較高的視頻，在整體的視頻內容召回時，不在單純進行整體的評分排序，而是按照平臺視頻消費的內容頻道、視頻歸類等因素，按照頻道或者歸類（在統計頻道或者歸類時需要獲取不同類目下內容和實際產生vv占比及BI預測占比）進行按比例召回，根據頻道歸類的消費指數*視頻分數進行統一排序后再通過算法模型做一定的順序打亂，通過這樣的方式召回的視頻用以構成了平臺的優質內容多樣性，讓用戶在消費中可以感受到平臺內容多且種類多。
經典視頻的篩選：
在視頻平臺中都存在著一些能夠長期穩定獲取vv及長播放的視頻內容，長視頻平臺中可以發現如優酷的《甄嬛傳》、愛奇藝的《請回答1988.》、B站的《半澤直樹》這樣的內容，短視頻平臺中如講解古生物的《鬼谷說》系列、講解人物歷史的《東夢人物志》系列；美食作家王剛、廚師長農國棟、覓大叔這類實用型教授做菜、選東西的內容等。
那么這部門視頻內容的獲取便需要內容理解后臺借助于消費數據不斷刷新獲取具有長效不斷vv，且長播放相對較高的視頻內容，將這些視頻填充進入優質內容池中作為平臺經典內容呈現。
平臺價值觀的嵌套：
平臺需要有自己的價值觀，內容理解后臺在獲取優質視頻內容時需要和平臺價值觀做充分綁定的。有些時候用戶喜歡喜歡看的未必是在社會上平臺中需要努力宣傳的視頻，這個時候平臺需要根據自己推崇的標簽分類或是知識圖譜中對上述三者選出的內容進行權重的二次分配，從而形成最終的優質內容。
③ 視頻互動
視頻互動主要作用于優劣視頻篩選和優劣互動內容識別，主要的原則有三點：
- 通過互動數據調教原視頻的特征
- 利用互動數據輔助判斷視頻優劣
- 互動數據分析并賦能給消費及生產
互動數據調教原視頻的特征：視頻互動數據包括基礎的贊、踩、舉報，也包括主管評論、標簽添加等信息。在內容理解中，可以通過用戶的互動數據進行知識圖譜、關鍵詞等信息，對原視頻特征做二次校正，補充僅通過內容角度分析缺失的數據同時對特征權重按照用戶的消費進行重新調整。
利用互動數據輔助判斷視頻優劣：通過對用戶互動內容，可以最直接的得到視頻在消費端消費好壞的情況，基于視頻消費情況對視頻優劣進行二次校正，可以最大限度讓優質小眾視頻不收到埋沒，讓廣泛消費的視頻得到更加公眾的判罰。
互動數據分析并賦能給消費及生產：一般情況下內容理解后臺對于主管評價內容會會進行兩個方面的展露，其一是對生產者，其二是對消費者。
生產者希望獲取的評論內容是專業、輕松有趣的、負面較少的評論內容，只有這樣的內容更多才能促進平臺內容生產，創作者內容更加精進。
對于消費者而言，用戶喜歡和視頻主題相關的，有趣，符合大多評論氛圍的評價。
因此內容理解后臺在判斷優質內容上面需要根據視頻內容、評論內容及情緒表達選出有趣、有用、符合平臺調性、相關性強、負面少的內容作為視頻的優質評論。
劣質評論內容相對于優質評論內容則更容易識別，因為人們往往對優質的定義很多，但是對劣質的定義卻是有很強的統一性。因此在劣質內容識別上，內容理解后臺可以結合反垃圾的做法快速篩選出來劣質內容。
3. 內容理解后臺產品架構
內容理解定義：對接平臺線上視頻及互動數據，對介入的視頻多業務級多維度歸類分析，同時進行標簽、知識圖譜對齊，利用線上數據及算法模型對視頻整體內容進行歸類、特征梳理、優劣辨析；對視頻二創進行制作指導；對視頻消費進行業務化處理。
因此在整體內容理解后臺的產品架構中，需要先做數據輸入與輸出的處理，根據所需要的數據找到對應數據平臺從而完成整體架構設計。
（1）內容理解后臺數據交互
我們將內容理解定義為兩部分：通過內容本身理解內容、通過用戶行為理解內容。前者主要是針對內容抽取歸類于標簽。后者通過累計的用戶數據，經過統計、建模、平臺傾向、產品規則等方面對內容進行分析。
（2）內容理解后臺產品架構
通過上述數據交互，可以清晰的了解到內容理解后臺外在數據獲取及數據處理中需要對接的系統，主要包括了素材庫、生產制作系統、運營系統、BI、視頻互動數據庫、OCR等。
因為內容理解后臺的使用特性，故而繼承了工具+服務兩部分的屬性。服務則存在于工程和算法兩個方面，工程上主要是數據讀寫和接口服務，算法上則是內容分析、互動分析等算法。結合數據流轉可以得到如下簡要內容理解后臺架構圖：
三、視頻內容理解產品設計
在整理完成內容理解后臺的業務覆蓋，梳理數據流轉、業務流程和產品架構以后，下一步就是內容理解后臺的產品設計階段。
由于內容理解后臺相對于基礎后臺比較偏重于算法，因此產品經理在整體的產品階段需要負責模塊不僅僅存在于功能方面，還有一定的算法需求。產品經理在這種類型的產品價值則主要體現在了業務發掘、產品設計、跨部門溝通。
1. 業務發掘
對于視頻理解這種新型后臺產品，不像傳統后臺有著天然的使用方，為了能夠讓產品逐步做起來，最重要的事情是在業務中找到業務痛點，在產品上線初期可以讓更多的用戶來使用后臺（包括后臺的數據）從而不斷得到優化迭代的機會，讓產品能夠存續下來。
完成了生存挑戰，后續就是讓產品覆蓋更多的業務，存在更多的能力，整合更多的系統，讓產品成為基礎建設。最后一步就是讓產品變現，將整體的能力變成對外服務，做基礎建設的能力輸出獲利。
產品經理在整體的流程中，很重要的一點就是業務發掘能力，在整體業務發掘中主要是對需求的發現與收集能力，這之中主要是通過對B端的實地觀察訪談和對消費端的實際使用。
對B端用戶的發掘主要是通過觀察法和訪談法進行，主要的目的是通過觀察和訪談找到業務操作上的痛點和實際業務流程。業務痛點主要是核心是老生常談的效率問題，如海量視頻歸類，優質片段的尋找，優質視頻的尋找，高優評論的識別，劣質內容的提示等。
在消費的時候，其實可以發現如視頻冷啟動內容不夠精準，視頻評論將更好的評論放在了更靠后的地方等等。通過這些在消費端發現的問題，可以找到內容理解后臺可以增加的業務范圍或優化的方向。
2. 跨部門溝通
前文說了，對于內容理解這樣的后臺產品而言，需要很多數據和服務，因此在需求明確之后，產品設計之前，需要羅列出來可能要合作的部門，需要不斷開會拉起各個部門的實際負責人和相關產品研發人員，確定哪些能力是當下支持的，哪些能力需要開發，各自負責的邊界范圍是什么，然后根據現有能力組裝內容理解后臺的能力覆蓋。
后期則是對于功能的研發及為了業務發展更好，對整體數據指標的建立與拉齊。
（1）業務打通
業務初期階段，產品經理需要在根據架構梳理出來需要對接的外部團隊，找到做內容理解后臺對于每個業務的收益從而獲得其他業務的支持。
之后便是根據數據流轉和各服務之間的架構做好相應的業務流程和產品流程。由于現在中臺化服務已經在各大公司普及開來，因此串聯業務的工作必然是內容理解后臺需要做的工作，產品經理在這里最重要的事情便是梳理大體的業務流程。
（2）指標建立與拉齊
在上線以后，為了能夠獲得系統間更快的響應，讓用戶及服務前端的數據獲得更加敏捷的響應，產品經理需要為內容理解后臺做以下3件事情：
- 找到長期支持內容理解后臺的合作伙伴
- 建立各項指標讓所有服務方對齊
- 建設長效的問題反饋收集反饋機制，促進產品迭代。
3. 產品設計
在對業務發掘以后，下一步就是根據發現的問題，找到功能或者策略可以解決的方式提供服務。由于內容理解后臺是集成多種服務的算法+工具+服務形式后臺產品，因此產品經理在產品設計中的核心能力是打通系統之間的數據、提供工具給用戶使用、優化模型建立評價體系。
（1）流程設計
對于內容理解后臺這種需要多服務支持的后臺產品，系統間的產品流程是非常重要的。在流程設計中，由于需要進行系統串聯，所以需要主要考慮的地方在于分析的敏捷性、精準性。
敏捷性：流程設計主要是希望整體的分析速度能夠更快，因此需要在設計中做盡量多的并行事件。需要了解系統間對于數據分析的前后關系，合理安排數據入庫的順序并完成分析。
精準性：需要對輸出的數據進行負責，因此在整體設計中需要盡量規避可能出現數據出現問題的流程設計，做到不漏、不偏。
（2）工具設計
內容理解工具主要的目的是有兩點：
- 輔助運營判斷內容
- 展示流程提升問題排查效率
① 內容判斷
工具設計中主要需要展示原本內容和分析結果，需要將整體視頻展示做到全面和準確，在分布上需要做到模塊順序可以調整，默認狀態下讓根據最大原則定好模塊排布順序。因此從工具上需要為用戶展示內容池、內容具體信息兩個模塊。
內容池：主要是按照業務需求以一定的規則算法選出一些類型的內容池，如熱門內容池、新用戶冷啟動內容池、優質內容池、點贊飆升內容池等等，用戶可以設置一些條件和維度進行內容篩查。
內容信息：內容信息一般展示用戶查詢內容的基本信息及內容理解后臺給出的分析信息，功能上需要支持基本的查看和修改能力。同時用戶修改的操作的正負向信息需要傳遞給算法，從而優化算法模型。
② 流程排查
主要用于視頻內容分析故障的時候，確定故障原因，找到第一責任人進行故障排查，讓業務順利進行下去。
③ 小結
內容理解工具端的設計組要服務于兩大方面，其一是內容判斷，其二是流程排查。內容判斷主要是內容池展示和內容展示，流程排查需要將分析流程明盒化，提供給研發排查問題，產品也可以根據流程做效率上的進一步優化，
（3）建立評判體系
基于內容理解的算法，產品經理需要建立指標體系不斷提升算法能力，提升分析模型。指標體系主要需要應對兩個方面的的挑戰，企業內部需要查看業務覆蓋量，面對用戶需要查看推薦數據的具體指標完成情況。產品經理需要和算法工程師一起制定指標，讓分析能力增強，推薦數據更優，覆蓋業務更廣。
企業內考量：
產品經理需要在企業內容尋找到可覆蓋的業務，了解清楚業務注重的供給數據和核心看重的規則和數據指標，產品經理需要分業務和算法工程師對齊內容篩選指標，讓更多業務用起來。
對于企業內考量則是覆蓋有效業務范圍是一個考量指標，上限是100%；新業務接入速度也是一個考量指標，服務足夠完備的情況下，新業務接入可以按照天來計算。
分析準確性也是一個重要指標，一般情況需要人工進行標注才能不斷提升，整體來說分析結果準確度在80%左右就是非常好的效果了，當然上線肯定是還是100%。
用戶側指標：
為了能夠真正賦能于業務，整體內容分析與數據提供需要和業務側對于視頻消費數據保持一致的指標。指標分為兩類，一類是業務偏重的類型，一類是業務增長中的關鍵指標。
業務偏重的視頻類型主要體現在了識別的精準程度和數據提供的權重；增長關鍵指標需要緊密貼近消費，如需要查看視頻的CTR、UCTR、LTR（點贊率）、長播放占比（電影電視劇視頻一般是10min；UGC豎版視頻一般是3s）等數據。
四、內容理解在的應用舉例
對整體內容理解分析完成以后，我們針對于內容理解后臺在視頻平臺中的應用舉幾個不錯的例子。
1. 優質內容池篩選
什么事優質內容池呢？每個人對于優質視頻的定義都不盡相同，因此在優質內容篩選中，內容理解后臺通常是通過利用優質內容分析的結果和用戶消費數據共同選出優質內容。
如視頻源非常清晰，用戶填寫視頻的標題等信息分詞明確，音視頻質量得分很高，視頻主題與當前熱門主題或未來可預測到熱門主題密切相關等，再通過消費數據如抖視頻冷啟動LTR及3s播放數據很不錯，然后實時監聽視頻的10w和100w播放量狀態，最終確定動態的優質內容池。
2. BGM內容獲取
有一個比較有意思的例子是檢測影視劇中出現的插曲，一般情況下影視內容插曲質量都非常高，被傳唱度很廣。
這也意味著用戶看完視頻以后，會回到視頻中的某一段來聽那首插曲，所以找到這些優質的插曲便成為了內容理解后臺在PPC內容分析應用中很重要的一部分。
通常的方法是首先把音頻做秒級別的切片，將音頻片段做頻譜分析，通過CNN（卷積神經網絡）技術對是否是音樂做判斷，最后在時序上找出完整的插曲片段；在找到這些音樂片段以后，下一步就是找到片段中優質的音樂，具體方法是剔除劣質音樂，由于影視劇中的插曲很多伴隨著演員說話和一些嘈雜的聲音出現。
因此可以通過音頻檢測的方式剔除這些相對低質音頻，從而得到優質的BGM。最后可以通過機器學習的方式，將得到的音樂做好分類，如爵士樂、古典樂等。
五、總結與展望
內容理解后臺作為融合算法型后臺系統，包含策略、功能等多種模塊的產品能力，對于產品經理的鍛煉是全方面的。在人力成本逐步上升的今天，伴隨內容體量不斷擴大，通過算法的方式給視頻做好相應的歸類、描述特征、篩選優質是非常有戰略意義的事情。
產品經理在面對這種復雜形勢的后臺系統中，基礎能力是多業務配合與底層架構拆解，進一步的能力在于策略和模型的校驗和研發一起推動算法迭代，最重要的能力是要對前端業務有自己深刻的理解，只有理解視頻業務，才能知道用戶最想要的是什么，找到系統優化與業務前進的方向，并真正做一些對用戶有價值的事情。
作者：大橘子-視頻產品，微信公眾號：薛慧卿
本文由 @大橘子-視頻產品 原創發布于人人都是產品經理，未經許可，禁止轉載
題圖來自 Unsplash，基于 CC0 協議
寫的好好啊 希望不久的將來我也可以在這個平臺產出同樣優秀的原創內容
寫的非常好！！收獲滿滿
雖然對于我的職業來說比較難理解，但是多了解一點內部的信息還是挺好的，感謝作者！