方法論:如何搭建內(nèi)容評估體系

1 評論 5998 瀏覽 63 收藏 14 分鐘

編輯導(dǎo)語:持續(xù)的內(nèi)容迭代創(chuàng)新是平臺重要的生存法則,而優(yōu)質(zhì)內(nèi)容的篩選能力則是平臺的核心能力。因此對于文娛平臺來說,搭建一個(gè)內(nèi)容評估體系是非常重要的,那要怎么搭建呢?一起來看一下吧。

對文娛平臺來說,持續(xù)的內(nèi)容迭代創(chuàng)新是平臺重要的生存法則,優(yōu)質(zhì)內(nèi)容篩選能力是平臺的核心能力。只有建立科學(xué)的內(nèi)容評估體系,持續(xù)滿足用戶對于“好”內(nèi)容的需求,用戶才會持續(xù)地使用和留存。因此,搭建內(nèi)容評估體系,打造健壯的內(nèi)容生態(tài),對于文娛平臺來說勢在必行。

一、為什么搭建內(nèi)容評估體系?

干貨丨文娛平臺如何搭建內(nèi)容評估體系,打造健壯的內(nèi)容生態(tài)

之所以進(jìn)行內(nèi)容評估,區(qū)別文娛平臺上的內(nèi)容好壞,原因有三:

1)用戶需要消費(fèi)“好”內(nèi)容

在吸引新用戶方面,“好”內(nèi)容有優(yōu)勢,比如有趣的投放素材可以吸引新用戶下載,內(nèi)容出圈可以帶來自然流量的增長。同時(shí),只有持續(xù)滿足用戶對于“好”內(nèi)容的需求,用戶才會持續(xù)地使用和留存。

2)應(yīng)該讓“好”內(nèi)容拿到“對”的流量

內(nèi)容行業(yè)的本質(zhì)是創(chuàng)新,追求內(nèi)容新鮮感是用戶的天性,持續(xù)的內(nèi)容迭代創(chuàng)新是內(nèi)容平臺最重要的生存法則,優(yōu)質(zhì)新內(nèi)容篩選的能力是平臺的核心能力。加之,流量資源是寶貴且稀缺的,只有精細(xì)化運(yùn)營流量,才能把這些流量盡可能給到最適合的內(nèi)容。

3)內(nèi)容有成本與收益

一方面,內(nèi)容的引入往往是伴隨著金錢的投入、員工的精力投入、用戶的流量投入,因此在創(chuàng)作內(nèi)容時(shí)需要一套篩選機(jī)制,在投入資源的早期識別優(yōu)質(zhì)內(nèi)容,高效扶持內(nèi)容;另一方面,內(nèi)容是可以獲得收益的,比如用戶為了看內(nèi)容購買會員增值服務(wù)、吸引轉(zhuǎn)化自然新用戶、用戶消費(fèi)更多流量也會間接為平臺帶來經(jīng)濟(jì)價(jià)值。有了內(nèi)容評估體系,可以厘清內(nèi)容的 ROI 輔助決策,實(shí)現(xiàn)內(nèi)容精細(xì)化運(yùn)營。

二、如何搭建內(nèi)容評估體系

常用的內(nèi)容評估方式主要有人工評估和數(shù)據(jù)評估兩種方式。

1. 人工評估

干貨丨文娛平臺如何搭建內(nèi)容評估體系,打造健壯的內(nèi)容生態(tài)

人工評估是要求為內(nèi)容定性的,在沒有數(shù)據(jù)或者強(qiáng)依賴人工審美的場景下我們會優(yōu)先選擇人工評估,但是在定性的過程中也應(yīng)當(dāng)盡量有程度上的量化,這樣可以在后期應(yīng)用人工評估結(jié)果的時(shí)候分類更清晰、應(yīng)用更準(zhǔn)確。比如說我們?nèi)斯ぴu估某個(gè)內(nèi)容的聲音優(yōu)美,那可能又要分為三個(gè)等級的優(yōu)美,是專業(yè)級別中的天籟之音,還是普通專業(yè)級別的優(yōu)美,再或者是普通人中的優(yōu)美聲音。

人工評估有人工審美參與,可以解決很多沒有數(shù)據(jù)量化的評估場景,但也存在主觀判斷偏差大的特點(diǎn),即便標(biāo)準(zhǔn)明確,人跟人的感受也會不同,每一名審核員對于內(nèi)容的理解非常容易產(chǎn)生偏差,一般會采用抽樣復(fù)審的方式保證最終結(jié)果符合預(yù)期,但是人工審核整體要對偏差有一定的包容心。

人工評估通常包括內(nèi)容初審評估、內(nèi)容歸類評估及內(nèi)容觀感評估三種。

干貨丨文娛平臺如何搭建內(nèi)容評估體系,打造健壯的內(nèi)容生態(tài)

2. 數(shù)據(jù)評估

干貨丨文娛平臺如何搭建內(nèi)容評估體系,打造健壯的內(nèi)容生態(tài)

數(shù)據(jù)評估是為內(nèi)容定量評價(jià)的,依托于海量的用戶行為,用戶對內(nèi)容的各種反饋是最客觀公正的一種評估,也是各文娛平臺內(nèi)部最關(guān)切的內(nèi)容實(shí)戰(zhàn)效果。

數(shù)據(jù)評估具有更強(qiáng)的科學(xué)性、客觀性和可比較性、反饋及時(shí)可以配合改進(jìn)流量分配的優(yōu)勢。內(nèi)容的價(jià)值可拆分從以下維度進(jìn)行具體評估:

干貨丨文娛平臺如何搭建內(nèi)容評估體系,打造健壯的內(nèi)容生態(tài)

1)營收價(jià)值

內(nèi)容可以直接帶來營收,用戶會為了某個(gè)內(nèi)容而付費(fèi),通常分為單篇收益和會員收益,這些收入可以歸因到每一個(gè)內(nèi)容個(gè)體上。

2)增長價(jià)值

優(yōu)質(zhì)內(nèi)容在平臺外部傳播可以帶來新用戶,也可以幫助流失用戶回流到平臺,這些用戶用其他方式獲取也是有一定成本的,因此內(nèi)容帶來的新回用戶是內(nèi)容的價(jià)值??梢酝ㄟ^拉新用戶量、拉回用戶量、新回用戶價(jià)值評估、留存及時(shí)長等指標(biāo)進(jìn)行評估。

3)社區(qū)價(jià)值

  • 消費(fèi)價(jià)值:優(yōu)質(zhì)的內(nèi)容有消費(fèi)價(jià)值,用戶會喜歡看甚至反復(fù)看,所以可以用完播率、深度消費(fèi)率、消費(fèi)時(shí)長、收藏率和點(diǎn)贊率等進(jìn)行評估(不同產(chǎn)品指標(biāo)不一樣)。
  • 促生產(chǎn)價(jià)值:內(nèi)容有促生產(chǎn)的作用,抖音、快手上明星使用過的魔法表情,普通用戶看到之后爭相試用;小紅書、微博上達(dá)人發(fā)表自己的穿搭心得,用戶往往也會模仿著來生產(chǎn)自己的內(nèi)容。這些內(nèi)容都是用戶生產(chǎn)的一種激勵,內(nèi)容的這種促生產(chǎn)價(jià)值也是“優(yōu)質(zhì)”的一個(gè)代表維度。
  • 社交價(jià)值:用戶在站內(nèi)有社交行為,可以增加用戶粘性,內(nèi)容附屬的社交屬性幫助用戶加深和平臺之間的鏈接,內(nèi)容的社交價(jià)值也需要被量化。

需要注意的是,數(shù)據(jù)評估的評價(jià)指標(biāo)往往比較繁雜,需要結(jié)合評價(jià)目標(biāo)提煉有效信息。通常,文娛平臺完整的內(nèi)容評估體系由人工評估和數(shù)據(jù)評估兩種方式互相組合補(bǔ)充形成。

干貨丨文娛平臺如何搭建內(nèi)容評估體系,打造健壯的內(nèi)容生態(tài)

三、內(nèi)容評估模型介紹

1. 量化模型

內(nèi)容是否優(yōu)質(zhì)可以從多個(gè)角度進(jìn)行評估。對于文娛平臺來說,在面對多維度數(shù)據(jù)常常會有困惑,這個(gè)內(nèi)容到底好不好,這些內(nèi)容中間到底誰是最好的,因此需要一個(gè)統(tǒng)一量化的模型來評價(jià)內(nèi)容。統(tǒng)一的量化模型最終將多個(gè)維度的評價(jià)指標(biāo)凝結(jié)成一個(gè)綜合評價(jià)分?jǐn)?shù)。

什么是量化模型?它指的是以應(yīng)用統(tǒng)計(jì)學(xué)、計(jì)量經(jīng)濟(jì)學(xué)為基礎(chǔ),采用數(shù)學(xué)統(tǒng)計(jì)方法建立模型,建立模型的目標(biāo)是建立指標(biāo)之間的函數(shù)關(guān)系。統(tǒng)計(jì)模型最終得到的是變量之間關(guān)系的一種描述,是真實(shí)數(shù)據(jù)的近似估計(jì)。

在搭建文娛內(nèi)容評估體系時(shí),最核心的目標(biāo)是留存,那么我們做內(nèi)容質(zhì)量評估就需要找出能促進(jìn)用戶留存的內(nèi)容,內(nèi)容的消費(fèi)價(jià)值、生產(chǎn)價(jià)值、社交價(jià)值都是用戶留存在站內(nèi)的影響因素,所以在這個(gè)擬合模型當(dāng)中,y 是留存,x 是三大價(jià)值中的具體的指標(biāo),比如說收聽時(shí)長、點(diǎn)贊個(gè)數(shù)、生產(chǎn)個(gè)數(shù)、評論個(gè)數(shù)、關(guān)注個(gè)數(shù)等,模型的 x、y 都得到了確定,在數(shù)理統(tǒng)計(jì)模型應(yīng)用中最適合用于這個(gè)模型的回歸方程就是 logit regression。我們最終擬合的公式會得到這樣一個(gè)結(jié)果:

干貨丨文娛平臺如何搭建內(nèi)容評估體系,打造健壯的內(nèi)容生態(tài)

內(nèi)容質(zhì)量評估綜合分 = a*播放時(shí)長 + b*生產(chǎn)內(nèi)容個(gè)數(shù) + c*關(guān)注數(shù) +……

內(nèi)容質(zhì)量評估綜合分越高,代表這個(gè)內(nèi)容對用戶留存的貢獻(xiàn)越高。因此,在這個(gè)模型體系下,我們可以認(rèn)為分?jǐn)?shù)越高的內(nèi)容就是更加“優(yōu)質(zhì)”等內(nèi)容。

但同時(shí),這套模型也有應(yīng)用的局限性,因?yàn)閿?shù)據(jù)是用當(dāng)前站內(nèi)的用戶行為數(shù)據(jù)擬合的,這意味著它只代表當(dāng)前站內(nèi)的情況,這個(gè)數(shù)量關(guān)系是不可以拿到其他站外的 App 應(yīng)用的;而且如果我們站內(nèi)的產(chǎn)品形態(tài)、給用戶分發(fā)內(nèi)容的邏輯有變化,那么這個(gè)數(shù)量關(guān)系都會有改變,因此在這個(gè)局限性下需要定期地更新這個(gè)模型。

2. 統(tǒng)一度量——貨幣化

有了模型的質(zhì)量評估綜合分之后,在某些場景仍會覺得不夠用,比如說我們在采購內(nèi)容時(shí),知道了這個(gè)內(nèi)容的質(zhì)量評估綜合分是 100 分,但是 100 分的內(nèi)容如果需要我們花 10 萬塊錢去采購,那這件事情到底值不值得?對于這樣的問題我們就需要把內(nèi)容價(jià)值進(jìn)一步量化,把分?jǐn)?shù)的單位定位到貨幣,比如這個(gè)內(nèi)容在站內(nèi)創(chuàng)造的價(jià)值是 100 萬元,那么我們就可以更容易感知到該內(nèi)容的價(jià)值。

從貨幣角度來拆解內(nèi)容價(jià)值會有以下最核心的三個(gè)層級:營收價(jià)值、增長價(jià)值、社區(qū)價(jià)值。每個(gè)內(nèi)容可以在固定時(shí)間區(qū)間得到一個(gè)具體的價(jià)值金額數(shù)字。需要注意的是,這個(gè)價(jià)值金額在計(jì)算財(cái)務(wù)數(shù)據(jù)時(shí)不足夠嚴(yán)謹(jǐn),它并不能代表每個(gè)內(nèi)容真的給業(yè)務(wù)賺了多少錢。

計(jì)算這樣的量化價(jià)值是為了幫助業(yè)務(wù)衡量每一個(gè)內(nèi)容的相對價(jià)值,目的是在迭代內(nèi)容時(shí)更加清晰明確,價(jià)值可量化,輔助決策。

3. 模型修正

干貨丨文娛平臺如何搭建內(nèi)容評估體系,打造健壯的內(nèi)容生態(tài)

不同發(fā)展階段對于內(nèi)容優(yōu)質(zhì)的定義可能會有區(qū)別,比如說早期更注重內(nèi)容本身的價(jià)值,中后期更注重社區(qū)價(jià)值。各項(xiàng)指標(biāo)的系數(shù)可以在特定場景下做一定的調(diào)整。

模型是基于用戶留存為目標(biāo)擬合的,但是不一定適用于所有的場景,比如說我們在調(diào)整社區(qū)氛圍的時(shí)候,會傾向以社交互動數(shù)據(jù)來評估內(nèi)容質(zhì)量,此時(shí)不一定非要沿用這套模型,也可以對相關(guān)指標(biāo)直接加權(quán)使用。

模型總結(jié)出的內(nèi)容價(jià)值排序可能會跟 App 運(yùn)營同學(xué)的認(rèn)知不一致,需要依照具體情況逐一進(jìn)行分析。

有了內(nèi)容評估模型和體系,不管是內(nèi)容引入評估、不同人群的精細(xì)化運(yùn)營及分發(fā)還是內(nèi)容 ROI 評估,對文娛平臺都有一定的應(yīng)用和助力。要想提升優(yōu)質(zhì)內(nèi)容供給,文娛平臺需要流量激勵,扶持流量轉(zhuǎn)化為更多的粉絲、更高的互動,促使創(chuàng)作者生產(chǎn)更多優(yōu)質(zhì)內(nèi)容;同時(shí),也要對負(fù)向內(nèi)容做打壓,避免劣幣驅(qū)良幣,反哺內(nèi)容引入策略,最終幫助文娛平臺真正落地精細(xì)化運(yùn)營,給用戶帶來更好的體驗(yàn),促進(jìn)平臺良性發(fā)展。

 

作者:神策數(shù)據(jù)文娛經(jīng)營單元負(fù)責(zé)人

本文由 @喬一鴨 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載

題圖來自 Unsplash,基于 CC0 協(xié)議

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. logit regression和內(nèi)容質(zhì)量評估這塊沒看懂

    來自北京 回復(fù)