個(gè)性化推薦產(chǎn)品的核心指標(biāo)有哪些?
昨天和阿里的推薦算法同學(xué)交流,聊到產(chǎn)品經(jīng)理在算法/大數(shù)據(jù)中發(fā)揮的角色,我們一致認(rèn)為產(chǎn)品同學(xué)能幫忙確定產(chǎn)品指標(biāo),這樣開發(fā)同學(xué)就可以專心把模型做好了。那么對(duì)于推薦產(chǎn)品,我們一般看哪些指標(biāo)呢?最近在做業(yè)務(wù)的過程中也有一些思考,正好周末整理一下,歡迎交流指教。
目前我們內(nèi)部常看的指標(biāo)有兩類:場景轉(zhuǎn)化效果指標(biāo)和內(nèi)容消費(fèi)滿意度指標(biāo)。其中,場景轉(zhuǎn)化類指標(biāo),包括:pv點(diǎn)擊率、uv點(diǎn)擊率、曝光點(diǎn)擊率、uv轉(zhuǎn)化率、人均點(diǎn)擊個(gè)數(shù);內(nèi)容消費(fèi)滿意度指標(biāo):留存率,停留時(shí)長、播放完成率等。
場景轉(zhuǎn)化類指標(biāo)
場景轉(zhuǎn)化類的指標(biāo)關(guān)注的是將用戶從一個(gè)場景轉(zhuǎn)化到我們希望的場景去的效果。這個(gè)過程需要用戶付出主動(dòng)的行動(dòng),如常見的點(diǎn)擊行為。這類指標(biāo)關(guān)注推薦系統(tǒng)的漏斗效果,主要有:
1. pv點(diǎn)擊率(點(diǎn)擊量/pv)
pv點(diǎn)擊率是比較經(jīng)典的指標(biāo),計(jì)算用戶每次進(jìn)入頁面的點(diǎn)擊情況。pv點(diǎn)擊率能粗略衡量轉(zhuǎn)化效果,但是它的問題是容易受攻擊:少數(shù)用戶貢獻(xiàn)大量點(diǎn)擊會(huì)掩蓋在這個(gè)指標(biāo)后。
2. uv點(diǎn)擊率(點(diǎn)擊量/uv)
分母是整個(gè)產(chǎn)品的uv,而不是有點(diǎn)擊行為的uv。uv點(diǎn)擊率相對(duì)pv點(diǎn)擊率的優(yōu)勢在于,它不受用戶行為路徑影響(不受重復(fù)瀏覽某個(gè)產(chǎn)品的影響),能記錄用戶在一個(gè)完整session的點(diǎn)擊效果。據(jù)了解,阿里不少團(tuán)隊(duì)的指標(biāo)也由pv點(diǎn)擊率改為uv點(diǎn)擊率了。
3.?曝光點(diǎn)擊率(點(diǎn)擊量/曝光次數(shù))
曝光點(diǎn)擊率適合支持上拉/下拉翻頁的產(chǎn)品,比如Feed流。相比pv點(diǎn)擊率,曝光點(diǎn)擊率的分母隨用戶刷屏次數(shù)增加而變大,能更真實(shí)的記錄每一屏的轉(zhuǎn)化情況。
4. uv轉(zhuǎn)化率(點(diǎn)擊uv/進(jìn)入uv)
與uv轉(zhuǎn)化率相對(duì)的是頁面的流失率。uv轉(zhuǎn)化率衡量對(duì)用戶的轉(zhuǎn)化情況,通過我們的產(chǎn)品設(shè)計(jì)能把多大比例的用戶從一個(gè)場景轉(zhuǎn)化到另一個(gè)我們希望的場景去。uv轉(zhuǎn)化率相對(duì)于前兩個(gè)指標(biāo),更健壯,不易受到攻擊。
uv轉(zhuǎn)化率尤其適合衡量入口型產(chǎn)品,比如視頻app的首頁,如果用uv點(diǎn)擊率去衡量會(huì)不太科學(xué),因?yàn)橐话阌脩粼谑醉擖c(diǎn)擊某個(gè)視頻后,會(huì)進(jìn)入詳情頁深度消費(fèi),很少會(huì)返回首頁繼續(xù)消費(fèi)。這個(gè)用戶已經(jīng)被轉(zhuǎn)化,但不再貢獻(xiàn)點(diǎn)擊,所以u(píng)v點(diǎn)擊率不合理,用uv轉(zhuǎn)化率就更加合理。
如果某頁面的uv轉(zhuǎn)化率較低,則表示大部分人對(duì)該頁面都不感興趣,遵循“不行就分”的簡單原則,這樣的頁面去掉可能對(duì)產(chǎn)品更好。
5.?人均點(diǎn)擊次數(shù)(點(diǎn)擊量/點(diǎn)擊uv)
人均點(diǎn)擊次數(shù)與uv轉(zhuǎn)化率相輔相成。uv轉(zhuǎn)化率表示頁面的消費(fèi)寬度(吸引的用戶比例),而人均點(diǎn)擊次數(shù)表示頁面的消費(fèi)深度(每個(gè)用戶消費(fèi)的次數(shù))。
內(nèi)容消費(fèi)滿意度指標(biāo)
1.?留存率(x日后仍活躍的用戶數(shù)/x日前的用戶數(shù))
留存率很重要,每家公司都很重視,但它很難作為算法的優(yōu)化指標(biāo),因?yàn)闀r(shí)間周期長,變量會(huì)很多。比如計(jì)算視頻app首頁的7日留存率就十分艱難,因?yàn)楫?dāng)中可能會(huì)上線大劇和熱門綜藝。雖然難以衡量,但留存率是產(chǎn)品技術(shù)團(tuán)隊(duì)最重要的指標(biāo):市場同學(xué)負(fù)責(zé)拉新用戶、產(chǎn)品技術(shù)團(tuán)隊(duì)負(fù)責(zé)服務(wù)好用戶,把用戶留下來。
2.?停留時(shí)長
內(nèi)容消費(fèi)型產(chǎn)品,點(diǎn)擊率很難反應(yīng)推薦的真正效果,把用戶“騙”進(jìn)了希望的場景進(jìn)行消費(fèi),但是發(fā)現(xiàn)真相的用戶轉(zhuǎn)身就走,這反而說明這個(gè)推薦是失敗的。所以需要引入停留時(shí)長來量化用戶消費(fèi)效果。音視頻類的就對(duì)應(yīng)播放時(shí)長,YouTube的核心推薦指標(biāo)就是WatchTime。
3.?播放完成率(播放時(shí)長/視頻時(shí)長)
由于停留時(shí)長受視頻時(shí)長的錨定效應(yīng)影響,稍微長一點(diǎn)的視頻,即使用戶不感興趣,但是平均來說也會(huì)比短視頻要停留更長一些。因此,播放完成率指標(biāo)就能一定程度上去彌補(bǔ)這個(gè)問題,但是短視頻天然的播放完成率要比長視頻高,也是需要在看指標(biāo)時(shí)注意。
結(jié)語
一般來說,個(gè)性化推薦產(chǎn)品關(guān)注的指標(biāo)和其他產(chǎn)品并無本質(zhì)不同,只是推薦產(chǎn)品會(huì)涉及到大量的算法,而算法本身在離線階段也需要評(píng)測,算法評(píng)測指標(biāo)和產(chǎn)品指標(biāo)是兩個(gè)概念。
最后分享關(guān)于產(chǎn)品指標(biāo)需要注意的三點(diǎn):
1. 不要迷戀算法指標(biāo)
算法指標(biāo)有準(zhǔn)確率、召回率、AUC值等,這些指標(biāo)表現(xiàn)好并不能說明產(chǎn)品表現(xiàn)好,因?yàn)檫x擇一個(gè)算法或者一個(gè)模型對(duì)于最終產(chǎn)品效果是否有幫助,本身就是存在一定假設(shè),所以無論產(chǎn)品技術(shù),不迷戀算法指標(biāo)是第一個(gè)要注意的。
2. 各個(gè)指標(biāo)都有局限性
每個(gè)產(chǎn)品指標(biāo)都有一定劣勢,也就是在某些方面無法體現(xiàn)出區(qū)分度來,前面列舉的指標(biāo),每個(gè)指標(biāo)都存在無法反應(yīng)的情況。認(rèn)清指標(biāo)的局限性這是第二個(gè)要注意的。
3. 指標(biāo)不宜過多
最后,產(chǎn)品指標(biāo)不宜過多,過多的指標(biāo)不利于最終優(yōu)化決策。本文所述的指標(biāo),每個(gè)產(chǎn)品也需根據(jù)自身特點(diǎn)和業(yè)務(wù)需求選擇核心的幾個(gè)。如果真的要關(guān)注多個(gè)指標(biāo),可以試著把這些直觀指標(biāo)再次綜合成一個(gè)更高階的指標(biāo),從而減少關(guān)注的目標(biāo),集中優(yōu)化精力,幫助決策。
本文由 @吳迎賓?原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
您好,本人目前還是個(gè)產(chǎn)品小白,最近也開始接觸到個(gè)性化推薦這個(gè)方向,目前讓我較為困惑的是產(chǎn)品這一角色在這個(gè)流程里的職責(zé)除了可以幫忙確定指標(biāo)、功能執(zhí)行落地的用戶界面外,還有其他細(xì)節(jié)需要參與進(jìn)去的嗎?
這個(gè)一般電商平臺(tái)上的uv點(diǎn)擊率平均值是多少呢