以快手“購(gòu)物車”為例,解析如何利用數(shù)據(jù)分析評(píng)估新功能
新功能上線后,如何從數(shù)據(jù)的角度去評(píng)估該功能的效果如何?作者提出了產(chǎn)品功能分析的“三板斧”,分別是明確功能、梳理指標(biāo)、對(duì)比效果,并以快手購(gòu)物車功能為例進(jìn)行案例說(shuō)明,感興趣的伙伴一起來(lái)看看吧。
如果你是一名BP在產(chǎn)品業(yè)務(wù)線的數(shù)據(jù)分析師,那么你會(huì)經(jīng)常遇到產(chǎn)品更新迭代后加入一些新的模塊或功能。當(dāng)一個(gè)新的功能上線后,我們需要從數(shù)據(jù)的角度去評(píng)估該功能的效果如何。本篇將給大家分享作為一名產(chǎn)品數(shù)據(jù)分析師或者產(chǎn)品經(jīng)理,如何從專業(yè)角度利用數(shù)據(jù)分析評(píng)估產(chǎn)品新功能的效果。
引言
首先先給大家分享兩組數(shù)據(jù),一個(gè)來(lái)自微軟,一個(gè)來(lái)自亞馬遜。
在微軟團(tuán)隊(duì)內(nèi)部公認(rèn)比較OK的想法,真正實(shí)施以后:大約有三分之一起到了預(yù)期效果,三分之一的想法沒有產(chǎn)生明顯影響,還有三分之一反而會(huì)起到了負(fù)作用。
亞馬遜大約有60%到90%的想法,是無(wú)法改善他們的產(chǎn)品的。
所以,關(guān)于產(chǎn)品驗(yàn)證環(huán)節(jié)上,大家不要過于盲目自信,應(yīng)該從扭曲力場(chǎng)中回到現(xiàn)實(shí)了。
所以,作為一名合格的產(chǎn)品分析師或者產(chǎn)品經(jīng)理,必須學(xué)會(huì)在產(chǎn)品迭代的環(huán)節(jié)中,適時(shí)地對(duì)改版效果進(jìn)行衡量并確認(rèn)進(jìn)展,這樣才能更好地了解迭代對(duì)產(chǎn)品本身起到的作用。
那么,在一次產(chǎn)品改版之后,我們應(yīng)從哪幾個(gè)角度去入手,才能更好地評(píng)估一個(gè)功能的具體效果呢?
整體來(lái)說(shuō),我們可以分三個(gè)層次去度量評(píng)估。
- 首先,我們需要明確新功能的目標(biāo);
- 其次,梳理該功能的指標(biāo),具體可以分為大盤指標(biāo)、基礎(chǔ)指標(biāo)和護(hù)欄指標(biāo)
- 最后,通過對(duì)比分析明確功能的效果。
接下來(lái),我們針對(duì)每個(gè)層次展開來(lái)說(shuō)。
一、產(chǎn)品功能分析“三板斧”
1. 明確功能目標(biāo)
黎巴嫩詩(shī)人紀(jì)伯倫曾經(jīng)說(shuō)過一句非常有哲理的話,“我們已經(jīng)走得太遠(yuǎn),以至忘記了為什么出發(fā)”。
同樣,對(duì)于任意一款新產(chǎn)品,不管是大版本迭代升級(jí),亦或是只增加一個(gè)小功能的升級(jí),我們首先需要回歸初心去思考,為什么要增加這個(gè)新功能?也就是增加這個(gè)新功能的目的是什么?
比如在一款A(yù)PP中增加評(píng)論功能,可以豐富用戶互動(dòng)行為,從而增加用戶粘性帶動(dòng)大盤活躍;再比如電商類APP中上線秒殺功能,挑選某些商品參與特價(jià)秒殺,從而在短時(shí)間內(nèi)促進(jìn)用戶轉(zhuǎn)化,提升大盤GMV。
2. 梳理功能指標(biāo)
弄清楚上線新功能的目的之后,接下來(lái)有同學(xué)迫不及待地會(huì)問,怎么樣才能知道該功能有沒有達(dá)到目的呢?這個(gè)問題我們翻譯過來(lái)就是:通過哪些指標(biāo)能夠衡量新功能的目標(biāo)。
正所謂無(wú)法定義就無(wú)法度量,在實(shí)際業(yè)務(wù)中,對(duì)于所有的功能,我們都需要有一些明確的指標(biāo)來(lái)進(jìn)行衡量。舉個(gè)例子,我們想要上線一個(gè)新功能來(lái)提升用戶滿意度,這個(gè)時(shí)候我們就需要首先明確什么是用戶滿意度,使用頻次增加?停留時(shí)長(zhǎng)增加?還是留存率提升?
對(duì)于這些功能指標(biāo),我們可以分為三大類:結(jié)果指標(biāo)、基礎(chǔ)指標(biāo)和護(hù)欄指標(biāo)。
1. 結(jié)果指標(biāo)
結(jié)果指標(biāo)很好理解,就是看新功能對(duì)大盤的貢獻(xiàn)情況。比如上線新功能的帶來(lái)的DAU在大盤DAU中的占比是多少,或者新功能帶來(lái)的GMV在大盤GMV中貢獻(xiàn)占比是多少等等。
2. 基礎(chǔ)指標(biāo)
基礎(chǔ)指標(biāo),就是監(jiān)測(cè)該功能的日常表現(xiàn),具體又可以分為橫向指標(biāo)和縱向指標(biāo)。那么如何區(qū)分橫向指標(biāo)和縱向指標(biāo)呢?當(dāng)一個(gè)產(chǎn)品增加某個(gè)新功能,一定會(huì)在用戶使用路徑中(UJM模型)體現(xiàn)出來(lái)。比如下面這張圖,展示的是簡(jiǎn)化版的用戶使用路徑,以及增加了某個(gè)新功能D之后的使用路徑。
所謂縱向指標(biāo),就是指當(dāng)前功能的 UV、PV等指標(biāo),對(duì)比上一層的漏斗(滲透率)以及留存率相關(guān)的指標(biāo)??v向指標(biāo)的目的是度量該功能本身流量的大小以及相較于上一層級(jí)的留存情況。
那什么是橫向指標(biāo)呢?從圖中我們可以非常清晰的看到,對(duì)于某個(gè)特定的功能(比如功能D),用戶從開始使用到使用完成,經(jīng)過的過程依次是“進(jìn)入該功能”→“在功能中停留、點(diǎn)擊、消費(fèi)、跳轉(zhuǎn)等一系列行為”→“退出該功能”。
相應(yīng)地,該功能橫向指標(biāo)包含用戶使用路徑中的常用行為指標(biāo),比如頁(yè)面的CTR、頁(yè)面停留時(shí)長(zhǎng)、頁(yè)面跳出率等。橫向指標(biāo)的目的是度量用戶在產(chǎn)品中的操作步驟或使用路徑,分析用戶的消費(fèi)情況。
橫向和縱向分析相結(jié)合,就能比較清楚地了解當(dāng)前功能的效果。
3. 護(hù)欄指標(biāo)
可能你看到“護(hù)欄指標(biāo)”這幾個(gè)字會(huì)比較懵,會(huì)疑惑什么是護(hù)欄指標(biāo)。通俗來(lái)說(shuō),是一種對(duì)功能效果評(píng)估補(bǔ)充的服務(wù)層指標(biāo)。
舉個(gè)例子,某APP上線了某個(gè)新功能,但是該功能占用的服務(wù)器內(nèi)存特別大,雖然功能效果很好,但是經(jīng)常會(huì)導(dǎo)致APP白屏或者閃崩。這時(shí)候,我們就需要從服務(wù)器層面,去監(jiān)控比如“新功能失敗率”這樣的指標(biāo)。而這些指標(biāo)就是護(hù)欄指標(biāo)。
護(hù)欄指標(biāo)的意義在于,我們不僅能從大盤貢獻(xiàn)和基礎(chǔ)功能層面去評(píng)估某個(gè)新功能的價(jià)值,還可以從服務(wù)層面保證用戶體驗(yàn)沒有下降(比如打開某頁(yè)面等待時(shí)長(zhǎng)沒有從1s上漲至5s)。因?yàn)橥芏鄷r(shí)候,功能有沒有效果還不是那么重要,如果我們從最直接的交互上損害了用戶的體驗(yàn)而導(dǎo)致用戶流失,反而是最得不償失的。
但我們也不需要過于緊張,并不是所有頁(yè)面和功能都需要護(hù)欄指標(biāo)。比如常見視頻的播放、頁(yè)面的加載、活動(dòng)的下發(fā)等,這幾種往往需要監(jiān)控一些失敗率及大盤上的加載效率。而一些小功能的添加,只需要監(jiān)控最基礎(chǔ)的頁(yè)面白屏率就可以了。
3. 分析功能效果
明確功能目標(biāo)以及衡量目標(biāo)的數(shù)據(jù)指標(biāo)之后,最后我們需要判斷該功能的效果如何。數(shù)據(jù)分析中有一句名言:沒有對(duì)比就沒有結(jié)論。想要明確功能效果,必須進(jìn)行對(duì)比。
那么跟誰(shuí)進(jìn)行對(duì)比呢?
兩種思路,第一種,向外看,我們可以和競(jìng)品(如果能夠拿到數(shù)據(jù))進(jìn)行對(duì)比;第二種,向內(nèi)看,用一段周期內(nèi)使用該功能的用戶對(duì)比未使用該功能的用戶之間的數(shù)據(jù)進(jìn)行對(duì)比,也就是大家經(jīng)常聽到的A/B Test。
二、實(shí)戰(zhàn)案例:快手“購(gòu)物車”功能分析
快手是一款短視頻APP,相信大多數(shù)人應(yīng)該都不陌生。當(dāng)我們?yōu)g覽短視頻時(shí),視頻左下角會(huì)有一個(gè)“購(gòu)物車”的小按鈕,接下來(lái)我們就以“購(gòu)物車”功能為例,來(lái)看一下如何分析該功能。
為了幫助大家更好的熟悉該功能,我們先來(lái)了解一下它整體的操作路徑:
需要注意的是,并不是所有視頻都會(huì)有購(gòu)物車按鈕,只有部分視頻中會(huì)有該功能。這個(gè)應(yīng)該是由號(hào)主自主選擇設(shè)定。當(dāng)我們點(diǎn)擊“購(gòu)物車”按鈕后,會(huì)自動(dòng)跳轉(zhuǎn)到商品列表頁(yè),點(diǎn)擊“搶購(gòu)”按鈕后跳轉(zhuǎn)到商品詳情頁(yè),在商品詳情頁(yè)右下角可以選擇付費(fèi)購(gòu)買。
了解了該功能的使用路徑之后,接下來(lái)我們按照剛才給大家介紹的分析“三板斧”,分層級(jí)進(jìn)行實(shí)操。
1. 明確功能目標(biāo)
大家都知道,“購(gòu)物車”功能多存在于電商類購(gòu)物APP中,對(duì)于一個(gè)短視頻APP加入“購(gòu)物車”功能,很明顯是為了支持其電商業(yè)務(wù)的發(fā)展。
因此,我們可以很明確地知道,快手加入這個(gè)功能主要就是為了增加其收入,其次附帶功能是提升用戶的活躍和留存。
因?yàn)椤百?gòu)物車”帶有種草功能,用戶通過觀看視頻種草后可以將商品加入購(gòu)物車,而后決定是否購(gòu)買。久而久之會(huì)不斷擴(kuò)展用戶的使用需求,從而提高用戶的活躍度和留存率。
2. 梳理功能指標(biāo)
功能指標(biāo)又可以分為三個(gè)層級(jí):大盤指標(biāo),基礎(chǔ)指標(biāo),護(hù)欄指標(biāo)。
首先我們要拆解大盤貢獻(xiàn)。通過上一步,我們可以確定該功能主要目標(biāo)是提高平臺(tái)GMV,次要目標(biāo)是提升用戶活躍和留存,因此和大盤指標(biāo)有聯(lián)系的對(duì)應(yīng)三個(gè)指標(biāo):收入(GMV)、使用該該功能的UV、PV等、該功能的大盤留存率。
GMV 可以度量該功能能夠?yàn)榭焓制脚_(tái)整體商業(yè)化帶來(lái)的收入;
使用該功能的UV可以度量大盤中有多人會(huì)使用該功能,從而度量該功能對(duì)于拉升大盤活躍的貢獻(xiàn);
大盤留存率可以通過對(duì)比未使用該功能的用戶的大盤留存率,度量該功能對(duì)大盤留存率的提升。
其次我們要度量該功能的基礎(chǔ)指標(biāo)。縱向上,我們需要明確地知道各個(gè)頁(yè)面的 PV、UV,以及整體的功能留存率;橫向上,我們需要知道各個(gè)頁(yè)面中商品的點(diǎn)擊數(shù)、各子模塊的點(diǎn)擊數(shù)、頁(yè)面的停留時(shí)長(zhǎng)、頁(yè)面的跳出率等。
縱向上度量流量的大小,橫向上度量用戶消費(fèi)的情況,建立一個(gè)當(dāng)前功能的頁(yè)面漏斗,為后期迭代做好數(shù)據(jù)準(zhǔn)備。
最后我們還需要分析護(hù)欄指標(biāo),對(duì)于一個(gè)短視頻平臺(tái)來(lái)說(shuō),視頻是核心,因此寧愿沒有“購(gòu)物車”功能也必須保證視頻正常播放?!百?gòu)物車”功能應(yīng)該是嵌入在一個(gè)播放容器中,所以我們可以分析以下幾個(gè)護(hù)欄指標(biāo):播放器加載成功率、視頻播放成功率以及該功能的打開成功率。
播放器和視頻播放成功率是為了保證視頻的播放不受該功能影響,而“購(gòu)物車”打開率則是為了監(jiān)控該功能的穩(wěn)定性。
3. 對(duì)比功能效果
首先可以向外看做競(jìng)品對(duì)比,比如可以對(duì)比抖音和視頻號(hào)的“購(gòu)物車”功能,或者其他直播中類似的帶貨數(shù)據(jù)的對(duì)比。
其次我們重點(diǎn)來(lái)說(shuō)一下內(nèi)部對(duì)比,內(nèi)部對(duì)比也可以分為幾種對(duì)比角度。
頁(yè)面及功能之間的對(duì)比。比如頁(yè)面的哪些功能數(shù)據(jù)相比其他頁(yè)面更好,我們可以以實(shí)際產(chǎn)生的收入來(lái)作為衡量標(biāo)準(zhǔn)。因?yàn)橛械穆┒冯m然量少,但是轉(zhuǎn)化很高,有的則相反。
商品之間的對(duì)比。比如同類型的產(chǎn)品,我們?cè)谀男┮曨l中賣的更好,哪些視頻中賣的效果不好,這就是商品和視頻的匹配度問題。在上架商品時(shí),我們可以推薦或者引導(dǎo)號(hào)主上架的商品類型。
受眾之間的對(duì)比。同一個(gè)視頻,同一個(gè)商品,對(duì)于不同用戶的購(gòu)買率如何,一定會(huì)有差異,那我們?nèi)绻麨榱颂岣?GMV,視頻推薦策略中是否需要考慮到這個(gè)特征。
對(duì)于頁(yè)面和功能之間的對(duì)比,通過漏斗和轉(zhuǎn)化率,我們可以知道每個(gè)頁(yè)面的哪些環(huán)節(jié)需要優(yōu)化;對(duì)于商品之間的對(duì)比,我們知道不同人群對(duì)商品的喜好,從而在不同渠道投放商品時(shí)更精準(zhǔn);對(duì)于受眾之間的對(duì)比,我們可以知道不同人群對(duì)商品的價(jià)格敏感情況以及商品的偏好情況,從而制定千人千面的營(yíng)銷策略。
做完這三步,針對(duì)該功能初步的分析也基本完成了。
既明確了分析目標(biāo),又建立了度量標(biāo)準(zhǔn),從而得到了效果結(jié)論。后期隨著業(yè)務(wù)的發(fā)展,我們還需要繼續(xù)在此基礎(chǔ)上不斷迭代優(yōu)化。
本文由 @知了數(shù)據(jù)分析 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來(lái)自Unsplash,基于CC0協(xié)議。
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
關(guān)注【知了數(shù)據(jù)分析】,獲取更多數(shù)據(jù)分析干貨!