新功能上線后,如何全面地進(jìn)行數(shù)據(jù)驗(yàn)收?
數(shù)據(jù)驗(yàn)收,是產(chǎn)品經(jīng)理經(jīng)驗(yàn)新功能反饋的常用手段,那么要想做好數(shù)據(jù)驗(yàn)收這件事,都要做到哪幾點(diǎn)呢?筆者將為大家揭曉。
新功能上線后,產(chǎn)品經(jīng)理一般會(huì)對(duì)新功能進(jìn)行數(shù)據(jù)驗(yàn)收及匯報(bào),以驗(yàn)證數(shù)據(jù)效果及指導(dǎo)下一步的方向。那如何全面地進(jìn)行數(shù)據(jù)驗(yàn)收呢?
筆者認(rèn)為,做好以下四點(diǎn)即可:
- 上線前設(shè)計(jì)客群分組;
- 設(shè)計(jì)數(shù)據(jù)指標(biāo)體系;
- 上線后對(duì)比驗(yàn)收數(shù)據(jù);
- 分析數(shù)據(jù)原因及未來規(guī)劃。
一、上線前的準(zhǔn)備
1. 設(shè)計(jì)客群分組
設(shè)計(jì)實(shí)驗(yàn)組與對(duì)比組的作用是控制變量,保證數(shù)據(jù)驗(yàn)收的客觀性。
1)實(shí)驗(yàn)組要求
除了新功能這一個(gè)變量,其他的變量盡量與對(duì)比組保持一致,其他變量包括時(shí)間、渠道、用戶狀態(tài)等。客群數(shù)量方面,要足夠說明效果(一般需要1萬以上的客群)。
2)對(duì)比組要求
沒有新功能的變量,其他變量與實(shí)驗(yàn)組保持一致??腿簲?shù)量方面,如果數(shù)據(jù)驗(yàn)收受客群數(shù)量影響,則實(shí)驗(yàn)組與對(duì)比組的數(shù)量要基本一致。
3)分組切量方法
如果僅是上線了一個(gè)新功能,需要新版與舊版進(jìn)行對(duì)比,可采用灰度方法,通過控流開關(guān)實(shí)現(xiàn)控量分組;如果是要做多個(gè)方案的對(duì)比測試,則可采用A/B測試方法,通過接入吆喝科技實(shí)現(xiàn)(如果開發(fā)資源充足,當(dāng)然可以自己開發(fā)A/B測試功能)。
2. 設(shè)計(jì)數(shù)據(jù)指標(biāo)體系
1)確定業(yè)務(wù)目標(biāo)
比如提升某個(gè)功能的轉(zhuǎn)化率、提升某個(gè)業(yè)務(wù)的收入、提升功能留存等。
2)按用戶路徑拆解數(shù)據(jù)指標(biāo)
用戶數(shù)據(jù):功能入口的流量、用戶分群等
行為數(shù)據(jù):每個(gè)環(huán)節(jié)的行為轉(zhuǎn)化數(shù)和轉(zhuǎn)化率,例如功能使用的用戶數(shù)、功能點(diǎn)擊率、付費(fèi)率等。
業(yè)務(wù)數(shù)據(jù):付費(fèi)人數(shù)、收入、千次曝光收入等
3)數(shù)據(jù)指標(biāo)再次細(xì)分
以上拆解的數(shù)據(jù)指標(biāo),為方便后面的深入分析,還可以按用戶屬性或事件屬性再次拆解。例如按用戶屬性拆解,借款產(chǎn)品則可區(qū)分授信通過戶、授信拒絕戶;按事件屬性拆解,區(qū)分登錄方式、區(qū)分渠道等。
3. 提供埋點(diǎn)
1)埋點(diǎn)規(guī)范確定:埋點(diǎn)組成是頁面+操作+區(qū)分類型的字段
2)前端埋點(diǎn)和后端埋點(diǎn):結(jié)果性事件一般前后端都埋,包括成功事件、失敗事件(失敗還要埋失敗原因);過程性事件一般是前端埋點(diǎn)。
3)上報(bào)時(shí)機(jī)確定:大多數(shù)埋點(diǎn)的上報(bào)時(shí)機(jī)是比較顯而易見的,所以文檔里可以不用強(qiáng)調(diào),比如曝光、點(diǎn)擊的埋點(diǎn)。但是像上報(bào)時(shí)機(jī)有多個(gè)的情況,則需要跟開發(fā)明確。比如失敗事件,是后臺(tái)返回失敗才算失敗,還是前端拋出失敗提示就算失敗。
二、上線后的觀察與分析
1. 對(duì)比驗(yàn)收數(shù)據(jù)
1)上線后對(duì)比數(shù)據(jù)是否符合預(yù)期
同期對(duì)比:實(shí)驗(yàn)組與對(duì)比組同期整體對(duì)比,看分組的業(yè)務(wù)數(shù)據(jù)提升或降低效果。比如看某個(gè)功能的轉(zhuǎn)化率或某個(gè)業(yè)務(wù)的千次曝光收入等?;旧蠌耐趯?duì)比就可以得出,新功能對(duì)業(yè)務(wù)指標(biāo)是起到正向還是負(fù)向的影響。
前后對(duì)比:已經(jīng)有同期對(duì)比了,前后對(duì)比還需要嗎?答案是某些場景下需要。因?yàn)橥趯?duì)比一般來說,需要開發(fā)做灰度切量的功能支持。所以如果新功能效果是顯而易見的,且灰度功能做起來比較耗資源,我們可以選擇上線后全覆蓋,通過前后對(duì)比來看數(shù)據(jù)效果。
2)上線后分析新功能是否帶來長期價(jià)值
一般來說,新功能只要看是否滿足業(yè)務(wù)目標(biāo)就足夠了,但是我們還需要關(guān)注長期價(jià)值。一個(gè)好產(chǎn)品需要具備對(duì)用戶有效用、對(duì)企業(yè)有收益、可持續(xù)這三個(gè)屬性。
所以我們還要放寬視角,關(guān)注新功能的精準(zhǔn)留存。如果用戶有持續(xù)使用新功能,那說明新功能具備長期價(jià)值,值得繼續(xù)深挖;如果用戶只使用一次新功能,那說明我們對(duì)需求把控沒有到位或新功能沒有很好地滿足用戶需求。
3)上線后探索新功能的更多可能性
除了看新功能是否符合預(yù)期、是否具備長期價(jià)值,還可以詳細(xì)分析新功能本身的數(shù)據(jù),得到下一步優(yōu)化的方向或獲得需求洞察。
比如用漏斗分析看每一步的轉(zhuǎn)化率,分析漏損在哪里;比如分客群看使用新功能的情況,分析哪個(gè)客群是新功能的核心客群;比如看用戶使用新功能的頻率和時(shí)間分布,分析用戶對(duì)新功能的使用習(xí)慣。
2. 分析數(shù)據(jù)原因
一般來說,分析數(shù)據(jù)背后的原因,分為客觀原因和主觀原因:
1)客觀原因
由于改變客觀環(huán)境,帶來的數(shù)據(jù)變化。比如縮短用戶操作路徑,減少用戶操作;優(yōu)化頁面布局,使主要功能更聚焦;優(yōu)化性能,提高接口返回?cái)?shù)據(jù)速度,降低失敗率;增加場景,提高曝光從而提高收入等。
2)主觀原因
由于改變用戶的主觀意愿,帶來的數(shù)據(jù)變化。比如增加獎(jiǎng)勵(lì)刺激,提高用戶參與欲望;優(yōu)化素材投放,提高用戶點(diǎn)擊欲望;客群本身的質(zhì)量原因等。
3. 制定后續(xù)規(guī)劃
根據(jù)新功能的數(shù)據(jù)結(jié)論及原因,確定接下來是要繼續(xù)優(yōu)化還是改變方向。繼續(xù)優(yōu)化一般是繼續(xù)保留新功能,下一步計(jì)劃是放量或優(yōu)化后放量;改變方向是現(xiàn)有功能沒有符合預(yù)期,但是從現(xiàn)有數(shù)據(jù)獲得新洞察,可以換個(gè)方向嘗試。
作者:狐檬,具有千萬級(jí)互金產(chǎn)品和運(yùn)營經(jīng)驗(yàn)。微信公眾號(hào):小狐學(xué)產(chǎn)品
本文由 @狐檬 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議
- 目前還沒評(píng)論,等你發(fā)揮!