合理利用假設(shè)檢驗(yàn),讓你看清產(chǎn)品數(shù)據(jù)

8 評(píng)論 14850 瀏覽 34 收藏 5 分鐘

你真的會(huì)數(shù)據(jù)分析嗎?什么才是數(shù)據(jù)分析的正確打開方式?文章中舉出了幾種數(shù)據(jù)分析的常用例子與檢驗(yàn)方式,一起來(lái)學(xué)習(xí)下。

不得不說(shuō),現(xiàn)在互聯(lián)網(wǎng)行業(yè)對(duì)產(chǎn)品經(jīng)理的要求是越來(lái)越高了,不只是要求自己寫得了文檔、畫的了原型、斗得過(guò)開發(fā)、忽悠過(guò)領(lǐng)導(dǎo),還要分析得了各種數(shù)據(jù)。

你真的會(huì)做數(shù)據(jù)分析么

目前產(chǎn)品經(jīng)理使用比較多的數(shù)據(jù)分析方法,就是將每天的網(wǎng)站或者APP數(shù)據(jù)匯總到Excel中,然后用用折線圖,柱狀圖來(lái)展示數(shù)據(jù)的趨勢(shì)。比如下圖中如果是看UV,那就把每天的數(shù)據(jù)匯總出來(lái),然后按照每周或者每月拉一下平均值,做個(gè)折線圖,是升還是降,一目了然。細(xì)致一點(diǎn)就是對(duì)于一些關(guān)鍵的時(shí)間節(jié)點(diǎn)進(jìn)行單獨(dú)分析,比如7月25日的上升期是做了哪些功能或者活動(dòng),導(dǎo)致UV的整體提升。

然而,這其實(shí)是非常粗糙的一種分析數(shù)據(jù)的方式,只是停留在數(shù)據(jù)的表面,并不足以是判斷數(shù)據(jù)變化的依據(jù)。

舉個(gè)打臉的栗子

我們APP正在做一項(xiàng)運(yùn)營(yíng)活動(dòng),活動(dòng)的目的是提升UV和拉新。在活動(dòng)進(jìn)行的第10天,我們出一版數(shù)據(jù)報(bào)告,主要看活動(dòng)的進(jìn)行的10天里,APP的UV是否有增長(zhǎng)。

具體數(shù)據(jù)如下,數(shù)據(jù)分析報(bào)告中給出的結(jié)果是APP的UV從活動(dòng)前10天的平均167575提升至173514,提升了大概3.5%。領(lǐng)導(dǎo)們表示很開心,預(yù)計(jì)兩個(gè)月的活動(dòng)進(jìn)行到剛開始的10天,UV就有了提升。

然而這個(gè)數(shù)據(jù)真的能夠代表數(shù)據(jù)提升了么?

實(shí)際上,我后來(lái)又重新做了一次分析,平均值和提升比例沒(méi)有問(wèn)題,和原來(lái)一樣,但是通過(guò)對(duì)前后數(shù)據(jù)的差異性檢驗(yàn),發(fā)現(xiàn)活動(dòng)前和活動(dòng)中的UV數(shù)據(jù)之間并不存在明顯差異,也就是這種提升并不能明顯到稱其為提升。所以看到結(jié)果后也算痛打了我的臉。

從上面的案例做個(gè)總結(jié)就是:不能只是簡(jiǎn)單看數(shù)據(jù)提升比率,還要看這個(gè)提升比率是不是有意義,提升了2%,和提升了12%,都是提升,哪種才是真正的提升。

幾個(gè)常用場(chǎng)景的數(shù)據(jù)分析方法及具體操作

運(yùn)營(yíng)活動(dòng)效果數(shù)據(jù)分析

  • 常規(guī):UV、PV、拉新、訂單等均值及提升比
  • 精確:前后活動(dòng)的UV、PV、拉新、訂單數(shù)據(jù)的假設(shè)檢驗(yàn),

如果是在全站做活動(dòng),則使用配對(duì)樣本T檢驗(yàn);

如果是分平臺(tái),如安卓和蘋果用戶效果對(duì)比,則使用獨(dú)立樣本T檢驗(yàn)。

A/B測(cè)試數(shù)據(jù)分析-對(duì)某個(gè)頁(yè)面改版的A/B測(cè)試

  • 常規(guī):UV、PV、拉新、訂單等數(shù)據(jù)均值及提升比
  • 精確對(duì)比:A測(cè)試的UV、PV、拉新、訂單等數(shù)據(jù)與B測(cè)試結(jié)果的UV、PV、拉新、訂單等數(shù)據(jù)假設(shè)檢驗(yàn)

如果A/B測(cè)試使用的同時(shí)分流量進(jìn)行測(cè)試,則這時(shí)候應(yīng)該是兩波獨(dú)立用戶,我們假設(shè)隨機(jī)分配的用戶不存在差異,可以用戶獨(dú)立樣本T檢驗(yàn)。

如果A/B測(cè)試使用的是前后測(cè)試,即同一批用戶分別在A測(cè)試環(huán)境下做一段時(shí)間測(cè)試,然后再在B環(huán)境下做一段時(shí)間測(cè)試,則使用配對(duì)樣本T檢驗(yàn)。

如果頁(yè)面改版的測(cè)試方案不只是兩種,則可以使用方差分析的假設(shè)檢驗(yàn)方式

其實(shí)數(shù)據(jù)分析還有很多種檢驗(yàn)方式,適用于很多情況,文章中舉出的只是幾種常用例子,如果大家想要學(xué)習(xí)更多,可以看下相關(guān)數(shù)據(jù)或者統(tǒng)計(jì)學(xué)論壇,讓我們的產(chǎn)品數(shù)據(jù)做的更精確。

 

本文由@ Sonya 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 說(shuō)了點(diǎn)皮毛

    來(lái)自上海 回復(fù)
  2. 前后數(shù)據(jù)的差異性檢驗(yàn),用什么處理?處理思路是?怎么處理的?方便知悉嗎?

    來(lái)自湖北 回復(fù)
    1. 前后如果用的相同樣本,用配對(duì)樣本T檢驗(yàn);如果是不同樣本,可以使用獨(dú)立樣本T檢驗(yàn)

      來(lái)自江蘇 回復(fù)
  3. 期待更深入的思考解析…

    來(lái)自廣東 回復(fù)
  4. 雖然學(xué)習(xí)過(guò)統(tǒng)計(jì)學(xué),但是表示沒(méi)看懂啊,可以再詳細(xì)一點(diǎn)么

    回復(fù)
  5. 前后數(shù)據(jù)的差異性檢驗(yàn),用什么處理?處理思路是?怎么處理的?方便知悉嗎?微信15956069645

    回復(fù)
  6. 完會(huì)沒(méi)看懂,太粗糙了

    回復(fù)
  7. 能否講的更詳細(xì)呢?那個(gè)打臉的栗子,完全沒(méi)看懂什么意思這對(duì)于真正有需求的讀者來(lái)說(shuō),當(dāng)真是吊了胃口,卻沒(méi)有任何食糧啊。能否留個(gè)聯(lián)系方式,教導(dǎo)一下?謝謝。

    回復(fù)