談?wù)剶?shù)學(xué)檢驗(yàn)分析在產(chǎn)品上線測試中的應(yīng)用

0 評論 15175 瀏覽 8 收藏 8 分鐘

數(shù)據(jù)運(yùn)營分析能夠很好地幫助我們提高工作效率,文章列舉了一個(gè)工作中的實(shí)例提供參考,希望對各位的工作有所幫助。

產(chǎn)品運(yùn)營因?yàn)樵诓煌袠I(yè)不同領(lǐng)域要面對的用戶和產(chǎn)品形態(tài)存在種種差別,導(dǎo)致運(yùn)營中需要使用的方法也是各有千秋。比如,創(chuàng)業(yè)小團(tuán)隊(duì)里,產(chǎn)品運(yùn)營可能還要肩負(fù)起部分市場營銷、推廣運(yùn)營的工作。而在大公司中,不少產(chǎn)品運(yùn)營只需要就某一個(gè)產(chǎn)品點(diǎn)進(jìn)行細(xì)致的精細(xì)化耕作。

筆者運(yùn)氣較好,在大學(xué)里就完成了第一次創(chuàng)業(yè),這幾年既在阿里這樣的大公司待過,也在小團(tuán)隊(duì)、上市公式工作過,逐漸從最早對完全沒有運(yùn)營概念,到今天建立了相對完善的運(yùn)營認(rèn)知,體會(huì)頗多。其中影響最深的是對數(shù)據(jù)運(yùn)用分析的技能提升——從初入運(yùn)營時(shí),以開發(fā)身份兼職運(yùn)營推廣,到如今帶領(lǐng)團(tuán)隊(duì)一起完成數(shù)據(jù)分析和模塊上線測試,數(shù)據(jù)的運(yùn)用分析成為我尤為關(guān)注的重要運(yùn)營手段。

雖然,稍大的公司已經(jīng)有了數(shù)據(jù)分析師的職位,但在部門內(nèi)擁有自己的對數(shù)據(jù)先行分析預(yù)判的技能,只會(huì)帶來更大的效率提升,并不會(huì)造成資源的浪費(fèi);而沒有數(shù)據(jù)分析師的崗位,數(shù)據(jù)分析技能也能讓你盡可能脫離粗暴的直覺判斷,擁有更系統(tǒng)的產(chǎn)品武器。

一.數(shù)據(jù)分析的運(yùn)用場景

那么,數(shù)據(jù)分析有哪些用處,又對我們的產(chǎn)品有哪些幫助呢?來看一下這個(gè)不會(huì)感到陌生的應(yīng)用場景:

某產(chǎn)品功能即將收尾,迎來重要的里程碑版本,但上線前產(chǎn)品和運(yùn)營就其中一個(gè)可能導(dǎo)致用戶轉(zhuǎn)化指標(biāo)上升或下降的功能產(chǎn)生了分歧。討論會(huì)后,產(chǎn)品決定對產(chǎn)品先進(jìn)行A/B分桶測試,收集用戶反饋數(shù)據(jù)后再做對比決定更細(xì)致的方案選擇。

在這個(gè)場景中,核心的需求是提升用戶轉(zhuǎn)化,分歧的重點(diǎn)是在用戶的反饋上,解決分歧的關(guān)鍵在于數(shù)據(jù)的分析對比。

需要補(bǔ)充的是,產(chǎn)品中還有其它很多數(shù)據(jù)分析的情況,這里只舉了上述比較場景易懂的案例。

二.數(shù)據(jù)分析的過程

在上述的場景中,要如何解決數(shù)據(jù)的分析對比數(shù)據(jù)呢?也許有人會(huì)說,數(shù)據(jù)都收集回來看,直接看不就能解決了嗎,還用得著分析?

其實(shí),數(shù)據(jù)的差異有時(shí)候沒有你想象的那么大,用戶在市場中的操作不會(huì)過于強(qiáng)烈,但是在產(chǎn)品體驗(yàn)上用戶卻呈現(xiàn)出蝴蝶效應(yīng)的趨勢,小細(xì)節(jié)小疏忽做得不好,用戶就流失了。另一方面,市場搜集的數(shù)據(jù)樣本有時(shí)很大,數(shù)據(jù)對比并不是迅速可以用肉眼解決的。所以,數(shù)據(jù)分析要講求基本的數(shù)據(jù)檢驗(yàn)?zāi)P汀?/p>

在這個(gè)案例中,我們假設(shè)收集回來的兩組數(shù)據(jù)是下面這兩種結(jié)果的樣子(為方便舉例,考慮A、B兩組用戶,數(shù)值代表用戶的停留時(shí)長):

調(diào)查一

調(diào)查二

你告訴我,這個(gè)產(chǎn)品功能的更改,對用戶而言到底有沒有顯著差異?我先說結(jié)論,圖一的結(jié)果,顯示功能的更改對用戶造成了顯著的差異影響,而圖二的結(jié)果,正好與圖一結(jié)論相反。

分析的過程,來源于數(shù)學(xué)上我們都學(xué)過的t檢驗(yàn)法。數(shù)據(jù)分析過程為:

  1. 我們先建立一個(gè)假設(shè),令為H0假設(shè),H0代表兩組結(jié)果不存在顯著差異。
  2. 我們使用如下的t檢驗(yàn)公式,計(jì)算出t值。公式中的符號比較好懂,分子代表兩組平均數(shù)的差值,分母代表樣本方差之和與方差系數(shù)乘積的差,除以樣本總數(shù)減去1后,再開平方根的值。
  3. 得到t值后,我們在網(wǎng)上搜索得到t校驗(yàn)表單,對比t值與表中相應(yīng)臨界值的大小,就能判斷得出結(jié)果是否顯著了。

當(dāng)然,這個(gè)過程還是比較難計(jì)算的,好在我們沒有必要用手工去計(jì)算和查表了。市場上有很多可以用來進(jìn)行t校驗(yàn)的軟件工具,比如我們常用的excel就可以。我個(gè)人比較喜歡用SPSS,當(dāng)我們對數(shù)據(jù)進(jìn)行導(dǎo)入,選擇t檢驗(yàn)填寫配對值后,我們就能得到以下的數(shù)據(jù)(下圖為第一組數(shù)據(jù)結(jié)果):

由結(jié)果我們可以觀察到,置信區(qū)間設(shè)置為95%時(shí),兩組樣本數(shù)據(jù),對比得到了雙側(cè)校驗(yàn)結(jié)果0.014。在這里,只需要記住0.05這個(gè)衡量指標(biāo),由于0.014小于0.05,所以H0假設(shè)要被否定,意味著兩組數(shù)據(jù)存在顯著差異。

三.歸類總結(jié)

以上舉出了產(chǎn)品運(yùn)營過程中的一個(gè)小案例,借此說明數(shù)據(jù)運(yùn)營分析是如何幫助我提高工作效率的。在以上的舉例場景中,通過運(yùn)用軟件,我們對用戶數(shù)據(jù)進(jìn)行了合理可信賴的統(tǒng)計(jì)梳理,幫助我們建立更易于接受的結(jié)論。

其實(shí),應(yīng)用軟件能幫助我們對更大規(guī)模的數(shù)據(jù)開展檢驗(yàn)工作。t檢驗(yàn)也只是數(shù)學(xué)校驗(yàn)方法中的一種。如果我們已知的是市場的平均水平,捕獲的是單個(gè)用戶的屬性,想要看用戶的偏移情況(比如想確認(rèn)用戶是否違規(guī)操作,也就是和常規(guī)數(shù)據(jù)不符),我們還可以采用Z校驗(yàn)。

如果你會(huì)基本的SQL語句,那就更方便了,還可以及時(shí)匯總數(shù)據(jù)到數(shù)據(jù)庫中,實(shí)現(xiàn)更動(dòng)態(tài)的數(shù)據(jù)模擬;重要的是,那將意味著技術(shù)同學(xué)可以開放一個(gè)端口供你查詢數(shù)據(jù),對市場結(jié)果有更好更清晰的全局把握。

如果說運(yùn)營要懂用戶懂市場,那我覺得這句話應(yīng)該有兩層含義,一是建立宏觀的概念認(rèn)知,二是對細(xì)節(jié)微觀有審慎的理解。希望以上例子能幫助大家更好的理解數(shù)據(jù)分析,具體踐行出更多的實(shí)用案例。

 

作者:奉政坊(微信號:mr-lan1)開發(fā)工程師轉(zhuǎn)行運(yùn)營,曾策劃運(yùn)營過多起上線項(xiàng)目。

本文由 @奉政坊 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!