關(guān)于A/B測試,你需要知道的10條準則
在產(chǎn)品迭代或運營優(yōu)化策略上,聰明的團隊總是會為同一個增長目標(biāo)提供多個解決方案,如何擇其一還能保證最終效果是最優(yōu)的,很多時候,就會用數(shù)據(jù)來輔助決策。這時候,A\B測試就顯得必不可少,對于這樣的科學(xué)實踐,方法論顯得尤為重要,譯文即為原作者總結(jié)的A/B測試的10條準則。
以下為譯文:
規(guī)則一:拋棄固有的認知
很多時候,我們會基于用戶的屬性信息,特別是年齡,性別,地域或收入來認識他們,盡可能不要醬紫,曾經(jīng)用戶的信息是尋找目標(biāo)用戶的最佳方式(或唯一方式),的確,他現(xiàn)在也依然重要,但在線上市場,我們有了非常多的切入點去一對一去探索用戶最真實需求的能力。
規(guī)則二:明確當(dāng)前指標(biāo)值
轉(zhuǎn)化率優(yōu)化是你急需著手的目標(biāo),但是,在進行高風(fēng)險的A/B測試之前,需要提前確定一個基準線,如果不知道當(dāng)前的轉(zhuǎn)化率,又怎么能知道未來的測試是否成功呢?
規(guī)則三:別人的經(jīng)驗不一定適用于你
如果某一轉(zhuǎn)化率優(yōu)化策略適用于所有產(chǎn)品,那還有什么必要測試呢?這樣的話,所有人只需要借(chao)鑒(xi)即可。其實,區(qū)別還是很大的。
假設(shè)A公司是賣鞋的電商平臺,B公司是企業(yè)級服務(wù)的平臺,很明顯,就算他們有相同的客戶,購買決策周期也完全不一樣,對A公司而言,把購買按鈕從紅色換成綠色可能會帶來15%的銷量增長,But,放到B公司,卻不一定有同樣的結(jié)果。
規(guī)則四:盡可能保證變量唯一
當(dāng)做AB測試時,一次測試只測試一個變量有助于讓結(jié)果更有說服力。
規(guī)則五:在沒達到置信水平時不要下結(jié)論
在AB測試中,統(tǒng)計置信是指當(dāng)同一個測試再次被進行時,有同樣結(jié)果的可能性。換句話說,是看你測試結(jié)果的確定性。
舉例,假如你在做一項購物車頁面的A/B測試,A代表使用單選按鈕,B代表使用下拉菜單,假設(shè)B帶來了75%的轉(zhuǎn)化提升。那么,B方案勝出?
還真不一定,這里還有其他需要考慮的點:
1、樣本大小
樣本大小會對置信度產(chǎn)生相當(dāng)?shù)挠绊?。還是以上述例子來說,如果你的樣本是4個人,就意味著只有3個人選擇了下拉菜單,從起步來說還算不錯,但當(dāng)樣本量擴大到1000時,我們想要保持相同轉(zhuǎn)化率的可能性是微乎其微的,也就是說,當(dāng)下我們的測試結(jié)果置信度非常低。
2、置信水平
在一個500的樣本量里,99%的用戶都選擇了下拉菜單,你判斷出錯的可能性較?。ㄒ驗槿蒎e率小)。但如果只有51%的用戶選擇了下拉菜單而49%的用戶選擇了單選按鈕,那隨機性就不得不考慮了,所以你需要繼續(xù)測試直到有一個較高的置信水平。
3、用戶規(guī)模
如果你的總用戶量是25w而你的樣本量是25,同樣也會出現(xiàn)一個比較低的置信水平。
規(guī)則六:循序漸進(walk before you run)
由于用戶的認知和預(yù)期的變化,CRO也會是一個變化的目標(biāo),所以,犯錯在所難免,重要的是在過程中總結(jié)經(jīng)驗,這樣會為之后的測試產(chǎn)生累積價值。
規(guī)則七:多維度收集用戶反饋
用戶測試從未如此重要,也從未如此簡單,就算你沒有個牛逼的用研團隊,也可以選擇很多免費(或花費很少)的工具進行用戶調(diào)研。
比如
1、Peek
一個可以很簡單并且可以讓你快速收集用戶對網(wǎng)站的定性反饋
- 優(yōu)點:反饋比較客觀、細致而且免費
- 缺點:無法測試目標(biāo)用戶群之外的用戶。而且,耗時太久,所以要收集數(shù)量巨大的反饋比較困難
2、Amazon Turk
通過定量分析(比如問卷調(diào)研)幫助你在短時間內(nèi)收集到上千真實用戶的反饋
- 優(yōu)點:價格親民,可擴展性強,數(shù)量級大,可以預(yù)設(shè)置一些條件
- 缺點:通常是通過問卷調(diào)研來做,或者可以理解為需要人為操作。
當(dāng)然了,有用戶反饋總比沒有好
規(guī)則8:用戶行為數(shù)據(jù)可能和結(jié)果性數(shù)據(jù)有矛盾
結(jié)果性數(shù)據(jù)固然重要,但要注意很多時候可能沒有行為數(shù)據(jù)來的真實。
比如,你急著要打印一些重要文件好去開會,剛打印了3頁就發(fā)現(xiàn)需要換墨盒了。?那么你會怎么處理呢?先停下來,想想你內(nèi)心真實的答案是啥。
你也許會說你會換掉墨盒然后繼續(xù)打印。對,這是一個最終結(jié)果。
然而,在一個真實的場景里,其實你已經(jīng)踢了打印機四次,清空了卡紙,猛戳了7次“取消”鍵。然后才換了墨盒。?你歸整文件時,你又把咖啡灑在了體恤上,簡直生無可戀……然后不得不調(diào)整會議時間。在結(jié)果性數(shù)據(jù)中,其實你并不會刻意去就你的想法撒謊。畢竟你也確實換了墨盒。?但是如果僅憑結(jié)果性數(shù)據(jù),就會漏掉很多細節(jié)。
規(guī)則9:明確定義你的目標(biāo)值
實驗前,明確或預(yù)估一個目標(biāo)值。心里有個目標(biāo),然后圍繞目標(biāo)來優(yōu)化,一定程度上可以理解為KPI
規(guī)則10:不要測試那些影響較小的因素
基于業(yè)務(wù)的核心價值去做實驗,聚焦能提升產(chǎn)品核心價值的因素。
原文地址:https://blog.kissmetrics.com/know-about-ab-testing/
原文作者:Nicki Powers
翻譯:璐爺
本文由 @璐爺 翻譯發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
- 目前還沒評論,等你發(fā)揮!