產品做A/B測試必須考慮這些事
本篇文章主要介紹在進行AB測試時,需要考慮的點及一些小的細節(jié)介紹,并通過一個案例進行結合體驗。
問題:產品為什么要做A/B測試?
原因:因為實踐是檢驗真理的唯一標準。A/B測試是一個科學的統計方法,著一統計的誕生,再也不用為了爭吵是使用A圖片好,還是使用B圖片好,好不好按照效果說了算。這樣極大的避免了產品經理憑借感覺定方案的情況。
所以本篇文章主要介紹在進行AB測試時需要考慮的點及一些小的細節(jié)介紹,并通過一個案例進行結合體驗。
一、確定測試目的
A/B測試需要一個目標,以便正確執(zhí)行:比如產品經理的目標就是想通過測試弄清楚某個顏色方式,或者某個標題能否產生更多訂單的轉化。而如果你的A/B測試沒有目標,那只能是在浪費時間和精力。
確定A/B測試的目標是什么(即要得出什么結論)?
比如我之前做過的百度平臺視頻類型的小程序播放頁A/B測試,目標為:測試在百度平臺內部,視頻類型的小程序播放頁哪種樣式(頁面布局)效果更好;
目標好(適合)的標準是什么?
視頻類型的播放頁,好的標準是什么:
- 頁面的人均點擊視頻數多;
- 頁面的人均收益高。
文案好的標準是什么?
按鈕的點擊與曝光比率越高效果越好。
二、確認參與A/B測試的幾版方案
在選擇參與A/B測試的幾種方案需要想清楚理由,即回答為什么能參與到這次A/B測試中;其次確認參照方案,即參與A/B測試之后的方案除了相互之間進行比較,最終要和哪個方案進行終極PK(當然我直接選用了線上的方案作為參照)。
播放頁樣式測試方案簡介
feed樣式:當前視頻軟件上基本都采用這種feed流樣式(騰訊視頻、愛奇藝、優(yōu)酷)。
大圖樣式:為了與百度小程序廣告組件的大圖/視頻廣告樣式保持一致。
- 原因一:提升頁面的整體視覺;
- 原因二:猜測采用這種樣式會增加收益(與廣告樣式相近);
左圖右文:目前很多家視頻公司相關推薦的主流樣式(好看視頻、西瓜視頻、嗶哩嗶哩等)。
三、確定所需數據來源(得出結論需要哪些數據做支撐)
1.怎么算人均點擊
我所理解的人均點擊有兩個維度:
- 在該頁面發(fā)生點擊的人有沒有增多;
- 每個人點擊的視頻數有沒有增多。
主要的計算方式如下:
怎么算人均收益
人均收益的計算方式:頁面總收入/頁面UV
- 確認頁面收益來源:主要有哪些廣告位;
- 頁面UV:每種樣式的播放啟動用戶數。
四、埋點方案確定
根據我們在(三)分析的所需數據進行埋點方案確定
- 我們需要在頁面的展現上報中上報播放頁樣式值,用來區(qū)分每一個樣式曝光了多少次;
- 在視頻的點擊上報中區(qū)分行為發(fā)生在那種播放頁。
五、方案執(zhí)行
以描述案例做方式執(zhí)行的步驟:
- 與前端約定樣式,當推薦返回哪個字段時前端展示什么樣式;(別忘了讓前端小哥哥加上報吆,若是增加字段了,需要進行數據備案)
- 與推薦約定每個樣式的投放比例。
當時做測試時樣式約定的值及投放的比例(如下圖):
六、線上數據跟蹤
到這個步驟了,說明前期規(guī)劃的產品已經上線了。我們的產品經理就需要盯著數據分析結果了,我的建議是線上跟蹤所需的數據明細最好在思考(三)階段的時候列好,這樣在數據跟蹤時我們只需要按照設想進行數據填充分析即可(當然有不合適的地方還是需要及時改正的)。
eg:百度平臺視頻小程序播放樣式A/B測試人均收益數據明細表(具體數據就不放置了)
七、結論輸出
結論輸出建議采用的方式:圖表配文字結論(直觀、清晰)
結論:
- 單分析人均收益效果,大圖樣式明顯好于feed樣式及左圖右文樣式;
- 從曲線圖看出,大圖樣式的收益高于feed樣式,但是人均點擊視頻數略低于feed樣式;所以需要更長的周期去測試這兩種樣式,最后由更多人去決定選擇收益還是體驗;
- 經過長達6天的測試結果可以看出,左圖右文收益與點擊效果均是最差,所有在后期繼續(xù)的測試中可以去掉該樣式,將此部分用戶分給feed樣式。
本文由 @李笑笑吆 原創(chuàng)發(fā)布于人人都是產品經理。未經許可,禁止轉載
題圖來自Unsplash,基于CC0協議
猜測是因為feed模式占用的高度略小,視覺范圍內可以看到的視頻個數多(不排除用戶有一兩下滑動),概率上碰到感興趣的內容從而點擊看的可能性大了一點
可以交流一下嗎?