產品做A/B測試必須考慮這些事

2 評論 5074 瀏覽 55 收藏 7 分鐘

本篇文章主要介紹在進行AB測試時,需要考慮的點及一些小的細節(jié)介紹,并通過一個案例進行結合體驗。

問題:產品為什么要做A/B測試?

原因:因為實踐是檢驗真理的唯一標準。A/B測試是一個科學的統計方法,著一統計的誕生,再也不用為了爭吵是使用A圖片好,還是使用B圖片好,好不好按照效果說了算。這樣極大的避免了產品經理憑借感覺定方案的情況。

所以本篇文章主要介紹在進行AB測試時需要考慮的點及一些小的細節(jié)介紹,并通過一個案例進行結合體驗。

一、確定測試目的

A/B測試需要一個目標,以便正確執(zhí)行:比如產品經理的目標就是想通過測試弄清楚某個顏色方式,或者某個標題能否產生更多訂單的轉化。而如果你的A/B測試沒有目標,那只能是在浪費時間和精力。

確定A/B測試的目標是什么(即要得出什么結論)?

比如我之前做過的百度平臺視頻類型的小程序播放頁A/B測試,目標為:測試在百度平臺內部,視頻類型的小程序播放頁哪種樣式(頁面布局)效果更好;

目標好(適合)的標準是什么?

視頻類型的播放頁,好的標準是什么:

  1. 頁面的人均點擊視頻數多;
  2. 頁面的人均收益高。

文案好的標準是什么?

按鈕的點擊與曝光比率越高效果越好。

二、確認參與A/B測試的幾版方案

在選擇參與A/B測試的幾種方案需要想清楚理由,即回答為什么能參與到這次A/B測試中;其次確認參照方案,即參與A/B測試之后的方案除了相互之間進行比較,最終要和哪個方案進行終極PK(當然我直接選用了線上的方案作為參照)。

播放頁樣式測試方案簡介

feed樣式:當前視頻軟件上基本都采用這種feed流樣式(騰訊視頻、愛奇藝、優(yōu)酷)。

大圖樣式:為了與百度小程序廣告組件的大圖/視頻廣告樣式保持一致。

  • 原因一:提升頁面的整體視覺;
  • 原因二:猜測采用這種樣式會增加收益(與廣告樣式相近);

左圖右文:目前很多家視頻公司相關推薦的主流樣式(好看視頻、西瓜視頻、嗶哩嗶哩等)。

三、確定所需數據來源(得出結論需要哪些數據做支撐)

1.怎么算人均點擊

我所理解的人均點擊有兩個維度:

  1. 在該頁面發(fā)生點擊的人有沒有增多;
  2. 每個人點擊的視頻數有沒有增多。

主要的計算方式如下:

計算用戶在不同的頁面點擊的視頻數

怎么算人均收益

人均收益的計算方式:頁面總收入/頁面UV

  1. 確認頁面收益來源:主要有哪些廣告位;
  2. 頁面UV:每種樣式的播放啟動用戶數。

四、埋點方案確定

根據我們在(三)分析的所需數據進行埋點方案確定

  1. 我們需要在頁面的展現上報中上報播放頁樣式值,用來區(qū)分每一個樣式曝光了多少次;
  2. 在視頻的點擊上報中區(qū)分行為發(fā)生在那種播放頁。

五、方案執(zhí)行

以描述案例做方式執(zhí)行的步驟:

  1. 與前端約定樣式,當推薦返回哪個字段時前端展示什么樣式;(別忘了讓前端小哥哥加上報吆,若是增加字段了,需要進行數據備案)
  2. 與推薦約定每個樣式的投放比例。

當時做測試時樣式約定的值及投放的比例(如下圖):

六、線上數據跟蹤

到這個步驟了,說明前期規(guī)劃的產品已經上線了。我們的產品經理就需要盯著數據分析結果了,我的建議是線上跟蹤所需的數據明細最好在思考(三)階段的時候列好,這樣在數據跟蹤時我們只需要按照設想進行數據填充分析即可(當然有不合適的地方還是需要及時改正的)。

eg:百度平臺視頻小程序播放樣式A/B測試人均收益數據明細表(具體數據就不放置了)

七、結論輸出

結論輸出建議采用的方式:圖表配文字結論(直觀、清晰)

結論:

  1. 單分析人均收益效果,大圖樣式明顯好于feed樣式及左圖右文樣式;
  2. 從曲線圖看出,大圖樣式的收益高于feed樣式,但是人均點擊視頻數略低于feed樣式;所以需要更長的周期去測試這兩種樣式,最后由更多人去決定選擇收益還是體驗;
  3. 經過長達6天的測試結果可以看出,左圖右文收益與點擊效果均是最差,所有在后期繼續(xù)的測試中可以去掉該樣式,將此部分用戶分給feed樣式。

 

本文由 @李笑笑吆 原創(chuàng)發(fā)布于人人都是產品經理。未經許可,禁止轉載

題圖來自Unsplash,基于CC0協議

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 猜測是因為feed模式占用的高度略小,視覺范圍內可以看到的視頻個數多(不排除用戶有一兩下滑動),概率上碰到感興趣的內容從而點擊看的可能性大了一點

    回復
  2. 可以交流一下嗎?

    來自浙江 回復