如何通過 AB Testing 提升產品數據?

3 評論 12267 瀏覽 67 收藏 8 分鐘

A/B 測試,簡單來說,就是為同一個目標制定兩個方案(比如兩個頁面),讓一部分用戶使用 A 方案,另一部分用戶使用 B 方案,記錄下用戶的使用情況,看哪個方案更符合設計。那我們要如何通過 AB Testing 提升產品數據?

產品或者設計師在做設計方案時,會有一套方法論來制作多個方案,經過評審之后一般都會得出一個平衡了用戶體驗和業務目標的方案。但往往也存在一種情況:A方案和B方案各有優劣,實在無法主觀判斷兩個方案上線之后數據如何。

如果AB方案的實現成本不是很高,就可以使用AB Testing來解決。依據上線之后的數據表現,最終上線數據更好的方案。

1. 原理

數理統計學中有一個概念叫“假設檢驗(Hypothesis Testing)”,其基本的原理是對整體特征做出某種假設,然后通過抽樣研究的統計推理,對此假設應該被拒絕還是接受作出推斷。

在假設檢驗中,存在原假設和備擇假設,以下圖為例:

改變按鈕樣式的AB Testing

原假設指改變按鈕樣式會帶來轉化率的提升,備擇假設是改變按鈕樣式不會帶來轉化率的提升。

原假設和備擇假設有且只能有一個為真。

2. 背景

Google是最早將AB Testing應用到互聯網產品的公司,谷歌工程師在2000年進行了他們的第一次AB測試,試圖確定在搜索引擎結果頁面上顯示的最佳結果數量。后來AB測試不斷發展,但基礎和基本原則通常保持不變,2011年,谷歌首次測試后11年,谷歌進行了7,000多次不同的AB測試。

目前像Facebook、LinkedIn等公司都有專門的增長團隊來做AB Testing的實驗(增長團隊的核心就是不斷的進行AB Testing來提升產品數據),并且團隊負責人直接向CEO匯報,最近兩年國內不少公司也越來越重視數據增長。

3. AB Testing越來越被重視的原因

為什么數據增長會在互聯網行業興起,我認為有兩點原因:

  • 一是互聯網產品的表現形式趨于成熟,目前市場上主流的智能手機操作系統只有iOS和Android,它們在交互和視覺層面越來越規范和統一;
  • 二是互聯網產品設計的方法論逐漸成熟,互聯網公司產品設計流程的分工已經很細,產品經理、交互設計師、視覺設計師,而且每個崗位都有成熟的方法論。

由于這兩點原因,導致大家做出來的東西在用戶體驗層面已經拉不開很大的差距,這時候如何在同質化產品中脫穎而出變得更加困難,其中通過科學的方法,采用認知心理學和統計學相關知識的AB Testing展現了它的威力,并為互聯網產品的數據增長帶來了新的動力。

4. 具體方法論:如何做實驗?

①提出想法,設定假設

得出假設的方法有很多,包括福格模型、頭腦風暴、經驗總結、行業借鑒、公司不同部門人員提出建議、用戶調研、數據分析。方法有很多,以后我們會詳細介紹。

②預估成本/設定優先級

有些實驗方案不僅涉及設計和開發成本,還需要額外的資金成本,像增加現金或優惠券獎勵來提升轉化率的實驗,這個時候需要對該類實驗經濟成本預估,并且結合ICE模型來設定優先級,決定哪個實驗先做,哪個實驗后做。

ICE模型是指:Impact Level 重要度;Confidence 自信度; Ease 容易度。每項滿分為十分,ICE總分為三項的平均分,ICE分值越高,對應的優先級也越高。

③設計方案

決定了哪些實驗先做,哪些后做,接下來就要開始進入方案的設計階段了,有些簡單的實驗可能不需要經過設計階段,可以直接開發上線。主要跟交互設計師,根據第一步提出的假設,提出多種方案,最后選擇一到兩個方案進行AB testing。

著名的資訊公司Upworthy會對每篇即將上線的文章討論出25個標題,最終選擇2個標題進行A B testing。

④確定實驗人數和周期

關于計算實驗人數和周期,有很多工具網站可以使用,例如:Evanmiller網站。打開這個網站,你會發現有四個字段需要輸入:

  • 一個是Baseline conversion rate,指原有的轉化率;
  • 二是Minimum Detectable Effect,指預計會提升的百分比,另外兩個是β和α值,你只要記住設定這兩個值是為了保證實驗結果的準確性。一般β值會設定在5%/10%,α值會取1%~10%之間。

⑤安排開發與測試

這個大家太熟悉了,就不多說。

⑥分析實驗結果

在分析實驗結果的時候要特別注意兩點:

  • 一要排除其他因素導致的數據變動,例如你的產品是受季節影響的話,實驗得出的數據要扣除季節對數據產生的影響;
  • 二是確保關聯數據也有相應增長,例如你的實驗是要提升活動詳情頁到支付頁的轉化率,實驗結果顯示,轉化率從之前的5%提升到了6%,這相當于增長了20%。但是別高興太早,你要看看這增加的20%的用戶,有沒有成功進入下一步,也就是支付成功,很有可能本次實驗只是把用戶從活動詳情頁吸引到了支付頁,但是吸引來的用戶并沒有去真正下單。

⑦擴大實驗或失敗

分析完實驗結果后,如果判定實驗成功,接下來就擴大實驗范圍,把本次改進覆蓋所有用戶;如果實驗失敗,也不要灰心,畢竟AB Testing的成功率并不是很高,大膽的接受實驗失敗,并開始下一個實驗吧。

5. 注意事項

  1. 確保實驗的變量唯一;
  2. 確保試驗周期不能過長,一般控制在2到3周,最好不要超過一個月;
  3. 確保α和β值在合理的區間內,保證實驗的準確性;
  4. 分析實驗結果時,記得排除其他因素在實驗中的影響。

#專欄作家#

鄒志楠,微信公眾號:鄒志楠,人人都是產品經理專欄作家。用戶體驗設計師,專注于互聯網產品設計。

本文原創發布于人人都是產品經理。未經許可,禁止轉載。

題圖來自Unsplash,基于CC0協議

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 咦?更新到2018.10.8就停更了么。

    來自安徽 回復
  2. 大神時隔一年才發,能多多佛光普發,造福人類么?哈哈

    感謝分享!

    來自江蘇 回復
  3. 學習了。謝謝

    回復