A/B 測試，簡單來說，就是為同一個目標制定兩個方案（比如兩個頁面），讓一部分用戶使用 A 方案，另一部分用戶使用 B 方案，記錄下用戶的使用情況，看哪個方案更符合設計。那我們要如何通過 AB Testing 提升產品數據？

產品或者設計師在做設計方案時，會有一套方法論來制作多個方案，經過評審之后一般都會得出一個平衡了用戶體驗和業務目標的方案。但往往也存在一種情況：A方案和B方案各有優劣，實在無法主觀判斷兩個方案上線之后數據如何。

如果AB方案的實現成本不是很高，就可以使用AB Testing來解決。依據上線之后的數據表現，最終上線數據更好的方案。

1. 原理

數理統計學中有一個概念叫“假設檢驗(Hypothesis Testing）”，其基本的原理是對整體特征做出某種假設，然后通過抽樣研究的統計推理，對此假設應該被拒絕還是接受作出推斷。

在假設檢驗中，存在原假設和備擇假設，以下圖為例：

改變按鈕樣式的AB Testing

原假設指改變按鈕樣式會帶來轉化率的提升，備擇假設是改變按鈕樣式不會帶來轉化率的提升。

原假設和備擇假設有且只能有一個為真。

2. 背景

Google是最早將AB Testing應用到互聯網產品的公司，谷歌工程師在2000年進行了他們的第一次AB測試，試圖確定在搜索引擎結果頁面上顯示的最佳結果數量。后來AB測試不斷發展，但基礎和基本原則通常保持不變，2011年，谷歌首次測試后11年，谷歌進行了7,000多次不同的AB測試。

目前像Facebook、LinkedIn等公司都有專門的增長團隊來做AB Testing的實驗（增長團隊的核心就是不斷的進行AB Testing來提升產品數據），并且團隊負責人直接向CEO匯報，最近兩年國內不少公司也越來越重視數據增長。

3. AB Testing越來越被重視的原因

為什么數據增長會在互聯網行業興起，我認為有兩點原因：

• 一是互聯網產品的表現形式趨于成熟，目前市場上主流的智能手機操作系統只有iOS和Android，它們在交互和視覺層面越來越規范和統一；
• 二是互聯網產品設計的方法論逐漸成熟，互聯網公司產品設計流程的分工已經很細，產品經理、交互設計師、視覺設計師，而且每個崗位都有成熟的方法論。

由于這兩點原因，導致大家做出來的東西在用戶體驗層面已經拉不開很大的差距，這時候如何在同質化產品中脫穎而出變得更加困難，其中通過科學的方法，采用認知心理學和統計學相關知識的AB Testing展現了它的威力，并為互聯網產品的數據增長帶來了新的動力。

4. 具體方法論：如何做實驗？

①提出想法，設定假設

得出假設的方法有很多，包括福格模型、頭腦風暴、經驗總結、行業借鑒、公司不同部門人員提出建議、用戶調研、數據分析。方法有很多，以后我們會詳細介紹。

②預估成本/設定優先級

有些實驗方案不僅涉及設計和開發成本，還需要額外的資金成本，像增加現金或優惠券獎勵來提升轉化率的實驗，這個時候需要對該類實驗經濟成本預估，并且結合ICE模型來設定優先級，決定哪個實驗先做，哪個實驗后做。

ICE模型是指：Impact Level 重要度；Confidence 自信度； Ease 容易度。每項滿分為十分，ICE總分為三項的平均分，ICE分值越高，對應的優先級也越高。

③設計方案

決定了哪些實驗先做，哪些后做，接下來就要開始進入方案的設計階段了，有些簡單的實驗可能不需要經過設計階段，可以直接開發上線。主要跟交互設計師，根據第一步提出的假設，提出多種方案，最后選擇一到兩個方案進行AB testing。

著名的資訊公司Upworthy會對每篇即將上線的文章討論出25個標題，最終選擇2個標題進行A B testing。

④確定實驗人數和周期

關于計算實驗人數和周期，有很多工具網站可以使用，例如：Evanmiller網站。打開這個網站，你會發現有四個字段需要輸入：

• 一個是Baseline conversion rate，指原有的轉化率；
• 二是Minimum Detectable Effect，指預計會提升的百分比，另外兩個是β和α值，你只要記住設定這兩個值是為了保證實驗結果的準確性。一般β值會設定在5%/10%，α值會取1%~10%之間。

⑤安排開發與測試

這個大家太熟悉了，就不多說。

⑥分析實驗結果

在分析實驗結果的時候要特別注意兩點：

• 一要排除其他因素導致的數據變動，例如你的產品是受季節影響的話，實驗得出的數據要扣除季節對數據產生的影響；
• 二是確保關聯數據也有相應增長，例如你的實驗是要提升活動詳情頁到支付頁的轉化率，實驗結果顯示，轉化率從之前的5%提升到了6%，這相當于增長了20%。但是別高興太早，你要看看這增加的20%的用戶，有沒有成功進入下一步，也就是支付成功，很有可能本次實驗只是把用戶從活動詳情頁吸引到了支付頁，但是吸引來的用戶并沒有去真正下單。

⑦擴大實驗或失敗

分析完實驗結果后，如果判定實驗成功，接下來就擴大實驗范圍，把本次改進覆蓋所有用戶；如果實驗失敗，也不要灰心，畢竟AB Testing的成功率并不是很高，大膽的接受實驗失敗，并開始下一個實驗吧。

5. 注意事項

1. 確保實驗的變量唯一；
2. 確保試驗周期不能過長，一般控制在2到3周，最好不要超過一個月；
3. 確保α和β值在合理的區間內，保證實驗的準確性；
4. 分析實驗結果時，記得排除其他因素在實驗中的影響。

#專欄作家#

鄒志楠，微信公眾號：鄒志楠，人人都是產品經理專欄作家。用戶體驗設計師，專注于互聯網產品設計。

本文原創發布于人人都是產品經理。未經許可，禁止轉載。

題圖來自Unsplash，基于CC0協議