編輯導語：ABtest指的是將多個版本在同一時間維度下隨機選擇具有相似性的幾組用戶進行測試，收集數據并分析哪個版本效果更佳；一個優秀的設計師也需要了解ABtest，確定最佳的方案；本文作者分享了關于ABtest的方法，我們一起來了解一下。

今天要跟大家介紹的是為了消除客戶體驗（UX）設計中不同意見的紛爭，根據實際效果確定最佳方案常用的方法ABtest。

運用好了在這種方法，可以幫助我們達到不同的設計目的；想成為一個優秀的設計師，那就請跟隨我從頭開始了解它吧。

01?A/B測試是什么

A / B測試（也稱為分割測試或桶測試）是一種將網頁或應用程序的兩個版本相互比較以確定哪個版本的性能更好的方法。

AB測試本質上是一個實驗，其中頁面的兩個或多個變體隨機顯示給用戶，統計分析確定哪個變體對于給定的轉換目標效果更好。

隨著移動互聯網流量紅利、人口紅利的逐漸衰退，越來越多的產品運營開始關注數據驅動的精細化運營方法，期望通過精細化運營在一片紅海中繼續獲得確定的用戶增長，而A/B測試就是一種有效的精細化運營手段。

02?測試的目的

A / B test可以讓個人，團隊和公司通過用戶行為結果數據不斷對其用戶體驗進行仔細更改；這允許他們構建假設，并更好地了解為什么修改的某些元素會影響用戶行為。

A/B test可以持續使用，以不斷改善用戶的體驗，改善某一目標，如隨著時間推移的轉換率。

03?A/B test的流程

• 確定目標：目標是用于確定變體是否比原始版本更成功的指標?？梢允屈c擊按鈕的點擊率、鏈接到產品購買的打開率、電子郵件注冊的注冊率等等。
• 創建變體：對網站原有版本的元素進行所需的更改?？赡苁歉陌粹o的顏色，交換頁面上元素的順序，隱藏導航元素或完全自定義的內容。
• 生成假設：一旦確定了目標，就可以開始生成A / B測試想法和假設，以便統計分析它們是否會優于當前版本。
• 收集數據：針對指定區域的假設收集相對應的數據用于A/B test分析。
• 運行試驗：此時，網站或應用的訪問者將被隨機分配控件或變體。測量，計算和比較他們與每種體驗的相互作用，以確定每個用戶體驗的表現。
• 分析結果：實驗完成后，就可以分析結果了。A / B test分析將顯示兩個版本之間是否存在統計性顯著差異。

04?如何設計AB test

了解了流程以后我們可以根據自己的需求來設計AB測試來獲得有效信息了。一般會有兩種設計思路。

第一種叫單因素實驗設計。

所謂單因素實驗設計，是指實驗中只有一個影響因素變量，其他的內容都保持不變的實驗方法。

舉個例子，兩個實驗組，一組用廣告圖A，一組用廣告圖B，這兩個組進行實驗對比，最后發現B組比A組效果好，那么我們就可以認為這是B廣告圖的作用。

第二種叫多因素實驗設計

多因素實驗設計，是指實驗中有多個影響因素變量。比如你想同時測試廣告圖（AB）和廣告彈出方式（AB）對轉化率的影響，這里面有兩個變量，對應的有4種組合條件：

• 廣告A，彈出方式A
• 廣告A，彈出方式B
• 廣告B，彈出方式A
• 廣告B，彈出方式B

多因素實驗設計的好處在于，除了可以檢測同一個變量、不同實驗條件之間的差異之外，還能對變量之間的交互效果進行檢驗。

用上個例子做說明，如果在單因素AB實驗里，我們發現廣告A比廣告B的效果好，彈出方式A比彈出方式B的效果好，但是廣告A+彈出方式A的組合情況卻不是最好的，因為他們之間的組合，產生了化學作用。這種情況下，就必須使用多因素實驗設計來做。

05?測試案例

理論的知識我們都多少明白一些了，那么下面來看看一些案例，看看別人是怎么利用AB測試成功達到目的的，可以帶給我們一些靈感思路。

第一個例子是愛彼迎為了增加房源預定而做出的AB測試。

愛彼迎（Airbnb）大家應該都比較熟悉了，是一家提供民宿服務的平臺，創建于2007年，現在已經估值約300億美元。

在2011年初，愛彼迎團隊通過查閱數據尋找房源預訂量比較低的地區。他們發現紐約市的房源預訂量竟然不達標。

要知道，紐約可是熱門的旅行地區，為什么房源預定量低呢？

在觀察這個地區的房源照片時發現，這些照片都是手機拍的，拍的即不清晰也不美觀。如果房東發布的房源信息里有拍攝效果更加專業的照片，房東是不是會更容易租出自己的房子呢？

為了驗證這個假設，愛彼迎團隊先挑選了一部分房東作為實驗組，免費為他們提供專業的攝影服務。

然后，將實驗組的平均住宅預定量和紐約其他公寓的平均預訂量進行對比。

數據顯示，如果房源信息里有專業拍攝的住宅照片，房源預訂量高于愛彼迎平均房源預定量的2- 3倍。

也就是說，照片質量會影響預定量，說明前面的假設是成立的。

根據這個A/B測試結論，愛彼迎推出一個攝影計劃，聘請了20名攝影師，專門為房東提供專業的拍照服務，這使得愛彼迎的房源預定量實現了快速增長。

愛彼迎團隊進一步決定向所有房東推廣這一業務，這極大的提升了房源預定量。

第二個例子是Electronic Arts，他們想將網頁設計得更好，幫助達到收入最大化。

EA 最受歡迎的游戲之一——模擬城市5，在上線以后的前兩周就賣出了110萬份。游戲50%的銷售都來自網上下載，這得歸功于一個非常厲害的AB 測試策略。

當 EA 準備發行模擬城市的新版本時，他們提供了一個促銷信息來吸引更多的玩家預訂游戲。這個促銷的信息顯示在預訂的頁面的 banner 上，讓購買者一目了然。但是根據這個團隊說，促銷并沒有帶來他們期望的預訂數量的增加。

他們決定嘗試更多的試驗來檢驗哪種設計和布局可以獲得更多收入。

一個變化是把頁面上的促銷信息都刪除了。這個試驗造成了非常令人吃驚的結果：沒有促銷信息的版本比最初版本提升了43.4%的預訂量。結果顯示人們真的很想買這個游戲，不需要額外的刺激。

大多數人認為直接的促銷可以帶來購買行為，但是對于 EA 而言，這個觀點完全是錯誤的。AB 測試讓他們找到了可以讓收入最大化的方式，否則這件事不會成為可能。

最后一個例子是comScore，他們渴望可持續發展，想獲得更多商機。

市場人員普遍同意當你在賣一個產品的時候，社會認同（social proof）將會對業務帶來更多積極的影響。

comScore 在他們的產品頁面做了一個試驗。最開始的產品頁面展示了社會認同程度最小的一種方式：用戶引語。

然而，用戶引語與其他內容混雜在一起，并且顯示在一個目光相對不容易捕捉到的灰色的背景里。

這個團隊試驗了不同的設計版本，并加上了用戶的 logo，檢驗是否不同的視覺設計可以使更多的訪問者變成商機。

他們測試了試驗中的2500個訪問者，很快發現版本1（見下圖）在其他的版本中脫穎而出，并且擊敗了留有很大空白的最初版本。

用垂直的布局，并將客戶的 logo 顯示在最上面，與最初相比將會帶來69%的轉化率提升。

這三個例子雖然目的不同，但是都通過結合自身情況利用AB測試更加了解了用戶的心理，選擇了最適合自己的方案進行運營，獲得了成功。

06?注意事項

我們在借鑒成功案例制定我們的AB測試計劃時要多考慮自身情況，并且注意以下幾點：

實驗組控制組數量相等：

最好保持實驗組和控制組具有相同的用戶比例，也就是如果實驗組有5%的用戶，那么控制也要選5%的用戶做對照。

實驗控制在同一時間段：

在一些特殊日子中，用戶的活躍度會暫時性增高，如果A方案的作用時間剛好是節日，方案B的作用時間非節日，那么顯然這種比較對于B方案是不公平的。

不要反復用同一組用戶實驗：

也許剛開始因為其隨機性，用戶行為差異很小。N 個實驗過后，行為的差異可能就變得非常大了。

排除異常值：

作弊用戶和BUG數據，可能會讓指標變得非常奇怪。

今天的分享就到這里啦，希望大家都有所收獲。

公眾號：空兩格

本文由 @格格學姐 原創發布于人人都是產品經理，未經作者許可，禁止轉載。

題圖來自Unsplash，基于CC0協議。