編輯導語：AB實驗是指為了驗證某一個產品能力或者策略的好壞，將產品的用戶分成兩組進行對比的實驗。那么，AB實驗分流是怎么產生的？又需要注意哪些？一起來看一下吧。

前段時間克比醬寫了幾篇發牢騷的文章，從本篇文章開始，回歸我的老本行，將一些我做策略產品經理用到的知識記錄下來，與大家分享。后面陸續會講一些搜索推薦算法的召回、排序、NLU等知識。中間可能也會偶爾穿插幾篇產品雜談，講講對職場生活的感悟。

第一期我們先講AB實驗，AB實驗功能是策略產品經理需要掌握的一項基本能力，也是互聯網產品效果評估的最重要和最常見的方法。

舉個例子來說，如果你負責淘寶的策略產品，Leader讓你去優化購物車的轉化率，你苦思冥想了好幾天好不容易想出來一個方案：設計購物車的頁面跟著手機殼的顏色變化而變化。那你要怎樣才能知道這個策略是好是壞呢？這個時候就要用到AB實驗方法。

01 什么是AB實驗？

那么什么是AB實驗呢？AB實驗是指為了驗證某一個產品能力或者策略的效果好壞，將產品的用戶隨機分成兩部分，分別是實驗組和對照組，對比兩個組的用戶表現而進行的實驗。

互聯網產品的AB實驗應用場景主要有三種：

1. 客戶端的界面調整實驗：主要是使用不同的策略對客戶端的UI布局進行調整。例如，驗證抖音的點贊按鈕在屏幕右側或者在底部兩種策略，哪種的用戶的點贊轉化率最高。
2. 算法策略的調整實驗：最常見的是推薦搜索或者廣告的算法策略調整實驗。例如，使用深度學習模型和機器學習模型對轉化率的預估哪種更好。
3. 運營策略：比如運營做了兩套針對圣誕節的活動方案，但是不知道哪個方案效果更好，這時候可以將兩種實驗同時上線，配置成AB實驗查看曝光點擊轉化率。再比如：兩種push策略哪個更好？

02 AB實驗分流是怎樣產生的？

做AB實驗的時候需要將用戶分成A桶和B桶，也是我們說的實驗桶和對照桶。

實驗桶里的用戶使用的是實驗策略。對照桶里面則是使用正常的策略的用戶。

一般來說，我們會將所有的用戶分為多個桶，例如20個桶和30個桶，每個桶內的流量占比從1%-20%不等。

這樣我們每次做實驗的時候，可以直接取其中的一個桶或者兩個桶來做。對不同的桶配置不同的實驗策略。在實驗放量的時候只需要將實驗放到更多的桶中即可。

那么問題來了，如果我們知道我們今天的總的用戶數，可以直接使用用戶的id對用戶隨機劃分桶號。

但是實際上，我們是無法明確今天或者明天的用戶有哪些？有多少？

因為昨天來了的用戶，今天不一定會來，昨天來了100w個用戶，今天不一定還有100w，可能只有30w，也可能有300w，那我們怎么樣能保證未來一段時間的用戶都能隨機分到所有桶里面呢？

這里就要用到Session分流，Session分流的原理如下圖所示。

假如今天會有N個用戶，我們把今天的用戶分成十個實驗桶?？梢允褂糜脩舻奈ㄒ痪幋a，例如DeviceId或者是UserId，對其進行hash處理，一般是使用MD5進行hash計算。

這樣做的好處是不會重復，便于隨機分流。這樣我們就能得到100w個不同的hash值。

接著就是最關鍵的一步，對處理后的hash值進行取?；蚧蛘呤侨∮?。有多少個桶就取多少的余數，然后不同的余數對應不同的桶。這樣就能將這N個用戶隨機分配到不同的桶中了。

另外，由于同一個用戶的UID或DeviceId是不會改變的，這樣就能保證同一個用戶即使多次使用產品時也能進入同一個桶。

這樣就是AB實驗最基本的分流過程了了。

03 AB實驗分流應該注意哪些？

1. 分析指標要明確

上面講了做AB實驗一共有三種場景，不管哪種，其本質都是對不同策略的效果對比，既然是對比，就需要把觀測的指標明確下來。例如，是對比商品的訂單數，轉化率，還是點擊量？

除此之外還要考慮，這個標準會不會受到其他的指標的影響，會不會影響到其他指標。

例如，點贊量提高了，會不會導致評論數的減少。

只有明確了分析指標，才能正確評估是A桶好還是B桶好。

2. 實驗分流要確保相互不影響

同一個產品的不同的功能可能會有不同的實驗，而且這些實驗針對的是同一批用戶。

例如，你可以在做客戶端界面的改動的同時，又改了客戶端推薦的算法。

那怎樣保證這些實驗相互之間不影響呢。

答案就是要確保正交。

你可以將實驗分成不同的層，不同層之間的用戶隨機分桶，每個用戶會進入所有策略桶都是隨機的。這樣就能保證進行實驗時每組實驗之間相互不影響。

3. 樣本足夠

做AB實驗的時候，需要保證不同的桶之間的用戶量足夠大，用戶id足夠均勻，才能夠盡可能保證每個試驗桶的用戶數和指標沒有差異。

如果我們做的實驗只有五十個用戶，那么兩三個用戶的隨機行為對策略的指標影響就至少4%。

這樣AB實驗觀測的指標本身會有很大的波動，就無法正常觀測實驗的效果。

4. 實驗前將每個桶調平

在實際的產品運行過程中，我們所觀測的指標往往會有一些天然的差異。也就是說AA桶本身就不一定是平的。

在進行AB實驗的時候要確保每個桶的直接觀測指標的表現是相近的，也就是說AA期的表現要一致，這樣在進入AB期之后，指標的提升和降低才具有可信度。

比如說，對于電商平臺，你需要觀察的是成交訂單數和總收入，那么在進行實驗之前，你要確保每個桶之間的成交訂單和收入天然是一樣的，這樣做完實驗之后你才能看到自己的實驗是不是有效。

本文由@克比醬 原創發布于人人都是產品經理，未經許可，禁止轉載

題圖來自 Unsplash，基于 CC0 協議