起點課堂會員權益
職業體系課特權
線下行業大會特權
個人IP打造特權
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導直播
12場專業技能直播
會員專屬社群
榮耀標識3分鐘，看懂多版本ABtest怎么做！
編輯導語：當你需要結合產品的多個版本進行測試時，你要如何利用ABtest做好數據分析？此時，你可以利用“方差分析”來完成測試。那么，多版本測試情況下的方差分析怎么做？一起來看看作者的解讀和演示吧。
之前分享了ABtest的基本原理，有小伙伴問：那如果我不止AB兩個版本，而是有ABC三個版本做測試，還能用ABtest方法嗎？當然能用！只是使用的統計學方法換成了：方差分析，今天簡單跟大家分享一下。
一、多版本與AB兩個版本的區別
如果只有AB兩個版本比較，那么做假設檢驗的時候，原假設是：A版本均值/比例=B版本均值/比例。之后，只要我們能用測試結果推翻原假設，就能說明AB版本均值/比例不同，從而論證哪個版本更好。相應的統計量，也是依此設計的。
當有ABCDE……多個版本的時候，問題變得略復雜一些。因為很有可能這一堆版本里，有些有差異，有些沒有。如果一個個測試，得對比n多次，費時費力。如何高效率地完成測試呢？
二、多版本測試基本思路
可以用兩步驟方法。
第一步：先做方差分析，檢驗是否這幾個版本的均值都是相等的。
此時，原假設為：A版本=B版本=C版本=D版本……總之假設他們都是一樣的。如果沒有推翻該假設，則說明大家均值都一樣，根本就不需要做第二步了。如果能推翻的話，再看其兩兩差距。
第二步：假設第一步檢測已推翻原假設，則進行第二步檢驗。
第二步可以用fisher LSD方法，對總體均值進行兩兩比較。
今天就先不啰嗦第二步檢測了，我們先把第一步講清楚。
三、方差分析是什么？
方差分析是用來檢驗多個版本（3個以上）對應的多組數據，是否存在均值差異的方法。方差分析的統計學原理略復雜，小伙伴們可以簡單記憶為：用一個F統計量，衡量各組數據的組間差異與組內差異的比值。
當組間差異很大，組內差異很小的時候，則F統計量變得很大，說明這些樣本肯定來自不同個體，從而不可能均值都相等，推翻原假設（如下圖所示）。
四、方差分析如何做
方差分析分為四步：
- 第一步：清晰要對比的版本。
- 第二步：清晰要對比的數據指標。
- 第三步：收集不同版本的測試數據。
- 第四步：計算F統計量值，進行假設檢驗。
看個簡單的例子：產品給個ABC三個版本，測試不同用戶每日留存時間。每個版本各單獨抽6名隨機用戶進行測試，數據如下：
- 第一步：確認要參與對比的是ABC版本。
- 第二步：確認要比的指標是：三個版本下，用戶每日留存時間。
- 第三步：篩選用戶，發布版本，收集測試數據（這里說的輕松，實際上涉及相當多的開發工作，之后有機會再詳細講）。
- 第四步：進行計算。這種只考慮“版本”一個影響因素的實驗，稱為：單因素方差分析，用excel都能求解（如下圖）。
解出來數據如下圖：
那么，可以認為這三組測試結果均值不同，能做第二步檢驗了。想偷懶的同學，可以直接認為版本C更差勁，先踢出去。
五、方差分析擴展
小伙伴們掌握了方差分析的思路以后，就能做很多對比。實際上，這種區分N個組別，測試版本/方法/屬性對某個指標影響的做法，是數據實驗的基本方法。通過不斷地實驗，能測試出新版本/新方法到底能起多大作用。
同時，方差分析也有進一步的應用。比如本例中，很有可能不同用戶本身也有行為差異，需要從用戶行為中剔除個人差異（比如讓一個人體驗三個版本）或者提前找到一些影響結果的因素（比如是否重度用戶）然后將同類人組成一組。這些都是進一步設計實驗要考慮的。
或者，影響結果的不止一個因素。用戶用的久，除了版本影響外，還和運營動作，促銷活動等有很大關系，因此可能需要對多個因素進行分析，此時又需要用到更復雜的方法。
總之，沒有一個方法能包打天下，小伙伴們且聽我慢慢道來吧。
作者：碼工小熊，微信公眾號：碼工小熊
本文由 @碼工小熊 原創發布于人人都是產品經理，未經許可，禁止轉載。
題圖來自Unsplash，基于CC0協議
舉的例子非常通俗易懂，一下子就看懂啦，希望作者大大可以多出些有關數據分析的文章！
Google作為互聯網巨頭，在其產品迭代的方方面面都十分注重實驗，幾乎任何影響到用戶體驗的變化。