一文搞懂AB Testing的分層分流
在網(wǎng)絡(luò)分析中,A / B測試(桶測試或分流測試)是一個隨機實驗,通常有兩個辯題,A和B。如果你還對這個測試不是很明白,那就來文中看看~
一、定義
在網(wǎng)絡(luò)分析中,A / B測試(桶測試或分流測試)是一個隨機實驗,通常有兩個變體,A和B。利用控制變量法保持有單一變量的前提下,將A、B數(shù)據(jù)進行對比,得出實驗結(jié)論。
二、簡述
通常網(wǎng)站會利用分層和分流的機制保證本站的流量高可用,原因有以下幾點:
(1)網(wǎng)站的流量是有限的
(2)實驗的對象是多層的或同一層內(nèi)互不干擾的
- 多層:例如網(wǎng)站不僅僅有UI層(界面),通常還有算法層等。
- 同一層內(nèi)互不干擾:例如網(wǎng)站的推薦位有多個(首頁推薦位、商詳頁推薦位)。
(3)AB tests的需求是大量的
AB 是一種科學(xué)的利用數(shù)據(jù)證明方案可行性的手段,一般在網(wǎng)站中廣泛使用。如果流量不進行分層、分流可能會導(dǎo)致流量饑餓,即實驗一在進行中占用了全站的80%的流量,實驗二就只能使用20%的流量。
因此良好的分層、分流規(guī)則可以充分使用網(wǎng)站的流量。
三、分層規(guī)則
1. 正交、互斥
在介紹分層規(guī)則之前,先介紹一下正交和互斥的概念。
(1)正交
如何理解正交?
例如:我們有100個兵乓球,隨機拿出來50個染成藍色,50個染成白色,則我們有藍色、白色兵乓球各50個,現(xiàn)在我們把這100個兵乓球重新放在袋子中搖勻,隨機拿出50個兵乓球,那么這50個兵乓球顏色藍色和白色各25。
當然舉這個例子并不是非常的恰當,因為樣本太少了,此處舉例只為說明正交的意義。
正交實驗:每個獨立實驗為一層,層與層之間流量是正交的,一份流量穿越每層實驗時,都會再次隨機打散,且隨機效果離散。
(2)互斥
如何理解互斥?
例如:我們有100個兵乓球,每25個為一組,分別染成藍、白、橘、綠。若X實驗?zāi)玫氖撬{色、白色則Y實驗只能拿橘色和綠色,我們說X實驗的和Y實驗是互斥的。
互斥實驗:實驗在同一層拆分流量,且不論如何拆分,不同組的流量是不重疊的。
2. 分層、分流規(guī)則
基于Goolge論文:《Overlapping Experiment Infrastructure:More, Better, Faster Experimentation》
流量從上往下流過分流模型:
(1)規(guī)則詳述:
- 域1和域2拆分流量,此時域1和域2是互斥的。
- 流量流過域2中的B1層、B2層、B3層時,B1層、B2層、B3層的流量都是與域2的流量相等。此時B1層、B2層、B3層的流量是正交的。
- 擴展:流量流過域2中的B1層時,又把B1層分為了B1-1,B1-2,B1-3,此時B1-1,B1-2,B1-3之間又是互斥的。
根據(jù)以上規(guī)則我們可以不斷的在此模型中增加域、層,并且可以互相嵌套。這要與實際的業(yè)務(wù)相匹配,拆分過多的結(jié)構(gòu)可能會把簡單的業(yè)務(wù)復(fù)雜化,拆分過少的結(jié)構(gòu)又可能不滿足實際業(yè)務(wù)。
(2)使用場景
例1:B1層、B2層、B3層可能分別為:UI層、搜索結(jié)果層、廣告結(jié)果層,這幾層基本上是沒有任何的業(yè)務(wù)關(guān)聯(lián)度的,即使共用相同的流量(流量正交)也不會對實際的業(yè)務(wù)造成結(jié)果。
但是如果不同層之間所進行的試驗互相關(guān)聯(lián),如B1層是修改的一個頁面的按鈕文字顏色,B2層是修改的按鈕的顏色,當按鈕文字顏色和按鈕顏色一樣時,該按鈕已經(jīng)是不可用的了。因此建議同一類型的實驗在同一層內(nèi)進行,并且需要考慮到不同實驗互相的依賴。
例2:域1的此種分流的意義在于,當我們做一個實驗,并且希望其他任何實驗都不能對我實驗進行干擾,保證最后實驗的可信度。
有興趣的朋友可以去看一下Goolge的原文。
本文由 @?任秀明 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議
點贊,圖文都很生動形象。
那如果B1層、與B2、B3層流量相同,那么當B2層同樣存在B2-1,B2-2,B2-3,B1-1,那么如何判斷到底是B1-1影響了指標的變化,還是B1-1和B2-1共同影響了指標的變化?還是說,當B2、B3同樣存在-1、-2、-3時,B1+B2+B3=域2流量?
每個實驗都會產(chǎn)生結(jié)果,B1層的實驗在B1層就會出結(jié)果。不影響B(tài)2層的實驗。
請問B1-1,B1-2,B1-3是AB實驗的不同組嗎?比如 T組、C組
求更新這個系列呀!嗚嗚嗚,國內(nèi)的相關(guān)資料太少太少啦!
請問下Google的原文是什么標題
所以還是存在一定的管理成本
求更新
想認識你啊
正交要怎么理解和應(yīng)用呢,是說相同的流量經(jīng)過獨立無關(guān)聯(lián)的實驗嗎
當實驗比較多時會用到,可以盡量從數(shù)據(jù)分析上保證可信度。
我想知道是根據(jù)什么把流量分開的呢,依據(jù)啥啊
下一篇文章專門介紹隨機抽樣 ??
好呀
大佬,已訂閱 ??
你才是大佬,已互訂。
大佬怎么不更新AB test了
有千言萬語想和你說啊
看得一臉懵逼 ??
慢慢來 ??