一文搞懂AB Testing的分層分流

20 評論 68133 瀏覽 170 收藏 6 分鐘

在網(wǎng)絡(luò)分析中,A / B測試(桶測試或分流測試)是一個隨機實驗,通常有兩個辯題,A和B。如果你還對這個測試不是很明白,那就來文中看看~

一、定義

在網(wǎng)絡(luò)分析中,A / B測試(桶測試或分流測試)是一個隨機實驗,通常有兩個變體,A和B。利用控制變量法保持有單一變量的前提下,將A、B數(shù)據(jù)進行對比,得出實驗結(jié)論。

二、簡述

通常網(wǎng)站會利用分層和分流的機制保證本站的流量高可用,原因有以下幾點:

(1)網(wǎng)站的流量是有限的

(2)實驗的對象是多層的或同一層內(nèi)互不干擾的

  • 多層:例如網(wǎng)站不僅僅有UI層(界面),通常還有算法層等。
  • 同一層內(nèi)互不干擾:例如網(wǎng)站的推薦位有多個(首頁推薦位、商詳頁推薦位)。

(3)AB tests的需求是大量的

AB 是一種科學(xué)的利用數(shù)據(jù)證明方案可行性的手段,一般在網(wǎng)站中廣泛使用。如果流量不進行分層、分流可能會導(dǎo)致流量饑餓,即實驗一在進行中占用了全站的80%的流量,實驗二就只能使用20%的流量。

因此良好的分層、分流規(guī)則可以充分使用網(wǎng)站的流量。

三、分層規(guī)則

1. 正交、互斥

在介紹分層規(guī)則之前,先介紹一下正交和互斥的概念。

(1)正交

如何理解正交?

例如:我們有100個兵乓球,隨機拿出來50個染成藍色,50個染成白色,則我們有藍色、白色兵乓球各50個,現(xiàn)在我們把這100個兵乓球重新放在袋子中搖勻,隨機拿出50個兵乓球,那么這50個兵乓球顏色藍色和白色各25。

當然舉這個例子并不是非常的恰當,因為樣本太少了,此處舉例只為說明正交的意義。

正交實驗:每個獨立實驗為一層,層與層之間流量是正交的,一份流量穿越每層實驗時,都會再次隨機打散,且隨機效果離散。

(2)互斥

如何理解互斥?

例如:我們有100個兵乓球,每25個為一組,分別染成藍、白、橘、綠。若X實驗?zāi)玫氖撬{色、白色則Y實驗只能拿橘色和綠色,我們說X實驗的和Y實驗是互斥的。

互斥實驗:實驗在同一層拆分流量,且不論如何拆分,不同組的流量是不重疊的。

2. 分層、分流規(guī)則

基于Goolge論文:《Overlapping Experiment Infrastructure:More, Better, Faster Experimentation》

流量從上往下流過分流模型:


(1)規(guī)則詳述:

  • 域1和域2拆分流量,此時域1和域2是互斥的。
  • 流量流過域2中的B1層、B2層、B3層時,B1層、B2層、B3層的流量都是與域2的流量相等。此時B1層、B2層、B3層的流量是正交的。
  • 擴展:流量流過域2中的B1層時,又把B1層分為了B1-1,B1-2,B1-3,此時B1-1,B1-2,B1-3之間又是互斥的。

根據(jù)以上規(guī)則我們可以不斷的在此模型中增加域、層,并且可以互相嵌套。這要與實際的業(yè)務(wù)相匹配,拆分過多的結(jié)構(gòu)可能會把簡單的業(yè)務(wù)復(fù)雜化,拆分過少的結(jié)構(gòu)又可能不滿足實際業(yè)務(wù)。

(2)使用場景

例1:B1層、B2層、B3層可能分別為:UI層、搜索結(jié)果層、廣告結(jié)果層,這幾層基本上是沒有任何的業(yè)務(wù)關(guān)聯(lián)度的,即使共用相同的流量(流量正交)也不會對實際的業(yè)務(wù)造成結(jié)果。

但是如果不同層之間所進行的試驗互相關(guān)聯(lián),如B1層是修改的一個頁面的按鈕文字顏色,B2層是修改的按鈕的顏色,當按鈕文字顏色和按鈕顏色一樣時,該按鈕已經(jīng)是不可用的了。因此建議同一類型的實驗在同一層內(nèi)進行,并且需要考慮到不同實驗互相的依賴。

例2:域1的此種分流的意義在于,當我們做一個實驗,并且希望其他任何實驗都不能對我實驗進行干擾,保證最后實驗的可信度。

有興趣的朋友可以去看一下Goolge的原文。

 

本文由 @?任秀明 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來自Unsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 點贊,圖文都很生動形象。

    來自廣東 回復(fù)
  2. 那如果B1層、與B2、B3層流量相同,那么當B2層同樣存在B2-1,B2-2,B2-3,B1-1,那么如何判斷到底是B1-1影響了指標的變化,還是B1-1和B2-1共同影響了指標的變化?還是說,當B2、B3同樣存在-1、-2、-3時,B1+B2+B3=域2流量?

    來自北京 回復(fù)
    1. 每個實驗都會產(chǎn)生結(jié)果,B1層的實驗在B1層就會出結(jié)果。不影響B(tài)2層的實驗。

      來自中國 回復(fù)
  3. 請問B1-1,B1-2,B1-3是AB實驗的不同組嗎?比如 T組、C組

    來自廣東 回復(fù)
  4. 求更新這個系列呀!嗚嗚嗚,國內(nèi)的相關(guān)資料太少太少啦!

    來自上海 回復(fù)
  5. 請問下Google的原文是什么標題

    來自廣東 回復(fù)
  6. 所以還是存在一定的管理成本

    來自廣東 回復(fù)
  7. 求更新

    來自廣東 回復(fù)
  8. 想認識你啊

    來自上海 回復(fù)
  9. 正交要怎么理解和應(yīng)用呢,是說相同的流量經(jīng)過獨立無關(guān)聯(lián)的實驗嗎

    來自廣東 回復(fù)
    1. 當實驗比較多時會用到,可以盡量從數(shù)據(jù)分析上保證可信度。

      來自廣東 回復(fù)
  10. 我想知道是根據(jù)什么把流量分開的呢,依據(jù)啥啊

    來自上海 回復(fù)
    1. 下一篇文章專門介紹隨機抽樣 ??

      來自廣東 回復(fù)
    2. 好呀

      來自上海 回復(fù)
  11. 大佬,已訂閱 ??

    來自廣東 回復(fù)
    1. 你才是大佬,已互訂。

      來自廣東 回復(fù)
    2. 大佬怎么不更新AB test了

      來自北京 回復(fù)
    3. 有千言萬語想和你說啊

      來自北京 回復(fù)
  12. 看得一臉懵逼 ??

    來自浙江 回復(fù)
    1. 慢慢來 ??

      來自廣東 回復(fù)