增長策略:如何用AB測試進行活動評估及優(yōu)化?

15 評論 25775 瀏覽 249 收藏 10 分鐘

本文以電商行業(yè)的促銷活動為例,嘗試構(gòu)建促銷的評估體系,以及討論應(yīng)該如何優(yōu)化。enjoy~

電商行業(yè)充斥著大大小小的促銷活動,O2O領(lǐng)域也常常上演補貼大戰(zhàn),在開疆辟土階段,砸錢讓利招攬用戶的法子自然最為好使,但當(dāng)形成一定規(guī)模之后,瘋狂促銷補貼的模式是否仍然高效?個性化的運營策略是否有必要?活動的真實效果到底如何?

為了解決以上問題,建立科學(xué)的活動效果評估體系,當(dāng)前最簡便的方法莫過于AB測試。

一、如何建立評估體系?

AB測試目前廣泛應(yīng)用于產(chǎn)品灰度發(fā)布階段,除此以外,AB測試還有更為廣泛的用途,比如:精準營銷等增長策略。

要進行某類方案的驗證,其理念非常樸素,無非就是控制變量,但商業(yè)世界尤其復(fù)雜,想要控制一切不相干變量極其困難,因此AB測試大行其道,成為了檢驗“真理”的常用標(biāo)準。

基于AB測試的思想,通過隨機分組,可以保證兩個組的其他變量基本一致,通過對實驗組施加影響,來觀察實驗組相對于對照組的表現(xiàn)差異,從而評估該影響的效果。

接下來,我們就以電商行業(yè)的促銷活動為例,嘗試構(gòu)建促銷的評估體系。

首先,通過標(biāo)簽篩選出潛在人群,并隨機抽取一部分用戶作為測試組,在不做任何干預(yù)的情況下,暗中觀察用戶的轉(zhuǎn)化情況。

  • 對于實驗組的用戶,我們通過定向優(yōu)惠券加短信觸達的形式進行干預(yù),然后靜靜等待用戶轉(zhuǎn)化。
  • 對于對照組而言,用戶都是自然轉(zhuǎn)化,而實驗組的用戶是在干預(yù)下產(chǎn)生的轉(zhuǎn)化。在實驗組中,一部分用戶確實是被優(yōu)惠吸引,從而下單購買,但還有一部分用戶即使沒有優(yōu)惠券也很有可能自然轉(zhuǎn)化。

因此,我們以對照組的轉(zhuǎn)化率作為沒有優(yōu)惠券情況下的自然轉(zhuǎn)化率,那么,我們可以得到以下與用戶相關(guān)的指標(biāo):

  • 用戶基線=干預(yù)總?cè)藬?shù)*自然轉(zhuǎn)化率
  • 用戶提升=干預(yù)總?cè)藬?shù)*(干預(yù)轉(zhuǎn)化率-自然轉(zhuǎn)化率)
  • 用戶提升率=用戶提升/用戶基線

同理,從經(jīng)營分析的層面,我們可以評估實際的銷售效果:

  1. GMV基線=用戶基線*自然轉(zhuǎn)化客單價
  2. GMV提升=用戶提升*干預(yù)轉(zhuǎn)化客單價+Max[用戶基線*(干預(yù)轉(zhuǎn)化客單價-自然轉(zhuǎn)化客單價),0]
  3. 成本=每單優(yōu)惠金額*下單用戶量+每條短信資費*干預(yù)總?cè)藬?shù)
  4. GMV凈提升=GMV提升-成本

注:GMV提升一方面體現(xiàn)在拉來本不會下單的用戶所產(chǎn)生的GMV,另一方面體現(xiàn)在,提升了本來就會下單的用戶的客單價,因此要計算這兩部分的GMV提升。而對于優(yōu)惠券而言,尤其是滿減優(yōu)惠券,一般會對客單價產(chǎn)生提升作用,如果客單價降低了,可能是因誤差或外部因素導(dǎo)致,因此此處用了Max(),即當(dāng)客單價降低時,取值0。

最終,我們可以得到評估經(jīng)營效果的綜合指標(biāo):

  1. GMV凈提升率=GMV凈提升/GMV基線
  2. ROI=GMV凈提升/總成本

上邊的指標(biāo)這么多,那哪個才是最重要的呢?

以上指標(biāo)羅列的目的是便于理解指標(biāo)的拆解計算過程。但對于不同角色而言,最終只需要關(guān)注與其相關(guān)的結(jié)果指標(biāo)。

  • 對于運營或者營銷而言,他們的考核目標(biāo)可能聚焦于月活躍用戶數(shù),所以,他們會更關(guān)心用戶提升率,通過多次活動的橫向比較,可以識別活動效果的好壞,從而再逐步挖掘根因。
  • 對于負責(zé)銷售的同事而言,需要考量的因素會相對復(fù)雜一些,但他們也可以直接通過GMV凈提升率和ROI這兩個指標(biāo)來評估活動的綜合效果。

其中,GMV凈提升率反應(yīng)的是活動對于GMV的提升效果,如果當(dāng)前的目標(biāo)是不惜一切代價沖GMV的話,那么應(yīng)該選擇GMV凈提升率高的活動形式或力度。而如果需要權(quán)衡考量利潤的話,那么還應(yīng)該把ROI納入分析,選取GMV凈提升率較高,同時ROI也較為可觀的活動方案。

二、如何構(gòu)建優(yōu)化策略?

上邊有提到,運營或者銷售可以通過AB測試優(yōu)化活動方案,那么具體應(yīng)該如何實現(xiàn)呢?

如果需要測試不同促銷形式、不同活動力度的效果,那么有必要對實驗組進一步細分。

例如:對于實驗組1可以發(fā)放滿100減20的券,實驗組2發(fā)放滿100減10的券,最后與對照組比對分析活動效果差異。滿100減20的券GMV提升可能較高,但由于成本較大,也會導(dǎo)致GMV凈提升率和ROI并不高。

同樣,對于不同促銷形式,如定向優(yōu)惠券、定向優(yōu)惠價格等,同一折扣力度不同門檻,如100減20和200減40,也可以以相似方法進行測試。

進行多次AB測試之后,可以根據(jù)歷史測試數(shù)據(jù)進行初步判斷,識別符合目標(biāo)的最優(yōu)促銷方案。

三、AB測試有哪些坑?

方法論總是看上去很美好,但一到落地層面就會面臨很多意想不到的問題,下面就來扒一扒,按照上述AB測試的方法來做活動效果評估及優(yōu)化會有哪些坑。

  1. 測試組人數(shù)太少:測試組和實驗組的人數(shù)不需要完全一樣,但各組的人數(shù)要保證有統(tǒng)計學(xué)上的意義,如果實驗組10w人,測試組只有10個人,那么測試組的結(jié)果受個體的影響會很大,最終可能導(dǎo)致異常的結(jié)果。
  2. 實驗組人數(shù)太少:如果想要測試什么門檻的優(yōu)惠券效果更好,那么需要拆分多個實驗組,發(fā)放不同的優(yōu)惠券,如果分的組太多,會使得每個實驗組人數(shù)偏少,從而導(dǎo)致結(jié)果不準確。
  3. 你的測試組是別人的實驗組:現(xiàn)實環(huán)境下,不存在絕對干凈的試驗田,你以為測試組可以代表用戶在不受干擾下的自然轉(zhuǎn)化,殊不知有其他活動已經(jīng)將他們劃入了實驗組。如果是公司內(nèi)部的沖突,那么可以在數(shù)據(jù)回流后剔除掉參與其他實驗的用戶,但如果是受到外部友商的干擾,那么我們將無從知曉,只有通過多次實驗綜合評估,對沖單次活動可能會面臨的特殊情況。
  4. 你的實驗組是別人的實驗組:同理,外部友商可能有更大力度的活動,剛好圈定了你的實驗組用戶,那么結(jié)果可想而之。
  5. 干預(yù)時間滯后:從圈定用戶、申請優(yōu)惠券到最后的短信觸達,這個時間多少有些滯后,如果系統(tǒng)不判斷用戶是否已經(jīng)下單,那么用戶在下單之后才收到優(yōu)惠券,一方面會影響體驗,另一方面,用戶可能取消訂單后再下單,導(dǎo)致履約成本的上升。如果在發(fā)送短信前剔除已下單用戶,那么最后實際干預(yù)的都是購買傾向相對偏弱的人群,會導(dǎo)致結(jié)果失準。因此,營銷系統(tǒng)的完善性、各部門的協(xié)同執(zhí)行力都至關(guān)重要。

結(jié)語

現(xiàn)實世界紛繁復(fù)雜,想要抽絲剝繭,捋出頭緒談何容易。試驗總會好過停步不前,在實踐之中,我們可以學(xué)著避開一個又一個的坑。

我們都在試圖去搭建一個框架,在這個框架下反復(fù)地探究,找到一絲可能的線索,最終,這些線索會編織起一個網(wǎng)絡(luò)。

 

作者:Mr.墨嘰,公眾號:墨嘰說數(shù)據(jù)產(chǎn)品

本文由 @Mr.墨嘰 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來自Unsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 如果平臺促銷活動類型五花八門 種類太多,一個一個做AB測試會不會太麻煩 有無其他解決辦法呢

    來自北京 回復(fù)
  2. 100W vs 10W ?

    來自北京 回復(fù)
  3. 你這個沒考慮投入進去的人工成本吧?包括數(shù)據(jù)分析的成本、開發(fā)的成本和運營投入的成本

    來自浙江 回復(fù)
  4. 你好,請問你的實驗組和對照組ab各自流量占比是多少?看你這邊實驗組100w觸達人數(shù)感覺占比很大

    回復(fù)
  5. 請問一下~這個自然轉(zhuǎn)化客單價15和干預(yù)轉(zhuǎn)化客單價25是自己設(shè)的嗎?

    回復(fù)
  6. 您好啊,這種數(shù)據(jù)圖片是用什么工具做出來得呀,求問~期待您的回復(fù)。

    來自廣東 回復(fù)
    1. edraw

      回復(fù)
  7. 學(xué)習(xí)了

    來自廣東 回復(fù)
    1. ??

      來自北京 回復(fù)
  8. 這個優(yōu)惠劵應(yīng)該是滿20-2吧 ??

    來自北京 回復(fù)
    1. 哈哈哈,隨意了,不過20-2更符合客單價為20的結(jié)果。

      來自北京 回復(fù)
  9. 有個問題想請教下您roi要把優(yōu)惠券的優(yōu)惠金額算上嗎?優(yōu)惠金額不是在利潤之內(nèi)的嗎?我覺得讓利并不等于投入不因該算進投入成本里吧

    來自北京 回復(fù)
    1. 這里是評估活動效果,優(yōu)惠的金額和短信的成本就算是這次活動的額外投入,因為如果不讓利,還是有一部分用戶會購買。我們通過AB測試,分析的是做了這次活動所帶來的額外提升。 額外的提升 比上 額外的投入 就是這次活動的ROI。(商品本身的成本、利潤這里是沒有考慮的)

      來自北京 回復(fù)
  10. ?? 辛苦

    來自上海 回復(fù)
    1. :mrgreen:

      來自北京 回復(fù)