如何通過A/B test迭代社群運營玩法模型?

7 評論 9588 瀏覽 113 收藏 11 分鐘

不論是做產(chǎn)品或者做運營,日常都會經(jīng)歷一些假設-測試-驗證-定義的迭代過程,只有不斷的迭代挖掘與試驗,我們才會找到更多的增長點。本文主要講的內(nèi)容是如何通過A/B test迭代社群運營玩法模型,一起來看看~

文章大綱:

  1. 用戶增長理論
  2. ABtest操作流程
  3. 產(chǎn)品迭代

我們現(xiàn)在做增長,比如做拉新,可能更多是借鑒別人的玩法,或者自己拍腦袋想出一個點子,其背后是否可驗證的邏輯支持,是否適合你的產(chǎn)品和用戶這些可能都不一定就直接去做了,這樣產(chǎn)生的效果就是你的活動效果一般都不是很好,而且還不能很穩(wěn)定的產(chǎn)出運營策略。這就需要我們總結出自己一套增長辦法,而且還是可持續(xù)迭代的。

下面分享一個自己做的案例,期待與大家交流學習更多增長的思維模型。

一、用戶增長理論

不論是做產(chǎn)品或者做運營,日常都會經(jīng)歷一些假設-測試-驗證-定義的迭代過程,只有不斷的迭代挖掘與試驗,我們才會找到更多的增長點。

用戶增長方法論:確定北極星指標——拆解成具體可以操作的優(yōu)化場景與指標——規(guī)劃并排序A/B測試試驗——對于有效的方向進行更多的挖掘與試驗。

下面,我舉一個真實的案例,是我親自參與的迭代試驗,對上面這句話做一個詮釋,希望大家能夠從案例中了解到做增長做迭代原來就是這么一回事。

首先,我介紹下活動背景:

我們一個小團隊是負責大學生四六級項目的,通過推廣免費的流量課程來圈住大學生人群,然后去推廣我們平臺的其他高單價課程,前期已經(jīng)驗證增加社群服務是可以提高學完率和用戶續(xù)報轉化率的。所以后面我們的圈人班課程均會增加社群服務,下面我們需要對社群服務不斷迭代試驗,提高社群運營效率。

我們梳理了下我們的北極星指標是提高用戶價值(單進班價值=總營業(yè)額/領班人數(shù)),而總營業(yè)額又跟續(xù)報領課人數(shù)有關,再進一步拆解續(xù)報領課人數(shù)跟好友數(shù)和領課率有關,領課率又跟社群的服務對用戶信任度的提升有關。那么社群的服務又包含:答疑、直播、促學提醒。所以我們最終要提高的是答疑、直播、促學這些場景中參與用戶續(xù)報課程人數(shù)。

大家可以直接看這個北極星指標拆解下來的流程圖,如下圖:

通過拆解北極星指標,我們知道了原來要落地的運營動作就是提高社群服務中參與人數(shù)的比例,我們開始梳理整個運營流程,這時我們發(fā)現(xiàn)一些變量,這些變量可能會影響我們最終的北極星指標,這時候就需要做ABtest驗證,固定一個變量來測試對北極星指標的正負影響。

二、A/B test操作流程

我們在梳理運營流程時發(fā)現(xiàn)了用戶學習行為過程中出現(xiàn)了兩個變量:學制(分定時開班和隨報隨學)、分組(有分組和無分組),定時開班和分組對人員操作成本比較大,是否取消,這兩個變量對課程學完率和單進班價值到底影響有多大,都需要我們做試驗來驗證。

下面以其中一個ABtest為例:

(1)明確試驗的目的

比如,我們一組試驗是:通過對比定時開班學習和隨報隨學兩種學習模式對單進班價值的影響。如果隨報隨學這種學制跟定時開班學習的單進班價值差不多或者更高,那么可以直接采用這種模式,減少人力成本,反之亦然。

(2)設置A/B對照組

驗證方法:

  • 對照組A:四級詞匯圈人班定時開班專題領取用戶;
  • 對照組B:四級詞匯圈人班隨報隨學專題領取用戶。

為了保證試驗的準確性,兩個樣本A和B需要滿足:

  1. 用戶量級相近,用戶量級也不能太小,至少600人以上,要能代表全局特性。
  2. 用戶屬性相似,具有代表性,比如我們的目標用戶都是以大學生人群為主。
  3. 測試環(huán)境能夠代表全局特性,比如:都是沿用之前的用戶領課路徑,只保留唯一一個變量,其他環(huán)境都一樣。

制定社群運營AB測試流程方案,確定續(xù)報課程觸達方式和用戶續(xù)報路徑,如下圖:

(社群運營ABtest流程方案)

梳理這個流程方案很重要,將你的整個的運營動作都排期放到里面,幫助你按照自己的運營節(jié)奏來。

下面,是不是就可以活動上線前的準備工作做完了,等看效果了呢?還有一項很重要的工作要做。

整理數(shù)據(jù)需求:

測試方案確定后,在活動上線前,需要做的很重要一點就是跟BI提數(shù)據(jù)需求,確保數(shù)據(jù)可以滿足以下幾點,不然等試驗結束后再跟數(shù)據(jù)同學提需求,可能會落得尷尬局面,數(shù)據(jù)無法獲取。

保證活動數(shù)據(jù)可以滿足:

  1. 能均勻地把獨立用戶分成2個屬性一致的樣本群體A和B。比如:我們課程上架分兩個專題,將用戶做A和B區(qū)分。
  2. 能對每個獨立用戶做身份標記,也就是每個樣本的用戶數(shù)據(jù)可以追蹤到。比如:用戶從領課——添加個人號——學習行為——續(xù)報課程,這條路徑的數(shù)據(jù)都可以追蹤。
  3. 能針對A和B在線調控出變量。比如:我們這次的一組試驗變量就是學制的不同,在專題頁直接設計隨報隨學和定時開班兩種開班模型。
  4. 能分離A和B因為變量導致的數(shù)據(jù)差異。比如:對兩個樣本用戶的續(xù)報領課情況,我們分別設置了帶source的課程鏈接,這樣可以獲取每個樣本下不同渠道的續(xù)報轉化人數(shù)。

以上準備工作做完后,就可以開始活動上線,然后看最終的數(shù)據(jù)結果啦。

(3)分析數(shù)據(jù)

活動結束后,根據(jù)續(xù)報課程轉化周期,我們活動結束3天后就可以開始找BI拉數(shù)據(jù)了。還是上面的例子,我們分析下兩個ABtest的數(shù)據(jù)情況:

學習行為數(shù)據(jù)對比(以下數(shù)據(jù)有改動,非真實數(shù)據(jù),僅供演示所用):

用戶學習行為數(shù)據(jù)(留存及學完率)

從數(shù)據(jù)可以看出,B組定時開班模式用戶7日TAD(7日累計活躍天數(shù))和學完率都明顯高于A組隨報隨學學制;A組有分組7日TAD和學完率都明顯高于B組無分組。

單進班價值數(shù)據(jù)對比:

(續(xù)報轉化數(shù)據(jù))

從數(shù)據(jù)可以看出,A組隨報隨學模式的單進班價值(總營業(yè)額/領課用戶)明顯高于B組定時開班;A組有分組的用戶單進班價值明顯高于B組定時開班。

(4)得出結論

回顧我們社群運營的北極星指標,采用隨報隨學和有分組兩種學制下用戶的單進班價值更高,之后的社群運營流程可以繼續(xù)沿用。

三、產(chǎn)品迭代

上面確定了社群的玩法模型采用隨報隨學和分組pk更加有效這個結論,但因為分組pk在微信群人工操作成本很大,如果社群用戶量級很大,則需要走產(chǎn)品端的分組模式,解放人力,提高社群運營效率。

除了通過試驗來驗證用戶哪種學習模式更有效外,我們還可以做更多其他的試驗,比如設置對照組來測試社群的轉化模型哪種更有效,不斷迭代優(yōu)化,提高運營效率。

 

作者:李軍龍(Alger),3年互聯(lián)網(wǎng)運營人,教育行業(yè)從業(yè)者,專注用戶增長研究&社群營銷

本文由 @李軍龍 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉載

題圖來自Unsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請關注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 領班人數(shù)是什么,不是這個行業(yè)的,有些名詞可不可以解釋一下,方便好理解,感恩作者

    回復
    1. 可以私聊

      回復
  2. 收藏了

    回復
  3. 請問學制/分組兩種變量是怎么分別對應到不同數(shù)據(jù)指標的,比如學制為什么對應7日TAD和學完率這一數(shù)據(jù)指標?

    來自廣東 回復
    1. 學制和分組模式驗證,這是兩組測試,每組測試配置AB 兩個專題頁,兩個專題頁課程的報名用戶從領課開始就可以區(qū)分開始,后期的行為數(shù)據(jù)也就很容易追蹤到。

      回復
  4. hi,剛剛看了這篇文章,還挺有意思的,請問您微信多少,我們一起聊聊吧

    來自北京 回復
    1. 嗯嗯,微信號:L1025932025

      回復