增長(zhǎng)案例丨為 Keep 設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

1 評(píng)論 9218 瀏覽 79 收藏 20 分鐘

每套方法論都有自己的邏輯閉環(huán)和不同的適用場(chǎng)景,也存在在執(zhí)行時(shí)仍然存在的困惑,根據(jù)自己遇到的困惑,拆解輸出的方法論理解消化后輸出自己的方法論,才是最合適的做法。

增長(zhǎng)是一個(gè)持續(xù)實(shí)驗(yàn)的過程,就像做產(chǎn)品迭代,最科學(xué)的方法是向迭代要數(shù)據(jù),依據(jù)數(shù)據(jù)做迭代;做增長(zhǎng)亦是如此,即數(shù)據(jù)驅(qū)動(dòng)增長(zhǎng)。

策略、增長(zhǎng)都有各自的方法論,抽象出來其實(shí)表達(dá)的是相似的意思。

通過數(shù)據(jù)發(fā)現(xiàn)問題→提出假設(shè)→設(shè)計(jì)方案→獲得更多數(shù)據(jù)→驗(yàn)證假設(shè)→發(fā)現(xiàn)顆粒度更細(xì)的問題→提出更精準(zhǔn)的假設(shè)。

是無數(shù)組閉環(huán)邏輯的循序漸進(jìn),根據(jù)實(shí)際達(dá)到的效果以及成本,來決定做到哪一步就可以滿足目標(biāo)或者需要及時(shí)止損。

每套方法論都有自己的邏輯閉環(huán)和不同的適用場(chǎng)景,也存在在執(zhí)行時(shí)仍然存在的困惑,根據(jù)自己遇到的困惑,拆解輸出的方法論理解消化后輸出自己的方法論,才是最合適的做法。

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

增長(zhǎng)實(shí)驗(yàn)通常以A/B測(cè)試的方式進(jìn)行,要清楚A/B測(cè)試只是手段不是目的,在日常生活中也可以加以利用。

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

2. 設(shè)計(jì)增長(zhǎng)實(shí)驗(yàn)前,如何發(fā)現(xiàn)問題

2.1 有明確目標(biāo)(根據(jù)目標(biāo)找數(shù)據(jù))

有明確目標(biāo)的意思是,促使實(shí)驗(yàn)發(fā)起的需求來源不是分析數(shù)據(jù)后發(fā)現(xiàn)的問題,而是通過其他需求來源提出的明確的可衡量的目標(biāo)。

比如老板下達(dá)任務(wù),這個(gè)季度的GMV要提升30%。那么關(guān)鍵指標(biāo)可定義為2020Q1GMV,相關(guān)指標(biāo)可以在已經(jīng)搭建好的增長(zhǎng)模型或者公式中獲得。

GMV等于流量*轉(zhuǎn)化率*客單價(jià),流量包含自然流量和渠道流量等,自然流量包含產(chǎn)品本身的APP、小程序等,渠道流量包含各個(gè)外部渠道。

根據(jù)實(shí)際情況選擇對(duì)應(yīng)的顆粒度分析。

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

2.2 無明確目標(biāo)(根據(jù)數(shù)據(jù)找目標(biāo))

無明確目標(biāo)的意思是,促使實(shí)驗(yàn)發(fā)起的需求來源,并不聚焦于某一個(gè)具體目標(biāo),我們想通過優(yōu)化某一個(gè)當(dāng)前需要優(yōu)化的內(nèi)容,從而達(dá)到提升整體效果的終極目標(biāo)。

此時(shí)為了避免拍腦袋定方案,設(shè)計(jì)出低質(zhì)量的實(shí)驗(yàn)浪費(fèi)資源,就要通過一些科學(xué)方法找到相對(duì)合理的目標(biāo)。

a.收集用戶反饋

在產(chǎn)品的用戶反饋入口、應(yīng)用商店評(píng)價(jià)、社交平臺(tái)等渠道收集用戶反饋。

通過對(duì)用戶反饋的過濾、整理、分析,發(fā)現(xiàn)與增長(zhǎng)相關(guān)的問題,以解決此問題為目標(biāo)設(shè)計(jì)增長(zhǎng)實(shí)驗(yàn)。

用戶的反饋比較隨機(jī),難以判斷影響面,與產(chǎn)品全局沒有直接關(guān)系,因此可能需要其他手段進(jìn)一步驗(yàn)證,著重思考優(yōu)先級(jí)的排序。

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

b.系統(tǒng)監(jiān)控

在數(shù)據(jù)體系較為完善的系統(tǒng)中,可以通過監(jiān)控發(fā)現(xiàn)問題。

提前設(shè)置好監(jiān)控指標(biāo)和報(bào)警規(guī)則,是在一段周期內(nèi)一勞永逸的方式,提升發(fā)現(xiàn)問題的效率,降低需求分析的成本。

比如某成熟期的社區(qū)產(chǎn)品的日留存率平均在30%,如果每天的留存率在正常波動(dòng)區(qū)間內(nèi),我們便可以將精力用在其他地方,如果留存率不在正常波動(dòng)區(qū)間,即出現(xiàn)異常(一般指留存率偏低的情況)。

首先要根據(jù)業(yè)務(wù)實(shí)際情況確定是否真的是異常情況,如果確定是異常情況,可能會(huì)通過增長(zhǎng)實(shí)驗(yàn),來將異常數(shù)據(jù)拉回正常區(qū)間;如果不是異常情況,可能需要調(diào)整報(bào)警規(guī)則。

比如K12類產(chǎn)品,在周末活躍度對(duì)比周一至周五下降,或者購票類產(chǎn)品在假期過后活躍度下降,通常屬于正常情況。

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

c.定期復(fù)盤

復(fù)盤的方式可以具象為效果回歸。效果回歸是驗(yàn)證在之前的增長(zhǎng)動(dòng)作中,有沒有達(dá)到目標(biāo)。如果達(dá)到,探索進(jìn)一步優(yōu)化的空間;如果沒有達(dá)到,分析原因,嘗試通過接下來的增長(zhǎng)動(dòng)作達(dá)到目標(biāo)。

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

3. 增長(zhǎng)實(shí)驗(yàn)案例丨KEEP社區(qū)

3.1 實(shí)驗(yàn)背景&目的

(1)提升用戶對(duì)其他用戶關(guān)注率

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

  • 已知當(dāng)前動(dòng)態(tài)詳情頁(動(dòng)態(tài)、文章、視頻)的日均PV為10000
  • 已知當(dāng)前動(dòng)態(tài)詳情頁(動(dòng)態(tài)、文章、視頻)的關(guān)注率為5%,目標(biāo)提升至6%
  • 統(tǒng)計(jì)顯著性需要達(dá)到95%

統(tǒng)計(jì)顯著性在這里不深入展開,市面上有專門的統(tǒng)計(jì)工具,通過搜索引擎即可找到

(2)實(shí)驗(yàn)前準(zhǔn)備-定義指標(biāo)

【(年/月/日)關(guān)注率】定義:用戶累計(jì)(年/月/日)關(guān)注數(shù)/用戶(年/月/日)累計(jì)瀏覽內(nèi)容來源其他用戶數(shù)。 (對(duì)一個(gè)用戶生產(chǎn)的多條內(nèi)容做去重)

【瀏覽】定義:對(duì)應(yīng)內(nèi)容在一屏中露出60%。在頁面中停留時(shí)間≥5s。

3.2 增長(zhǎng)實(shí)驗(yàn)

步驟1:提出實(shí)驗(yàn)假設(shè)

假設(shè)1:

【如果】在社區(qū)feed流中增加關(guān)注按鈕

【預(yù)計(jì)】月關(guān)注率可以提升20%

【因?yàn)椤?/p>

  • 社區(qū)feed流是第一層級(jí)頁面,跳出率最低,縮短了轉(zhuǎn)化路徑。
  • feed流的核心目標(biāo)就是吸引用戶更長(zhǎng)時(shí)間的沉浸體驗(yàn)。目前的關(guān)注需要在更深一層級(jí)的【添加好友】或【動(dòng)態(tài)詳情】中操作,某種程度上打斷了用戶的心流。按鈕放在feed流上可以使體驗(yàn)更流暢。
  • 用戶做更多操作去關(guān)注一個(gè)用戶,在潛意識(shí)上會(huì)把關(guān)注當(dāng)成一個(gè)相對(duì)重的操作,將關(guān)注按鈕放到feed流中,使用戶不需要像在【添加好友】中篩選和在【動(dòng)態(tài)詳情】中查看更多內(nèi)容,僅通過feed流中的一條動(dòng)態(tài)便確定關(guān)注意愿,細(xì)化了關(guān)注的場(chǎng)景,滿足了追求多樣性和把關(guān)注看的不那么重的用戶。也是產(chǎn)品需要潛移默化影響用戶心智的方向。

最佳實(shí)踐:

抖音feed流中可以直接關(guān)注發(fā)布者

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

定量分析

  • 用戶在【feed流>動(dòng)態(tài)詳情>feed流>動(dòng)態(tài)詳情】(循環(huán))路徑中點(diǎn)擊關(guān)注的數(shù)量
  • 用戶在feed流中給非關(guān)注用戶動(dòng)態(tài)點(diǎn)贊后,關(guān)注該用戶的數(shù)量

假設(shè)2

【如果】增加邏輯:點(diǎn)贊默認(rèn)同時(shí)關(guān)注,個(gè)人中心可設(shè)置點(diǎn)贊是否同步關(guān)注

【預(yù)計(jì)】月關(guān)注率可以提升30%

【因?yàn)椤?/p>

  • 與上條一樣,產(chǎn)品需要引導(dǎo)用戶的是不把關(guān)注看做是一個(gè)很重的操作,從而使用戶更多的進(jìn)行關(guān)注。
  • 點(diǎn)贊和關(guān)注,在不同的社區(qū)運(yùn)營過程中,含義的演化各不相同;可設(shè)置的點(diǎn)贊是否同步關(guān)注邏輯,是將選擇權(quán)還給用戶,滿足對(duì)這兩者不同理解的多種用戶群體需求。
  • 對(duì)于在feed流中根據(jù)一條動(dòng)態(tài)便確定關(guān)注意愿的用戶來說,當(dāng)前需要操作三步(點(diǎn)贊、點(diǎn)擊動(dòng)態(tài)、關(guān)注)才能完成點(diǎn)贊+關(guān)注。使用假設(shè)后只需要點(diǎn)贊一個(gè)動(dòng)作,操作多個(gè)時(shí),指數(shù)級(jí)的降本增效。

最佳實(shí)踐

通常情況,縮短轉(zhuǎn)化路徑可以提升轉(zhuǎn)化率。

微博有類似的邏輯,通過內(nèi)容吸引用戶關(guān)注發(fā)布者。

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

定量分析

  • 用戶在【feed流>動(dòng)態(tài)詳情>feed流>動(dòng)態(tài)詳情】(循環(huán))路徑中點(diǎn)擊關(guān)注的數(shù)量
  • 用戶在feed流中給非關(guān)注用戶動(dòng)態(tài)點(diǎn)贊后,關(guān)注該用戶的數(shù)量

假設(shè)3

【如果】為游客開放瀏覽社區(qū)和關(guān)注用戶&話題權(quán)限。(登錄后選擇是否同步關(guān)注數(shù)據(jù),根據(jù)終端同步)

【預(yù)計(jì)】月關(guān)注率可以提升5%

【因?yàn)椤?/p>

  • 用戶不需要登錄即可進(jìn)行瀏覽,縮短了轉(zhuǎn)化路徑
  • 但是對(duì)于一個(gè)產(chǎn)品來說,用戶的登錄代表了最基本的興趣和信任,一直處于游客狀態(tài)的用戶并不會(huì)很多也不會(huì)很活躍

最佳實(shí)踐

對(duì)于游客用戶也可以使其產(chǎn)生粘性和沉默成本,拿出誠意,先給用戶價(jià)值,尋求用戶未來的登錄。

好奇心日?qǐng)?bào),未登錄狀態(tài)下可以做瀏覽、收藏、參與研究等操作。

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

定量分析

  • 下載量
  • 登錄頁UV
  • 登錄用戶數(shù)

假設(shè)4

【如果】類似微博,登錄成功后,引導(dǎo)填寫簡(jiǎn)單用戶問卷(健身側(cè)重內(nèi)容),根據(jù)用戶個(gè)人情況推薦關(guān)注表單。

【預(yù)計(jì)】月關(guān)注率可以提升25%

【因?yàn)椤?/p>

  • 微博、站酷、好好住等各領(lǐng)域社區(qū)APP已經(jīng)教育出用戶習(xí)慣,比較易于接受,用戶的問卷反饋可以應(yīng)用于內(nèi)容推薦和push等策略,帶來更精準(zhǔn)的促活
  • 但是根據(jù)keep的商業(yè)模式以及當(dāng)前的一級(jí)頁面C位(運(yùn)動(dòng))可以很清晰的看出,KEEP的核心還是工具屬性;
  • 因此是否提升社區(qū)的權(quán)重,需要戰(zhàn)略層面的權(quán)衡

最佳實(shí)踐

微博的各種引導(dǎo)關(guān)注&自動(dòng)關(guān)注機(jī)制,需要權(quán)衡差異選擇性參考。

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

定量分析

  • 用戶分層:瀏覽內(nèi)容時(shí)間與使用運(yùn)動(dòng)功能時(shí)間占比大于2:1的用戶比例

步驟2:ICE模型打分,制定優(yōu)先級(jí)

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

優(yōu)先級(jí):假設(shè)1>假設(shè)2>假設(shè)4>假設(shè)3

打分依據(jù)-預(yù)期影響

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

打分依據(jù)-成功概率

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

打分依據(jù)-容易程度

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

步驟3:實(shí)驗(yàn)設(shè)計(jì)

避免內(nèi)容重復(fù),這里再引入一個(gè)新的實(shí)驗(yàn)假設(shè)講解后續(xù)內(nèi)容

1)實(shí)驗(yàn)假設(shè)

【如果】用戶在動(dòng)態(tài)詳情中停留5s以上,關(guān)注按鈕變亮變大。

【預(yù)計(jì)】月關(guān)注率可以提升20%(5%→6%)。

【因?yàn)椤客A艨梢苑磻?yīng)出用戶對(duì)內(nèi)容的興趣,從而說明對(duì)發(fā)布者的興趣;5s的時(shí)候用戶興趣比較濃厚又未完全沉浸在內(nèi)容中,此時(shí)關(guān)注按鈕發(fā)生視覺變化既提醒用戶關(guān)注又不會(huì)過分干擾造成反感。

最佳實(shí)踐

(同假設(shè)2)微博有類似的邏輯,通過內(nèi)容吸引用戶(強(qiáng)提醒)關(guān)注發(fā)布者。

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

定量分析

  • 用戶在文章詳情&動(dòng)態(tài)詳情中停留5s以上后,關(guān)注發(fā)布者的數(shù)量和比例。
  • 用戶關(guān)注發(fā)布者時(shí)在詳情中停留的平均時(shí)長(zhǎng)。

2)實(shí)驗(yàn)指標(biāo)

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

【月關(guān)注率】定義:用戶當(dāng)月累計(jì)關(guān)注數(shù)/用戶當(dāng)月累計(jì)瀏覽內(nèi)容來源其他用戶數(shù)。 (對(duì)一個(gè)用戶生產(chǎn)的多條內(nèi)容做去重)

【瀏覽】定義:對(duì)應(yīng)內(nèi)容在一屏中露出60%。在動(dòng)態(tài)詳情頁中停留時(shí)間≥5s。

因?yàn)閷?shí)驗(yàn)的改動(dòng)是在動(dòng)態(tài)詳情中的3個(gè)頁面(動(dòng)態(tài)、視頻、文章),因此實(shí)驗(yàn)前后的數(shù)據(jù)對(duì)比僅統(tǒng)計(jì)此部分?jǐn)?shù)據(jù)差異;確保不會(huì)被其他因素干擾。

核心指標(biāo):(上面3個(gè)頁面依次編號(hào)1、2、3)頁面1月關(guān)注率、頁面2月關(guān)注率、頁面3月關(guān)注率。

反向指標(biāo):頁面1月取關(guān)率、頁面2月取關(guān)率、頁面3月取關(guān)率。

【取關(guān)率】定義:用戶在對(duì)應(yīng)頁面中關(guān)注后又取消的數(shù)量/用戶在對(duì)應(yīng)頁面中關(guān)注數(shù)。

輔助指標(biāo):(上面3個(gè)頁面對(duì)應(yīng)依次1、2、3)頁面1關(guān)注平均停留時(shí)長(zhǎng)、頁面2關(guān)注平均停留時(shí)長(zhǎng)、頁面3關(guān)注平均停留時(shí)長(zhǎng)。

【停留時(shí)長(zhǎng)關(guān)注比】用戶在對(duì)應(yīng)頁面中關(guān)注,平均需要停留的時(shí)間。

與實(shí)驗(yàn)的5s對(duì)比,衡量5s這個(gè)時(shí)間點(diǎn)發(fā)生的按鈕樣式變動(dòng),對(duì)用戶最終關(guān)注的影響程度。

3)實(shí)驗(yàn)受眾

  • 有關(guān)注習(xí)慣用戶
  • 無特定習(xí)慣用戶
  • 無關(guān)注習(xí)慣用戶

【有關(guān)注習(xí)慣用戶】定義:關(guān)注數(shù)/活躍(進(jìn)入社區(qū))天數(shù)≥1(每活躍1天,新增1個(gè)關(guān)注)

【無特定習(xí)慣用戶】定義:0.3<關(guān)注數(shù)/活躍(進(jìn)入社區(qū))天數(shù)<1

【無關(guān)注習(xí)慣用戶】定義:關(guān)注數(shù)/活躍(進(jìn)入社區(qū))天數(shù)≤0.3

4)實(shí)驗(yàn)設(shè)計(jì)-A/B測(cè)試

a. 版本劃分及原因

3個(gè)版本:

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

  • 從策略層面細(xì)化,可以考慮27種組合(3組用戶3個(gè)頁面3種樣式),然后評(píng)估操作成本。在案例中,僅考慮文章詳情頁。
  • 變化幅度大的樣式對(duì)應(yīng)強(qiáng)提醒,側(cè)重目標(biāo)轉(zhuǎn)化。樣式例如:按鈕變大50%,顏色明顯變化+動(dòng)效。
  • 變化幅度小的樣式對(duì)應(yīng)弱提醒,側(cè)重體驗(yàn)連貫。樣式例如:按鈕變大20%,顏色輕微變化。

(該階段的思維發(fā)散僅做思路展示,后面兩個(gè)時(shí)間的計(jì)算不考慮中間涉及到的拆解用戶組)

b. 如果將文章詳情的【月關(guān)注率】提升到6%

已知當(dāng)前關(guān)注率5%,目標(biāo)提升至6%,統(tǒng)計(jì)顯著性需達(dá)到95%,文章詳情每日UV10000。

  • 【有關(guān)注習(xí)慣用戶】【無提醒】
  • 【有關(guān)注習(xí)慣用戶】【弱提醒】
  • 【有關(guān)注習(xí)慣用戶】【強(qiáng)提醒】
  • 【無特定習(xí)慣用戶】【無提醒】
  • 【無特定習(xí)慣用戶】【弱提醒】
  • 【無特定習(xí)慣用戶】【強(qiáng)提醒】
  • 【無關(guān)注習(xí)慣用戶】【無提醒】
  • 【無關(guān)注習(xí)慣用戶】【弱提醒】
  • 【無關(guān)注習(xí)慣用戶】【強(qiáng)提醒】

每組流量分配:10000/9≈1111

剩余名額全部劃分至【有關(guān)注習(xí)慣用戶】【無提醒】,實(shí)驗(yàn)無結(jié)論前,減少對(duì)活躍用戶的影響。

實(shí)驗(yàn)時(shí)間

通過工具計(jì)算得出:6900/1111≈6.2天,取整數(shù)7天。

增長(zhǎng)案例丨為KEEP設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)

5)分析實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)組:是接受實(shí)驗(yàn)變量處理的對(duì)象組。

對(duì)照組:對(duì)實(shí)驗(yàn)假設(shè)而言,是不接受實(shí)驗(yàn)變量處理的對(duì)象組。

關(guān)注點(diǎn):

  • 實(shí)驗(yàn)組和對(duì)照組的流量是否平均,是否獲取到了足夠的樣本數(shù)
  • 實(shí)驗(yàn)周期是否足夠長(zhǎng),是否受到周末、節(jié)假日影響;是否受到用戶的新鮮感影響
  • 每組中是否覆蓋了全部用戶類型(高、中、低頻)
  • 實(shí)驗(yàn)組的核心指標(biāo)對(duì)比對(duì)照組是否提升、輔助指標(biāo)是否提升或持平、反向指標(biāo)是否提升造成負(fù)面影響
  • 核心指標(biāo)是否達(dá)到統(tǒng)計(jì)顯著性要求(搜索引擎中即可找到第三方統(tǒng)計(jì)工具)

6)實(shí)驗(yàn)下一步

開啟新的循環(huán)

 

本文由 @紫原新之助 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自Unsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 范本啊

    來自甘肅 回復(fù)