增長(zhǎng)案例丨為 Keep 設(shè)計(jì)一場(chǎng)增長(zhǎng)實(shí)驗(yàn)
每套方法論都有自己的邏輯閉環(huán)和不同的適用場(chǎng)景,也存在在執(zhí)行時(shí)仍然存在的困惑,根據(jù)自己遇到的困惑,拆解輸出的方法論理解消化后輸出自己的方法論,才是最合適的做法。
增長(zhǎng)是一個(gè)持續(xù)實(shí)驗(yàn)的過程,就像做產(chǎn)品迭代,最科學(xué)的方法是向迭代要數(shù)據(jù),依據(jù)數(shù)據(jù)做迭代;做增長(zhǎng)亦是如此,即數(shù)據(jù)驅(qū)動(dòng)增長(zhǎng)。
策略、增長(zhǎng)都有各自的方法論,抽象出來其實(shí)表達(dá)的是相似的意思。
通過數(shù)據(jù)發(fā)現(xiàn)問題→提出假設(shè)→設(shè)計(jì)方案→獲得更多數(shù)據(jù)→驗(yàn)證假設(shè)→發(fā)現(xiàn)顆粒度更細(xì)的問題→提出更精準(zhǔn)的假設(shè)。
是無數(shù)組閉環(huán)邏輯的循序漸進(jìn),根據(jù)實(shí)際達(dá)到的效果以及成本,來決定做到哪一步就可以滿足目標(biāo)或者需要及時(shí)止損。
每套方法論都有自己的邏輯閉環(huán)和不同的適用場(chǎng)景,也存在在執(zhí)行時(shí)仍然存在的困惑,根據(jù)自己遇到的困惑,拆解輸出的方法論理解消化后輸出自己的方法論,才是最合適的做法。
增長(zhǎng)實(shí)驗(yàn)通常以A/B測(cè)試的方式進(jìn)行,要清楚A/B測(cè)試只是手段不是目的,在日常生活中也可以加以利用。
2. 設(shè)計(jì)增長(zhǎng)實(shí)驗(yàn)前,如何發(fā)現(xiàn)問題
2.1 有明確目標(biāo)(根據(jù)目標(biāo)找數(shù)據(jù))
有明確目標(biāo)的意思是,促使實(shí)驗(yàn)發(fā)起的需求來源不是分析數(shù)據(jù)后發(fā)現(xiàn)的問題,而是通過其他需求來源提出的明確的可衡量的目標(biāo)。
比如老板下達(dá)任務(wù),這個(gè)季度的GMV要提升30%。那么關(guān)鍵指標(biāo)可定義為2020Q1GMV,相關(guān)指標(biāo)可以在已經(jīng)搭建好的增長(zhǎng)模型或者公式中獲得。
GMV等于流量*轉(zhuǎn)化率*客單價(jià),流量包含自然流量和渠道流量等,自然流量包含產(chǎn)品本身的APP、小程序等,渠道流量包含各個(gè)外部渠道。
根據(jù)實(shí)際情況選擇對(duì)應(yīng)的顆粒度分析。
2.2 無明確目標(biāo)(根據(jù)數(shù)據(jù)找目標(biāo))
無明確目標(biāo)的意思是,促使實(shí)驗(yàn)發(fā)起的需求來源,并不聚焦于某一個(gè)具體目標(biāo),我們想通過優(yōu)化某一個(gè)當(dāng)前需要優(yōu)化的內(nèi)容,從而達(dá)到提升整體效果的終極目標(biāo)。
此時(shí)為了避免拍腦袋定方案,設(shè)計(jì)出低質(zhì)量的實(shí)驗(yàn)浪費(fèi)資源,就要通過一些科學(xué)方法找到相對(duì)合理的目標(biāo)。
a.收集用戶反饋
在產(chǎn)品的用戶反饋入口、應(yīng)用商店評(píng)價(jià)、社交平臺(tái)等渠道收集用戶反饋。
通過對(duì)用戶反饋的過濾、整理、分析,發(fā)現(xiàn)與增長(zhǎng)相關(guān)的問題,以解決此問題為目標(biāo)設(shè)計(jì)增長(zhǎng)實(shí)驗(yàn)。
用戶的反饋比較隨機(jī),難以判斷影響面,與產(chǎn)品全局沒有直接關(guān)系,因此可能需要其他手段進(jìn)一步驗(yàn)證,著重思考優(yōu)先級(jí)的排序。
b.系統(tǒng)監(jiān)控
在數(shù)據(jù)體系較為完善的系統(tǒng)中,可以通過監(jiān)控發(fā)現(xiàn)問題。
提前設(shè)置好監(jiān)控指標(biāo)和報(bào)警規(guī)則,是在一段周期內(nèi)一勞永逸的方式,提升發(fā)現(xiàn)問題的效率,降低需求分析的成本。
比如某成熟期的社區(qū)產(chǎn)品的日留存率平均在30%,如果每天的留存率在正常波動(dòng)區(qū)間內(nèi),我們便可以將精力用在其他地方,如果留存率不在正常波動(dòng)區(qū)間,即出現(xiàn)異常(一般指留存率偏低的情況)。
首先要根據(jù)業(yè)務(wù)實(shí)際情況確定是否真的是異常情況,如果確定是異常情況,可能會(huì)通過增長(zhǎng)實(shí)驗(yàn),來將異常數(shù)據(jù)拉回正常區(qū)間;如果不是異常情況,可能需要調(diào)整報(bào)警規(guī)則。
比如K12類產(chǎn)品,在周末活躍度對(duì)比周一至周五下降,或者購票類產(chǎn)品在假期過后活躍度下降,通常屬于正常情況。
c.定期復(fù)盤
復(fù)盤的方式可以具象為效果回歸。效果回歸是驗(yàn)證在之前的增長(zhǎng)動(dòng)作中,有沒有達(dá)到目標(biāo)。如果達(dá)到,探索進(jìn)一步優(yōu)化的空間;如果沒有達(dá)到,分析原因,嘗試通過接下來的增長(zhǎng)動(dòng)作達(dá)到目標(biāo)。
3. 增長(zhǎng)實(shí)驗(yàn)案例丨KEEP社區(qū)
3.1 實(shí)驗(yàn)背景&目的
(1)提升用戶對(duì)其他用戶關(guān)注率
- 已知當(dāng)前動(dòng)態(tài)詳情頁(動(dòng)態(tài)、文章、視頻)的日均PV為10000
- 已知當(dāng)前動(dòng)態(tài)詳情頁(動(dòng)態(tài)、文章、視頻)的關(guān)注率為5%,目標(biāo)提升至6%
- 統(tǒng)計(jì)顯著性需要達(dá)到95%
統(tǒng)計(jì)顯著性在這里不深入展開,市面上有專門的統(tǒng)計(jì)工具,通過搜索引擎即可找到
(2)實(shí)驗(yàn)前準(zhǔn)備-定義指標(biāo)
【(年/月/日)關(guān)注率】定義:用戶累計(jì)(年/月/日)關(guān)注數(shù)/用戶(年/月/日)累計(jì)瀏覽內(nèi)容來源其他用戶數(shù)。 (對(duì)一個(gè)用戶生產(chǎn)的多條內(nèi)容做去重)
【瀏覽】定義:對(duì)應(yīng)內(nèi)容在一屏中露出60%。在頁面中停留時(shí)間≥5s。
3.2 增長(zhǎng)實(shí)驗(yàn)
步驟1:提出實(shí)驗(yàn)假設(shè)
假設(shè)1:
【如果】在社區(qū)feed流中增加關(guān)注按鈕
【預(yù)計(jì)】月關(guān)注率可以提升20%
【因?yàn)椤?/p>
- 社區(qū)feed流是第一層級(jí)頁面,跳出率最低,縮短了轉(zhuǎn)化路徑。
- feed流的核心目標(biāo)就是吸引用戶更長(zhǎng)時(shí)間的沉浸體驗(yàn)。目前的關(guān)注需要在更深一層級(jí)的【添加好友】或【動(dòng)態(tài)詳情】中操作,某種程度上打斷了用戶的心流。按鈕放在feed流上可以使體驗(yàn)更流暢。
- 用戶做更多操作去關(guān)注一個(gè)用戶,在潛意識(shí)上會(huì)把關(guān)注當(dāng)成一個(gè)相對(duì)重的操作,將關(guān)注按鈕放到feed流中,使用戶不需要像在【添加好友】中篩選和在【動(dòng)態(tài)詳情】中查看更多內(nèi)容,僅通過feed流中的一條動(dòng)態(tài)便確定關(guān)注意愿,細(xì)化了關(guān)注的場(chǎng)景,滿足了追求多樣性和把關(guān)注看的不那么重的用戶。也是產(chǎn)品需要潛移默化影響用戶心智的方向。
最佳實(shí)踐:
抖音feed流中可以直接關(guān)注發(fā)布者
定量分析
- 用戶在【feed流>動(dòng)態(tài)詳情>feed流>動(dòng)態(tài)詳情】(循環(huán))路徑中點(diǎn)擊關(guān)注的數(shù)量
- 用戶在feed流中給非關(guān)注用戶動(dòng)態(tài)點(diǎn)贊后,關(guān)注該用戶的數(shù)量
假設(shè)2
【如果】增加邏輯:點(diǎn)贊默認(rèn)同時(shí)關(guān)注,個(gè)人中心可設(shè)置點(diǎn)贊是否同步關(guān)注
【預(yù)計(jì)】月關(guān)注率可以提升30%
【因?yàn)椤?/p>
- 與上條一樣,產(chǎn)品需要引導(dǎo)用戶的是不把關(guān)注看做是一個(gè)很重的操作,從而使用戶更多的進(jìn)行關(guān)注。
- 點(diǎn)贊和關(guān)注,在不同的社區(qū)運(yùn)營過程中,含義的演化各不相同;可設(shè)置的點(diǎn)贊是否同步關(guān)注邏輯,是將選擇權(quán)還給用戶,滿足對(duì)這兩者不同理解的多種用戶群體需求。
- 對(duì)于在feed流中根據(jù)一條動(dòng)態(tài)便確定關(guān)注意愿的用戶來說,當(dāng)前需要操作三步(點(diǎn)贊、點(diǎn)擊動(dòng)態(tài)、關(guān)注)才能完成點(diǎn)贊+關(guān)注。使用假設(shè)后只需要點(diǎn)贊一個(gè)動(dòng)作,操作多個(gè)時(shí),指數(shù)級(jí)的降本增效。
最佳實(shí)踐
通常情況,縮短轉(zhuǎn)化路徑可以提升轉(zhuǎn)化率。
微博有類似的邏輯,通過內(nèi)容吸引用戶關(guān)注發(fā)布者。
定量分析
- 用戶在【feed流>動(dòng)態(tài)詳情>feed流>動(dòng)態(tài)詳情】(循環(huán))路徑中點(diǎn)擊關(guān)注的數(shù)量
- 用戶在feed流中給非關(guān)注用戶動(dòng)態(tài)點(diǎn)贊后,關(guān)注該用戶的數(shù)量
假設(shè)3
【如果】為游客開放瀏覽社區(qū)和關(guān)注用戶&話題權(quán)限。(登錄后選擇是否同步關(guān)注數(shù)據(jù),根據(jù)終端同步)
【預(yù)計(jì)】月關(guān)注率可以提升5%
【因?yàn)椤?/p>
- 用戶不需要登錄即可進(jìn)行瀏覽,縮短了轉(zhuǎn)化路徑
- 但是對(duì)于一個(gè)產(chǎn)品來說,用戶的登錄代表了最基本的興趣和信任,一直處于游客狀態(tài)的用戶并不會(huì)很多也不會(huì)很活躍
最佳實(shí)踐
對(duì)于游客用戶也可以使其產(chǎn)生粘性和沉默成本,拿出誠意,先給用戶價(jià)值,尋求用戶未來的登錄。
好奇心日?qǐng)?bào),未登錄狀態(tài)下可以做瀏覽、收藏、參與研究等操作。
定量分析
- 下載量
- 登錄頁UV
- 登錄用戶數(shù)
假設(shè)4
【如果】類似微博,登錄成功后,引導(dǎo)填寫簡(jiǎn)單用戶問卷(健身側(cè)重內(nèi)容),根據(jù)用戶個(gè)人情況推薦關(guān)注表單。
【預(yù)計(jì)】月關(guān)注率可以提升25%
【因?yàn)椤?/p>
- 微博、站酷、好好住等各領(lǐng)域社區(qū)APP已經(jīng)教育出用戶習(xí)慣,比較易于接受,用戶的問卷反饋可以應(yīng)用于內(nèi)容推薦和push等策略,帶來更精準(zhǔn)的促活
- 但是根據(jù)keep的商業(yè)模式以及當(dāng)前的一級(jí)頁面C位(運(yùn)動(dòng))可以很清晰的看出,KEEP的核心還是工具屬性;
- 因此是否提升社區(qū)的權(quán)重,需要戰(zhàn)略層面的權(quán)衡
最佳實(shí)踐
微博的各種引導(dǎo)關(guān)注&自動(dòng)關(guān)注機(jī)制,需要權(quán)衡差異選擇性參考。
定量分析
- 用戶分層:瀏覽內(nèi)容時(shí)間與使用運(yùn)動(dòng)功能時(shí)間占比大于2:1的用戶比例
步驟2:ICE模型打分,制定優(yōu)先級(jí)
優(yōu)先級(jí):假設(shè)1>假設(shè)2>假設(shè)4>假設(shè)3
打分依據(jù)-預(yù)期影響
打分依據(jù)-成功概率
打分依據(jù)-容易程度
步驟3:實(shí)驗(yàn)設(shè)計(jì)
避免內(nèi)容重復(fù),這里再引入一個(gè)新的實(shí)驗(yàn)假設(shè)講解后續(xù)內(nèi)容
1)實(shí)驗(yàn)假設(shè)
【如果】用戶在動(dòng)態(tài)詳情中停留5s以上,關(guān)注按鈕變亮變大。
【預(yù)計(jì)】月關(guān)注率可以提升20%(5%→6%)。
【因?yàn)椤客A艨梢苑磻?yīng)出用戶對(duì)內(nèi)容的興趣,從而說明對(duì)發(fā)布者的興趣;5s的時(shí)候用戶興趣比較濃厚又未完全沉浸在內(nèi)容中,此時(shí)關(guān)注按鈕發(fā)生視覺變化既提醒用戶關(guān)注又不會(huì)過分干擾造成反感。
最佳實(shí)踐
(同假設(shè)2)微博有類似的邏輯,通過內(nèi)容吸引用戶(強(qiáng)提醒)關(guān)注發(fā)布者。
定量分析
- 用戶在文章詳情&動(dòng)態(tài)詳情中停留5s以上后,關(guān)注發(fā)布者的數(shù)量和比例。
- 用戶關(guān)注發(fā)布者時(shí)在詳情中停留的平均時(shí)長(zhǎng)。
2)實(shí)驗(yàn)指標(biāo)
【月關(guān)注率】定義:用戶當(dāng)月累計(jì)關(guān)注數(shù)/用戶當(dāng)月累計(jì)瀏覽內(nèi)容來源其他用戶數(shù)。 (對(duì)一個(gè)用戶生產(chǎn)的多條內(nèi)容做去重)
【瀏覽】定義:對(duì)應(yīng)內(nèi)容在一屏中露出60%。在動(dòng)態(tài)詳情頁中停留時(shí)間≥5s。
因?yàn)閷?shí)驗(yàn)的改動(dòng)是在動(dòng)態(tài)詳情中的3個(gè)頁面(動(dòng)態(tài)、視頻、文章),因此實(shí)驗(yàn)前后的數(shù)據(jù)對(duì)比僅統(tǒng)計(jì)此部分?jǐn)?shù)據(jù)差異;確保不會(huì)被其他因素干擾。
核心指標(biāo):(上面3個(gè)頁面依次編號(hào)1、2、3)頁面1月關(guān)注率、頁面2月關(guān)注率、頁面3月關(guān)注率。
反向指標(biāo):頁面1月取關(guān)率、頁面2月取關(guān)率、頁面3月取關(guān)率。
【取關(guān)率】定義:用戶在對(duì)應(yīng)頁面中關(guān)注后又取消的數(shù)量/用戶在對(duì)應(yīng)頁面中關(guān)注數(shù)。
輔助指標(biāo):(上面3個(gè)頁面對(duì)應(yīng)依次1、2、3)頁面1關(guān)注平均停留時(shí)長(zhǎng)、頁面2關(guān)注平均停留時(shí)長(zhǎng)、頁面3關(guān)注平均停留時(shí)長(zhǎng)。
【停留時(shí)長(zhǎng)關(guān)注比】用戶在對(duì)應(yīng)頁面中關(guān)注,平均需要停留的時(shí)間。
與實(shí)驗(yàn)的5s對(duì)比,衡量5s這個(gè)時(shí)間點(diǎn)發(fā)生的按鈕樣式變動(dòng),對(duì)用戶最終關(guān)注的影響程度。
3)實(shí)驗(yàn)受眾
- 有關(guān)注習(xí)慣用戶
- 無特定習(xí)慣用戶
- 無關(guān)注習(xí)慣用戶
【有關(guān)注習(xí)慣用戶】定義:關(guān)注數(shù)/活躍(進(jìn)入社區(qū))天數(shù)≥1(每活躍1天,新增1個(gè)關(guān)注)
【無特定習(xí)慣用戶】定義:0.3<關(guān)注數(shù)/活躍(進(jìn)入社區(qū))天數(shù)<1
【無關(guān)注習(xí)慣用戶】定義:關(guān)注數(shù)/活躍(進(jìn)入社區(qū))天數(shù)≤0.3
4)實(shí)驗(yàn)設(shè)計(jì)-A/B測(cè)試
a. 版本劃分及原因
3個(gè)版本:
- 從策略層面細(xì)化,可以考慮27種組合(3組用戶3個(gè)頁面3種樣式),然后評(píng)估操作成本。在案例中,僅考慮文章詳情頁。
- 變化幅度大的樣式對(duì)應(yīng)強(qiáng)提醒,側(cè)重目標(biāo)轉(zhuǎn)化。樣式例如:按鈕變大50%,顏色明顯變化+動(dòng)效。
- 變化幅度小的樣式對(duì)應(yīng)弱提醒,側(cè)重體驗(yàn)連貫。樣式例如:按鈕變大20%,顏色輕微變化。
(該階段的思維發(fā)散僅做思路展示,后面兩個(gè)時(shí)間的計(jì)算不考慮中間涉及到的拆解用戶組)
b. 如果將文章詳情的【月關(guān)注率】提升到6%
已知當(dāng)前關(guān)注率5%,目標(biāo)提升至6%,統(tǒng)計(jì)顯著性需達(dá)到95%,文章詳情每日UV10000。
- 【有關(guān)注習(xí)慣用戶】【無提醒】
- 【有關(guān)注習(xí)慣用戶】【弱提醒】
- 【有關(guān)注習(xí)慣用戶】【強(qiáng)提醒】
- 【無特定習(xí)慣用戶】【無提醒】
- 【無特定習(xí)慣用戶】【弱提醒】
- 【無特定習(xí)慣用戶】【強(qiáng)提醒】
- 【無關(guān)注習(xí)慣用戶】【無提醒】
- 【無關(guān)注習(xí)慣用戶】【弱提醒】
- 【無關(guān)注習(xí)慣用戶】【強(qiáng)提醒】
每組流量分配:10000/9≈1111
剩余名額全部劃分至【有關(guān)注習(xí)慣用戶】【無提醒】,實(shí)驗(yàn)無結(jié)論前,減少對(duì)活躍用戶的影響。
實(shí)驗(yàn)時(shí)間
通過工具計(jì)算得出:6900/1111≈6.2天,取整數(shù)7天。
5)分析實(shí)驗(yàn)結(jié)果
實(shí)驗(yàn)組:是接受實(shí)驗(yàn)變量處理的對(duì)象組。
對(duì)照組:對(duì)實(shí)驗(yàn)假設(shè)而言,是不接受實(shí)驗(yàn)變量處理的對(duì)象組。
關(guān)注點(diǎn):
- 實(shí)驗(yàn)組和對(duì)照組的流量是否平均,是否獲取到了足夠的樣本數(shù)
- 實(shí)驗(yàn)周期是否足夠長(zhǎng),是否受到周末、節(jié)假日影響;是否受到用戶的新鮮感影響
- 每組中是否覆蓋了全部用戶類型(高、中、低頻)
- 實(shí)驗(yàn)組的核心指標(biāo)對(duì)比對(duì)照組是否提升、輔助指標(biāo)是否提升或持平、反向指標(biāo)是否提升造成負(fù)面影響
- 核心指標(biāo)是否達(dá)到統(tǒng)計(jì)顯著性要求(搜索引擎中即可找到第三方統(tǒng)計(jì)工具)
6)實(shí)驗(yàn)下一步
開啟新的循環(huán)
本文由 @紫原新之助 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于CC0協(xié)議
范本啊