一個(gè)案例,看懂如何分析活動(dòng)效果
無(wú)論是面試還是工作,做數(shù)據(jù)分析的同學(xué)都經(jīng)常遇到“如何分析活動(dòng)效果”的問(wèn)題。本文基于某音樂(lè)類(lèi)APP對(duì)新用戶進(jìn)行一個(gè)新注冊(cè)即送7天會(huì)員權(quán)益活動(dòng)的場(chǎng)景還原,對(duì)分析活動(dòng)效果進(jìn)行詳盡的闡述。從常見(jiàn)錯(cuò)誤、關(guān)鍵問(wèn)題、評(píng)估模型的具體方法論三大方面與大家分享經(jīng)驗(yàn),推薦感興趣的同學(xué)閱讀學(xué)習(xí)。
一、活動(dòng)評(píng)估常見(jiàn)錯(cuò)誤
首先牢記,所有以評(píng)估評(píng)價(jià)判斷作為動(dòng)詞的問(wèn)題,答案只有一種:“好or壞”。
比如,如何評(píng)價(jià)該活動(dòng),可以回答:
- 這個(gè)活動(dòng)很好,該繼續(xù)做。
- 這個(gè)活動(dòng)不好,不能做。
- 這個(gè)活動(dòng)不好不壞,雞肋。
- 這個(gè)活動(dòng)沒(méi)有任何改變,做了也白做。
這才是評(píng)估類(lèi)分析的核心結(jié)論。
離開(kāi)這四句話,其他的都是廢話。比如:
- 活動(dòng)期間有4萬(wàn)新人注冊(cè)。
- 活動(dòng)期間注冊(cè)人數(shù)比活動(dòng)前多1萬(wàn)。
- 活動(dòng)期間新用戶點(diǎn)擊率是80%。
- 活動(dòng)期間新用戶使用權(quán)益率30%。
這些統(tǒng)統(tǒng)不是結(jié)論,只是分析過(guò)程而已。如果沒(méi)有結(jié)論,直接甩這些過(guò)程指標(biāo),很容易遭遇業(yè)務(wù)方反問(wèn):“所以呢?所以呢?你分析了啥?結(jié)論呢!”最后被搞得灰頭土臉。
二、活動(dòng)評(píng)估關(guān)鍵問(wèn)題
活動(dòng)評(píng)估,首先要得出好/壞評(píng)價(jià)。如果評(píng)價(jià)是好,再看能不能繼續(xù)做,還能做多少次;如果是評(píng)價(jià)是差,再看差在哪里,是差得不可救藥,還是能拯救一下繼續(xù)用。
數(shù)據(jù)+標(biāo)注=判斷。因此想得出好/壞判斷,需要有2樣?xùn)|西:
- 明確考核指標(biāo)。
- 明確目標(biāo)數(shù)值。
達(dá)標(biāo)了,算好;不達(dá)標(biāo),不好。就這么簡(jiǎn)單(如下圖)。
看似簡(jiǎn)單,實(shí)際上運(yùn)營(yíng)經(jīng)常干的是:
- 稀里糊涂:老板讓做我就做,至于為啥?咱也不知道,咱也不敢問(wèn)。
- 呆頭呆腦:我就是要做拉新人,拉就完了奧力給!
- 投機(jī)取巧:反正以前干過(guò)/別人也在干,干就完了。
- 渾水摸魚(yú):這是改變用戶心智資源,數(shù)據(jù)豈能衡量!
總之,十個(gè)運(yùn)營(yíng)里最多只有倆,能準(zhǔn)確說(shuō)清楚現(xiàn)狀和目標(biāo)。這時(shí)候就需要數(shù)據(jù)分析師自己有獨(dú)立判斷能力。能分析業(yè)務(wù)邏輯、梳理業(yè)務(wù)過(guò)程,才能得出客觀結(jié)論。這里我們拿完全稀里糊涂的場(chǎng)景舉例,看如何幫運(yùn)營(yíng)理清目的。
三、從0建立評(píng)估模型的做法
1. 梳理活動(dòng)流程
運(yùn)營(yíng)活動(dòng)會(huì)改變用戶的行為,進(jìn)而體現(xiàn)為數(shù)據(jù)指標(biāo)的變化。從0開(kāi)始建立評(píng)估模型,第一步就是了解活動(dòng)具體流程,了解活動(dòng)可能導(dǎo)致的用戶行為變化。比如問(wèn)題里的新用戶送權(quán)益,可以按如下梳理(如下圖):
了解到行為變化以后,可以進(jìn)一步看這些行為能用什么數(shù)據(jù)記錄,能反映什么指標(biāo)的變化。經(jīng)過(guò)梳理,我們就能看清楚:衡量活動(dòng)結(jié)果的指標(biāo)。這些工作,應(yīng)該是運(yùn)營(yíng)在策劃階段干的事,如果事前沒(méi)做好,事后就要補(bǔ)課。
2. 篩選主指標(biāo)
一個(gè)活動(dòng)可能影響方方面面,比如上邊的問(wèn)題,有送東西,你說(shuō):
- 能增加新用戶注冊(cè)——沒(méi)毛病。
- 能增加會(huì)員購(gòu)買(mǎi)機(jī)會(huì)——似乎有機(jī)會(huì)。
- 能提升忠誠(chéng)度減少流失——似乎也有道理。
- 能增加DAU——額,理論上新注冊(cè)多了,DAU也增加。
如果不看數(shù)據(jù),光聽(tīng)嘴巴講,以上當(dāng)然都有道理。但真要一鍋燉,讓你計(jì)算沒(méi)有流失的用戶,送會(huì)員占比百分之幾,產(chǎn)品本身占比百分之幾,歌曲數(shù)量占比百分之幾,能算清楚就見(jiàn)鬼了。所以,評(píng)估指標(biāo)要分主次,才容易說(shuō)清楚問(wèn)題。
如果是事前定目標(biāo),那么活動(dòng)的主指標(biāo)應(yīng)該與目標(biāo)緊密結(jié)合,優(yōu)選直接受影響的指標(biāo)。比如活動(dòng)是為了拉新,那主指標(biāo)就是新注冊(cè)用戶數(shù);如果活動(dòng)是為了提高新用戶留存率,那主要考慮的就是1-7日內(nèi)留存情況。
這里看似簡(jiǎn)單,實(shí)則很容易被運(yùn)營(yíng)渾水摸魚(yú)。運(yùn)營(yíng)經(jīng)常喜歡扯一堆影響指標(biāo),甚至扯什么“我的活動(dòng)從深層次改變了用戶心智認(rèn)知,從而達(dá)到了數(shù)據(jù)不可衡量的深遠(yuǎn)影響”,總之搞一堆指標(biāo)進(jìn)來(lái),哪個(gè)好看說(shuō)哪個(gè),不好看的不說(shuō)。做數(shù)據(jù)評(píng)估,最忌諱搞幾百個(gè)指標(biāo)然后做巨復(fù)雜的評(píng)估公式,混淆進(jìn)來(lái)的的東西越多,就有越多搞文字游戲的空間,就越容易粉飾太平。越簡(jiǎn)單清晰的評(píng)估,才越容易看出問(wèn)題。
3. 設(shè)定判斷標(biāo)準(zhǔn)
有了清晰的主指標(biāo),可以找判斷標(biāo)準(zhǔn)。找標(biāo)準(zhǔn)有四個(gè)基本思路:
- 從整體結(jié)果出發(fā),看總量。比如本月需要10萬(wàn)新用戶,所以必須做到10萬(wàn)。
- 同無(wú)活動(dòng)對(duì)比,看增量。比如無(wú)活動(dòng)一個(gè)月5萬(wàn),活動(dòng)必須5+5萬(wàn),多的5萬(wàn)作為標(biāo)準(zhǔn)。
- 同過(guò)往活動(dòng)對(duì)比,看效率。比如拉新活動(dòng)一般100塊一個(gè)新人,所以這次不能超過(guò)。
- 同無(wú)參與的用戶對(duì)比,看差異。比如分無(wú)參與組/參與組,對(duì)比參與組新注冊(cè)數(shù)/留存率。
站在公司角度,肯定是第一種方法最實(shí)在。但站在組織活動(dòng)的角度,都喜歡突出自己的貢獻(xiàn),因此傾向于用2、3、4種方法。運(yùn)營(yíng)最喜歡談:自然增長(zhǎng)率(沒(méi)有活動(dòng)情況下,自然增長(zhǎng)是多少)。并且總是傾向于把自然增長(zhǎng)率算得低低的,或者干脆弄成負(fù)數(shù),這樣才顯得活動(dòng)牛逼無(wú)比。
要注意的是:所謂自然增長(zhǎng)率,只在活動(dòng)不頻繁的時(shí)候才能計(jì)算。很多業(yè)務(wù)(比如電商、O2O),根本就是活動(dòng)不斷,大活動(dòng)套小活動(dòng),根本區(qū)分不出來(lái),這時(shí)候就不適用。同理,設(shè)參照組的前提,是參照組根本沒(méi)有活動(dòng)提醒和活動(dòng)參與功能,且參照組和活動(dòng)組用戶質(zhì)量差不多。如果不滿足這個(gè)限制條件就很難直接得出活動(dòng)效益好的結(jié)論。這些方法都是看似科學(xué),實(shí)則充滿玩貓膩空間。想討論清楚問(wèn)題,就簡(jiǎn)單直接立標(biāo)準(zhǔn)。
4. 找影響結(jié)果的過(guò)程。
以上1、2、3步都是為了得出判斷做鋪墊。有了“好/壞”判斷。就能進(jìn)一步分析為啥好,為啥壞。這時(shí)候就需要細(xì)化梳理業(yè)務(wù)流程,找到能影響結(jié)果的關(guān)鍵點(diǎn)。比如拉新活動(dòng),廣告投放渠道、廣告文案、注冊(cè)流程、進(jìn)去以后提示權(quán)益方式、領(lǐng)取會(huì)員權(quán)益流程,都會(huì)有影響(如下圖)。
在分析這些指標(biāo)的時(shí)候,要注意先后順序。比如有關(guān)新用戶注冊(cè)問(wèn)題。要先看各個(gè)用戶來(lái)源渠道的投放力度,活動(dòng)是否及時(shí)上架,何時(shí)與投放結(jié)合。之后才是深入分析文案、活動(dòng)禮品、領(lǐng)取后行為等等。
四、小結(jié)
這個(gè)題目如果拿來(lái)面試,你能一眼看出來(lái)菜鳥(niǎo)、新手、老手的區(qū)別:
菜鳥(niǎo):我認(rèn)為應(yīng)該從用戶增長(zhǎng)、產(chǎn)品體驗(yàn)、品牌影響、商業(yè)收入、四大方面考慮,blablabla。然后你就抓住品牌影響問(wèn)他,到底怎么衡量,基本就能把他問(wèn)死。沒(méi)入門(mén)的菜鳥(niǎo)與新手之間最大差距,是他們根本不知道數(shù)據(jù)還需要做采集。菜鳥(niǎo)們最喜歡憑空講一些很難收集,但聽(tīng)起來(lái)牛逼的指標(biāo)。
新手:我認(rèn)為應(yīng)該考慮新人注冊(cè)數(shù)、新人次日、3日、7日留存、新人會(huì)員領(lǐng)取率、新人留存市場(chǎng)、新人點(diǎn)擊次數(shù)、新人購(gòu)買(mǎi)會(huì)員數(shù)、新人使用權(quán)益頻次……(此處省略100多個(gè)各色指標(biāo))。建立神經(jīng)網(wǎng)絡(luò)模型,綜合評(píng)估。
是滴,新人第一喜歡堆砌指標(biāo),似乎指標(biāo)越多越牛逼。第二喜歡扯模型,不管模型能不能用,自己用沒(méi)用過(guò),扯了就牛逼。唯獨(dú)會(huì)忽視標(biāo)準(zhǔn)問(wèn)題。想懟死新人,只要問(wèn)“憑什么增長(zhǎng)5萬(wàn)就是好,4萬(wàn)9千1百2十7就不好!”“你建神經(jīng)網(wǎng)絡(luò)評(píng)價(jià)模型,好/壞活動(dòng)的標(biāo)注誰(shuí)來(lái)打,是對(duì)整個(gè)活動(dòng)打標(biāo)還是對(duì)某些指標(biāo)打標(biāo),不同類(lèi)型活動(dòng)憑什么擺在一起打標(biāo)”基本就把新人問(wèn)蒙了。
說(shuō)到底,活動(dòng)評(píng)估這件事,又是一件思路清晰比技術(shù)高深重要,守住節(jié)操比思路清晰重要的事。只要對(duì)運(yùn)營(yíng)常見(jiàn)活動(dòng):拉新、促活、留存、轉(zhuǎn)化、裂變等等玩法有基礎(chǔ)了解。對(duì)常規(guī)運(yùn)營(yíng)數(shù)據(jù)有認(rèn)識(shí),對(duì)過(guò)往活動(dòng)有了解跌,基本上都能答出正確答案。怕就怕對(duì)業(yè)務(wù)流程了解太少,連人家在干啥都不懂。
#專(zhuān)欄作家#
接地氣的陳老師,微信公眾號(hào):接地氣學(xué)堂,人人都是產(chǎn)品經(jīng)理專(zhuān)欄作家。資深咨詢顧問(wèn),在互聯(lián)網(wǎng),金融,快消,零售,耐用,美容等15個(gè)行業(yè)有豐富數(shù)據(jù)相關(guān)經(jīng)驗(yàn)。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來(lái)自 Unsplash,基于CC0協(xié)議。
確實(shí)很接地氣
在活動(dòng)進(jìn)行中,不應(yīng)該過(guò)度注重于數(shù)據(jù)。更重要的是偏移調(diào)整,讓整個(gè)活動(dòng)更好捏
有時(shí)候會(huì)過(guò)于看重?cái)?shù)據(jù),反而忘了數(shù)據(jù)只是工具,我們需要有自己的思考和總結(jié)
思路清晰比技術(shù)高深重要,守住節(jié)操比思路清晰重要的事。記筆記!