【數(shù)據(jù)】是如何坑人的?
編輯導(dǎo)語:隨著大數(shù)據(jù)時(shí)代的不斷升級(jí),數(shù)據(jù)在我們的生活工作中顯得尤為重要,其實(shí)在很早之前人類就用數(shù)據(jù)來進(jìn)行記錄,隨著社會(huì)的發(fā)展,網(wǎng)絡(luò)時(shí)代更需要數(shù)據(jù)的記錄以及支撐。本篇文章中作者從三方面詳細(xì)的講述了關(guān)于數(shù)據(jù)的“坑”,一起來看一下吧。
開篇直接看案例:現(xiàn)有兩個(gè)廣告素材A和B,要測一下它們誰更能吸引用戶轉(zhuǎn)化,評(píng)比的指標(biāo)是轉(zhuǎn)化率。(轉(zhuǎn)化率=轉(zhuǎn)化數(shù)/曝光數(shù))
為保證實(shí)驗(yàn)公平,它們都設(shè)置了相同的預(yù)算額度,并且都在中午12點(diǎn)開始投放,然后到了晚上12點(diǎn)同時(shí)關(guān)閉。
這樣跑了半天,兩組廣告也都基本花完了預(yù)算,結(jié)果發(fā)現(xiàn):
- A一共曝光6500次,轉(zhuǎn)化了70個(gè)用戶,轉(zhuǎn)化率是1.077%;
- B一共曝光6200次,也轉(zhuǎn)化70個(gè)用戶,轉(zhuǎn)化率是1.129%;
看到結(jié)果后,廣告投放師小李就認(rèn)為:B素材的轉(zhuǎn)化率更高。
這時(shí),營銷總監(jiān)老王卻說:到目前為止,我更愿意相信A要高一些。
小李一臉懵逼,問:為啥???
老王嘬了一口星巴克,解釋道:即使是相同的廣告,在不同的時(shí)段也會(huì)有不同的轉(zhuǎn)化率。一般來說,下午的轉(zhuǎn)化率是低于晚上的,因?yàn)榇蟛糠秩税滋於加惺虑?,不太容易被轉(zhuǎn)化,而到了晚上,大家都有空了,所以更容易被轉(zhuǎn)化。
小李又問:你說的對(duì),但跟這次投放實(shí)驗(yàn)有啥關(guān)系呢?
老王繼續(xù)說:我剛從后臺(tái)看了素材的來量情況——A素材下午轉(zhuǎn)化50個(gè),曝光5000次,晚上轉(zhuǎn)化20個(gè),曝光1500次;B素材下午轉(zhuǎn)化20個(gè),曝光2200次,晚上轉(zhuǎn)化50個(gè),曝光4000次。
其實(shí)不管是下午還是晚上,A的轉(zhuǎn)化率都是更高的。而你之所以認(rèn)為B更高,主要是因?yàn)锽在晚上才跑出了量——它捏的“軟柿子”比較多,你就誤以為它更厲害…
看到這里,可能你還有點(diǎn)懵:是啊,如果拆開來看,確實(shí)A更高,但合并看總數(shù)的話,又是B更高…
那這到底該怎么看呢?
一、坑1:辛普森悖論
上文的現(xiàn)象,就是典型的“辛普森悖論”(Simpson’s Paradox)——在某個(gè)條件下的兩組數(shù)據(jù),分別討論時(shí)都會(huì)滿足某種性質(zhì),可一旦合并考慮,卻可能導(dǎo)致相反的結(jié)論。
這也是在其他領(lǐng)域的工作中經(jīng)常會(huì)遇到,并且經(jīng)常會(huì)坑人的一個(gè)現(xiàn)象。
幾乎每一家公司,上司都會(huì)讓下屬把業(yè)務(wù)層面的各種數(shù)據(jù)進(jìn)行匯總,然后呈報(bào)給自己,并自以為了解了“總體”的情況。
不過,谷歌的一位數(shù)據(jù)大牛曾說過:“匯總的數(shù)據(jù)往往就是一坨屎,沒有任何意義?!?/strong>
為什么這樣說?
拋開專業(yè)的數(shù)學(xué)分析,如果用最通俗的語言來解釋,我認(rèn)為就是:20頭豬就是20頭豬,50顆樹就是50顆樹,但如果你硬要把它們加起來(20+50=70),這個(gè)70是毫無意義的——它能代表什么呢?什么都代表不了。
匯總的數(shù)據(jù),除了象征性的匯報(bào)工作,往往并無其他意義。為什么說是“象征性”的?
因?yàn)槿绻麉R報(bào)工作是為了指導(dǎo)決策,那很可能就把人帶進(jìn)了坑里。
就像上文廣告素材的案例,如果營銷總監(jiān)想偷懶,只看最后的結(jié)果,那他很可能就誤判了廣告素材的優(yōu)劣。更嚴(yán)重的,甚至?xí)?dǎo)致后續(xù)投放的素材都沿著“壞素材”的方向去優(yōu)化。
還好他有一定數(shù)據(jù)分析的基礎(chǔ),避免了這個(gè)坑。
所以在真實(shí)的情況中,如果一定要就此蓋棺定論,確實(shí)是A要高一些。(當(dāng)然更科學(xué)的做法是繼續(xù)實(shí)驗(yàn),并通過加大預(yù)算/嚴(yán)控時(shí)段,來減少偶然性,以及不同性質(zhì)的數(shù)據(jù)占比的差距)
除了廣告投放,辛普森悖論還經(jīng)常出現(xiàn)在各種各樣的數(shù)據(jù)統(tǒng)計(jì)活動(dòng)之中——需要算比率的統(tǒng)計(jì)基本都會(huì)出現(xiàn),比如:
- 轉(zhuǎn)化率
- 留存率
- 合格率
- 負(fù)債率
- 投資回報(bào)率
- ……
那么,如何才能避免匯總數(shù)據(jù)可能帶來的坑呢?
關(guān)鍵記住8個(gè)字:不同性質(zhì),拆開來算。
二、坑2:誤把相關(guān)當(dāng)因果
“啤酒與尿布”的故事大家應(yīng)該都聽過——通過相關(guān)性分析,商家發(fā)現(xiàn)啤酒的銷量與尿布的銷量高度正相關(guān)。于是他們在陳列上,把啤酒和尿布離得更近,以此來提高銷量。
當(dāng)然,這完全是個(gè)不切實(shí)際的、杜撰的故事。(杜撰者是Teradata公司的一位經(jīng)理——估計(jì)是營銷經(jīng)理,為了說服商家購買他家的數(shù)據(jù)服務(wù),編的軟文)而這里想說的重點(diǎn)是:相關(guān)性分析。
如今,不管是傳統(tǒng)行業(yè)還是互聯(lián)網(wǎng)行業(yè),數(shù)據(jù)已成為企業(yè)內(nèi)部最重要的資產(chǎn)之一。
而各家公司的數(shù)據(jù)分析師,幾乎每天都會(huì)做的一件事就是:分析各個(gè)因素之間的相關(guān)性,并以此來找到增長方法。
比如游戲公司發(fā)現(xiàn):用戶玩游戲時(shí)間越長,留存往往越好,所以就重點(diǎn)提升新用戶的游戲時(shí)長,以此大幅提升留存。
再比如便利店通過監(jiān)測發(fā)現(xiàn):人們逆時(shí)針環(huán)顧店內(nèi)的時(shí)間占比越大,人均消費(fèi)就越高,所以在裝修和陳列上,就盡量引導(dǎo)人們逆時(shí)針行走。(因?yàn)橛移沧拥娜烁?,而一般逆時(shí)針環(huán)店能讓更多商品出現(xiàn)在人右側(cè),這樣拿東西更方便,也就拿得更多了)
不可否認(rèn)的是:通過相關(guān)性分析,確實(shí)能找到很多有效的增長方法。不過,過于迷信相關(guān)性,有時(shí)卻會(huì)帶來相反的結(jié)果。
比如某社交APP想提高留存。
他們發(fā)現(xiàn):用戶發(fā)消息的條數(shù),與留存的相關(guān)性系數(shù)是最高的。
不僅如此,他們還發(fā)現(xiàn):消息條數(shù)超過500的用戶群體,與沒有超過500的用戶群體,留存情況出現(xiàn)了斷崖式的差異。(這里的“500”,通常被稱為“魔法數(shù)字”)
于是,為提高留存,團(tuán)隊(duì)就提出:假如我們設(shè)法提升新用戶發(fā)消息的條數(shù),盡量使之超過500,就可以明顯提高留存了。
再于是,他們就通過設(shè)置“階段性有獎(jiǎng)任務(wù)”(發(fā)消息到一定條數(shù),就會(huì)觸發(fā)獲獎(jiǎng)提示,并告知下一個(gè)有獎(jiǎng)任務(wù)),將所有新用戶的消息條數(shù)都給拉了上去,并基本超過500。
然而,最后的結(jié)果卻是:雖然整體的短期留存上去了,但整體的長期留存反而下降了。
為什么會(huì)這樣?明明消息條數(shù)和留存的相關(guān)性是最高的呀…
其實(shí),這就是典型的誤把相關(guān)當(dāng)因果,甚至是因果倒置——不是因?yàn)闂l數(shù)多,所以才留存好,而更多是因?yàn)榱舸婧茫圆艞l數(shù)多。
上述的方案,雖然短期能通過利益提高留存,但對(duì)真正愿意使用產(chǎn)品的用戶來說,獲獎(jiǎng)提示可能是一種打擾。
另一方面,利益的刺激會(huì)帶動(dòng)更多非目標(biāo)用戶(羊毛黨)下載和使用APP,拉低用戶質(zhì)量,所以長期留存就降了。
而最終關(guān)于留存的優(yōu)化方案,其實(shí)是在廣告方面:因?yàn)樵揂PP是重點(diǎn)參考Instagram來做的,特點(diǎn)在于圖像相關(guān)的功能。
但此前的廣告只是模糊的說了“好玩有趣”,沒有突出具體的“功能和使用場景”,所以造成用戶預(yù)期與產(chǎn)品不符,留存就不高的情況。
有趣的是:在之前數(shù)據(jù)分析的結(jié)果中,廣告與留存的相關(guān)系數(shù)并不算很高。
三、坑3:只信看得見的數(shù)據(jù)
如果說上述兩個(gè)坑,分別是因?yàn)閷?duì)數(shù)據(jù)和業(yè)務(wù)不夠理解才掉進(jìn)去的,那第3個(gè)坑,可能就是越理解數(shù)據(jù)和業(yè)務(wù),就越容易掉進(jìn)去。在以往的文章中我也說過:數(shù)據(jù)最大的問題,是它只能顯示有數(shù)據(jù)的信息,而不能顯示沒有數(shù)據(jù)的信息。
克萊因·克里斯坦森將這兩種信息分別稱作:積極數(shù)據(jù)&消極數(shù)據(jù)。
積極數(shù)據(jù)是指有結(jié)構(gòu)、可量化的數(shù)據(jù)。比如:銷量,銷售額,留存率,轉(zhuǎn)化率,復(fù)購率,利潤率,付費(fèi)率,性能指標(biāo),市場規(guī)模等等…(能規(guī)范的被整理到Excel里的數(shù)據(jù)都是積極數(shù)據(jù))
而消極數(shù)據(jù)呢,就是指那些沒有清晰的結(jié)構(gòu),也很難被發(fā)現(xiàn)和量化的數(shù)據(jù)。比如用戶使用產(chǎn)品背后的動(dòng)機(jī),情感,觀念,習(xí)慣,以及這些因素跟隨時(shí)代的變化等等。
從業(yè)務(wù)誕生的那天開始,企業(yè)就會(huì)掌握越來越多的積極數(shù)據(jù):
- 哪些產(chǎn)品賣得最多?
- 哪些產(chǎn)品利潤最高?
- 復(fù)購率如何?
- 顧客年齡如何分布?
- 市占率是多少
- ……
而隨著積極數(shù)據(jù)的增多,它對(duì)企業(yè)內(nèi)部的影響也會(huì)越大:
- 銷售部會(huì)根據(jù)不同產(chǎn)品的銷量和利潤,去影響生產(chǎn)規(guī)劃
- 品牌部會(huì)根據(jù)品類在網(wǎng)絡(luò)的關(guān)鍵熱詞,去調(diào)整產(chǎn)品賣點(diǎn)
- 投放部會(huì)根據(jù)老用戶的屬性,精準(zhǔn)投放新用戶
- 客服部也會(huì)根據(jù)用戶反饋,給產(chǎn)品提優(yōu)化建議
好像一切都會(huì)正向發(fā)展,并慢慢沉淀為“經(jīng)驗(yàn)”。
不過,一些“經(jīng)驗(yàn)之外”的東西,也在醞釀和發(fā)生著。以電商為例,當(dāng)阿里和京東根據(jù)自己的增長經(jīng)驗(yàn),擴(kuò)充更高客單價(jià)的品類,搶奪更高凈值的人群,設(shè)立專門的打折促銷日,并戰(zhàn)略性放棄低端市場的時(shí)候,拼多多卻突然冒了出來,并且只用幾年就變成用戶量全國第一。
阿里和京東其實(shí)都沒有錯(cuò),但拼多多是憑什么?那些低線的用戶,為什么不用淘寶,卻要用拼多多?
因?yàn)楦阋恕?/p>
為什么拼多多更便宜?因?yàn)樗泻芏嘧鞣回?、山寨貨?/p>
那為什么這些作坊貨、山寨貨要去拼多多賣?
一方面是其他平臺(tái)不讓賣,另一方面,拼多多的拼團(tuán)模式能讓他們利薄多銷——跟在線下參加趕集一樣。
是的,對(duì)于低線的用戶(包括商家)來說,拼多多才是首個(gè)把他們線下購物的場景搬到線上來的APP——不管是組團(tuán)購物、砍價(jià)還是買賣山寨便宜貨,本來就是他們線下的日常。
至于淘寶和京東,對(duì)他們來說則更像城里的商場——貴,去的次數(shù)也不多。(而且對(duì)他們來說,但凡貴的東西,要看到實(shí)物才踏實(shí))
這跟“積極數(shù)據(jù)”和“消極數(shù)據(jù)”有啥關(guān)系呢?先說“消極數(shù)據(jù)”。
為什么拼多多能看準(zhǔn)這個(gè)市場機(jī)會(huì)?還發(fā)明“社交電商”這個(gè)新物種?
其實(shí),對(duì)于低線用戶來說,購物本身就是社交——大家一起上街買東西;遇到熟悉的商販砍砍價(jià),你買一斤花生,他送你兩顆棗;你幫隔壁大嬸帶點(diǎn)蔥,隔壁大嬸幫你帶點(diǎn)鹽。既有商品交易,也有情感往來——這就是拼多多洞察到的,關(guān)于用戶購物的消極數(shù)據(jù)。
所以,什么“幫砍拼送”,什么“社交電商”,本來就來源于生活,來源于對(duì)那些消極數(shù)據(jù)(動(dòng)機(jī),情感,觀念,習(xí)慣等)的洞察。
拼多多只不過是把它們搬到了手機(jī)上,讓它更容易發(fā)生而已。
至于阿里和京東,毋庸置疑,他們的核心團(tuán)隊(duì)一定是既懂電商業(yè)務(wù),又精于數(shù)據(jù)分析。不過,這么專業(yè)的團(tuán)隊(duì),為什么沒有在拼多多之前把握市場機(jī)會(huì)?
這里的原因是多方面的。
企業(yè)要增長,團(tuán)隊(duì)要成長,自然更愿意把注意力放在利益更大的地方——更高凈值人群,更高客單價(jià)產(chǎn)品,更高頻的產(chǎn)品等等。(包括現(xiàn)在的拼多多也一樣)
另一方面,如泉涌噴的積極數(shù)據(jù),也很自然的將內(nèi)部注意力集中于產(chǎn)品和指標(biāo):
- 如何提升物流效率?
- 如何提高廣告收入?
- 如何提高用戶活躍?
- ……
就這樣,在利益和數(shù)據(jù)的驅(qū)動(dòng)下,他們會(huì)越來越了解自己的用戶,并提供越來越好的產(chǎn)品和服務(wù)。
但與此同時(shí),他們也會(huì)越來越了解誰不是自己的用戶——“那些低線的人,就不是典型的電商人群,我沒什么精力去關(guān)注他們。”
不過,正是因?yàn)檫@種因數(shù)據(jù)導(dǎo)致的、慢慢被固化的偏見,所以才導(dǎo)致市場被分化,被占領(lǐng),甚至被顛覆。
本文由 @小云兄 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于CC0協(xié)議。
第一個(gè)理論和分析看得我恍然大悟,去掉沒意義的總和,獨(dú)立分析.
第一個(gè)理論和分析看得我恍然大悟,去掉沒意義的總和,獨(dú)立分析
著實(shí)好文!
分析數(shù)據(jù)要尤其注意具體問題具體分析,不能單看表面,也千萬不能忽視用戶使用產(chǎn)品背后的動(dòng)機(jī),情感,觀念,習(xí)慣,以及這些因素跟隨時(shí)代的變化
好文!