淺談數(shù)據(jù)分析中的“暗物質(zhì)”

3 評(píng)論 6310 瀏覽 14 收藏 12 分鐘

我們分析數(shù)據(jù),更重要的是看到數(shù)據(jù)中所隱藏的暗物質(zhì),即數(shù)據(jù)圖中你看不見(jiàn)的數(shù)據(jù)\邏輯\知識(shí)。

開(kāi)門(mén)見(jiàn)山,以下是某新聞媒體WAP\APP\PC三端的分周中和周末的PV曲線,下面嘗試分析其中是否存在某種規(guī)律。

圖一:newsAPP某周一庫(kù)存

圖二:newsAPP某周日庫(kù)存

1.數(shù)據(jù)的準(zhǔn)確性和代表性

在分析數(shù)據(jù)之前,有一個(gè)非常重要的事情,大家往往會(huì)忽略,那就是數(shù)據(jù)的置信度是多少。

如果數(shù)據(jù)的準(zhǔn)確性本身存在問(wèn)題,那能產(chǎn)出正確結(jié)果的概率與買(mǎi)彩票中獎(jiǎng)的概率大概相差無(wú)幾。即便數(shù)據(jù)是準(zhǔn)確地,那還得證明數(shù)據(jù)具有代表性,你是不是只抽取了一天的數(shù)據(jù),你是不是只抽取了一端的數(shù)據(jù)。

自然,很多時(shí)候,你必須要進(jìn)行抽樣,那你更要謹(jǐn)慎了,因素那么多,你要保證自己在數(shù)據(jù)采樣過(guò)程中,考慮了應(yīng)該考慮的因素。當(dāng)然,這些數(shù)據(jù)對(duì)于這個(gè)結(jié)論很具有代表性,對(duì)于另一個(gè)分析目的卻有可能完全沒(méi)有代表性,這些都不能一概而論。

總之,數(shù)據(jù)準(zhǔn)確性這個(gè)問(wèn)題基本上要在分析之前給出確定的答案。而數(shù)據(jù)是否具有代表性這個(gè)問(wèn)題由于比較復(fù)雜,盡可能的在分析之前考慮清楚的同時(shí),在分析過(guò)程中,一定要隨時(shí)保持著質(zhì)疑精神,每向前一步,都要重新考慮數(shù)據(jù)樣本是否還具有代表性。

圖三:newsWAP某周一庫(kù)存

圖四:newsWAP某周末庫(kù)存

2.看圖說(shuō)話

以下圖中數(shù)據(jù)經(jīng)受過(guò)了我們多方位的考驗(yàn),所以數(shù)據(jù)基本準(zhǔn)確,代表性具體要看你的分析目的。

基本確定了準(zhǔn)確性和代表性后,懷著高度質(zhì)疑的精神,讓我們開(kāi)始我們的分析之旅。

首先,單獨(dú)來(lái)看每一個(gè)圖,大家可以很清晰的理解,這六條PV曲線都是與用戶(hù)的行為息息相關(guān)的。從各條PV曲線的變化來(lái)看,用戶(hù)7:00-8:00起床的比較多,22:00是一個(gè)大家進(jìn)入休息比較集中的時(shí)間點(diǎn)。凌晨的2:00-5:00是用戶(hù)活動(dòng)的低谷,而波峰在時(shí)間上一般是20:00-22:00。

圖五:newsPC某周一庫(kù)存

圖六:newsPC某周日庫(kù)存

3.多項(xiàng)對(duì)比

說(shuō)到這里,細(xì)心的大家可能對(duì)圖五\圖六中的數(shù)據(jù)表示質(zhì)疑。因?yàn)樗环衔覀儎偛磐瞥鰜?lái)的規(guī)律。

比如說(shuō),PC端一天中的波峰時(shí)間是每天的9:00-10:00,而且周一和周日的PV曲線變化非常大。?周一的數(shù)據(jù)量大周日一兩倍的樣子,而且周日白天的波動(dòng)比較緩和,而周一的波動(dòng)非常大,存在多個(gè)波峰波谷。相反,APP\WAP在周日和周一的PV總量并未出現(xiàn)明顯變化,而且曲線變化規(guī)律也大抵相同。

4.挖掘暗物質(zhì)

所謂暗物質(zhì),就是數(shù)據(jù)圖中你看不見(jiàn)的數(shù)據(jù)\邏輯\知識(shí)。

所謂的數(shù)據(jù)分析或者挖掘就是挖掘各個(gè)數(shù)據(jù)之前的關(guān)聯(lián),數(shù)據(jù)與暗物質(zhì)之間的關(guān)聯(lián)。

仔細(xì)想來(lái),我在“看圖說(shuō)話”中的推理其實(shí)利用了先驗(yàn)知識(shí),也就是說(shuō)大家有起床后看新聞和睡覺(jué)前看新聞的習(xí)慣,事實(shí)真的是這樣嗎?事實(shí)大概確實(shí)如此,但是在分端上可就不同了。

APP\WAP都是移動(dòng)設(shè)備上可以觸及的渠道,所以基本可以與用戶(hù)的起居習(xí)慣相吻合。但是PC端并非觸手所及,并不能完全和用戶(hù)的起居相吻合,畢竟你零碎時(shí)間里可以打開(kāi)手機(jī),卻不太可能去打開(kāi)電腦。

上面我說(shuō)到PC端并不能很好的反映用戶(hù)的起居,那他能反映用戶(hù)的什么呢。想想我們平時(shí)使用PC的場(chǎng)景,PC端數(shù)據(jù)是否能反映用戶(hù)的上班時(shí)間特性?這點(diǎn)確實(shí)能給出數(shù)據(jù)支持。

一是周一比周日PV量大,說(shuō)明周末使用PC的用戶(hù)少,周中上班時(shí)間就身不由己了,所以PV量比較大。周日和周一的曲線波動(dòng)也完全能理解了,周一的PV的上漲時(shí)間落后于起居時(shí)間是因?yàn)槟鞘巧习鄷r(shí)間,延遲的一小時(shí)左右要吃飯\要擠地鐵啊,9:00左右(上班的集中時(shí)間點(diǎn))大家都坐定了,刷一下新聞,PV量也就達(dá)到最大。

9:00-11:00期間的PV量幾乎沒(méi)有太大變化,但11:00開(kāi)始就開(kāi)始慢慢下跌了,一直持續(xù)到12:00,這個(gè)可能與大家要逐漸去吃午飯相關(guān),經(jīng)過(guò)了12:00-14:00的午休階段,PV量存在一定上漲。

等到下午17:00,又開(kāi)始下降了,到了18:00基本降得差不多了。大家基本都已經(jīng)下班了。所以,我們可以說(shuō)周日創(chuàng)造PV的這些用戶(hù),周中也會(huì)同樣創(chuàng)造PV,而周一多出來(lái)的這些PV,其用戶(hù)特征完全符合上班特性,或者說(shuō)其特性完全符合朝九晚五的上班族。

5.反復(fù)求證

你的數(shù)據(jù)真的對(duì)了嗎? 那我們可以說(shuō)創(chuàng)造PC端PV波動(dòng)的這些朝九晚五的用戶(hù)是國(guó)企員工嗎?我們可以說(shuō)國(guó)企員工上班就是看看新聞,聊聊天嗎?那我們是否可以說(shuō)互聯(lián)網(wǎng)員工上班就不看新聞。

我們?nèi)〉镁褪莵?lái)看新聞的UV產(chǎn)生的PV數(shù)據(jù),得出來(lái)的數(shù)據(jù)當(dāng)然是這樣了?;ヂ?lián)網(wǎng)員工的行為是否被湮沒(méi)在其他原因中了?這是我上面提到的,始終要保持質(zhì)疑精神。你的數(shù)據(jù)對(duì)于之前的分析是有代表性的,可是分析以上問(wèn)題,可以說(shuō)是一點(diǎn)代表性都沒(méi)有。

有些人數(shù)據(jù)分析時(shí)已經(jīng)早有結(jié)論,往往數(shù)據(jù)選擇和分析時(shí)便會(huì)不自覺(jué)的有所傾向,難免會(huì)得出與自己假設(shè)相同的結(jié)論。所以我們?cè)诘贸鼋Y(jié)論時(shí),其實(shí)還要從其他很多方面進(jìn)行求證,包括去掉某因素后,現(xiàn)象是否會(huì)消失等等。

6.你的結(jié)論真的對(duì)了嗎?

之前朋友圈流傳著這樣一個(gè)消息:有權(quán)威分析機(jī)構(gòu)經(jīng)過(guò)數(shù)據(jù)分析發(fā)現(xiàn),戰(zhàn)狼2和瘋狂動(dòng)物城的票房都很高,但兩者用戶(hù)重合度并不高。戰(zhàn)狼2的觀看用戶(hù)更喜歡喝冷飲,而瘋狂動(dòng)物城的用戶(hù)卻更喜歡奶茶。但其實(shí)瘋狂動(dòng)物城上映在冬季,而戰(zhàn)狼2上映在夏季。即便經(jīng)過(guò)反復(fù)求證,我們也只能說(shuō)是結(jié)論的置信度越來(lái)越高了,并不能證明這是對(duì)的。所以,除了盡可能的反復(fù)求證,剩下的方法是就是進(jìn)行數(shù)據(jù)驅(qū)動(dòng)策略的驗(yàn)證了。驗(yàn)證可以分為對(duì)照組等等,此處不再贅述。

7.猜猜他的用戶(hù)

如果你細(xì)心一點(diǎn),便會(huì)發(fā)現(xiàn)newsAPP\WAP兩端在周日的變動(dòng)相比周一稍稍延后,這估計(jì)和大家的周末作息習(xí)慣延后有關(guān),至于為什么延后并不多,那說(shuō)明主流用戶(hù)肯定不是那些“上班睡不醒,周末睡不著的”年輕人啊。

8.寫(xiě)在最后

就是這幾張平時(shí)用來(lái)做實(shí)時(shí)監(jiān)控的曲線還能扯出這么多東西來(lái)?來(lái)張照片給大家。

【以下內(nèi)容來(lái)自百度】中國(guó)最著名“照片泄密案”,是由1964年《中國(guó)畫(huà)報(bào)》封面刊出的一張照片引起的。在這張照片中,大慶油田的“鐵人”王進(jìn)喜頭戴大狗皮帽,身穿厚棉襖,頂著鵝毛大雪,握著鉆機(jī)手柄眺望遠(yuǎn)方,在他身后散布著星星點(diǎn)點(diǎn)的高大井架。日本情報(bào)專(zhuān)家據(jù)此解開(kāi)了中國(guó)當(dāng)時(shí)最大的石油基地–大慶油田的秘密。

1、他們根據(jù)照片上王進(jìn)喜的衣著判斷,只有在北緯46度至48度的區(qū)域內(nèi),冬季才有可能穿這樣的衣服,因此推斷大慶油田位于齊齊哈爾與哈爾濱之間。

2、通過(guò)照片中王進(jìn)喜所握手柄的架式,推斷出油井的直徑;

3、從王進(jìn)喜所站的鉆井與背后油田間的距離和井架密度,推斷出油田的大致儲(chǔ)量和產(chǎn)量。有了如此多的準(zhǔn)確情報(bào),日本人迅速設(shè)計(jì)出適合大慶油田開(kāi)采用的石油設(shè)備。當(dāng)中國(guó)政府向世界各國(guó)征求開(kāi)采大慶油田的設(shè)備方案時(shí),日本人一舉中標(biāo)。

慶幸的是,日本當(dāng)時(shí)是出于經(jīng)濟(jì)危機(jī),根據(jù)情報(bào)分析結(jié)果,向我國(guó)高價(jià)推銷(xiāo)煉油設(shè)施,而不是用于軍事戰(zhàn)略意圖。

所以數(shù)據(jù)分析中最重要的是什么?暗物質(zhì)??!

 

本文由 @biteme 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來(lái)自u(píng)nsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 最后的例子有意思

    來(lái)自福建 回復(fù)
  2. 1

    來(lái)自江蘇 回復(fù)
  3. 第一次發(fā)表文章,小編對(duì)我的原文格式進(jìn)行了修改,更利于閱讀了,在此謝過(guò)。

    來(lái)自北京 回復(fù)