幾個很有啟發(fā)性的關(guān)于“數(shù)據(jù)會說謊”的真實例子
數(shù)據(jù)解讀是數(shù)據(jù)分析最重要的環(huán)節(jié),數(shù)據(jù)不會說謊,說謊是來自于數(shù)據(jù)誤讀;很多公司招聘數(shù)據(jù)分析只強調(diào)數(shù)據(jù)處理,對數(shù)據(jù)解讀無法評估,就會帶來數(shù)據(jù)誤讀,從而產(chǎn)生“數(shù)據(jù)會說謊”的結(jié)論。
幾個的真實案例
1.、通過可控的客戶端采樣監(jiān)測,得到了一定樣本的,包含google搜索url特征的日志記錄,得到google的搜索量;同樣的樣本下,采集到包含google adwords廣告url特征的日志記錄,得到google的廣告點擊數(shù)。 那么,理所當(dāng)然&一廂情愿的 用點擊數(shù)/搜索量,得到點擊率。 但是,這個點擊率是顯著錯誤的,理由是,google的adwords廣告點擊,并不只發(fā)生在google的搜索結(jié)果中! 當(dāng)時的情況是,點擊率被高估了一倍。(其實已經(jīng)區(qū)分了adsense和adwords廣告點擊的url特征,但是adwords也會出現(xiàn)在其他網(wǎng)站)
對數(shù)據(jù)邏輯及相互關(guān)系的理解不透徹,就會帶來錯誤的解讀。
2、反欺詐點擊,有一定的點擊過濾策略來進(jìn)行,引入一種新的過濾策略,會帶來更加嚴(yán)格的過濾,于是按照新的策略跑一遍舊的日志,得到結(jié)論,額外過濾了若干點擊,價值若干,會導(dǎo)致收入下降若干。
但是這個結(jié)論是徹底錯誤的。當(dāng)嚴(yán)格的策略執(zhí)行之后,客戶對該系統(tǒng)信心增加,競價價格提升,廣告預(yù)算提升,收入不降反升。
這也是有實際數(shù)據(jù)佐證的。簡單結(jié)論是,單方面做數(shù)據(jù)推算,而忽略了與用戶、客戶的交互影響,就會做出錯誤的推斷。
3、 某同事,名校計算機博士,算法達(dá)人,做了一條曲線,A和B高度相關(guān),得到結(jié)論,A會導(dǎo)致B,看一眼結(jié)論我就罵人了,狗屎結(jié)論,實際上是A和B均受C的影響,所謂高度相關(guān)是C的因素帶來的,這是只看數(shù)據(jù)不懂業(yè)務(wù)的典型。
4、樣本偏差,特典型的就是沉默的大多數(shù)現(xiàn)象,簡單舉例,去IT論壇,發(fā)個投票,百度好不好,騰訊好不好,多數(shù)人會說不好。但是真正的用戶是不會去IT論壇,更不會參與這種無聊的投票;所以這種投票得到的結(jié)論,你要真信,你就傻了。 此外,還有比如送禮品的票選,喜歡這種禮品的用戶,本身就有傾向性,如果票選內(nèi)容與禮品有關(guān),那么結(jié)論顯然是不可靠的。
5、有人提到預(yù)測未來,補充一點,就是用戶不知道自己的未來。這也是普遍做樣本調(diào)查容易產(chǎn)生的誤區(qū)。如果時間前溯10年,你問一個用戶,你會去買蘋果手機嗎?他肯定會說,你是不是瘋了。但是當(dāng)真的很酷的蘋果手機放到他手上,他才會有感覺。 這是有真實案例的,十幾年前,手機還叫大哥大,還是大款們才特有的玩物,真有調(diào)查公司跑到路邊采訪行人,說你需要買手機嗎,行人紛紛表示不需要。他們不知道這玩意對他們?nèi)松母淖冇卸啻蟆?0年前,又有類似的事情,上網(wǎng)當(dāng)時被認(rèn)為是不務(wù)正業(yè)的表現(xiàn),報紙媒體開始憂心忡忡年輕人的網(wǎng)癮和被網(wǎng)絡(luò)的傷害;然后又有媒體去采訪,很多人表示,上不上網(wǎng)無所謂。這些都是當(dāng)年一些新聞電視里出現(xiàn)過的典型場景。如果你相信,你就真完了。
這里的問題是,用戶不能預(yù)知技術(shù)的發(fā)展和對人類群體乃至自身的改變;當(dāng)然,有的人能看到,1997年,還在讀書,我一直糾結(jié)大學(xué)畢業(yè)能做什么,第一次接觸到了互聯(lián)網(wǎng),我堅定,這是改變?nèi)祟惖臇|西,這是我一輩子的職業(yè)。
6、舉一個前幾天碰到的真實的例子吧。選取音樂電臺用戶的一個子集,共2W人;分成AB兩組,每組1W人;對每一組使用不同的推薦算法。統(tǒng)計在一天內(nèi)每一組的用戶一共點擊了多少次喜歡的按鈕和不喜歡的按鈕。計算每組用戶點擊喜歡的按鈕的比例 = 點擊的喜歡個數(shù)/(點擊喜歡的個數(shù)+點擊不喜歡的個數(shù))。理論上這個值越高,說明這組用戶越滿意,也就說明用在這組上的推薦算法更好。后來發(fā)現(xiàn)這個結(jié)果沒有統(tǒng)計意義…… 因為有些用戶會一天給出上千個喜歡與不喜歡的反饋,這樣的用戶在AB兩組中的分布決定了最終結(jié)果的好壞。改進(jìn)方法是:需要去除這些噪音點,或者使用其他的統(tǒng)計值。
7、我們還針對AB兩組用戶分別統(tǒng)計了:平均每個用戶每天點擊喜歡的音樂的個數(shù)。按理說,這個個數(shù)越高,說明推薦算法越好??墒?,我們又針對AB兩組用戶分別統(tǒng)計了:平均每個用戶每天點擊不喜歡的音樂的個數(shù)。按理說,這個個數(shù)越高,說明推薦算法越差。結(jié)果,發(fā)現(xiàn)在很多情況下,第一個個數(shù)高的算法,第二個個數(shù)也高。于是,使用單一指標(biāo)也許不能很好的刻畫一個算法。改進(jìn)方法是:使用更多的指標(biāo)來進(jìn)行刻畫,具體問題具體分析,尋找背后的原因。
8、當(dāng)年Firefox用戶與Mac用戶對支付寶重要與否,單從瀏覽器數(shù)據(jù)統(tǒng)計看,F(xiàn)irefox訪問支付寶的比例太低了。不過因為支付寶不支持Firefox,所以,這個比例不能用作判斷的依據(jù)。Mac用戶也是一樣。再說一個,支付寶當(dāng)年代繳水電煤的項目改版之后,發(fā)現(xiàn)繳費用戶立刻暴增,產(chǎn)品人員欣喜若狂,后來白鴉同學(xué)分析一下,哦,原來那幾天是每個月水電煤繳費高峰期,周期性的抽風(fēng)。其實呢,分析一下我國有關(guān)部門發(fā)布的數(shù)據(jù),你會發(fā)現(xiàn)那都是一些說謊的數(shù)據(jù)。
9、二戰(zhàn)時英國皇家空軍邀請美國的統(tǒng)計學(xué)家分析德國地面炮火擊中聯(lián)軍轟炸機的資料,并且從專業(yè)的角度,建議機體裝甲應(yīng)該如何加強,才能降低被炮火擊落的機會。但依照當(dāng)時的航空技術(shù),機體裝甲只能局部加強,否則機體過重,會導(dǎo)致起飛困難及操控遲鈍。 統(tǒng)計學(xué)家將聯(lián)軍轟炸機的彈著點資料,描繪成兩張比較表,研究發(fā)現(xiàn),機翼是最容易被擊中的部位, 而飛行員的座艙與機尾,則是最少被擊中的部位。作戰(zhàn)指揮官由此認(rèn)為,應(yīng)該加強機翼的防護(hù),因為分析表明,那里”密密麻麻都是彈孔,最容易被擊中”。但是統(tǒng)計學(xué)家卻有不同觀點,他建議加強座艙與機尾部位的裝甲,那兒最少發(fā)現(xiàn)彈孔—–因為他的統(tǒng)計樣本是聯(lián)軍返航的受損飛機,說明大多數(shù)被擊中飛行員座艙和尾部發(fā)動機的飛機,根本沒法返航就墜毀了。
所以如LS幾位所答,不是數(shù)據(jù)說謊,而是沒注意到沉默的數(shù)據(jù)(缺少了的樣本),需要分析者有足夠廣的視角和邏輯,才能從數(shù)據(jù)里挖掘出足夠正確的東西。
10、改版了款wap產(chǎn)品,沒做任何推廣前提下,發(fā)現(xiàn)流量飆升,尤其匿名用戶漲了3倍。因為產(chǎn)品本身用戶基數(shù)低,所以流量翻了兩三倍也算正常。當(dāng)時估計是SNS的口碑傳播導(dǎo)致的。但最后還是覺得不對勁,查了一下,發(fā)現(xiàn)是搜索引擎在抓頁面,因為改版了,所以它們要重新抓一次。空歡喜一場。數(shù)字還是那個數(shù)字,但背后它到底對應(yīng)了什么內(nèi)容,常常被忽略了。
11、我們會在游戲中對很多內(nèi)容或操作做數(shù)據(jù)監(jiān)控,然后通過分析數(shù)據(jù)的提高還是降低,去判斷用戶對該內(nèi)容的喜歡程度。但是單獨看數(shù)據(jù)的提高和降低是沒有意義的。例如,我們發(fā)現(xiàn)某項物品最近銷售數(shù)據(jù)在下滑,我們可能就會下結(jié)論:這個物品受歡迎程度在下降。但這個結(jié)論是不準(zhǔn)確的,必須結(jié)合著其他的數(shù)據(jù)一塊看,例如DAU。如果DAU在下降,那么該物品的銷售隨之下降是正常的,如果結(jié)合著比例來看,有可能會發(fā)現(xiàn)雖然銷售數(shù)據(jù)在下降,但是比例數(shù)據(jù)(即銷售數(shù)/DAU)是在上升的。這樣會明白,其實該物品的受歡迎程度并沒有下降了,而是DAU下降了。而在DAU下降的同時,銷售比例在上升,其實該物品的受歡迎程度反倒是提高了。
因此,其實不是數(shù)據(jù)在說謊,而是很多數(shù)據(jù)需要辯證的來看。
12、前不久不有這么一段兒:說是美國著名調(diào)查機構(gòu)PEW在“胸圍與幸福指數(shù)”調(diào)查中對500對30—40歲的夫妻調(diào)查結(jié)果顯示:女性胸圍A杯的離婚率為37%,胸圍B杯的離婚率為16.3%,胸圍C杯的離婚率為4%,而胸圍達(dá)D杯的女性離婚率1%都不到。這個典型的抽取樣本數(shù)量不等的情況下的出的所謂結(jié)論可信度大打折扣。有個簡單的方法看看滑稽在什么地方。有沒有注意到,里面木有E杯和F杯的數(shù)據(jù),why。。。因為,要么根本就沒有E和F,自然沒有結(jié)論,要么E和F數(shù)量很小,得出的結(jié)論完全可能出現(xiàn)100%離婚的結(jié)論,這樣的結(jié)論和前面的推到就不符合所以隱藏了。
感謝知乎小伙伴們的無私奉獻(xiàn),原文鏈接>>>
- 目前還沒評論,等你發(fā)揮!