扭曲數(shù)據(jù)的9大手段,數(shù)據(jù)分析師速看!
文章梳理總結(jié)了最常見(jiàn)的扭曲數(shù)據(jù)的九大手段,大家先牢記于心。很有可能你會(huì)在年終總結(jié)、年度規(guī)劃、活動(dòng)評(píng)估等場(chǎng)合遇到它們。提前了解,也好早早應(yīng)對(duì)。
做數(shù)據(jù)分析,有數(shù)據(jù)才能分析。
如果數(shù)據(jù)是不真實(shí)的呢?
如果數(shù)據(jù)是人為扭曲的呢?
如果數(shù)據(jù)被人為扭曲,還要求你接受呢?
今天我們就來(lái)討論這個(gè)話題。趁著還沒(méi)過(guò)春節(jié),我們把這些糟心事一次說(shuō)干凈,大家收拾收拾心情辭舊迎新。
段位一:虛報(bào)數(shù)據(jù)
業(yè)務(wù)方故意虛報(bào)、謊報(bào)、不報(bào)數(shù)據(jù),導(dǎo)致基礎(chǔ)數(shù)據(jù)缺失,錯(cuò)誤頻發(fā)。這種情況在用紙質(zhì)單張的年代很常見(jiàn)。不過(guò)隨著數(shù)據(jù)系統(tǒng)的普及,此問(wèn)題已經(jīng)越來(lái)越少。
如果現(xiàn)在還有使用紙質(zhì)單張的場(chǎng)景,比如用戶紙質(zhì)申請(qǐng)表、調(diào)查問(wèn)卷等,此問(wèn)題依然會(huì)存在。解決方案也很簡(jiǎn)單:上微信卡包呀!啥年代了注冊(cè)個(gè)會(huì)員還寫(xiě)紙質(zhì)單。
段位二:人為改數(shù)
參見(jiàn):
系統(tǒng)是死的,可人是活的。想解決,只能加強(qiáng)考核,對(duì)違規(guī)操作的人嚴(yán)懲不貸。這些操作的規(guī)律性很強(qiáng),且和具體人的行為高度綁定,通過(guò)分析是可以識(shí)別的。
段位三:修改口徑
數(shù)據(jù)不好看了,怎么辦?直接改統(tǒng)計(jì)口徑!本質(zhì)上講,數(shù)據(jù)指標(biāo)是為了計(jì)算方便而設(shè)的,作為使用方業(yè)務(wù)方想咋改就咋改。但是因?yàn)楦膭?dòng)口徑,導(dǎo)致前后數(shù)據(jù)不一致,就是大問(wèn)題。只改統(tǒng)計(jì)口徑、不改指標(biāo)名字,更是魚(yú)目混珠的大問(wèn)題。所以改口徑可以,把過(guò)往數(shù)據(jù)報(bào)告,按新口徑一口氣刷了才成。
段位四:控制節(jié)奏
參考:
注意,和段位2不同,段位2是偽造數(shù)據(jù)欺騙公司,性質(zhì)惡劣。段位4本質(zhì)上沒(méi)有偽造數(shù)據(jù),而是利用了銷售、運(yùn)營(yíng)、獎(jiǎng)勵(lì)的規(guī)則,謀取個(gè)人利益最大化而已。
實(shí)際上,是個(gè)人都會(huì)這么干,這屬于業(yè)務(wù)潛規(guī)則。我們常說(shuō)“水至清則無(wú)魚(yú)”,你不可能要求一個(gè)人不為自己著想。如果真的管的太死,一線業(yè)務(wù)絕對(duì)會(huì)跳槽跑路。
作為數(shù)據(jù)分析,更多的需要有能力識(shí)別這些具體問(wèn)題,把它們控制在可接受的范圍內(nèi)。如果問(wèn)題太過(guò)泛濫,再看如何推動(dòng)制度層面優(yōu)化調(diào)整(如下圖所示)
注意,從這個(gè)問(wèn)題開(kāi)始,我們進(jìn)入中級(jí)難度,因?yàn)楹筮叺膯?wèn)題,對(duì)數(shù)據(jù)分析師個(gè)人的分析能力要求會(huì)越來(lái)越高。就比如區(qū)分哪些是合理潛規(guī)則,哪些是惡意改數(shù),是需要一定分析經(jīng)驗(yàn)積累的。
段位五:亂帶節(jié)奏
做數(shù)據(jù)分析時(shí)你一定經(jīng)常聽(tīng)這種問(wèn)題:
- “最近活躍率下降了?分析下原因”
- “最近銷售表現(xiàn)不如人意,?分析下原因”
- “為什么我們的產(chǎn)品那么差?”
然而你辛辛苦苦扒了一堆數(shù)據(jù),發(fā)現(xiàn):沒(méi)啥毛病???恭喜,你中了亂帶節(jié)奏的全套。業(yè)務(wù)口中的“下降”“不好”“不滿意”很有可能是個(gè)偽命題!
注意,業(yè)務(wù)方在不經(jīng)意間扭曲數(shù)據(jù)判斷,很多數(shù)據(jù)分析新人會(huì)直接一腳踩進(jìn)去。很多新人做分析,不是先問(wèn)是不是,而是直接研究為什么。按用戶群、注冊(cè)時(shí)間、產(chǎn)品類型等把數(shù)據(jù)拆的七零八落,最后屁都解讀不出來(lái)。過(guò)兩天回來(lái)一看,人家問(wèn)題已經(jīng)不存在了。
應(yīng)對(duì)此類問(wèn)題,切記:
- 遇到“大小、多少、高低、快慢、好壞”先問(wèn)標(biāo)準(zhǔn)。
- 聽(tīng)到具體問(wèn)題,先問(wèn)怎么知道這個(gè)問(wèn)題的。
- 聽(tīng)到人議論數(shù)據(jù),先問(wèn)原始數(shù)據(jù)源。
然而,難就難在,這三個(gè)“先問(wèn)”是違背人本能的。聽(tīng)風(fēng)就是雨才是人們最習(xí)慣的思考模式,所以這個(gè)看似簡(jiǎn)單的三個(gè)問(wèn)題,需要大量、反復(fù)、強(qiáng)化訓(xùn)練才能習(xí)得,不然就經(jīng)常被繞進(jìn)去。
段位六:滿意度
此處滿意度,指的是那些業(yè)務(wù)部門口頭高掛,卻很難用系統(tǒng)直接記錄數(shù)據(jù)的指標(biāo)。類似的有滿意度、品牌影響力、產(chǎn)品力、行業(yè)地位、NPS等等玩意。因?yàn)槿鄙僦苯佑涗?,所以?huì)引發(fā)很多幺蛾子。在上一篇《拯救豬隊(duì)友》中,陳老師很詳細(xì)的分享過(guò)這一類問(wèn)題咋處理,可以復(fù)習(xí)下。
段位七:自然增長(zhǎng)率
最后想操縱數(shù)據(jù),只要不停的改“自然增長(zhǎng)率”數(shù)據(jù)就好了,實(shí)在不行了還能把丫改成負(fù)數(shù)嗎(如下圖)
應(yīng)對(duì)這種辦法,最好的手段就是:不理他?;顒?dòng)實(shí)際參與量是很容易算清楚的,如果要定自然增長(zhǎng)率,可以事先說(shuō)好,免得事后啰嗦。
段位八:參照組
參照組和自然增長(zhǎng)率是一對(duì)難兄難弟。都很容易被人立著“科學(xué)評(píng)估”的牌坊,實(shí)際上隨意更換,改改改,改到業(yè)務(wù)滿意為止。如果業(yè)務(wù)方想糾結(jié),他會(huì)一直說(shuō)你設(shè)置的參照組不科學(xué),樣本都是特例,不夠隨機(jī),不具有代表性。
實(shí)際上,只要不是全量統(tǒng)計(jì),就永遠(yuǎn)能扣一個(gè)“不科學(xué)、不隨機(jī)、不代表”的帽子(你真全量統(tǒng)計(jì),他們又說(shuō):沒(méi)有剔除自然增長(zhǎng),啦啦啦啦,反正總有理)。
最好的應(yīng)對(duì)方法就是:不回應(yīng)。只要分組方法是事先說(shuō)清的,出啥結(jié)果就認(rèn)啥結(jié)果,有啥好嘰嘰歪歪的。本身設(shè)參照組,只在做限定渠道精準(zhǔn)推送的時(shí)候才能用。本身設(shè)參照組,只是ABtest一種檢驗(yàn)手段。本身Abtest,也只是檢驗(yàn)工具之一,不是權(quán)威法則。難道沒(méi)有ABtest業(yè)務(wù)部門就一點(diǎn)判斷能力都沒(méi)有了?你們的業(yè)務(wù)能力呢!要你們何用!好爽,終于能罵回去了!
段位九:綜合評(píng)估
評(píng)價(jià)一個(gè)問(wèn)題,用單一指標(biāo)最清晰。然而人們偏偏喜歡用復(fù)合指標(biāo),以顯得“思考全面”。指標(biāo)一多,勢(shì)必設(shè)計(jì)權(quán)重分配。于是騷操作來(lái)了,如果評(píng)價(jià)出來(lái),某人對(duì)結(jié)果不滿意,便會(huì)祭出:“這個(gè)權(quán)重不合理,不能反映業(yè)務(wù)實(shí)際”的大旗,然后逼著你改。最后結(jié)果,自然是讓人家心滿意足,才會(huì)說(shuō)你分析深入合理。不然就繼續(xù)來(lái)糾結(jié)。
最過(guò)分的,陳老師還見(jiàn)過(guò)業(yè)務(wù)方領(lǐng)導(dǎo)手寫(xiě)了一個(gè)分公司評(píng)分排名,然后告訴我:你用大數(shù)據(jù)人工智能方法,把各個(gè)指標(biāo)綜合計(jì)算出這個(gè)排名,做的滴水不漏,明年合同還跟你簽……此時(shí)能說(shuō)什么,當(dāng)然是:好的。簽單要緊,科學(xué)性算個(gè)屁,不就是改權(quán)重嗎,搞得跟讀研的時(shí)候沒(méi)整過(guò)一樣。
應(yīng)對(duì)方法:
- 每一個(gè)指標(biāo)單獨(dú)評(píng)分
- 多指標(biāo)的權(quán)重讓領(lǐng)導(dǎo)定
- 放棄業(yè)務(wù)解釋度低的神經(jīng)網(wǎng)絡(luò)方法
- 業(yè)務(wù)意見(jiàn)不一致,打完架告訴數(shù)據(jù)怎么定
以上三個(gè)是高段位操縱數(shù)據(jù)的辦法。之所以段位高,是因?yàn)樽匀辉鲩L(zhǎng)率,參照組,綜合評(píng)估本身就是數(shù)據(jù)分析常討論的話題。
很多新入行沒(méi)吃過(guò)苦頭的數(shù)據(jù)分析師,自己都很愛(ài)倒騰這些東西,以為做的越復(fù)雜就越高級(jí)。最后結(jié)果是,做的越復(fù)雜,業(yè)務(wù)含義越難講清楚,越是被業(yè)務(wù)方各種質(zhì)疑,最后被牽著鼻子走,變成:“結(jié)果對(duì)業(yè)務(wù)有利就是客觀全面,結(jié)果對(duì)業(yè)務(wù)不利就是缺少深入分析”,自討苦吃。
對(duì)比之下,我們會(huì)發(fā)現(xiàn):不同部門用的手段不一樣。銷售、推廣、供應(yīng)鏈這些一線部門,數(shù)據(jù)本身就是他們工作的直接產(chǎn)物,因此最容易篡改數(shù)據(jù)源。運(yùn)營(yíng)、策劃、產(chǎn)品等部門則最喜歡搞難以量化的指標(biāo),喜歡談“深遠(yuǎn)影響”,喜歡設(shè)一堆“自然增長(zhǎng)率”“參照組用戶”然后剔除來(lái)剔除去,篡改的是基于數(shù)據(jù)的判斷。
為啥銷售、推廣、供應(yīng)鏈不折騰?因?yàn)槿思颐鎸?duì)的是結(jié)結(jié)實(shí)實(shí)的銷售收錢,推廣進(jìn)人、倉(cāng)庫(kù)出貨的問(wèn)題,一個(gè)人頭一分錢很清晰,沒(méi)得扯皮。但是像運(yùn)營(yíng)、策劃、產(chǎn)品這些大家一起干一件事的時(shí)候,就總想突出自己的功勞。于是便開(kāi)始了無(wú)休止的扯。
- “剔除自然增長(zhǎng),我的活動(dòng)帶來(lái)多少效益”
- “剔除自然增長(zhǎng)、活動(dòng)拉動(dòng),我的產(chǎn)品改版帶來(lái)多少效益”
- “剔除自然增長(zhǎng),活動(dòng)拉動(dòng),產(chǎn)品改版,我的文案帶來(lái)多少效益”
- ……
如果一定要對(duì)比兩種危害,肯定是篡改數(shù)據(jù)源的危害更大。如果數(shù)據(jù)是假的,那分析就無(wú)從談起了。篡改數(shù)據(jù)源背后,代表著公司管理混亂,渠道控制軟弱無(wú)力。有意思的是:總部的各職能部門都對(duì)這種軟弱無(wú)力深惡痛絕,所以在這個(gè)問(wèn)題上,往往總部部門是槍口一致對(duì)外的。
但在數(shù)據(jù)判斷上,往往是亂自上做??偛康倪\(yùn)營(yíng)、產(chǎn)品、策劃們出于一己私利亂改標(biāo)準(zhǔn),對(duì)于實(shí)現(xiàn)真正的數(shù)據(jù)驅(qū)動(dòng)是非常有害的。不敢面對(duì)事實(shí),拿數(shù)據(jù)粉飾太平,最后的結(jié)果就是業(yè)務(wù)部門自己越來(lái)越喪失判斷能力,又回到拍腦袋決策,拍屁股走人的原始狀態(tài),這是我們不希望看到的。
理想的狀態(tài),是數(shù)據(jù)源真實(shí)豐富,數(shù)據(jù)判斷簡(jiǎn)單清晰,數(shù)據(jù)分析深入立體。把精力多放在找原因、做預(yù)測(cè)、測(cè)試效果上,這樣才能輸出更好的成果。
#專欄作家#
接地氣的陳老師,微信公眾號(hào):接地氣學(xué)堂,人人都是產(chǎn)品經(jīng)理專欄作家。資深咨詢顧問(wèn),在互聯(lián)網(wǎng),金融,快消,零售,耐用,美容等15個(gè)行業(yè)有豐富數(shù)據(jù)相關(guān)經(jīng)驗(yàn)。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來(lái)自Unsplash,基于CC0協(xié)議
- 目前還沒(méi)評(píng)論,等你發(fā)揮!