數據會說謊 | 產品經理要避免哪些數據的坑?
很多優秀甚至偉大的產品決策,并非通過數據發現的,而是一個產品經理綜合智慧的體現。
產品經理所面對的數據,本質上和日常生活中的數據沒有太大的差別。簡單來說,都是一個量化事物的手段,就像身高、體重一樣,都是一個數字指標,它代表了現實存在的事物的一個客觀情況。
正是因為數據的客觀性,讓數據變成了發掘問題本質,尋找事物規律所需要用到的最有利的手段之一。
數據雖然客觀,但是有時也會騙人,而且騙人的方式不同。
1、障眼法欺騙
案例一:?把沉默用戶當做支持和反對的中間態
2家網站A和B,都經營類似的業務,都有穩定的用戶群。它們都進行了類似的網站界面改版。改版之后,網站A沒有得到用戶的贊揚,反而遭到很多用戶的臭罵;而網站B既沒有用戶夸它,也沒有用戶罵它。如果從數據來看, 應該是網站B的改版相對更成功, 因為沒有用戶表達不滿。但事實并非如此。網站A雖然遭到很多用戶痛罵,但說明還有很多用戶在乎它;對于網站B,用戶對它已經不關心了.網站A指的是Facebook,網站B是微軟旗下的Live Space。
案例二:?把某一類型數據當做全部數據導致分析結果錯誤
某產品想要看網站現在的用戶訪問量是什么狀態,于是選擇了PV作為觀測指標,通過alexa來看網站的PV在過去一年中呈明顯的下降態勢,于是就以此為論據進行了分析。
可是后來發現,alexa僅僅統計通過WEB的訪問量,而用戶移動端的登錄并不在統計范圍之內。由于微信等移動端應用的使用,一大部分人會通過移動端的途徑進入,缺失這部分數據意味著前面統計的數據基本沒有意義,因為WEB端訪問量的下降有可能是用戶訪問網站次數降低,同時也有可能是由PC端向移動端遷移,這個統計就不能作為論據出現了。
2、單一欺騙法
案例一:將指標分開單一看,忽略多環節指標
在統計用戶反饋的時候,只看到幾個用戶反饋一個問題,這些反饋在整個問題里占比只有1%,你覺得這個太低了,不加以重視!但是,你不知道另外99%遇到這個問題的用戶很可能卸載你了!??!
案例二? :?高流量即高轉化?錯!
一篇文章百度帶來100個leads,微信帶來80個leads。但百度帶來的流量最終轉化為60個注冊用戶,微信渠道最終轉化了64個注冊用戶,哪個渠道比較好,不能單純根據流量來源多少定吧?
圖/數極客用戶行為分析工具
大流量、收錄高是獲得好轉化、好排名的基礎,是敲門磚。但絕不是決定性的唯一因素。某些情況下,大流量是獲得轉化的前提,也就我們平常所說的擴大用戶池子。在獲得流量后需要考慮如何提高產品轉化。但某些情況下,流量轉化的高低取決于渠道質量的好壞。
3、被動欺騙法
案例一? :?只看數據不考慮其他因素
比如:A入口的留存率是30%,B入口的留存率是50%,大多人都覺得B入口的功能更吸引用戶。但你忘記了B入口藏的非常深啊,進到這里的用戶都是非常忠實的用戶當然留存高啊,這就根本沒法說明B比A好。
案例二 :?只關注產品而不關注外界的決定性因素
當年Firefox用戶與Mac用戶對支付寶重要與否,單從瀏覽器數據統計看,Firefox訪問支付寶的比例太低了。不過因為支付寶不支持Firefox,所以,這個比例不能用作判斷的依據。Mac用戶也是一樣。再說一個,支付寶當年代繳水電煤的項目改版之后,發現繳費用戶立刻暴增,產品人員欣喜若狂。后來某同學分析一下,原來那幾天是每個月水電煤繳費高峰期,周期性的抽風。其實呢,分析一下我國有關部門發布的數據,你會發現那都是一些說謊的數據。
案例三? :?數字背后對應的內容可能更重要
改版了款wap產品,沒做任何推廣前提下,發現流量飆升,尤其匿名用戶漲了3倍。因為產品本身用戶基數低,所以流量翻了兩三倍也算正常。當時估計是SNS的口碑傳播導致的。但最后還是覺得不對勁,查了一下,發現是搜索引擎在抓頁面,因為改版了,所以它們要重新抓一次。空歡喜一場。數字還是那個數字,但背后它到底對應了什么內容,常常被忽略了。在與數據打交道的過程中,我們會因為各種原因,導致分析的結論出現較大的偏頗。
那如何避免被 “說謊的數據 ”欺騙呢?
警惕5大誤區,讓數據不在說謊
(1)選取的樣本容量有誤
08年奧運會上,姚明的三分投籃命中率為100%,科比的三分投籃命中率為32%,那么是不是說姚明的三分投籃命中率要比科比高?
顯然不能這么說,因為那屆奧運會,姚明只投了一個三分球,科比投了53個。
因此,在做數據對比分析時,對于樣本的選取,需要制定相同的抽樣規則,減少分析結論的偏差性。
抽取樣本的方法有:
- 隨機抽樣
- 系統抽樣
- 整群抽樣
- 分層抽樣
各種抽樣方法的抽樣誤差一般是:整群抽樣≥單純隨機抽樣≥系統抽樣≥分層抽樣。
圖/數極客用戶行為分析工具
(2)忽略沉默用戶
用戶迫切需要的需求≠產品的核心需求
產品經理在聽到部分用戶反饋的時候就做出決策,花費大量的時間開發相應的功能,往往結果,可能這些功能只是極少部分用戶的迫切需求,而大部分用戶并不在乎。
忽略沉默用戶,沒有全盤的考慮產品大部分目標用戶的核心需求,可能造成人力物力的浪費,更有甚者,會錯失商業機會。
(3)混淆關聯與因果
某電商網站數據顯示,商品評論的數量與商品銷售額成正比。即一個商品評論數量越多,那么該商品的銷售額也會越高。
假如我們認為評論多是銷量高的原因的話,數據分析的結論就會指導我們,需要創造更多的商品評論來帶動商品銷量。
但如果真的這樣操作的話,就會發現很多商品的銷量對于評論的敏感度并不一樣,甚至很多商品銷量很高,但與其評論的多少毫無關系。
這里,我們就需要思考,評論真的是影響銷量的必然因素嗎?
除了評論之外,影響銷量的因素,還有其質量、價格、活動等,如果能完整的認識到這些因素,那我們要拉升商品銷量,首先會需要先從其他角度來考慮,而非評論入手。
因此,在分析數據的時候,正確判斷數據指標的邏輯關系,是指導我們做出產品決策的前提。
(4)可視化表達方式有誤
用來表達數據的圖表的長寬,取值的間隔,數據的標準化等都會造成視覺上的誤差。
由上圖可知,如果數據的取值間隔劃分過大(等比數列 1,10,100,1000,10000)而不是標準等差數列(1,2,3,4),則數據之間巨大差異會被縮小。
- 左圖暗示“湖北、河南、江蘇總產值排名前三遠超其他省市”
- 右圖暗示“各省市總產值相差并不太大”
數極客在可視化數據看板里面,采用統一的圖表標準,選用最適合企業查看的數據表達方式。不僅擁有可視化圖表,而且還有可視化埋點,讓數據分析完全自動化,定制化。
圖/數極客用戶行為分析工具
(5)過度依賴數據
過度依賴數據,一方面,會讓我們做很多沒有價值的數據分析;另一方面,也會限制產品經理本來應有的靈感和創意。
比如,分析馬車的數據,很可能我們得出的結論,是用戶需要一匹更快的馬車。如果過度依賴數據,局限了我們的思維,就很有可能不會有汽車的誕生。
很多優秀甚至偉大的產品決策,并非通過數據發現的,而是一個產品經理綜合智慧的體現。
數據是客觀的,但是,解讀數據的人是主觀的。
只有正確的認識數據,才能正確的利用數據。
強大的功能和嚴謹的數據分析邏輯已經被越來越多的產品經理,運營人員所推薦。
文/老衲原創,部分內容選自人人都是產品經理
作者:老衲(公眾號:ifenxipai),數極客數據分析師,新媒體運營。玩轉運營及數據分析的應用,擁有大量相關經驗。
本文由 @老衲 原創發布于人人都是產品經理。未經許可,禁止轉載。
題圖來自 Pexels,基于 CC0 協議
寫得不錯,感謝分享~雖然是篇軟文??
再一次讓我想起世界杯 巴西VS德國,控球射門數據勢均力敵,但結果就是7比1