一個真實案例教你運用數據分析
數據分析是產品經理必備技能之一,本文以一個真實案例給大家提供了一些數據分析的思路,但還需大家自己多多思考,學以致用。
這次我們來聊聊產品經理的必備技能,數據分析,這也是18年我獲得的最大收獲之一。
為什么想單獨拿出來聊聊,我歸納為三個原因:
- 第一是重要,不重要的事誰會拿出來說不是;
- 第二是網上的文章理論偏多,實際真實案例少,誰會用一大堆概念和飄在天上的話去工作;
- 第三是對自己的復盤,算是對自己今年的一份重要的工作總結。話不多說,正文開始。
一、數據分析的作用
在切入正題之前,先來總述一下數據分析的作用。通常的答案都是什么了解產品現狀,知悉業務發展之類的,都不夠概括,嚴格定義上的數據分析作用一共有4條:
- 描述性分析,故名思義,主要是對已經發生的事實用數據做出準確的描述。比如某企業訂單履約率從上月的98%下降到了95%,屬于偏基礎類的工作;
- 診斷性分析,在知道了發生什么之后,更重要的是,我們要明白為什么發生。比如經過分析,發現訂單履約率下降的原因是成品生產不出來,無法完成交付;
- 預測性分析,基于上述兩個層次的分析,我們發現了其中的規律,即原材料供應商的送貨及時率會影響成品訂單的履約率。假如上月某原材料供應商A送貨及時率只有70%,通過建模,我們可以預測本月該供應商會使我們的訂單履約率下降2%;
- 處方性分析,有了預測性分析的結果后,我們無需再做事后諸葛亮,而可以運籌帷幄,在事前就采取措施。上例中,供應商A會導致本月我們的訂單履約率下降,我們可能采取的措施就是把A換掉,但是現在有B和C兩個供應商供我們選擇,該選擇哪個呢?通過分析和計算得出:選用供應商B會比選C的訂單履約率高1%,因此建議選擇供應商B。
常規情況下,產品經理對于數據分析只需要掌握到診斷性分析即可,根據診斷性分析結果出相應的解決方案,后面兩個更多的是數據分析師的工作,更為專業,深入。
二、一個真實的案例
在案例介紹前,再啰嗦一下我在處理數據分析工作時候的步驟:明確分析目的,數據收集,數據處理,數據分析,數據展現,報告撰寫。
展現和撰寫這篇文章就不說了,因人而異。我主要說一下確定目的、數據收集和分析環節:
- 確定目的,別以為這個就那么容易,不夸張10個人有8個不知道自己想干什么;
- 數據收集,其實就是定義指標,把指標和規則定義清晰,要看活躍,幾日活躍,怎么算活躍,很大程度決定了研發的時間周期有多少,很多情況是產品沒有想在前面,開發過程中反復去溝通,確認規則,導致數據獲取的成本異常大,延期也就在所難免了;
- 數據分析,要選擇科學的分析方法,目前分析方法多種多樣,對比分析、交叉分析、結構分析、平均分析等,根據這個案例選一個最適合的數據分析方法,才能事半功倍。
案例開始,先同步一下背景,有一個內容型的小程序,各位理解成小程序版的今日頭條即可,想要研究的是一進入小程序默認刷新還是手動刷新對用戶流失的影響,當前為用戶進入小程序后需要手動刷新,如果改成進入后程序默認刷新對流失有所緩解。
針對這個命題,各位都會怎么答?有可能直接就拆解目標,定義指標進行分析了,不好意思,可是我會先要做的是現狀流程圖,供我們更清晰的了解都發生了什么。
我們先從目的下手,目的有什么?從課題能獲知到的關鍵行為有刷新、流失這兩個關鍵節點,將這兩個節點連線,發現中間的部分是刷新后的反饋,也就是刷新有內容,刷新沒內容:
用戶可能的后續的行為,通過歷史數據可知,有退出行為、其它產品功能行為、瀏覽行為、刷新行為:
根據現狀需要畫流程圖一張:
Tips,產品經理畫流程圖是個好習慣,會有助于自己和別人理解你要做的事,并指出問題。
Tips2,產品經理的工作簡單也不簡單,簡單在于只要思考進行決策就可以,不簡單在于如何去把問題想清楚,會刷下去一大批人。
其中退出行為分為,有效退出,無效退出,和無退出行為,有效退出定義一個有效退出時間即可,比如退出時間-進入時間大于10秒以上。有人說了,退出不是只會有直接退出嗎,這里需要特別說一下,有交互的都已經分離出來了,只剩退出,怎么還分,因為有可能用戶是在認認真真的看這屏的內容,一屏就已經到上次瀏覽過的,而這次新的沒有感興趣的,或者是用戶上次誤觸退出,這次重新進入仔細觀看,依然沒有感興趣的,再退出,無效退出與之相對,在條件外迅速退出的用戶,判定為分析時要剔除的用戶數據,要做細,整理一下可見下表:
將上述情況,窮盡組合后,情況可見下表:
12種,并不多,接下來做什么,要發揮產品經理的另一個特性了,分析,標記每一個用戶行為的理由,并且篩選出你所關注的和你所對比的,比如:
還記得最開始的題目嗎,手動刷新改為默認刷新對用戶的影響,我們需要從上述一大堆東西里拆出來的是你要用的,剔除掉無用信息用作分析。要的是想清楚我們要什么,以及定義清楚我們要什么,這是最難的。從交互層面來看分為刷新過和沒刷新過,可以理解為把沒刷新過的用戶變為系統幫你刷新,而原有自己刷新的用戶作為對照組,把無效退出作為結果,一般來看,無刷新肯定沒新內容,有刷新的情況統一一下,最后預估出來影響范圍,一般來看,以本業務的情況,影響范圍會有在線時間、瀏覽文章數、復登情況,主要考慮的是復登,因為你擔心的是流失。
正常情況下,能做到這一點的,基本就可以結束了,納尼,結束了嗎?鋪墊了那么多。不,早著呢。如果按照5W2H進行劃分,誰、在哪兒、做什么、什么時候、為什么做,上面的僅僅包含了做什么,還剩一堆東西還沒有呢。
先說“誰”該怎么劃分呢。通過廣義定義,我們可以區分為新用戶和老用戶,粗暴定義新用戶是從未進入過小程序的用戶,規則為當日生成的open id即判定為新用戶當日活躍,無論當天多少次再回訪,也均判定為新用戶當日活躍;而老用戶是已經生成open id的用戶,老用戶還可以利用活躍行為進行分層,常規來看可以分為次日活躍、7日活躍、30日活躍、90日活躍、1年內活躍,因為產品上線不足1年,故此取前幾種。
從歷史數據來看,該業務對性別可能較為敏感,對省市地區不太敏感,故此再加上性別因素,省市暫時不考慮(一會你就知道省市不考慮是救了多少人的性命)。
好,按照以上的組合,可以列出用戶分層如下表:
這還僅僅是硬性用戶分層,在考慮問題的時候,還要加上業務狀態機,什么叫狀態機?就是你的用戶在當前經歷了哪些業務行為或者關鍵功能,你認為與本次實驗有關的都要納入進來,若你是開疆拓土的人,你要把所有的變量都想到,然后去搭建數倉,才能經得起后續的多維度組合分析的折騰。
本次分析實驗不多說,只說最重要的2個業務狀態機,一個是是否訂閱,一個是有無瀏覽行為,可能有些同學已經猜出我下面要做什么了,沒錯,表格呈上:
有人說有必要這么麻煩嗎?很遺憾,產品經理的價值就全在這里了,你若前期不麻煩,后期研發怎么辦,skr~~這就是僅僅4種狀態組合后的用戶分層情況list,40種情況,每種,都要對應后續的行為進行接入分析,因為每種人群都是可以在后續做任意動作的,所以這個分析是多維對多維,當你都列清楚以后,你才能獲知你真正要分析的數據到底是什么,記住別怕麻煩,怕的是不夠用心。
別急,要想完成分析工作后面還有,流程狀態,當用戶進入小程序的時候,有5種行為,加上上面4種(瀏覽行為,刷新行為,其它功能行為,退出行為),多了一個滾動行為:
且這個和上面用戶狀態不一樣,因為是流程,所以5種的流程是可以任意調換前后發生的順序的,比如不瀏覽先刷新再滾動,或者先滾動再瀏覽再刷新。而每種行為都可以再細分狀態,滾動行為可以分為3種,一般滾動行為,滾動到上次瀏覽,和無滾動,想清楚了之后,接下來怎么做,沒錯,畫表格,顯而易見會非常巨大:
我沒有做流程調換,僅用初始狀態做了示意,真正展開無差別分析的話,嚴謹進行可行性分析之后輸出全部狀態的,以此業務為例,極限狀態就是種可能。不過很容易就能看出,有一些是可以合并的,比如dz-72,無論怎么調換都是一樣的,這個表,對于數據可視化工具來講,就是?;鶊D,這個貨:
我們費這么大勁是為了什么?用戶動機,沒錯,上面的整理叫流程動機,我們分析的時候可以從結果動機下手,需要把相似的結果動機的流程放在一組,以上述為例,結果動機就是有效退出,或者無效退出。比如編號dz1-3可能是正常用戶行為,dz4-6可能是沒刷到感興趣文章的用戶(該做啥?優化算法?。?,dz7-9好像跟我們這個測試有關系,若把這些用戶都變成有刷新行為(dz1-3)能提升多少復登數、閱讀數、在線時長(KPI)呢?這就是精細化分析。不同的順序對于不同的動機也不一樣,比如一上來就刷新的,好像就是我們優化以后的預期情況?和哪個原始組作對比?優化了以后能提升多少KPI指標?是不是都能進行預估出來?
這樣進行的對照和對比,這樣出來的結果才是嚴謹的,且可控的,用于指導你的決策。最初的對照組1和2,也可以出結果,但是你永遠是個小學生的水平,而無法成一個初中生和高中生。
記住,這些工作都是在鍛煉產品經理的另一個核心競爭力的技能,用戶動機判斷,包含心理層面和產品層面,自己要去理解用戶才有可能做好。所以反觀回去看看,最開始的流程圖覺得還叫流程圖嗎?你提的需求還叫提需求嗎(我要分析一下默認刷新和手動刷新的流失關系,埋點就埋手動刷新數就好)?不是找打?
不過話說回來,真正用于數據分析的時候,上面嚇死人的表格一定不是這樣整理、分析,這樣分析你自己會崩潰,并且這么提需求研發也會打死你,要求的是對產品經理另一個變態能力的掌握——業務抽象能力,我一般會針對此也會抽象出下面這樣的表格直接給到研發,一目了然,也可以一起查缺補漏:
研發只需要知道的是維度,交叉分析是你要提給或者數據分析師自己就應該做的事,別覺得幾千種可能性很可怕,數分析師還是比較輕松應對這些的,如果是對用戶屬性及其敏感的業務,一定要把用戶逐一分層再帶入后續流程進行分析,也就是編號ny那張表,每個屬性的用戶對后續操作的轉化率可能都是不一樣的:
你可能做了一個策略,對大多數用戶群有效,正數多負數少,大數上看來就是正數有效的:
但是這不是做增長產品的態度,市場增長就是要無所不用其極,從牙縫里扣東西。
拆解清楚每一個策略對用戶的正和負,保留下對新策略正向的用戶群,其它用戶群進行回滾保證不降低:
這樣持續的做下去,你的產品雖然復雜性越來越高,但是真的能獲得實打實的認知產品、分析結論和用戶增長。
這些數據維度和指標,不光代表了你的產品力,也代表了你提需求的水平,在規劃需求的時候這些都要想到,后續研發在進行工作的時候才更好的預估難度和工期,否則等你的要么是沒有結論的改版,要么是暗無天日的延期。
請把需求提明白,前提是你能把你要什么想明白,別想當然,每一個動作牽扯的因素都非常多,想清楚在動手,另外,本次的流程我僅僅局限在做關鍵動作之前的拆解,而后續的影響分析更為重要,也就是上述的回流、閱讀、在線時長等。假設你上了個策略,通過欺騙的手段讓用戶的轉化率提升了,但是總體的7日效率下跌了,這還了得,時間線短了說對其它業務、功能的影響一定要想清楚,嚴重了說你要是影響了充值功能,可怎么辦?一定要想好后果。
上述的表格僅作為示例,我就不做更詳細的拆解和分析了,感興趣的小伙伴可以接著做下去,是對初入產品的同學應該會有著幫助,一定從相同的結果動機下手,找到過程動機相同的對照組,去理解用戶,這樣的進行改版前的數據輔助分析,才能真的預估改版的合理性,需求的真偽性。
在得出結論后,也要學會驗證結論,可以利用交叉驗證的方法,都是可以側面去驗證結論讓分析做的更加可靠,嚴謹的。
三、其它的一些話
上述列舉了近期的一個案例,不是我自身的,全憑個人興趣深挖發揮,不過數據分析也不是萬能的,有一些誤區呈現給大家:
1. 選取的樣本容量有誤
忽略了有效用戶,囊括了無效用戶,上述案例中,若把用戶行為拆解開,能發現很多不一樣的特征和細節,同時有時候樣本容量的原因,樣本過少會讓結果變得不可測,樣本過多也有可能只在乎少量用戶的數據忽視了整體,有時候需要制定相同的抽樣規則,減少分析結論的偏差性。
2. 錯判因果關系
錯判因果關系,商品評論多商品賣的就一定多嗎?上述案例時,你能發現流失少就是刷新的功勞嗎,并不一定,有時候分母不一樣才是你獲得錯誤結論的罪魁禍首,在分析數據的時候,正確判斷數據指標的邏輯關系應該找幾者之間的相關關系而不是因果關系。
3. 被數據的表達技巧所蒙蔽
在做數據分析時,我們需要警惕一些數據處理的小計倆,最小區間,上下極值,主次坐標軸等,不要被數據的視覺效果所蒙蔽。
4. 過度依賴數據
不要過分依賴數據,做一些沒有價值的數據分析,很多牛逼的產品決策,并非通過數據發現的,而是一個產品經理綜合智慧的體現。
最后還沒有重視起數據分析的企業應當著重注意了,傳統老牌沃爾瑪就是從數據分析中獲取到了巨大的寶藏,從以下3個方向足以說明一切:
- 在價值認知上,傳統企業需要認識到數據分析是能夠帶來的巨大價值,且這種價值是可留存的,得天獨厚的競爭壁壘;
- 在方法論上,傳統的企業不必在不同部門里面推行數據分析的各種方法體系,這些體系已經被歐美總結了至少30年,很多我們沒有必要重新發明;
- 在技術工具上,國內已經如雨后春筍一般生出很多數據分析平臺,工欲善其事,必先利其器,這是每個企業提高效率最好的手段和途徑,讓傳統企業轉型高科技企業的難度大大降低。
總結
說了那么多,希望大家不要被網上那么多的概念所迷惑,產品經理不能為了數據分析而分析,而要將落腳點放到產品和用戶上。數據分析應該幫助產品經理不斷優化產品設計和迭代,驅動產品和用戶增長,做好成本把控,風險預測才是本質目的。
工作中處處留心,可以避免走入很多的誤區。產品經理每一個決策幾乎都要牽涉到很多方面。磨刀不誤砍柴工,多想想再去做,說不定效果更好。
上述的案例是偶然聽到的,不是自己經歷,全憑自己興趣進行深挖,可能會有分析不到位的地方,多多理解。希望能給各位提供良好的數據分析的思路,足以,歡迎多多交流。
#專欄作家#
吳邢一夫(微信號mystic326531548),人人都是產品經理專欄作家。5年產品經理工作經驗,需求、用戶、數據有深入研究。歡迎交流想法,拒絕無意義添加好友。
本文獨家發布于人人都是產品經理。未經本站許可,禁止轉載。謝謝合作。
題圖來自 Unsplash,基于 CC0 協議
我覺得寫的挺好呀 其實就是看多個因素的影響 不要只看刷新一個緯度所導致的結果
為啥很多人喜歡反問你 我覺得這篇文章還是有點東西的
我也好奇為什么不做AB測試,用工具去幫你做更客觀的流量分發
我覺得你的實際操作很精細,但是你的數據分析理念和方法我覺得還有其他更好更充分的,不過看的出來你很注重細節和執行。不知道這一系列的分析和產品的完善有沒有達到增長的目的
為什么要把無效退出作為結果設置對照組呢,數據小白還望指教,謝謝
我理解是無效退出算流失
這個數據可視化工具是啥?
為啥你的每個色塊代表的東西不一樣?
為什么不直接做ab測試
你真是好厲害啊,文章看得我熱血沸騰,這才是專業的素養