產品思考:上線后的數據分析
編輯導語:數據分析對于產品工作是十分關鍵的,但是在日常工作過程中常常會出現各種各樣的問題,本篇文章作者分享了產品上線后的常見的數據分析等內容,一起來學習一下吧。
數據分析是產品工作中重要的一環,但真實工作場景中,會受到諸多的限制,包括但不限于數據缺失、臟數據極多、數據工程與數據分析的資源缺失、項目時間等等。
很多項目,都是在沒有完整數據分析支持的情況下落地的。
這篇文章想聊下常見的數據分析和幾類項目的數據分析。
前者多是知識的堆砌,后者多是個人的經驗。
一、常見的數據分析
統計課上將各類方法分為描述性統計與推論性統計,但在實際的業務情景中,需要的數據分析結論能明確的指導業務動作。需要了解,面對各類情景,需采用怎樣的分析方法。
一個大佬的總結到,常見的、高頻的數據分析方法或情景有三類:對比、下鉆、分布。這三者能覆蓋大多數產品的工作了。其余的數據分析模型,聚類、分類等在實際中應用的較少。
1. 對比
將兩組樣本進行對比。包括橫向的對比,比如A樣本組 vs B樣本組,以及縱向的對比,比如A樣本組在a時段的表現 vs b時段的表現。
假設檢驗中常用的方法為t檢驗、f檢驗,但據我觀察除非樣本量較小,或者相對值較小的情況,很少用到假設檢驗的方法去判斷差異顯著性,更多的是基于兩者對比的差值來做判斷。
2. 下鉆
下鉆指的是將1個一級指標拆解為n個二級指標,再拆解為m個三級指標。
包括行為的下鉆(漏斗分析、路徑分析等),也包括指標的下鉆(DAU拆解等)。
下鉆分析過程中,常用的分析原則為“MECE原則”,指的是拆解過程中每一級指標間不遺漏、不重疊。
3. 分布
分布指的是看一組樣本的某個數據的表現,包括集中趨勢(平均值)以及離散趨勢(標準差)等。往往通過散點圖或箱線圖的形式呈現。
同時,基于分布,也可以看未來的數據表現趨勢,比如通過不同時間點留存值的分布,看未來時間上留存的表現趨勢。
二、幾類項目的數據分析
“項目上線后的數據分析”,這個影響的因素太多了,公司、個人、項目等等。
不同方向的項目,能夠調用的數據資源,分析的價值,難度都是不一樣的。
但對于每一個產品,通過數據結果來證明項目價值與作用,在當今這么卷的背景下,是工作中重要的一環。
1. 低難度——策略試驗
策略類產品往往上線前就有完整的數據假設,實驗方案與資源,上線后的數據分析并不困難。
能拿到精確的結果。需要注意的是實驗分組需規避其他實驗組的影響,不過大多有實驗平臺,或者依靠哈希值分組,能夠較好的處理這一點。
2. 中難度——活動向&C端功能向
大多有明確的數據指標導向,比如拉新、拉活、拉營收等等。
這些活動的數據分析,核心需要規避掉其他無關因素對結果的影響。
最常見的影響因素是時間,一個時間段內可能有多個活動進行,需要選取樣本時進行一定的篩選,保證樣本間的對比是無其余近期上線活動、功能的干擾。
另一個在對比時需要規避的是樣本組內其余變量的干擾。
比如,參加活動的有可能天然是那些積極的用戶,這些用戶本身就比不參加活動的用戶有更好的互動、營收,那么結果的信效度就會受到挑戰。
常見的方式是通過用戶分層,來細化分析,這一方式簡單,但比較粗糙。
我更認可的是采用傾向性匹配得分(PSM),通過羅輯回歸,選取1-2個對目標變量(活躍)影響最大的核心維度(如歷史付費),通過控制樣本間1-2個核心維度的指標相同(方差齊性),來保證樣本間對比的有效性。
3. 高難度——體驗優化&通用能力
這些需求項目在業務中也經常遇到,但立項之初核心解決的問題可能更偏向用戶的具體訴求,而非某一個具體的指標。
體驗優化的項目是其一。
舉個不恰當的例子,原先app中所有的交互都是不一致的,高度不一樣,彈窗并發等等,體驗很差,設計和產品同學把所有的交互UI都統一了,邏輯也更合理,是一次體驗優化。
但這種體驗優化,短時間內其實很難表明其價值,或者很難用數據來衡量其價值。這就需要長期的觀測,或者是依賴用戶研究的支持,通過NPS等指標來輔助分析。
但如果在一個非常卷的公司里,可能產品還沒拿到長期或其他的數據分析,就已經因為沒有數據能證明項目價值被開除了。
基礎能力建設的項目是其二。
一些業務的基礎能力(非中臺能力),比如美顏能力(不是很恰當的例子),這是一個非常核心但基礎的功能,如果是從0建設起來,在用戶層面一定是有價值的,但其核心影響的指標是?
后向的觀測指標是?這些指標往往非常的多,但每一個可能相關性都不是那么高。那么,剩下的指標可能就是該功能的滲透率了。
對于這類項目,會遇到一個尷尬的點,核心觀測指標是功能的滲透率,但功能滲透率并不說明價值,需要其他的后向指標來輔助。
功能向體驗優化是提升產品的用戶價值的,但這些短期內難以有明顯的數據變化趨勢,同時效果很難歸因。這類項目往往也爭取不到數據資源,需要依賴產品本身的數據能力。
還有一類是B端的項目,但我對B端不熟悉,就不再展開了。
上述在數據分析上的難度,往往是由于項目前期沒有明確的量化假設所造成的。
需要提前想清楚項目貢獻的數據的表現差異,盡可能的通過版本灰度期間的數據對比,通過前端的埋點數據,進行分析,拿到可信的結果。
本文由 @斯金納的咕 原創發布于人人都是產品經理,未經許可,禁止轉載。
題圖來自 Unsplash,基于 CC0 協議。
跟日常工作很貼近,受教了