把波動當異常,小心變傻子
編輯導讀:工作里常常會出現關注的指標或數據出現波動,或者在分析某個功能時發現難以理解的數據的情況,當APP產品業務線的某個數據指標出現異常的波動時,該如何著手數據異常分析呢?本文作者從自身經驗出發,圍繞數據波動的問題展開了思考,一起來看看~
一大早,剛剛到工位。
領導:“小明,XX指標昨天有些異常,你盡快確認下原因”。
小明:“好的,我這就看看,盡快給出結論”。
大家看到這個情景,不用我說,肯定都知道怎么回事兒。
相信大家都和小明一樣,遇到波動時,我們都會條件反射的疑問:啥又異常了?
但是,再深入想想,這個“異?!笔俏覀儭袄硭鶓敗闭J為的“異?!?,并不一定是真異常。
數據分析切忌“理所應當”,某些問題的原因,查到最后都在”理所應當“里。
我們來拆解下“啥又異常了”這句話
“啥”
一定有個主體。
我們要非常明確的知道,XX指標波動了,代表的業務含義是什么。
我們才能知道,業務上,這個波動可能引發的原因,以及可能影響的范圍。
“波動”
就是起伏不定。
那么起伏了多少,我們如何量化?
量化了波動大小,再去對比校驗,是否才能知道波動是否異常?
確認了波動異常,是否才應該去定位引發異常的原因?
“又”
說明不止一次的發生了波動。
那么,對于這些不止一次發生過的波動,我們是否有詳盡的監控機制,預警機制,原因鉆取機制?
再發現波動后,我們如何更高效、準確的落地原因和后續改進措施?
根據 “啥又異常了”?這句話的拆解,我們來總結下如何解讀指標的波動。
第一步:定位波動主體及波動性質
我們先來解決“啥”的問題,也就是波動的主體以及波動是否異常。
關于波動的主體
明確是什么指標波動了,對應的業務含義是什么。
如果是通用指標,那可以視情況而定是否需要解釋對應的業務含義。
- 步驟1:什么指標在什么時間內產生了波動,對應的指標,在業務上的含義是什么
- 步驟2:這個波動的對比方式是什么?環比?同比?還是歷史均值?
- 步驟3:指標波動的大小,即對波動有一個具體量化
公式總結:業務 + 時間段 + 對比方式 + 定性的量化
如:DAU(業務)??昨日(時間段)?同比上周(對比方式)下降了5%(定性的量化)
關于波動是否異常
明確波動是否是異常,并給出自己的判斷。
- 步驟1:結合之前的數據經驗和業務了解,初步判斷波動是否異常
- 步驟2:通過歷史一段時間內的自然波動閾值,查看相對波動值是否超出閾值,如果超出,則大概率是異常
- 步驟3:針對異常,給出一個明確的定性,是由于什么原因引起(一定要嘗試給結論,哪怕這個結論在初期是錯的,在不斷提升改進之后,也會越來越好)
tips:步驟3的結論總結,可以后期分析出結論后再給,當然,如果業務方著急,可以通過平時的積累和業務經驗做一個初步判斷
公式總結:歷史情況?+?波動閾值?+?初步判斷
如:對比去年的趨勢發現(歷史情況),此次下降超過了歷史波動閾值(3%)(波動閾值),推測由于 XX 原因引起(初步判斷)
第二步:定位波動的原因
我們再來解決“波動”的問題,也就是引起波動的原因。
原因初定:從大方向上,初步確定引起波動的原因。
從時間的角度
從時間的角度,我們可以依次看周同比、月同比、年同比。
即:從時間發展的角度,我們確認指標波動是否具有周期性,通過周期性的波動規律,我們能夠大致定位該次波動是否屬于季節性趨勢
比如:
- 招聘的高峰期都在年后,那年后換工作潮,會導致APP的各項指標增長;
- 旅行的高峰期都在節假日,那旅行相關APP的指標在節假日肯定會有波動;
從業務的角度
從業務的角度,我們可以去和對接業務方了解溝通,確認近期“動作”。
即:從業務的方向出發,我們確認指標波動是否由于業務的變動導致,通常業務的變動如果和指標的變動時間點能對上,那么大概率是由于業務變化導致
比如:
- 市場近期做了一波市場營銷,推廣了某活動,那么,某些流量相關指標會出現波動
- 渠道側調整了渠道投放策略,那么,某些留存&NU指標會出現波動
從指標的角度
從指標的角度,我們可以和數據工程師確認流程中的邏輯和執行流程。
即:從指標本身出發,我們確認指標波動是否由于ETL流程 or 指標計算口徑中未發現的“坑”導致,通常ETL流程部分失敗,或者埋點中,異常值增大,都是由于一些數據處理流程中的“坑”沒被發現導致。
比如:
- 產出業務指標的表格依賴上游3個表格,但是因為沒有配置依賴關系,且其中一個表格未產出,導致整體業務指標下跌。
這個問題通常整體指標都會波動,如果僅從時間和業務角度切入問題,對于問題的定位會比較難。
原因下鉆:確定大方向后,下鉆至能解釋波動50%以上的可落地因素
從時間的角度
從時間角度切入波動,一般都是周期性趨勢的解讀,如:
- 某教育相關APP,高考出成績那天流量達到頂峰,主要由于高考查分導致
- 某天氣相關APP,由于近期天氣多變,雨雪交加,導致流量上漲
tips:時間角度的切入,較考驗業務的了解程度;只有知道產品的用戶是誰,切入實際生活中,我們才能把指標波動和實際生活所結合
從業務的角度
從業務的角度,我們反而更容易切入問題,如:
- 渠道策略調整,導致NU及留存下降,那么我們對渠道細拆,就可以知道具體是哪個渠道影響了NU及留存
tips:針對業務的角度,我們需要確認,是業務上的什么“動作”影響了指標,就能比較清楚的知道原因及拆解方向
從指標的角度
從指標的角度,我們關注一些物理特性就好,如:機房、IP、域名、生成時間、整體數據量的大小。
因為通常情況下,ETL異常or指標中的“坑”,都會有較明顯的異常值,我們只需要監控常用的物理特性中的異常值就好。
tips:針對指標本身,我們只需要前期設定部分規則,監控規則下的數據大小變化,就能較容易的發現異常
公式總結:數據結論 + 業務解釋
如:拆分渠道后,我們發現,XX渠道NU大幅減少,對整體DAU減少貢獻XX%(數據結論);該情況和市場核對后,發現主要是由于XX渠道ROI太低,渠道側減少該渠道的花費導致(業務解釋)
第三步:確立后續TODO
我們最后來解決“又”的問題,也就是 波動之后,我們該做什么。
我們在上面兩個步驟中,闡述了情況,明確了數據,解釋了原因。那么,后續我們該做什么呢?
如果是好的波動,我們復盤,我們下次如何做成這樣,或者做的更好。
如:市場做的活動,導致活躍orNU增加,那么下次,活動該如何做的更好,活動要不要更頻繁的做…
如果是壞的波動,我們復盤,我們下次如何避免這樣,或者提高。
如:APP某功能上線,要求用戶先使用功能A,才能使用功能B,導致留存下降;那么下次新功能上線時,是否需要做AB測試,是否需要提前做用戶問卷調研…
關于波動本身,我們是否對核心指標做了監控?
- 如果有,我們是否需要調整監控閾值,使異常抓取更敏感?
- 如果沒有,我們是否需要建設相關的監控,建立異常報警機制?
最后
提一個問題:如果一個指標能拆分至N個維度,我們在不和業務溝通的前提下,如何定位波動解讀的切入角度?
如:某流量型APP,整體流量可以拆分為 渠道、機型、城市、年齡、功能、是否算法推薦、是否運營操作等各種維度,在不和業務確認前,我們該如何定位本次波動需要從哪個角度切入?即 先拆解哪個維度,再拆解哪個維度?
以上,就是本期內容,希望對你有幫助。
本文由 @巡山貓 原創發布于人人都是產品經理,未經作者許可,禁止轉載。
題圖來自Unsplash,基于CC0協議。
- 目前還沒評論,等你發揮!