數據驅動的核心 ——聚焦唯一關鍵指標OMTM

3 評論 20389 瀏覽 69 收藏 15 分鐘

近年流行的精益創業方法,提出一種“建造—衡量—學習”的過程。這3個環節中的建造和學習都比較直觀易懂,憑借常識都可以上手操練。剩下的“衡量”則有點門檻。許多非數據運營出身的產品經理,在數據分析上可能會直接套用一些傳統方法,然而問題是:傳統方法能直接用于精益的“衡量”環節嗎?傳統方法分析出來的結論,能驅動后續的產品發展,從而構成精益閉環嗎?如果不能,那怎樣才算精益的“衡量”呢?

先從精益的字面來看問題:精是少而精,益是有益有效;也就是說,精益的衡量方法也要少而精,也要產生切切實實的效果。

由此,精益創業又提出一個概念:唯一關鍵指標(one metric that matters, OMTM)。在任何類型產品的任何一個階段,都需要找到唯一的一個數字,把它放到比其他任何事情都更重要的位置上。在數據分析時,可以抓取許許多多的數據,但必須聚焦在最關鍵的事情上。

為什么要聚焦在唯一的指標上呢?理由有四:

  1. 唯一指標能幫你弄清楚當前最重要的問題。
  2. 唯一指標強制你擬訂一個清晰明確的目標。
  3. 唯一指標讓整個團隊充分聚焦,打好關鍵戰役。
  4. 唯一指標更利于執行“假設-驗證”的精益實驗。

既然OMTM如此的重要,那么,我們如何選擇唯一關鍵指標呢?

  • 好指標是可比較的。
  • 好指標是可理解的。
  • 好指標會指導你的行為,無法用于指導行為的數據只能算是虛榮指標。

可以根據產品的類型和所處的階段,來選擇不同的唯一關鍵指標。

選擇好OMTM之后,根據產品和用戶群的特點,根據當期數據的情況,我們要“不擇手段”地對其進行分析。常見的分析方法有同期群分析(Cohorts)、人群聚類分析(Segments)和A/B測試,等等。

最后,要給自己制訂數據目標,并且在精益過程中時刻注意:如果你已經在這一指標上達到了目標水平,就可以進入下一階段,并重新選擇另一個唯一關鍵指標了

實踐案例

在一個手機音樂產品中,我們對精益創業的唯一關鍵指標(OMTM)進行了探索和實踐。

在這之前,我們采用的是較為傳統的數據分析方法,每個月都對該產品的新增用戶數、總用戶數、活躍用戶數、次月留存率、歌曲播放總次數、業務收入等數據進行一次全面的分析。

對于我們這種產品經理兼做數據分析的小團隊而言,傳統方法的缺點其實很明顯:分析角度多,報表冗長,統計分析工作量大,給人講一次都很耗時。這直接導致兩個后果:分析頻次不可能太高,最多一月一次,無法及時反映產品、運營和市場的變化;看著滿眼的數據,產品經理總是淺嘗輒止,難得深入探究,也就無法領悟數據的變化規律,對業務數據的敏感性也就無從談起了。

意識到上述問題之后,根據OMTM的方法,我們定下運營指標的四原則:要少,要可比較,要理解透,要指導行為。其中,前兩個原則又是重中之重:只有少,才能理解透;只有可比較,并且理解透,才能真正指導后續的行為。

根據這4個原則,我們重新對音樂產品的數據指標進行了審視。

1)總用戶數、活躍用戶數、歌曲播放總次數、業務收入,這些絕對數值恰好是精益中典型的虛榮指標,無法用于判斷產品方向和執行情況,果斷去掉!

2)把原有指標進行調整和換算,可以得到一些可比較、可指導行為的指標:用戶增長率、日活躍比、日活躍程度、付費轉化率,再加上原來的次月留存率,指標的種類還是太多。仍然要去掉絕大部分!

3)根據產品的特性以及所處的發展階段,首先拋棄了兩個指標:用戶增長率(因為我們的用戶新增渠道比較穩定)、付費轉化率(因為收入還不是我們當前的目標)。

4)最后,在剩余的3個指標中再次進行艱難的選擇。

  • 留存率(次月留存,或次七日留存):糾結地選擇了去掉。因為我們的產品已經發展了一年多,新用戶的流失比較穩定,控制在了較低的水平,而且產品的發展目標是要成為有影響力的音樂媒體,最終要追求的是用戶的訪問流量。新用戶的留存固然重要,但已經不是當前的主要矛盾。
  • 日活躍比(日活躍用戶數/總用戶數):決定保留。因為近期的產品優化了視覺感受,并增加了外鏈、推送等刺激活躍的運營手段。日活躍比這個指標,既能有效反映出新版本和運營手段對用戶的刺激,又構成了音樂媒體訪問流量這個總目標的一個重要環節(流量只取決于兩個因素:活躍用戶的數量、活躍用戶的平均流量)。
  • 日活躍程度(日活躍用戶當日播放的在線歌曲平均數)。先去掉。因為這個指標主要靠榜單和歌單的內容運營,而這項工作剛剛起步,還沒有評估運營效果的基礎。雖然也是流量目標的重要環節,但可以放到下一階段重點考慮。

我們給最終勝出的OMTM(日活躍比)起了一個名字,叫圍觀指標,也可以叫唯關指標(唯一關鍵指標的簡稱)。更重要的是,這是一個大家都要來圍觀的數字——我們要完整地采集日活躍比的相關數據,并且要能夠分版本、分渠道來看這個數字;我們每天都要針對不同版本和渠道來監控這一指標的變化,并在辦公區域張貼最新的數字;我們每周要做一次分析,看看其走向是否符合預期,如果有異動,還要深挖原因,采取措施;在我們每次進行版本更新或運營活動之前,都要有意識地預估這一指標的變化,事后驗證執行的結果。

這一系列“圍觀”的工作量,看起來不小,實際卻由產品經理和研發負責人兼職完成。像我們這樣沒有專職數據分析師的團隊,要不是因為指標足夠少、足夠簡單,決無可能做到這樣的關注力度。

我們在音樂3.0版本升級之前,針對圍觀指標進行了預估。在更換了一版清新的界面,并提高首頁歌曲推薦的頻度和質量之后,預計新版(v3.0)的日活躍比將從舊版(v2.8)的10.5%增長到13%。

在大規模發放新版本之前,先來個小規模實驗:首先針對某一個渠道的v2.8用戶發布了升級包。兩周之后,升級到3.0的累計用戶量達到5萬,具備了一定的分析基礎。

然后,針對該渠道的這兩個版本,分別畫出了近兩個月的日活躍比曲線。v3.0的日活躍比大幅跳升,居然在40%左右浮動。

36-2

圖一:日活躍比曲線

結果令人興奮!但我們不由得懷疑——新版本真有那么好嗎?或許新版本的用戶由于新鮮感,活躍度在短期內得到提升,但也不可能高出那么多啊?

我們重新審視這次的對比分析方法,發現其中有一個不可忽視的影響因素——用戶質量。在這次實驗中,我們的3.0新版本全部通過自升級渠道來發放,因此,v3.0的活躍數據完全來自于主動升級的用戶。而這些主動升級的用戶,極有可能是我們產品的忠實用戶,本身的活躍度就遠高于平均值。將這批人的表現來跟總體表現比,得出新版效果好的結論,不具備說服力。

這就好比是一年級不分班,到了二年級,根據一年級的個人成績,將學生劃分到普通班和重點班,然后二年級再考試的時候,發現重點班成績明顯高于普通班,并將其歸功于重點班老師的教學水平,這其實并不公平,對嗎?從v2.8主動升級到v3.0的用戶,就像是成績好的一年級學生,分到了重點班。

綜上原因,我們發現,要想拿到靠譜的、可比的新版本日活躍比數據,不能通過自升級來做實驗,必須通過新增用戶來看。但我們又想在大規模發放新版之前,通過這兩周的升級實驗來確認新版的效果。怎么辦呢?

最終,我們改用同期群(Cohort)分析法,針對這兩周從2.8升級到3.0的用戶,觀察其升級前后兩周的活躍情況。統計結果是,這批用戶在升級前兩周的日活躍比為25%,升級后兩周則是41%,提高了16%。這至少可以說明,在愿意主動升級的忠實用戶(也是我們重點關注的用戶群)身上,新版的日活躍比得到了非常明顯的提升。此外,我們還搜集了許多用戶反饋,對新版的正面評價遠多于負面。主觀反饋和客觀數據相互印證之下,我們立即啟動了3.0版本的大規模發放。

有了理想的分析方法,還要在實際執行中靈活處理,只要方法靠譜、數據靠譜,就能指導下一步行動。這才是精益的本質。

在那之后的一段時間里,新版本逐漸覆蓋了所有的新增渠道,而總體的日活躍比也日趨穩定在一個比較好的水平,我們也在考慮進入下一階段,開始選擇新的圍觀指標了。日活躍程度(日活躍用戶當日播放的在線歌曲平均數),將成為我們的下一個候選。因為這個指標跟日活躍比相乘,就構成了整個產品的發展目標——用戶流量。此外,這個指標也非常容易理解:今天活躍的用戶,平均每人在線聽了幾首歌。對數據指標的直觀認識,將有助于我們在分析數據時迅速發現異常,迅速理解問題的所在。同時,我們下一階段的工作重點,也會圍繞日活躍程度,去強化榜單、歌單、熱搜詞的內容運營。

最后要補充說明的是,除圍觀指標之外的其他數據并不是沒用,只是不作為重點來監控分析。例如,總用戶數、活躍用戶數這些虛榮指標,并不是真的就刪掉了,而是放在給公司的月度或季度匯報中,用它來體現產品的體量和商業價值。再如留存,其實與活躍度有著千絲萬縷的聯系,在圍觀指標出現異動時,在假設驗證的精益實驗結果發生偏差時,仍然會利用留存這一工具來嘗試定位背后的原因。

總結分析

通過唯一關鍵指標的運營實踐,我和我的團隊有了許多的收獲。

在從傳統分析法轉向精益分析法的過程中,我們體會到一切從目標出發,多問幾個為什么的重要性。不要迷信你沒有真正搞懂的方法,高大全不一定適合你。而且,你搞不懂也就一定用不好。

從圍觀指標這件事身上,我們充分感受到了精益的魅力。少、理解、比較、指導,環環相扣,缺一不可。數據不在多,而在于你能否理解透,能否用好。要數據,更要讓數據驅動業務。

在具體實踐中,我們認識到理論和實際還是兩回事。擁有完備而強大的精益方法之后,項目實踐時還要根據環境和條件靈活執行。畢竟,人是方法的主宰。

#作者信息#

龍志勇:IT行業老兵,曾在中國電信、阿里等公司從事產品工作。寫過軟件代碼,做過運營支撐,干過項目管理,講過售前方案;最終誤打誤撞進入產品這一行,負責安卓ROM產品,針對系統級的互聯網服務做過許多探索。

 

本文選自《產品經理:48位一線互聯網產品經理的智慧與實戰》

未經書面授權,禁止轉載,違者追究法律責任。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 有數據分析的書單嗎,比較適合互聯網的,系統性的?

    來自廣東 回復
  2. 從2.8到3.0的時間點前后推兩周的對比分析要考慮著四周中的運營情況,比如說《中國好聲音》、《我是歌手》、《瑯琊榜》等的影視內容是否對你們的內容有影響,如果很小或者沒有,這個上漲才是由產品帶來的,否則就是由內容帶來的。

    讀后感想,不一定對,僅供參考。

    來自上海 回復
  3. 不錯,謝謝謝謝!

    來自廣東 回復