指標管理系統從0到1,從規劃到落地,這篇文章手把手教會你
為了做好指標管理,企業可能會落地一套指標管理系統以解決問題,但實際上,指標管理系統想做好可能并不如想象中的那么容易,這其中有很多坑需要我們提前避開。這篇文章里,作者就做了解讀,一起來看看吧。
假如你所在的企業業務發展迅猛,在強調用好數據的當下,如果沒有好用的系統,肯定都會逐漸碰到如下問題:
- 不知道有啥:企業數據資產多如牛毛,但知道和找到對的數據卻困難重重;
- 需求滿足慢:搞清楚自己該要啥該找啥,你會發現公司業務多變化快,需求多,取數人力不足;
- 指標對不齊:數據變更快,變更記錄不及時,數據來源多、數據處理人員多、口徑多,多份數據對不齊;
- 問題排查慢:系統數據出問題,數據加工鏈路長,碰到人員流動和交接,問題排查慢,修復耗時長。
發現數據問題,定位數據問題,解決數據問題,經常搞得基層員工焦頭爛額(如果你在基層干過,真的而是叫天天不應叫地地不靈)。千里之堤潰于蟻穴,這些看似不起眼的小問題,慢慢就會積攢成大問題,甚至會嚴重影響到整個組織的日常工作、戰術目標達成、戰略愿景的實現,落后的生產力和需求嚴重不匹配時,當非技術出身的管理層、領導層都能感受到問題的嚴重性時,于是,就可以從上而下開展轟轟烈烈的優化治理專項。
這種企業信息化升級,往大了說,可以說是數據治理、數字化轉型之路。一般來說,大家說的都是構建高效智能的數據中臺,數據治理可能也提上了日程。數據治理的核心是什么?核心是統一數據口徑。數據口徑的抓手就是【指標】。
從產品的視角來看,指標管理最終的目標是:讓大家能清楚看到、方便用到。
一、前期規劃
市面上關于【如何建立指標體系】的方法論一搜一大堆,相對而言,講如何構建指標管理系統的少了不少,不過只要耐心搜尋,大廠的競品就等著你發掘,而且文檔還比較全。等你擁有了這些參考信息,系統就實現了80%了,因為功能和界面交互都很好抄,就差工程師幫你把系統開發出來了。
但其實指標管理系統想做好并不容易,因為可能做完系統,進行指標管理落地時,更多問題會凸顯出來,尤其是在業務已經發展起來的階段。
作為一個有很多失敗經驗的老產品,接下來給你分享一些微不足道的經驗。
第一,你要定位問題。
你要搞清楚,這個系統到底要解決什么問題,現狀是怎么樣的。誰在推動做指標管理、指標治理這件事情。
很多時候,推動這件事情的人,是帶有研發背景、數據分析背景的領導,而這些領導規劃做這件事,也不是很清楚呢?;蛟S是因為看了一場其他同行的分享,被案例里的故事給說服了,然后開始未雨綢繆提前規劃這件事情。但是,在你規劃系統去解決問題之前,問題真的被定位了嗎?可能也不好定量描述問題有多嚴重,當前的損耗有多大,那是否有人定性地進行了描述呢?
領導對這塊問題的認知是什么,如果沒啥認知,讓我們解決的問題是什么呢?你可以把這些問題拋出來,問那個任命你來做這件事的人。這個問題是否在更高的層面拉通了認知,能爭取到多少解決問題的時間窗口,多少資源。
世人都曉神仙好,惟有功名忘不了?!白龊脭祿卫?,科學管理指標,數據驅動業務”,大家都會喊口號,為的是做成之后拿好處,可是真正能落實的人,并不多。很多時候,我們不敢提問,不敢拋出問題,組織讓我們做什么,我們就一股腦去做了。當這些問題并未暴露出來,我們都不清楚價值、意義就貿貿然開始做,那最后誰來認可咱們解決問題的價值呢?
第二,你要有抓手。
當你搞定了第一個問題定義和價值問題,你準備開始做了。而真正想要落地,你必須從全局出發,做一步,腦子要往后多推演幾步。你要思考:假如我們要按照敏捷迭代的方式去做,第一個版本MVP應該是什么樣子,我們要針對什么樣的問題場景交付什么內容,用戶能做什么樣的應用。做這個系統的價值到底應該如何體現。
內容層面,你要考慮,應該將哪些指標納入管理范圍,這些指標怎么用起來?指標數據從何而來。應用層面,應用的場景是什么? 單純地看指標的口徑,還是說要快速地取指標數據?價值層面,如何評判這些指標真的被業務用起來了? 用戶查詢了多少次,用來做了多少次報表?我們要對自己掌握的信息有個把握。當下我們現在掌握了哪些信息,比如,現在,已經有哪些指標做成了看板了,哪些指標還沒有。其次,還想掌握哪些信息?對于未來也要有所考量,公司的戰略層面還有哪些業務,粗略情況如何,是否需要指標分析,這塊我們只能基于業務情況進行粗淺的預估。
總的來說,動手之前,花個1-3天時間,深度搜集信息,制定策略,謀定而后動。
二、準備工作
作為一名數據產品經理,你要面對的是關注數據結果及其呈現形式、但不懂技術或者沒空關心技術的業務方。99%的人,尤其是做業務的人,不會關注數據怎么來的、數據怎么加工的,大家只會關注數據結果,取結果若碰到問題,直接會把問題拋出來讓技術人員解決。
當我們發現在線表格已經無法滿足公司管理需要時,我們開始規劃指標管理系統。你要做幾點:
- 洞察業務需求、目標用戶習慣、明確系統價值;
- 了解組織的管理要求,設計人機交互和底層數據系統;
- 協調技術人員,傳遞需求場景,完成系統建設;
- 切入業務場景、運營和推廣系統,并最終讓業務用起來。
這里,提醒一下:在MVP階段,甚至可以不做用于增刪改查的后臺管理,只需要做好數據初始化即可,也就是直接批量將數據錄入數據庫的方式。因為MVP階段,一定是先讓數據能用起來,而不是做一個非常完善的管理后臺。
三、系統模塊劃分
兩個模塊之下,系統可以分為2個模塊:面向業務應用的功能、用于后臺管理的功能。
1. 面向業務應用的功能
當中核心包含2塊:
- 自助指標取數;
- 指標查詢。
指標取數和指標查詢兩者互為因果。因為想取數,要知道有什么指標;因為知道有什么指標,才知道如何取數。
早期,如果業務很單一,不用考慮復雜的業務域、數據域。也不用考慮指標體系。甚至,壓根就不要做指標取數系統,因為找數據分析師、數據研發做一些SQL模板,在不同的情況下,換下輸入的條件參數,執行下就OK了。當組織人數達到一定程度,研發人員已經無法快速響應業務各種復雜的看數需求,有了一定的復用性,組織架構也開始進行劃分,數據權限也開始劃分。指標取數是看數需求處理流程的SOP化、自動化。
2. 用于后臺管理的功能
當中包括5個模塊,分別是:
- 原子指標管理;
- 衍生/復合指標管理;
- 維度管理;
- 修飾詞、修飾詞類型管理;
- 業務域、數據域管理。
里面的第3、第5點,跟數據倉庫建模是可以公用的,因為指標體系和基于業務構建的數據倉庫表是密不可分的。再次強調,如果沒有復雜的業務,沒有非常多的指標需要從業務、技術、運維層面進行統一的管理,那真的是不需要構建指標管理系統。
四、功能詳解
1. 面向業務應用的功能
1)指標取數
① 指標取數場景分析
以下兩個場景,哪個更加適合用指標取數來解決呢?
場景A:產品設計了一個新功能,想看看這個新功能的曝光點擊、轉化效果等數據。
場景B:運營新挖了一個主播來平臺直播,想看看這個主播、直播間的各種情況。
我個人認為,B更適合。A場景,其實要從功能規劃階段就要規劃埋點,到上線之后能夠通過點位、事件進行指標查看。針對功能的事件分析場景,一般來說,指標相對固定,人數、次數、比率。
指標取數,跟完全自助的探索分析是不同的,而更像是有固定指標目標,而只是單純修改某些維度變量,里面對指標的覆蓋就可以更廣(可以來源于埋點的指標,也可以來源于業務統計指標)
② 指標取數流程分析
當業務提了如下需求:我想查看xxx直播間的活躍情況,DAU,還有新增用戶、拉活用戶。取數的一般流程是怎么樣的呢?
a. 確認指標口徑(維度、修飾詞)
比如,業務說,我想看DAU,數據分析師會問:是整個平臺,還是分端?(WEB端、移動端)。業務反饋想看新增用戶數,數據分析師會基于實際情況反饋:目前新增用戶包括了信息流(抖音、快手等)、非信息流(手機廠商應用商店),哪些渠道沒接入,如果是新渠道,需要等渠道回傳數據接入才能看。第一步,要確認指標的口徑,一般就是維度和修飾詞。
b. 確認數據及時性、數據范圍
口徑確認后,要確認數據的及時性(是實時還是離線,離線的級別是怎么樣,小時、天、周?)除此以外,還會確認時間周期,看多長時間范圍的數據,近1天、近7天、近30天、歷史截止當前?
c. 確認結果交付方式和數據呈現形式
確認好數據后,接下來就是以什么方式來交付。到底是人工取數后導出Excel,比如,也就是日報、周報匯報給老板,還是說要支持自動化的自助查看,比如做成數據自動刷新的看板,還是做成支持用戶輸入參數的取數模板?
② 指標取數產品化
一般來說,當數據同事建設好了數倉底表,建設好了維度、修飾詞,那就可以做自助指標取數就可以系統化、產品化了。交互流程可以參考如下:
業務可以組合各種維度、修飾詞、時間周期,自己設置查詢條件。指標取數核心功能:能支持用戶基于維度進行指標的挑選,然后進行即系查詢,并能下載指標結果。后臺系統需要做的就是,管控這些用戶對應的維度、修飾詞、時間周期的使用權限。
選擇指標的界面可以參考如下:
選擇完維度和指標后,可以在取數界面點擊查詢進行取數。
指標取數的產出結果案例如下:
如果還能跟BI系統打通,支持各種關聯分析,比如,針對某個指標,制作折線圖、柱狀圖,如果還能加上趨勢預測等等自動分析功能,那就更好了。
對比指標取數,標簽取數的道理是相同的。不過,標簽取數的結果,都是人數。我們需要針對這群人,再進行下鉆分析(后面再講)
2)指標查詢
指標查詢,可以理解為一個商場的指引臺。
當你到了一個大商場,你會不知道目標店鋪在哪里,當你轉得暈頭轉向的時候,有個向導告訴我們目標店鋪在哪一層,哪個方向(左拐、右拐、直行,別講什么東南西北)
指標查詢也是如此,它能在以下幾個場景發揮作用:
- 當你暈頭轉向時,告訴你系統中現在有哪些指標,對應的負責人是誰。
- 當你沒指標權限時,基于系統反饋的指標負責人信息,你可以通過IM系統,找到對應的聯系人。
- 當你發現數據有問題,指標有錯誤,系統有故障,你可以找對口的負責人進行排查。
比如,當你看到近1天觀看時長這個指標,這個時長的單位是什么呢?如果指標的名稱上沒展示,那就可以通過指標的詳情來了解,是小時,還是分鐘,還是秒。
再比如,人均觀看時長,分子分母分別是什么?分子是觀看時長,那分母是平臺近1天的全部活躍用戶,還是有觀看行為的用戶,還是有有效觀看的用戶呢?這也是需要解釋的。
比如,我們可以在數據地圖中,讓用戶快捷查詢指標。
當然,我們也可以直接在取數的界面進行必要信息的展示和提示,這樣就不必要再到另外的界面去查詢。
對于業務來說,這種系統越簡單越好,需要跳轉的頁面越少越好,甚至可以結合NLP系統對業務使用的業務語言,轉化為技術語言,然后進行取數。
比如問,我想知道最近元夢之星的直播情況,請告訴我有哪些維度和指標。并直接幫我取數,按照Excel的形式給出結果。然后系統自動判斷并執行即系查詢操作,并按照Excel格式給出。
不過,如果系統底層數據沒做好治理,也沒積累案例,實現難度比較大。更加關鍵是,中型公司落地一個模型的收益,能不能覆蓋投入的成本。
2. 用于后臺管理的功能
設計完了面向業務應用的功能,接下來,我們再考慮用于管理、支撐的后臺功能。
首先問自己一個問題:MVP階段,需要復雜的管理功能嗎?需要什么樣的數據支持呢?回答這個問題,需要有點技術背景,但如果你不懂技術其實也沒問題。
第一,指標能取數,那肯定需要有數據源,第二,業務人員進行的各種取數條件的設置,可能要能轉化為從數據源里取數的語言(取數腳本)。
這里需要兩個東西:具體的表數據(數據源)、以及解釋取數配置的東西(生成取數腳本的邏輯)。有了這兩項,只要提前在代碼里配置好,哪怕沒有管理功能,用戶在界面上的操作也能取到結果。而設計功能,當我們的底層表、指標、維度、修飾詞等等信息變得龐雜以后,能夠更加方便地查詢、管理。
接下來,我們再來看,要有哪些功能。
1)原子指標管理
這里,基于原子指標是否要指定來源的事實表,可以區分為兩種做法。拋開這個點,我們先說公共的部分。
解釋一個原子指標,需要告訴使用者:指標的中文名稱、英文名稱、指標的單位、指標的業務含義、業務的負責人。除此以外,我們還可以對指標進行分類,包含業務域、主題域、業務過程、數據域等。(我不建議劃分太細,劃太細其實也挺難找的)
接下來,我們再說兩種不同的做法。
第一種,原子指標指定來源事實表。
這里,核心就是要指定指標的字段,是基于數倉中的哪個事實表中的哪個字段進行何種計算,最終的出來。
第二種,原子指標不指定來源事實表。
原子指標不記錄和表之間的關系,純粹就是做公共部分的記錄。指標和表的綁定關系,放在衍生指標中進行設定。
下圖是新增原子指標:
2)衍生/復合指標管理
對應的,也有兩種管理方式。還是記住那個公式:衍生指標 = 維度 + 修飾詞 + 時間周期 + 原子指標
第一種。通過原子指標來綁定表關系。衍生指標核心是增加維度、修飾詞、時間周期等信息
第二種。
這里管理的核心,是將具體事實表的一些字段記錄下來,對應的是哪些衍生/復合指標。
既然有依賴關系,那么在衍生指標這塊,就可以看到指標之間的血緣了,可以進行可視化呈現。
指標管理小結:
其實不管哪種方式,關鍵就是要告訴系統:指標要從哪個表中的哪個字段進行取數,也就是指標和表之間的關系。只有記錄了這些信息,未來,才能基于這個邏輯關系去生成取數的腳本。
這里也照應前面文章里說的:表里面沒有原子指標。原子指標只不過是定義指標的最基礎的業務含義、取數方式、哪怕指定事實表,也只是定義技術語義下的指標口徑是什么(也就是所謂的基于SQL的計算方式定義)。
3)維度管理
維度管理的核心,是將維度的邏輯和具體的維度物理表映射起來。
比如,數倉底層建了不同的品類,有對應的一個維度表。那么我們就可以錄入品類的維度(或者是事實表里的維度屬性字段)
用戶想要查看不同分區的直播數據,選擇了分區維度下的指標,比如品類觀看時長,那么最終生成取數腳本的時候,會將維度屬性字段放置到group by字段中。
比如,業務在最終篩選的時候,選擇了王者榮耀和元夢之星這兩個游戲(相當于是確定了維度的取值范圍),在 where 匹配條件里,加了匹配符,比如,where tag_id = 1 or 2。
那么,最終的結果就是:
衍生指標 = 維度 + 時間周期 + 修飾詞 + 原子指標。
那么,當我們構建了衍生指標之后,我們是能夠通過維度反向篩選有哪些可選的衍生指標的。
4)修飾詞、修飾詞類型管理
這塊相當于詞庫管理,修飾詞、修飾詞類型的增刪改查,然后用于構建衍生/復合指標的時候,進行關聯。直播常見的修飾詞有,有效觀看、有效開播、禮物流水消費金額里面的禮物流水。
5)業務域、數據域管理
這塊也相當于詞庫管理,業務域、數據域的增刪改查,用于對指標進行分類。
比如,用戶在篩選時,先有大致的一個業務劃分,然后再去找維度和指標。
3. 指標管理功能總結
看完了這么多,感覺很復雜,是吧?化繁為簡。先拋開修飾詞、業務域、數據域,只關注指標和維度。我建議你從SQL(結構化查詢語言)的角度去重新理解指標管理。
為什么數據產品經理要懂點技術,我認為核心是要懂點SQL。因為懂了SQL,才能從SQL(物理模型語言)的角度去理解這些一切一切。
其實SQL也不用掌握太深,只要看懂最簡單的代碼就夠了。我們看看下面這段語句,其含義是:統計2023年12月12號當天不同支付類型的訂單數量。
select dt as dt, pay_type as pay_type, count(order_id) as cnt from dwd_order where dt = 20231212 group by dt, pay_type
假如我們的支付方式有兩種:wechat和alipay,那么最終的表格會如下:
看完SQL,我們再問問問題。
在SQL里維度是什么?在哪里?維度就是對應的group by的字段。這個字段是可以來源于事實表的主鍵,也可以是事實表關聯維度表后取得維度表得字段。
指標是什么?在哪里?是count(order_id)嗎?不,如果你只往查詢系統里輸入count(order_id),系統是沒有執行結果的。只有當你指定了表,表取數的時間范圍(時間周期),指定的維度,才能取到結果。如果不指定時間范圍,那就是整個表全部的范圍(也就是從有這張表的那天起的全部數據)。如果不指定維度,那就是全維度(也就是所有的訂單總數)
如果,我們從剛剛的結果表里取數呢?指標是什么?
我們不需要定義count(order_id)了,我們的SQL可以這樣寫:
select dt as dt ,pay_type as pay_type ,cnt as from dwd_order where dt = 20231212
這就是為什么指標能有兩種管理辦法。因為不管哪種,只要最終生成的SQL能從物理表里取到正確的結果就行了。當你理解了SQL是如何取數,如何描述指標,那你就能理解為什么要構建所謂的原子指標管理、衍生指標管理、維度管理。
五、產品運營
1. MVP階段就要考慮后續運營
前文說到,要MVP,要基于場景、用戶需求去初始化我們的最小可用產品,第一個版本我們為了快速產生價值,很多地方是簡陋的。但你要時刻牢記,正是因為舍棄,我們才有獲得。
這套系統,相當于是將之前的業務提需求、開發開發報表的流程,進行了系統化,并且記錄了過程信息(也就是指標、維度、事實表等等對象的元數據),當這套管理體系和對應的系統建設完成時,后續只需要進行日常的運營和維護。
當我們的產品功能上線以后,接下來就進入新的PDCA循環了,Plan(計劃)、Do(執行)、Check(檢查)和Act(處理)。不僅可以對系統的內容(數據資產)進行進一步的豐富,在交互和用戶指引方面,也有很多工作可以做。
2. 在問題中迭代系統
當然,你也會面臨一些內容和功能層面的問題。
比如,業務方希望你能在指標取數中增加新的指標。而這需要開發新的底層表,錄入指標數據,直到豐富整體的指標體系。比如,當指標過多,用戶不方便進行指標的搜索、查詢時,要做一些必要的指標分類、說明文檔、操作指引等。
再比如,因為公司規劃原因,某些業務停滯,某些數據也不再需要了。如果公司對成本管控比較嚴,可以從數據的實際應用情況出發,基于指標體系、數倉表血緣等,對不再使用的報表及其整個調度任務體系進行下線處理。以便節約存儲和計算的成本。
總而言之,這套系統完善之后,能解決50%以上的規范化的取數、看數問題就不錯了。而針對特定場景的分析,還需要人工來支持。人工智能,先人工,才能智能。
當然,問題是解決不完的,人的需求是滿足不完的~
六、總結和未來展望
1. 總結
從規劃的注意事項,再到落地的功能規劃和涉及介紹了很多,大致上為你描繪了指標管理。
不過,我想提醒你,那些能夠落地指標管理的企業,都是天選企業,它們匯聚了優秀人才,跟隨著時代的發展,基于技術和管理的創新,跨過了層層考驗,在重重磨難之中成為大業務量的企業,擁有真正的大數據,真正地利用數據發揮價值,但凡少創了一個關,都到不了所謂數據驅動業務的階段。
對于大多數實體業務經營型的企業來說,科學的指標管理是業務發展的助推器。數據和對應數據管理系統的發展,離不開強力的業務支撐,絕對不要為了做而做,管理指標的目標也不僅僅是為了更好地查看數據,其目標是做出更優質的決策,拿到更好的業務結果。
2. 未來展望
在生成式AI如火如荼進行的時候,我們可不可以利用AI來做更多呢?
AI能在哪些場景嵌入現有的工作流,改善當前工作流,做更加深入的落地呢?比如,業務方看完數據后,直接用語音、文字給AI發送指令,請給近30天沒在平臺消費的用戶發送滿30減5的消費券通知,并自動生成統計任務,在1小時候給我反饋通知發送的達到量、點擊量,消費券的使用量,產生的交易金額。
人還是做主導,但是基于數據做決策、做動作、回收數據的整體鏈路更加高效。長路漫漫,道阻且長~
以上,感謝閱讀~
專欄作家
Lee,公眾號:數據產品小lee,人人都是產品經理專欄作家。關注直播、短視頻和文娛領域、擅長數據架構、CDP及數據治理相關工作。
本文原創發布于人人都是產品經理,未經許可,禁止轉載
題圖來自 Unsplash,基于 CC0 協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
干貨滿滿,值得學習!我理解,具體指標計算時,根據原子指標定義生成where,根據維度生成group by(維度選擇是having),根據修飾詞生成數學運算,包括幾組統計結果的加減乘除、平均數等,還有一個時間周期是一個特殊的維度-時間維度。我對修飾詞的概念還是有一些模糊,它和維度值有什么區別與聯系。