指標(biāo)管理系統(tǒng)是統(tǒng)一數(shù)據(jù)口徑的靈丹妙藥嗎?
編輯導(dǎo)語:在數(shù)據(jù)化管理中,數(shù)據(jù)指標(biāo)是業(yè)務(wù)中的核心內(nèi)容,然而指標(biāo)管理中總會出現(xiàn)許多問題。指標(biāo)管理系統(tǒng)在一定程度上可以幫助實現(xiàn)規(guī)范化管理,但是針對不同的業(yè)務(wù)場景與需求,數(shù)據(jù)管理還應(yīng)當(dāng)靈活應(yīng)變。本篇文章里,作者對數(shù)據(jù)化管理、指標(biāo)管理進(jìn)行了一定分析,一起來看一下。
數(shù)據(jù)指標(biāo)是數(shù)據(jù)化管理的核心內(nèi)容之一,從事數(shù)據(jù)工作的同學(xué)相信都經(jīng)歷過以下場景:
- 經(jīng)營分析匯報會上,產(chǎn)品和運營的匯報內(nèi)容都包含了AppMAU指標(biāo),但是數(shù)據(jù)卻不一樣,老板:“什么情況,誰的數(shù)據(jù)是準(zhǔn)的!”
- 數(shù)據(jù)可視化平臺上,經(jīng)營概況頁面上有一個指標(biāo)叫券后營收,營銷概況有一個指標(biāo)叫優(yōu)惠券抵扣營收,兩個指標(biāo)什么關(guān)系呢,數(shù)據(jù)相同(指標(biāo)口徑一樣,名稱不一樣)。
- 數(shù)據(jù)產(chǎn)品上很多指標(biāo)看名稱并不理解指標(biāo)含義,指標(biāo)文檔維護(hù)、線下傳播,想確認(rèn)一個指標(biāo)的統(tǒng)計邏輯要幾經(jīng)周轉(zhuǎn)。
一、指標(biāo)管理的痛點問題
1. 同名不同義
指標(biāo)名稱相同,統(tǒng)計口徑不一致,缺少命名規(guī)范限制。
不同業(yè)務(wù)僅從自己部門出發(fā),缺少全局視角,如財務(wù)口徑的營收要嚴(yán)格按照嚴(yán)謹(jǐn)?shù)倪壿嬘嬎銓嵤諏嵏兜拿恳环皱X,而產(chǎn)品/運營端則更多考慮轉(zhuǎn)化效果,但在各自的KPI監(jiān)控報表中,都把指標(biāo)命名為營收。
2. 同義不同名
指標(biāo)統(tǒng)一邏輯一致,但不同產(chǎn)品命名不一致,不同階段、或不同業(yè)務(wù)方/產(chǎn)品經(jīng)理對指標(biāo)命名不同,導(dǎo)致在不同數(shù)據(jù)產(chǎn)品頁面,同一指標(biāo)不同名。
3. 口徑不清晰
只是同義詞再復(fù)述一遍,如活躍用戶數(shù):訪問用戶數(shù)。
4. 命名難理解
表意不清模棱兩可,或過于專業(yè)化僅指標(biāo)創(chuàng)建人才可以懂。例如轉(zhuǎn)化率指標(biāo),有創(chuàng)單轉(zhuǎn)化率、成單轉(zhuǎn)化率,直接叫轉(zhuǎn)化率可讀性就非常差。
5. 邏輯不準(zhǔn)確
指標(biāo)口徑描述有誤,例如UV指標(biāo),口徑描述為“按照設(shè)備ID去重”,實際上不同平臺去重邏輯并不一致,如微信小程序按照UnionID去重、APP按照DeviceID去重,PC和H5按照loginkey去重。
6. 數(shù)據(jù)難追溯
數(shù)據(jù)產(chǎn)品指標(biāo)數(shù)據(jù)來源缺少直觀的鏈路追蹤能力,指標(biāo)數(shù)據(jù)異常問題排查通過翻代碼去看數(shù)據(jù)來源,路徑長、耗時久,早上業(yè)務(wù)反饋指標(biāo)問題,排查出結(jié)論后可能一上午就過去了。
7. 數(shù)據(jù)質(zhì)量差
指標(biāo)管理常見的問題綜合在一起,往往會導(dǎo)致業(yè)務(wù)對數(shù)據(jù)指標(biāo)的信任度大打折扣,發(fā)現(xiàn)數(shù)據(jù)波動后,第一反應(yīng)是先和數(shù)據(jù)部門確認(rèn)數(shù)據(jù)是不是有問題,而不是去考慮業(yè)務(wù)上有何變動。
二、指標(biāo)管理平臺解決方案
1. 指標(biāo)管理系統(tǒng)設(shè)計思路
指標(biāo)化管理的概念很多年前就存在,各個互聯(lián)網(wǎng)公司都在建設(shè)自己的管理平臺,學(xué)習(xí)了很多關(guān)于指標(biāo)管理系統(tǒng)建設(shè)的文章會發(fā)現(xiàn),做的事情大同小異。主要是圍繞指標(biāo)管理的痛點問題,以阿里的OneData理論為方法論依據(jù),相同的事情只要做一遍,剩下的是提供產(chǎn)品化的解決方案,讓指標(biāo)建設(shè)、指標(biāo)復(fù)用更加的規(guī)范和高效。
主要包括:
1)建立指標(biāo)生產(chǎn)協(xié)同機制,指標(biāo)的誕生要經(jīng)過需求申請、審核、數(shù)據(jù)開發(fā)、上線應(yīng)用流程,收口指標(biāo)創(chuàng)建過程,避免指標(biāo)建設(shè)的隨意性帶來的“污染”。
2)制定指標(biāo)命名、口徑說明規(guī)范,按照原子指標(biāo)+業(yè)務(wù)限定+統(tǒng)計維度的方式,將規(guī)則集成到平臺內(nèi),通過系統(tǒng)規(guī)則來把控指標(biāo)輸出。
3)指標(biāo)字典線上化,解決線下文檔(excel)管理指標(biāo)存在的共享難、更新不及時、權(quán)限管控缺失等問題。
4)指標(biāo)數(shù)據(jù)邏輯綁定,即除了維護(hù)指標(biāo)的業(yè)務(wù)元數(shù)據(jù)外,還要建立指標(biāo)的技術(shù)元數(shù)據(jù),指標(biāo)數(shù)據(jù)從哪個模型、哪個字段、何種計算邏輯得到。
5)指標(biāo)輸出,指標(biāo)管理最大的價值還是為數(shù)據(jù)產(chǎn)品提供數(shù)據(jù)輸出,將Hive層模型同步到MySQL、Greenplumn、Kylin、CK等查詢性能更優(yōu)可以秒級響應(yīng)的查詢引擎,通過接口調(diào)用JDBC連接方式直接獲取數(shù)據(jù)。
2. 指標(biāo)管理平臺產(chǎn)品功能
1)指標(biāo)字典
目標(biāo):指標(biāo)業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)信息查詢和檢索,在線、共享式的指標(biāo)字典,方便用戶快速找到目標(biāo)指標(biāo),確定統(tǒng)計口徑,申請權(quán)限,直接復(fù)用數(shù)據(jù),提供一站式指標(biāo)應(yīng)用服務(wù)。
指標(biāo)列表:提供所有公開指標(biāo)列表展示,元數(shù)據(jù)不設(shè)權(quán)限,使用時需獲得授權(quán),以促進(jìn)指標(biāo)共享、減少重復(fù)開發(fā)。列表展示最關(guān)鍵信息,列表字段默認(rèn)展示最關(guān)鍵信息,可以設(shè)置表格字段,操作列固定。
指標(biāo)操作:查看和編輯到指標(biāo)詳情頁,查看頁面是禁用狀態(tài)。當(dāng)有指標(biāo)權(quán)限時,可以直接使用,無權(quán)限需要申請權(quán)限。更多操作包括:刪除、監(jiān)控、血緣查詢等功能。
添加指標(biāo):指標(biāo)開發(fā)人員直接進(jìn)入指標(biāo)編輯頁面,其他角色進(jìn)入指標(biāo)需求申請彈窗。開發(fā)者角色需要填寫指標(biāo)的業(yè)務(wù)基礎(chǔ)信息,并綁定數(shù)據(jù)源。
指標(biāo)應(yīng)用:指標(biāo)經(jīng)過分析/產(chǎn)品驗證通過后,即可在指標(biāo)字典列表中查看,用戶可申請權(quán)限使用。
指標(biāo)輸出到其他數(shù)據(jù)產(chǎn)品,由系統(tǒng)拼接每個指標(biāo)和應(yīng)用方式對應(yīng)的查詢SQL,生成API接口,應(yīng)用端每次只需要傳入指標(biāo)標(biāo)識、Where條件(篩選條件)、GroupBY字段(維度),即可獲取對應(yīng)指標(biāo)和維度的數(shù)據(jù)。
2)指標(biāo)需求流程
要想達(dá)到指標(biāo)口徑的統(tǒng)一,還需要建立業(yè)務(wù)、數(shù)據(jù)產(chǎn)品、數(shù)據(jù)開發(fā)、數(shù)據(jù)分析、應(yīng)用開發(fā)的協(xié)同機制。
所有業(yè)務(wù)都可以提交指標(biāo)需求,但需要經(jīng)過指標(biāo)審核進(jìn)行評審審核,確認(rèn)指標(biāo)是否已經(jīng)存在、需求是否明確。評審?fù)ㄟ^后,由數(shù)據(jù)開發(fā)進(jìn)行指標(biāo)配置。
如果指標(biāo)所需的數(shù)據(jù)模型已經(jīng)存在,可以直接進(jìn)行配置,否則需要先進(jìn)行ETL工作,構(gòu)建模型,數(shù)據(jù)開發(fā)配置指標(biāo)并自測完成后,交付數(shù)據(jù)測試人(數(shù)據(jù)產(chǎn)品兼任或?qū)B歈A),確認(rèn)沒問題后,指標(biāo)上線。業(yè)務(wù)開發(fā)接入應(yīng)用到數(shù)據(jù)產(chǎn)品頁面。
詳細(xì)工作流轉(zhuǎn)見下圖:
相應(yīng)地,指標(biāo)管理平臺的用戶需要劃分為以下幾類角色:
- 普通用戶:可以申請指標(biāo)需求,查看指標(biāo)口徑,使用自己有權(quán)限的指標(biāo)。
- 指標(biāo)審核員:負(fù)責(zé)審核用戶提交的指標(biāo)需求,一般由數(shù)據(jù)分析師、數(shù)據(jù)產(chǎn)品或數(shù)據(jù)開發(fā)擔(dān)任。
- 指標(biāo)開發(fā)人員:數(shù)據(jù)開發(fā)擔(dān)任,負(fù)責(zé)指標(biāo)生產(chǎn)、運維及管理。
- 數(shù)據(jù)測試:驗證數(shù)據(jù)準(zhǔn)確性,一般數(shù)據(jù)產(chǎn)品或分析擔(dān)任。
- 超級管理員:平臺管理員。
3)數(shù)據(jù)集管理
數(shù)據(jù)集管理和數(shù)倉建設(shè)模型管理的區(qū)別是:數(shù)倉模型建設(shè)是面向主題的,而指標(biāo)管理的數(shù)據(jù)集模塊一般是面向分析的,聯(lián)系是數(shù)倉模型可以作為數(shù)據(jù)集的數(shù)據(jù)源,在分析應(yīng)用時,再進(jìn)行模型的關(guān)聯(lián)。
指標(biāo)基于數(shù)據(jù)集進(jìn)行邏輯規(guī)則配置后,在數(shù)據(jù)產(chǎn)品端輸出,因而在查詢性能方面要求更高,因此數(shù)據(jù)集模塊另一個作用就是把Hive層模型推送到MySQL、Clickhouse、Greenplum等適合OALP即席查詢分析的引擎。
數(shù)據(jù)集創(chuàng)建過程支持SQL代碼模式和模型可視化配置兩種模式,數(shù)據(jù)集支持權(quán)限審批流程設(shè)置,默認(rèn)審批流一般為業(yè)務(wù)發(fā)起,發(fā)起方上級審批(確定的確有必要使用),數(shù)據(jù)集負(fù)責(zé)人審批。
還有一種場景是數(shù)據(jù)集是數(shù)倉人員為某業(yè)務(wù)線創(chuàng)建,使用權(quán)限的審批該有業(yè)務(wù)負(fù)責(zé)人審批,或者加入其它個性化流程,此時選擇自定義審批流程可以支持用戶自己定義審批節(jié)點及審核人。
關(guān)聯(lián)維度:數(shù)據(jù)集模型用到維度字段枚舉值映射操作。即建立模型維度字段與維度表字段映射關(guān)系,指標(biāo)應(yīng)用到對應(yīng)維度時,直接獲取枚舉值。
4)血緣查詢
指標(biāo)血緣是指可以鏈路追蹤指標(biāo)數(shù)據(jù)加工的來源,以及輸出的報表或API應(yīng)用,當(dāng)業(yè)務(wù)端質(zhì)疑指標(biāo)異?;蛐枰_認(rèn)指標(biāo)口徑時,可以基于血緣工具找到產(chǎn)出表,以及最源頭的數(shù)據(jù)來源。
同時,當(dāng)數(shù)據(jù)質(zhì)量監(jiān)控測發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題時,可以及時反饋到下游應(yīng)用,應(yīng)用端對用戶進(jìn)行提醒,避免錯誤的數(shù)據(jù)給用戶帶來負(fù)面的決策影響。
通常數(shù)據(jù)血緣是服務(wù)于整個數(shù)據(jù)中臺體系,所以指標(biāo)平臺可以復(fù)用公共的血緣查詢能力,沒必要單獨建設(shè),只需要把平臺內(nèi)的模型、數(shù)據(jù)集、指標(biāo)、應(yīng)用的關(guān)系數(shù)據(jù)采集好,反饋給血緣模塊,血緣模塊進(jìn)行數(shù)據(jù)鏈路擴展即可。
5)系統(tǒng)管理
系統(tǒng)管理提供資源權(quán)限管理、用戶權(quán)限管理、數(shù)據(jù)權(quán)限管理的功能,即通過管理和追蹤某一指標(biāo)有哪些用戶有權(quán)限,或者某一用戶有哪些資源權(quán)限,來保證用戶只有權(quán)限看到相應(yīng)的數(shù)據(jù),以此來保證數(shù)據(jù)安全。系統(tǒng)管理主要包括:
- 資源管理:指標(biāo)資源、數(shù)據(jù)集資源、維度資源的引用次數(shù)、訪問頻率,可直觀展現(xiàn)資源的使用情況以及權(quán)限范圍。
- 數(shù)據(jù)權(quán)限:主要是指標(biāo)、維度以及數(shù)據(jù)集的字段權(quán)限管控,例如訂單數(shù)指標(biāo)可以區(qū)分地域維度,不同城市的城市經(jīng)理只可以查看自己所負(fù)責(zé)的區(qū)域,因此需要對區(qū)域維度的維度值進(jìn)行權(quán)限管控。
- 用戶管理:查看用戶信息,以及所擁有的資源范圍,并對用戶角色、權(quán)限進(jìn)行管理和綁定。
- 角色管理:主要是解決批量管理用戶權(quán)限的問題,例如給運營角色開通對應(yīng)權(quán)限后,綁定這個角色的用戶都具有相同的權(quán)限,不需要再逐個開通。角色管理解決通用權(quán)限需求,用戶自定義申請或資源權(quán)限綁定解決個性化權(quán)限需求。
三、指標(biāo)管理平臺徹底解決數(shù)據(jù)口徑不一致的問題嗎?
從指標(biāo)管理平臺提供的解決方案可以看出,主要是指標(biāo)建設(shè)流程的規(guī)范化,以及指標(biāo)生產(chǎn)到應(yīng)用流程的全鏈路產(chǎn)品化。流程的規(guī)范化涉及一個指標(biāo)需求在不同工種之間的需求流轉(zhuǎn),在系統(tǒng)初期指標(biāo)上線效率整體還是比較低的。
再者就是數(shù)據(jù)中臺的思想是提高數(shù)據(jù)輸出效率,很多數(shù)據(jù)中臺的產(chǎn)品解決方案會包括自主BI數(shù)據(jù)產(chǎn)品,即產(chǎn)品和運營可以直接基于數(shù)據(jù)集進(jìn)行拖拽式的分析和可視化報表配置。規(guī)范化和自助化存在交叉和沖突。
不做指標(biāo)統(tǒng)一管理,指標(biāo)永遠(yuǎn)是錯綜混亂,指標(biāo)標(biāo)準(zhǔn)化,一定程度又會影響數(shù)據(jù)分析的時效性,那到底該如何權(quán)衡,或者確定好指標(biāo)管理平臺的目標(biāo)和邊界呢?
指標(biāo)的建設(shè)是需要長期地積累和完善的,可能規(guī)范化的初期會有一段時間的陣痛期,但隨著平臺內(nèi)指標(biāo)的豐富,新增的需求可能會越來越少,即可以確定的是對于業(yè)務(wù)條線多的企業(yè)是需要將指標(biāo)統(tǒng)一管理,對于在公共層面的通用指標(biāo),必須由指標(biāo)管理平臺統(tǒng)一生產(chǎn)和管理。
而對于一些業(yè)務(wù)臨時性、個性化強的指標(biāo)或者數(shù)據(jù)報表需求,可以基于自助BI工具,以及SQL取數(shù)工具等,快速自助化獲取所需的數(shù)據(jù)即可。
例如,某運營部門需要對端午節(jié)新上線的一個盲盒活動進(jìn)行數(shù)據(jù)監(jiān)控分析,直接基于盲盒數(shù)據(jù)模型,利用自助分析進(jìn)行可視化配置的效率遠(yuǎn)遠(yuǎn)高于先生產(chǎn)指標(biāo),再利用指標(biāo)的流程。
四、總結(jié)
指標(biāo)管理平臺是可以幫助企業(yè)進(jìn)行指標(biāo)規(guī)范化管理的有效工具,但規(guī)范化帶來的犧牲就是流程的冗長和效率問題。
對于共用的指標(biāo)以及緩慢變化的業(yè)務(wù),可以基于系統(tǒng)進(jìn)行管理和維護(hù),而對于小范圍的業(yè)務(wù)條線以及時效性要求更高的業(yè)務(wù)場景,可以用自助BI等產(chǎn)品加以輔助,但最終的原則一定是公共指標(biāo)系統(tǒng)化管理、流程化生產(chǎn)。
另外,指標(biāo)輸出應(yīng)用場景方面,還可以繼續(xù)擴展如指標(biāo)波動監(jiān)控、分析報告自動生成推送等能力,把指標(biāo)管理平臺作為數(shù)據(jù)中臺能力的出口之一,不斷完善系統(tǒng)功能。
#專欄作家#
數(shù)據(jù)干飯人,微信號公眾號:數(shù)據(jù)干飯人,人人都是產(chǎn)品經(jīng)理專欄作家。專注數(shù)據(jù)中臺產(chǎn)品領(lǐng)域,覆蓋開發(fā)套件,數(shù)據(jù)資產(chǎn)與數(shù)據(jù)治理,BI與數(shù)據(jù)可視化,精準(zhǔn)營銷平臺等數(shù)據(jù)產(chǎn)品。擅長大數(shù)據(jù)解決方案規(guī)劃與產(chǎn)品方案設(shè)計。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于CC0協(xié)議
指標(biāo)開發(fā)和應(yīng)用,有幾個難點:1、屬于數(shù)據(jù)管控類的訴求,規(guī)范復(fù)雜,開發(fā)速度自然就慢;2、開發(fā)流程繁瑣,溝通陳哥不能大。3、涉及歷史數(shù)倉的數(shù)據(jù)表存在使用沖突,在初期數(shù)據(jù)消費者可能出現(xiàn)使用混亂的情況。 如上導(dǎo)致業(yè)務(wù)使用者使用積極性不高,在公司內(nèi)部推動阻力大。
產(chǎn)品功能模塊,感覺按照使用路徑,或者指標(biāo)生命周期來說更清楚。上圖用的是產(chǎn)品頁面模塊,使用過程中雖然是同一頁面,但是在不同階段使用的。
如果用戶需要同時使用幾個指標(biāo),在每個指標(biāo)上都操作了使用,這幾個指標(biāo)其實都在同一個接口里。不會造成對同一個接口多次訪問么?
在文章中,我看到了Metric平臺,這個是您的產(chǎn)品嗎?