數(shù)據(jù)中臺(tái):指標(biāo)管理中臺(tái)演進(jìn)路徑及價(jià)值
指標(biāo)管理平臺(tái)是可以幫助企業(yè)進(jìn)行指標(biāo)規(guī)范化管理的有效工具。針對(duì)不同企業(yè)的需求,怎樣覆蓋產(chǎn)品需要適應(yīng)的業(yè)務(wù)場(chǎng)景,完善系統(tǒng)功能呢?本文介紹了指標(biāo)管理平臺(tái)的演進(jìn)路徑,一起起來看看這篇文章,希望能為你提供幫助。
收到一個(gè)朋友關(guān)于指標(biāo)管理中臺(tái)的問題咨詢,關(guān)于設(shè)計(jì)指標(biāo)管理中臺(tái)時(shí),針對(duì)同一個(gè)指標(biāo)業(yè)務(wù)口徑和財(cái)務(wù)口徑不一致時(shí),在指標(biāo)數(shù)據(jù)集綁定時(shí)是否需要支持多個(gè)數(shù)據(jù)源。就著這個(gè)問題,展開聊一聊指標(biāo)管理中臺(tái)的產(chǎn)品演進(jìn)過程。
一、指標(biāo)管理中臺(tái)的產(chǎn)品演進(jìn)路徑
中臺(tái)的概念沒出來之前,會(huì)稱之為指標(biāo)管理平臺(tái)。對(duì)于指標(biāo)管理平臺(tái)這個(gè)偏后端數(shù)據(jù)資產(chǎn)管理與治理的數(shù)據(jù)產(chǎn)品來講,其建設(shè)的初衷主要解決以下幾個(gè)問題,如果你也要做指標(biāo)管理,可以看下這幾個(gè)需求場(chǎng)景是否都覆蓋了。
1.指標(biāo)字典的存檔與信息查詢
企業(yè)發(fā)展初期數(shù)據(jù)產(chǎn)品不成熟,經(jīng)營(yíng)管理會(huì)上不同部門(產(chǎn)品、運(yùn)營(yíng)、銷售等)一起給老板開會(huì)匯報(bào)業(yè)績(jī),發(fā)現(xiàn)數(shù)據(jù)對(duì)不上。于是為了方便排除數(shù)據(jù)問題,就形成了指標(biāo)統(tǒng)計(jì)口徑說明字典,那個(gè)時(shí)候在線文檔還不流行,主要是excel或者Wiki維護(hù)。
主要問題:信息傳遞困難、流程不清晰、更新不及時(shí),且無法和報(bào)表產(chǎn)品聯(lián)動(dòng)。指標(biāo)管理平臺(tái)1.0的版本首先先要把指標(biāo)統(tǒng)計(jì)口徑能夠線上化維護(hù)起來,并且可以把信息輸出給下游報(bào)表應(yīng)用,鼠標(biāo)懸浮時(shí),tooltips就可以展示指標(biāo)說明。
2.統(tǒng)一指標(biāo)口徑的業(yè)務(wù)流程規(guī)范
有了指標(biāo)字典,還是沒法解決數(shù)據(jù)對(duì)不上的問題,于是老板給數(shù)據(jù)部門下了個(gè)需求,數(shù)據(jù)團(tuán)隊(duì)牽頭把指標(biāo)口徑統(tǒng)一一下,下次會(huì)議不要再出現(xiàn)會(huì)上對(duì)數(shù)的問題了。
于是,數(shù)據(jù)PM想了個(gè)辦法,新增指標(biāo)需求的時(shí)候,要有統(tǒng)一的流程,業(yè)務(wù)部分申請(qǐng),數(shù)據(jù)分析師審核,數(shù)據(jù)PM整理需求,數(shù)據(jù)開發(fā)進(jìn)行數(shù)據(jù)報(bào)表開發(fā),把這個(gè)流程集成到指標(biāo)管理平臺(tái)當(dāng)中。并且可以通過工單流轉(zhuǎn)的方式,進(jìn)行IM或者郵件的提醒。
這樣一來,流程是規(guī)范了,但是犧牲的是指標(biāo)開發(fā)效率,比較涉及不同角色協(xié)同。對(duì)于指標(biāo)數(shù)量比較少,且更新不頻繁的業(yè)務(wù)是沒問題的。
3.指標(biāo)的數(shù)據(jù)統(tǒng)計(jì)邏輯
業(yè)務(wù)統(tǒng)計(jì)口徑是明確了,但業(yè)務(wù)經(jīng)常反饋數(shù)據(jù)問題,數(shù)據(jù)開發(fā)排查時(shí),要逐層翻代碼才能知道這個(gè)指標(biāo)使用的是哪個(gè)數(shù)據(jù)源,SQL邏輯是什么,每個(gè)任務(wù)光點(diǎn)開操作就要好幾層,有時(shí)不小心誤操作保存了,就導(dǎo)致了數(shù)據(jù)bug,所以,指標(biāo)還需要和數(shù)據(jù)源綁定。
有了指標(biāo)和數(shù)據(jù)源的映射,就可以把指標(biāo)血緣做起來了。
指標(biāo)血緣是指可以鏈路追蹤指標(biāo)數(shù)據(jù)加工的來源,以及輸出的報(bào)表或API應(yīng)用,當(dāng)業(yè)務(wù)端質(zhì)疑指標(biāo)異?;蛐枰_認(rèn)指標(biāo)口徑時(shí),可以基于血緣工具找到產(chǎn)出表,以及最源頭的數(shù)據(jù)來源。同時(shí),當(dāng)數(shù)據(jù)質(zhì)量監(jiān)控測(cè)發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題時(shí),可以及時(shí)反饋到下游應(yīng)用,應(yīng)用端對(duì)用戶進(jìn)行提醒,避免錯(cuò)誤的數(shù)據(jù)給用戶帶來負(fù)面的決策影響。
通常數(shù)據(jù)血緣是服務(wù)于整個(gè)數(shù)據(jù)中臺(tái)體系,所以指標(biāo)平臺(tái)可以復(fù)用公共的血緣查詢能力,沒必要單獨(dú)建設(shè),只需要把平臺(tái)內(nèi)的模型、數(shù)據(jù)集、指標(biāo)、應(yīng)用的關(guān)系數(shù)據(jù)采集好,反饋給血緣模塊,血緣模塊進(jìn)行數(shù)據(jù)鏈路擴(kuò)展即可。
4.指標(biāo)數(shù)據(jù)API接口輸出
主要是在做定制化Dashboard或者可視化大屏開發(fā)時(shí),需要前端開發(fā)改造Echart,Java后端開發(fā)寫接口查數(shù)據(jù)開發(fā)清洗好的數(shù)據(jù)表(根據(jù)數(shù)量大小和實(shí)時(shí)性要求,放到不同的查詢引擎,如MySQL,Greenplum,Clickhouse等)。
這樣一來,一個(gè)可視化頁面可能就需要一周的時(shí)間。對(duì)于報(bào)表需求來說,就是指標(biāo)和分析維度,指標(biāo)API的結(jié)構(gòu)相對(duì)固定,能不能讓系統(tǒng)配置化,而不是Java開發(fā)寫沒技術(shù)含量的代碼呢,這里其實(shí)有點(diǎn)低代碼和中臺(tái)的意思了。因?yàn)橹笜?biāo)已經(jīng)和數(shù)據(jù)源綁定,查詢邏輯也有了,自動(dòng)生成一個(gè)查詢體的接口,通過一些JDBC/ODBC的鏈接返回?cái)?shù)據(jù),給前端畫圖使用。
5.自助式指標(biāo)分析
數(shù)據(jù)化運(yùn)營(yíng)促使人人都需要用數(shù)據(jù),會(huì)員業(yè)務(wù)部要看會(huì)員的訂單量,營(yíng)銷部門要看活動(dòng)訂單量。都是一個(gè)訂單數(shù)指標(biāo),限制條件不同。標(biāo)準(zhǔn)化的指標(biāo)生存流程已經(jīng)很難支撐業(yè)務(wù)爆炸式增長(zhǎng)的數(shù)據(jù)需求。所以,業(yè)務(wù)人員開始手寫SQL或者推動(dòng)公司自研或者外采自助BI產(chǎn)品。
知道了數(shù)據(jù)集、字段含義后,自己拖拉拽進(jìn)行可視化分析,配置可視化Dashboard。這樣一來,定制化開發(fā)的可視化報(bào)表需求越來越少,主要在一些大屏或者給管理層使用的定制化功能方面了。
這個(gè)時(shí)候,指標(biāo)平臺(tái)想要發(fā)揮余熱,就要和自助BI分析結(jié)合(自研產(chǎn)品),把指標(biāo)管理平臺(tái)作為一個(gè)數(shù)據(jù)源類型,用戶可以直接選擇指標(biāo)、共有的分析維度,借助自助BI的可視化配置能力,基于指標(biāo)配置報(bào)表。畢竟相比較基于數(shù)據(jù)模型來說,指標(biāo)的加工程度更高。
6.智能AI指標(biāo)分析
ChatGpt火了后,各行各業(yè)都想著蹭上熱點(diǎn),很多人擔(dān)心被AI替代。對(duì)于數(shù)據(jù)結(jié)構(gòu)化程度較高的指標(biāo)管理平臺(tái),天然就有了可以和AI結(jié)合的優(yōu)勢(shì),18年在攜程的時(shí)候嘗試做過一個(gè)數(shù)據(jù)問答的產(chǎn)品,即用戶輸入數(shù)據(jù)指標(biāo)需求,通過知識(shí)圖譜返回指標(biāo)的拆解分析?,F(xiàn)在AI更加智能,能夠做的事情和功能會(huì)更加強(qiáng)大。比如昨天App訂單數(shù)是多少?幫我做一個(gè)營(yíng)銷效果分析的報(bào)表(利用NLP和AI把營(yíng)銷域的指標(biāo)呼喚出來,組合成一個(gè)可視化報(bào)表)。
二、指標(biāo)管理平臺(tái)徹底解決數(shù)據(jù)口徑不一致的問題嗎?
從指標(biāo)管理平臺(tái)提供的解決方案可以看出,主要是指標(biāo)建設(shè)流程的規(guī)范化,以及指標(biāo)生產(chǎn)到應(yīng)用流程的全鏈路產(chǎn)品化。流程的規(guī)范化涉及一個(gè)指標(biāo)需求在不同工種之間的需求流轉(zhuǎn),在系統(tǒng)初期指標(biāo)上線效率整體還是比較低的。
再者就是數(shù)據(jù)中臺(tái)的思想是提高數(shù)據(jù)輸出效率,很多數(shù)據(jù)中臺(tái)的產(chǎn)品解決方案會(huì)包括自主BI數(shù)據(jù)產(chǎn)品,即產(chǎn)品和運(yùn)營(yíng)可以直接基于數(shù)據(jù)集進(jìn)行拖拽式的分析和可視化報(bào)表配置。規(guī)范化和自助化存在交叉和沖突。
不做指標(biāo)統(tǒng)一管理,指標(biāo)永遠(yuǎn)是錯(cuò)綜混亂,指標(biāo)標(biāo)準(zhǔn)化,一定程度又會(huì)影響數(shù)據(jù)分析的時(shí)效性,那到底該如何權(quán)衡,或者確定好指標(biāo)管理平臺(tái)的目標(biāo)和邊界呢?
指標(biāo)的建設(shè)是需要長(zhǎng)期的積累和完善的,可能規(guī)范化的初期會(huì)有一段時(shí)間的陣痛期,但隨著平臺(tái)內(nèi)指標(biāo)的豐富,新增的需求可能會(huì)越來越少,即可以確定的是對(duì)于業(yè)務(wù)條線多的企業(yè)是需要將指標(biāo)統(tǒng)一管理,對(duì)于在公共層面的通用指標(biāo),必須由指標(biāo)管理平臺(tái)統(tǒng)一生產(chǎn)和管理。
而對(duì)于一些業(yè)務(wù)臨時(shí)性、個(gè)性化強(qiáng)的指標(biāo)或者數(shù)據(jù)報(bào)表需求,可以基于自助BI工具,以及SQL取數(shù)工具等,快速自助化獲取所需的數(shù)據(jù)即可。例如,某運(yùn)營(yíng)部門需要對(duì)端午節(jié)新上線的一個(gè)盲盒活動(dòng)進(jìn)行數(shù)據(jù)監(jiān)控分析,直接基于盲盒數(shù)據(jù)模型,利用自助分析進(jìn)行可視化配置的效率遠(yuǎn)遠(yuǎn)高于先生產(chǎn)指標(biāo),再利用指標(biāo)的流程。
三、總結(jié)
指標(biāo)管理平臺(tái)是可以幫助企業(yè)進(jìn)行指標(biāo)規(guī)范化管理的有效工具,但規(guī)范化帶來的犧牲就是流程的冗長(zhǎng)和效率問題。對(duì)于共用的指標(biāo)以及緩慢變化的業(yè)務(wù),可以基于系統(tǒng)進(jìn)行管理和維護(hù),而對(duì)于小范圍的業(yè)務(wù)條線以及時(shí)效性要求更高的業(yè)務(wù)場(chǎng)景,可以用自助BI等產(chǎn)品加以輔助,但最終的原則一定是公共指標(biāo)系統(tǒng)化管理、流程化生產(chǎn)。
另外,指標(biāo)輸出應(yīng)用場(chǎng)景方面,還可以繼續(xù)擴(kuò)展如指標(biāo)波動(dòng)監(jiān)控、分析報(bào)告自動(dòng)生成推送等能力,把指標(biāo)管理平臺(tái)作為數(shù)據(jù)中臺(tái)能力的出口之一,不斷完善系統(tǒng)功能。
專欄作家
數(shù)據(jù)干飯人,微信號(hào)公眾號(hào):數(shù)據(jù)干飯人,人人都是產(chǎn)品經(jīng)理專欄作家。專注數(shù)據(jù)中臺(tái)產(chǎn)品領(lǐng)域,覆蓋開發(fā)套件,數(shù)據(jù)資產(chǎn)與數(shù)據(jù)治理,BI與數(shù)據(jù)可視化,精準(zhǔn)營(yíng)銷平臺(tái)等數(shù)據(jù)產(chǎn)品。擅長(zhǎng)大數(shù)據(jù)解決方案規(guī)劃與產(chǎn)品方案設(shè)計(jì)。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。
題圖來自u(píng)nsplash,基于CC0協(xié)議。
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
我覺得一切有舍有得吧,雖然規(guī)范化會(huì)帶來流程的冗長(zhǎng)和效率問題,但是規(guī)范化的長(zhǎng)期作用不可忽視。