數(shù)據(jù)治理第1期 | 簡(jiǎn)單聊一聊數(shù)據(jù)治理的策略

4 評(píng)論 12202 瀏覽 70 收藏 23 分鐘

編輯導(dǎo)語(yǔ):管控治理類數(shù)據(jù)產(chǎn)品是更高能力要求的一個(gè)細(xì)分工種,它需要我們具備數(shù)據(jù)分析以及工具建設(shè)能力的同時(shí),還需要我們擁有團(tuán)隊(duì)統(tǒng)籌等多方面的能力。作者分享了他的數(shù)據(jù)治理策略,我們一起來(lái)看下吧。

一、前言

為什么想開(kāi)這個(gè)話題,一是因?yàn)槟壳皹I(yè)內(nèi)數(shù)據(jù)產(chǎn)品也基本完成了從0-1的建設(shè)工作,但主要集中在數(shù)據(jù)生產(chǎn)加工和數(shù)據(jù)應(yīng)用分析兩側(cè),對(duì)于數(shù)據(jù)管治方向的建設(shè)多分散在了包括安全、指標(biāo)元數(shù)據(jù)、SLA等在內(nèi)的各個(gè)環(huán)節(jié),缺乏統(tǒng)一的規(guī)劃統(tǒng)籌。

筆者認(rèn)為,數(shù)據(jù)產(chǎn)品可以分為工具類數(shù)據(jù)產(chǎn)品、業(yè)務(wù)分析類數(shù)據(jù)產(chǎn)品和管控治理類數(shù)據(jù)產(chǎn)品三類,而工具類數(shù)據(jù)產(chǎn)品和業(yè)務(wù)分析數(shù)據(jù)產(chǎn)品市面上也開(kāi)始趨近飽和,但管控治理類數(shù)據(jù)產(chǎn)品其實(shí)是更高能力要求的一個(gè)細(xì)分工種,既需要懂工具建設(shè)也需要懂?dāng)?shù)據(jù)分析,還需要具備跨多團(tuán)隊(duì)橫向協(xié)調(diào)的項(xiàng)目推動(dòng)能力和策略運(yùn)營(yíng)能力。

二呢,筆者曾經(jīng)就做過(guò)一次失敗的大治理工作,也做過(guò)一次相對(duì)成功的安全治理工作,也參與過(guò)指標(biāo)監(jiān)控、安全工具等的建設(shè),所以也想把這其中那的成功和失敗的經(jīng)驗(yàn)分享出來(lái)供大家參考。

二、概念定義

根據(jù)筆者的研究,目前業(yè)內(nèi)數(shù)據(jù)治理總結(jié)起來(lái)一共分為兩類,一類是狹義的數(shù)據(jù)治理,是指數(shù)據(jù)指標(biāo)口徑一致性的治理,此類數(shù)據(jù)治理主要是解決指標(biāo)口徑的一致性,解決數(shù)據(jù)“不準(zhǔn)”的問(wèn)題,也由此引申出一些智能數(shù)倉(cāng)、指標(biāo)元數(shù)據(jù)工具,比如美團(tuán)的起源、快手的蓋亞、阿里的dataphin等等。

另一類是指廣義的數(shù)據(jù)治理,是指包括數(shù)據(jù)指標(biāo)口徑治理、數(shù)據(jù)安全治理、數(shù)據(jù)資源成本治理、數(shù)據(jù)資產(chǎn)元數(shù)據(jù)治理、數(shù)據(jù)產(chǎn)出治理等在內(nèi)的大治理,此類數(shù)據(jù)治理是需要綜合解決數(shù)據(jù)從采集加工到應(yīng)用分析再到銷毀全生命周期內(nèi)的口徑、成本、安全、合規(guī)和產(chǎn)出問(wèn)題。

在工具建設(shè)上,目前筆者看到的多是分散在數(shù)據(jù)安全、資產(chǎn)中心、SLA中心等不同的產(chǎn)品領(lǐng)域。

三、結(jié)論先行

這次筆者就不賣關(guān)子了,直接拋觀點(diǎn),筆者認(rèn)為,數(shù)據(jù)治理戰(zhàn)略層面的設(shè)計(jì)總結(jié)就兩點(diǎn):

第一,數(shù)據(jù)治理是一個(gè)系統(tǒng)性工程。

數(shù)據(jù)治理主要面對(duì)三個(gè)問(wèn)題,一是用戶心智培養(yǎng)問(wèn)題,二是組織保障問(wèn)題,三是系統(tǒng)提效問(wèn)題。

所以,單純從組織保障層面發(fā)力會(huì)面臨效率和質(zhì)量不高成本卻奇高的問(wèn)題,單純從運(yùn)營(yíng)機(jī)制建設(shè)層面發(fā)力會(huì)面臨缺乏組織和工具來(lái)落地策略的問(wèn)題,單純從建設(shè)工具發(fā)力會(huì)面臨缺乏組織抓手且找不到核心使用用戶,需求無(wú)法進(jìn)入正向循環(huán)的問(wèn)題。

以上問(wèn)題一句話總結(jié)就是靠組織無(wú)法長(zhǎng)期有效,靠運(yùn)營(yíng)無(wú)法落地實(shí)施,靠工具又缺乏用戶和需求持續(xù)跟進(jìn),因此,數(shù)據(jù)治理是一個(gè)需要組織保障、運(yùn)營(yíng)實(shí)施和工具建設(shè)三位一體跟進(jìn)的工作。

第二,數(shù)據(jù)治理又是一個(gè)抓大放小的工程。

世界本質(zhì)是一個(gè)熵增的過(guò)程,即任何事物本質(zhì)是一個(gè)自發(fā)的由有序向無(wú)序發(fā)展的過(guò)程,這個(gè)既是人性也是客觀規(guī)律,而數(shù)據(jù)治理本質(zhì)是減熵的過(guò)程,是建立秩序,因此任何的治理本身是逆人性和逆客觀規(guī)律的,需要源源不斷投入能量(資源)才能維持熵值平衡。

但問(wèn)題就在于,人性天然有建設(shè)性和破壞性兩面,想要秩序的存在并維持下去,本身就是需要投入非常大的建設(shè)精力和成本的,而且這個(gè)成本還不是一成不變的,它是隨著公司資產(chǎn)的累加而增加的,也是會(huì)隨著公司戰(zhàn)略、制度和文化的革新變化而變化的。

因此,數(shù)據(jù)治理工程中追求完美主義是不可取的,我們要學(xué)會(huì)分類分級(jí),學(xué)會(huì)判斷優(yōu)先級(jí),學(xué)會(huì)抓大放小,允許有序和無(wú)序的并存。

四、問(wèn)題分析

數(shù)據(jù)治理到底解決什么問(wèn)題?或者說(shuō)什么問(wèn)題的存在才需要數(shù)據(jù)治理?首先,我們來(lái)場(chǎng)景化模擬下數(shù)據(jù)從誕生到銷毀的一生中遇到的主要問(wèn)題。

場(chǎng)景1:小明是A視頻公司的策略產(chǎn)品經(jīng)理,工作職責(zé)之一就是分析用戶的特點(diǎn)和行為習(xí)慣,從而幫助算法工程師優(yōu)化視頻推薦策略,從而提高用戶對(duì)視頻APP的使用黏性。

這天,小明抽樣了部分用戶瀏覽行為數(shù)據(jù),發(fā)現(xiàn)部分用戶單位時(shí)間內(nèi)視頻切換速率較高,停留時(shí)長(zhǎng)較短,且點(diǎn)贊和關(guān)注數(shù)都較少,小明猜測(cè)是算法推薦的質(zhì)量有問(wèn)題,小明找了算法RD,算法RD卻回復(fù)最近視頻推薦的準(zhǔn)召率(準(zhǔn)確率和召回率)沒(méi)有問(wèn)題,并沒(méi)有出現(xiàn)下降,肯定不是算法的問(wèn)題,是視頻內(nèi)容質(zhì)量的問(wèn)題,或者是抽樣數(shù)據(jù)的問(wèn)題。

小明很苦惱,為什么數(shù)據(jù)分析下來(lái),小明覺(jué)得用戶對(duì)視頻的喜好度是不夠高的,但研發(fā)說(shuō)準(zhǔn)召率卻沒(méi)問(wèn)題,那問(wèn)題出在哪?

場(chǎng)景2:小紅是B咨詢公司的新來(lái)的數(shù)據(jù)分析師,最近她接到一個(gè)任務(wù),需要為客戶的一個(gè)市場(chǎng)咨詢報(bào)告提供數(shù)據(jù)分析支持。

因此小紅從業(yè)務(wù)經(jīng)理那里了解完需求后,開(kāi)始從公司數(shù)據(jù)庫(kù)和第三方數(shù)據(jù)庫(kù)獲取數(shù)據(jù),但事情卻一波三折,就單單在業(yè)務(wù)數(shù)據(jù)分析的定義上就來(lái)回溝通了好幾次,業(yè)務(wù)經(jīng)理告訴小紅她想知道a指標(biāo)的數(shù)據(jù),小紅翻閱了前人關(guān)于a指標(biāo)的統(tǒng)計(jì)口徑記錄發(fā)現(xiàn),a指標(biāo)居然有不下10個(gè)統(tǒng)計(jì)口徑,諸如a1字段在x1維度下的聚合、a2字段在x2維度下的聚合等等,到底應(yīng)該遵循哪個(gè)規(guī)范?

結(jié)果咨詢一堆同學(xué),發(fā)現(xiàn)每一個(gè)口徑都有特定的需求背景和定制化規(guī)則,這一通忙活。

場(chǎng)景3:小東是C公司的數(shù)據(jù)RD,最近他經(jīng)常半夜被各種數(shù)據(jù)跑批任務(wù)延遲和失敗告警給吵醒。

原來(lái)是公司最近要迎接618,活動(dòng)量的爆炸式增長(zhǎng)導(dǎo)致業(yè)務(wù)數(shù)據(jù)量的爆炸式增長(zhǎng),而業(yè)務(wù)報(bào)表的數(shù)據(jù)統(tǒng)計(jì)邏輯和背后的數(shù)據(jù)源卻沒(méi)有及時(shí)優(yōu)化,導(dǎo)致集群計(jì)算資源不足以支撐暴漲的需求而出現(xiàn)任務(wù)延遲或者失敗的情況,這個(gè)情況又影響了業(yè)務(wù)報(bào)表的數(shù)據(jù)及時(shí)展示,影響了公司各業(yè)務(wù)KP郵件報(bào)表的及時(shí)性。

場(chǎng)景4:小陽(yáng)是D公司的安全運(yùn)營(yíng),最近公司上線了一個(gè)新業(yè)務(wù),和已經(jīng)上線的幾家公司形成了假正經(jīng)關(guān)系,然后他最近經(jīng)常收到市場(chǎng)情報(bào)反饋,競(jìng)品公司能迅速感知到公司的投放數(shù)據(jù)和增長(zhǎng)數(shù)據(jù),到底是哪個(gè)環(huán)節(jié)出了問(wèn)題,為什么競(jìng)品公司能這么快知道公司核心數(shù)據(jù)機(jī)密,這讓他最近壓力倍增?

分析以上問(wèn)題,場(chǎng)景1其實(shí)是數(shù)據(jù)指標(biāo)準(zhǔn)確性的問(wèn)題,場(chǎng)景2的問(wèn)題主要是數(shù)據(jù)指標(biāo)規(guī)范性和唯一性的問(wèn)題,場(chǎng)景3主要是數(shù)據(jù)產(chǎn)出及時(shí)性的問(wèn)題,而場(chǎng)景4是數(shù)據(jù)安全性的問(wèn)題,以上,筆者認(rèn)為都屬于數(shù)據(jù)治理需要解決的問(wèn)題。

五、治理目標(biāo)

綜上,數(shù)據(jù)治理的目標(biāo)主要是解決以下四方面的問(wèn)題:

  1. 規(guī)范治理:解決數(shù)據(jù)完整性、規(guī)范性和唯一性問(wèn)題
  2. SLA治理:解決數(shù)據(jù)產(chǎn)出及時(shí)性問(wèn)題
  3. 口徑治理:解決數(shù)據(jù)指標(biāo)準(zhǔn)確性和口徑一致性問(wèn)題
  4. 安全治理:解決數(shù)據(jù)采集生產(chǎn)應(yīng)用各環(huán)節(jié)中賬號(hào)注冊(cè)認(rèn)證、權(quán)限管理、安全審計(jì)和隱私保護(hù)等安全治理問(wèn)題

六、策略概述

1. 成立數(shù)據(jù)治理委員會(huì),提供立法和組織保障

  • 成立治理制度執(zhí)委會(huì),負(fù)責(zé)研究和出臺(tái)相關(guān)治理制度和規(guī)范標(biāo)準(zhǔn),目標(biāo)是促成公司內(nèi)各個(gè)業(yè)務(wù)團(tuán)隊(duì)達(dá)成共識(shí),形成統(tǒng)一規(guī)范,避免信息孤島。
  • 成立治理產(chǎn)品執(zhí)委會(huì),負(fù)責(zé)梳理數(shù)據(jù)各環(huán)節(jié)的需求處理流程和業(yè)務(wù)流轉(zhuǎn)流程,負(fù)責(zé)各環(huán)節(jié)的治理工具建設(shè),形成可執(zhí)行方案,然后報(bào)制度執(zhí)委會(huì)推行。
  • 成立治理技術(shù)執(zhí)委會(huì),負(fù)責(zé)數(shù)據(jù)各環(huán)節(jié)的技術(shù)定義、模型設(shè)計(jì)和口徑維護(hù),對(duì)數(shù)據(jù)資產(chǎn)的落庫(kù)規(guī)范性和唯一性等負(fù)責(zé)。
  • 成立第三方治理審計(jì)監(jiān)察組,負(fù)責(zé)治理效果的評(píng)估、badcase的運(yùn)營(yíng)跟進(jìn)和事后追溯審計(jì)。

2. 建設(shè)數(shù)據(jù)治理套件,提供工具保障

  • 建設(shè)資產(chǎn)治理中心,目標(biāo)是為解決數(shù)據(jù)元信息的完整性、規(guī)范性、唯一性提供技術(shù)支持。
  • 建設(shè)SAL治理中心,目標(biāo)是為解決數(shù)據(jù)生產(chǎn)加工任務(wù)產(chǎn)出的及時(shí)性和任務(wù)調(diào)度的運(yùn)維提供技術(shù)支持。
  • 建設(shè)指標(biāo)治理中心,目標(biāo)是統(tǒng)一指標(biāo)定義、指標(biāo)生產(chǎn)和服務(wù),解決指標(biāo)口徑一致性和服務(wù)的效率問(wèn)題。
  • 建設(shè)安全治理之心,目標(biāo)是為數(shù)據(jù)安全5A領(lǐng)域)(賬號(hào)、認(rèn)證、授權(quán)、審計(jì)、隱私保護(hù))的問(wèn)題提供技術(shù)支持。

七、策略詳述

1. 流程保障策略

圖1:數(shù)據(jù)治理流程保障規(guī)劃示意圖

思路:如上圖所示,數(shù)據(jù)治理流程保障規(guī)劃整體思路參考PDCA循環(huán),即制定詳細(xì)規(guī)范方案,然后去驗(yàn)證并解決問(wèn)題,接著檢查問(wèn)題是否真實(shí)被根本解決,最后根據(jù)反饋再繼續(xù)爹迭代方案,進(jìn)入下一個(gè)循環(huán)。

機(jī)制:如上圖所示,數(shù)據(jù)治理流程保障規(guī)劃整體解決機(jī)制上分為三個(gè)部分,分別是事前預(yù)防,事中監(jiān)控和事后處理。

  • 第一部分的目標(biāo)是盡量將潛在問(wèn)題在未爆發(fā)前就消滅掉;
  • 第二部分的目標(biāo)是盡量將問(wèn)題都找出來(lái),減少影響范圍;
  • 第三部分的目標(biāo)是對(duì)暴露出的問(wèn)題進(jìn)行快速響應(yīng)和解決,并總結(jié)經(jīng)驗(yàn)。

整體流程:如上圖所示,數(shù)據(jù)治理流程保障規(guī)劃整體流程上將以解決數(shù)據(jù)質(zhì)量六性問(wèn)題(唯一性、規(guī)范性、完整性、準(zhǔn)確性、及時(shí)性、安全性)為目標(biāo),按照“規(guī)范建設(shè)-質(zhì)檢審查-發(fā)現(xiàn)問(wèn)題-評(píng)估問(wèn)題-解決問(wèn)題-驗(yàn)收問(wèn)題”的閉環(huán)流程,貫穿整個(gè)事前、事中和事后的環(huán)節(jié)。

具體實(shí)施:如上圖所示,數(shù)據(jù)治理流程保障規(guī)劃的具體實(shí)施細(xì)則上,會(huì)重點(diǎn)依托易龍的“數(shù)據(jù)治理五大項(xiàng)目模塊”,然后每個(gè)模塊都按照“規(guī)范建設(shè)-質(zhì)檢審查-發(fā)現(xiàn)問(wèn)題-評(píng)估問(wèn)題-解決問(wèn)題-驗(yàn)收問(wèn)題”的閉環(huán)流程進(jìn)行梳理和規(guī)劃。

(1)定義理想態(tài)

① 發(fā)現(xiàn)問(wèn)題

  • 召回率(覆蓋率)100%
  • 準(zhǔn)確率100%

指標(biāo)釋義:

召回率(覆蓋率):召回率又叫覆蓋率,是指所有真實(shí)存在的問(wèn)題中,系統(tǒng)或者人工檢測(cè)出的問(wèn)題占比。例如一共100條數(shù)據(jù),其中20條存在異常,系統(tǒng)報(bào)警顯示有30條存在問(wèn)題,事后被驗(yàn)證30條報(bào)警中真實(shí)存在問(wèn)題的有10條,則召回率(覆蓋率)=10/20*100%=50%

準(zhǔn)確率:是指所有被系統(tǒng)或者人工檢測(cè)出的問(wèn)題中,真實(shí)存在問(wèn)題的占比。例如一共100條數(shù)據(jù),其中20條存在異常,系統(tǒng)報(bào)警顯示有30條存在問(wèn)題,事后被驗(yàn)證30條報(bào)警中真實(shí)存在問(wèn)題的有10條,則準(zhǔn)確率=10/30*100%=33.3%。

注意:理論上最理想的狀態(tài)就是一次監(jiān)控任務(wù)中,所有問(wèn)題都被發(fā)現(xiàn),且所有報(bào)警的數(shù)據(jù)中沒(méi)有摻雜虛報(bào)情況,也就是召回率達(dá)到100%,準(zhǔn)確率為100%。

但是實(shí)際場(chǎng)景中,這樣的理想情況幾乎是不存在的!過(guò)度追求高召回率,監(jiān)控規(guī)則一定會(huì)設(shè)置的異常簡(jiǎn)單,那往往會(huì)有很多正常的波動(dòng)會(huì)被系統(tǒng)判定為“異?!薄?/p>

同理,過(guò)度追求高準(zhǔn)確率,監(jiān)控規(guī)則一定會(huì)設(shè)置的異??量?,那自然被報(bào)警的數(shù)據(jù)都是存在異常的,準(zhǔn)確率100%,但是這樣往往很多異常數(shù)據(jù)會(huì)被監(jiān)控系統(tǒng)給漏掉,漏報(bào)率就會(huì)異常的高!

因此,優(yōu)秀的監(jiān)控系統(tǒng)都是根據(jù)實(shí)際場(chǎng)景一直在找尋召回率和準(zhǔn)確率間的平衡點(diǎn)。

② 解決問(wèn)題

  • 響應(yīng)時(shí)長(zhǎng):24小時(shí)內(nèi)響應(yīng)問(wèn)題
  • 定位問(wèn)題:3天內(nèi)完成問(wèn)題的定位
  • 解決問(wèn)題:2周內(nèi)徹底解決問(wèn)題

③ 數(shù)據(jù)通道質(zhì)量

  • 丟失率<0.1%
  • 重復(fù)率<0.1%
  • 延遲率<0.5%

(2)規(guī)范建設(shè)

① 唯一性

  • 指標(biāo)、緯度、模型、庫(kù)表、數(shù)據(jù)、報(bào)表的唯一
  • ID唯一
  • 名稱唯一
  • 定義唯一
  • 加工邏輯唯一
  • 產(chǎn)出渠道唯一
  • 相似的指標(biāo)、緯度、模型、庫(kù)表、報(bào)表做減法,減少冗余

② 規(guī)范性

  • 流程規(guī)范
  • 需求→評(píng)估→處理→測(cè)試→上線→驗(yàn)收環(huán)節(jié)嚴(yán)格執(zhí)行
  • 數(shù)據(jù)和流程double check
  • 測(cè)試、試驗(yàn)驗(yàn)證數(shù)據(jù)質(zhì)量和流程執(zhí)行情況
  • 日志、庫(kù)表、模型、報(bào)表、代碼有統(tǒng)一的設(shè)計(jì)和輸出規(guī)范,信息齊全、分層合理、資源使用合理

③ 完整性

  • 日志、庫(kù)表的元信息完善,灰度測(cè)試階段只有空值率、異常值占比、分區(qū)缺失等指標(biāo)合格后方可上線發(fā)布

(3)發(fā)現(xiàn)問(wèn)題:監(jiān)控體系建設(shè)

如圖2和圖3所示,對(duì)于重要級(jí)別的日志、指標(biāo)、庫(kù)表數(shù)據(jù),除了粗粒度的質(zhì)檢外,還需要每天進(jìn)行更加嚴(yán)格和科學(xué)的監(jiān)控,以提前發(fā)現(xiàn)問(wèn)題并推動(dòng)解決:

圖2:數(shù)據(jù)埋點(diǎn)質(zhì)量監(jiān)控報(bào)表

圖3:數(shù)據(jù)指標(biāo)準(zhǔn)確性監(jiān)控報(bào)表

① 完整性(是否缺失或不可用)

  • 日志
  • 丟失率
  • 庫(kù)表
  • 丟失率
  • 分區(qū)缺失
  • 信息缺失(0、空值、NULL)

② 準(zhǔn)確性

  • 業(yè)務(wù)側(cè)
  • 相同指標(biāo)不同報(bào)表間建立交叉驗(yàn)證
  • 相同報(bào)表不同指標(biāo)間建立邏輯驗(yàn)證
  • 相同報(bào)表相同指標(biāo)建立波動(dòng)驗(yàn)證
  • 技術(shù)側(cè)
  • 埋點(diǎn)間的交叉驗(yàn)證
  • 多層庫(kù)表間相同指標(biāo)交叉驗(yàn)證
  • 明細(xì)層和統(tǒng)計(jì)層建立數(shù)據(jù)量、行數(shù)、計(jì)算結(jié)果的比對(duì)驗(yàn)證

③ 及時(shí)性

  • 日志上報(bào)
  • 有效上傳率
  • 延遲率
  • 資源使用
  • 當(dāng)前占用占比
  • 剩余資源占比
  • 任務(wù)調(diào)度
  • 完成率
  • 失敗率
  • 延遲率

(4)問(wèn)題分級(jí)

① 監(jiān)控分級(jí)

  • 對(duì)業(yè)務(wù)的影響度
  • 模型、庫(kù)表、報(bào)表使用熱度
  • 作業(yè)耗時(shí)熱度
  • 故障分級(jí)

② 預(yù)警分級(jí)

  • 藍(lán)色預(yù)警
  • 黃色預(yù)警
  • 紅色預(yù)警

③ 報(bào)警方式

  • 電話
  • 郵件
  • 短信
  • 企業(yè)微信

(5)事后處理

① 問(wèn)題跟蹤處理

  • 問(wèn)題分發(fā)(按業(yè)務(wù)、主題、部門等劃分問(wèn)題歸屬)
  • 問(wèn)題跟蹤
  • 問(wèn)題原因追溯
  • 問(wèn)題解決排期
  • 問(wèn)題解決反饋

② 問(wèn)題驗(yàn)收

  • 業(yè)務(wù)驗(yàn)收
  • 監(jiān)控系統(tǒng)驗(yàn)收

③ 定責(zé)存檔

  • 事故等級(jí)劃分
  • 事故存檔

2. 組織保障策略

圖4:數(shù)據(jù)治理組織保障規(guī)劃示意圖

責(zé)任劃分:以“規(guī)范建設(shè)-質(zhì)檢審查-發(fā)現(xiàn)問(wèn)題-評(píng)估問(wèn)題-解決問(wèn)題-驗(yàn)收問(wèn)題”的閉環(huán)流程為切入點(diǎn),將“需求規(guī)劃組、模型工程組、質(zhì)檢監(jiān)控組、審計(jì)評(píng)估組、數(shù)倉(cāng)工程組、應(yīng)急響應(yīng)組”分別配屬到對(duì)應(yīng)的環(huán)節(jié)中去,以提供流程執(zhí)行的組織人力保障。

平臺(tái)支持:重點(diǎn)建設(shè)埋點(diǎn)管理平臺(tái)、元數(shù)據(jù)管理平臺(tái)、質(zhì)檢監(jiān)控平臺(tái)、工單管理平臺(tái),為各流程環(huán)節(jié)中的組織人效提供幫助和支持。

具體實(shí)施:如上圖所示,數(shù)據(jù)應(yīng)用PM、數(shù)據(jù)平臺(tái)PM和模型工程師將對(duì)整個(gè)數(shù)據(jù)治理組織和平臺(tái)的健康高效運(yùn)轉(zhuǎn)負(fù)責(zé),并對(duì)其向數(shù)據(jù)治理委員會(huì)匯報(bào)。

(1)成立數(shù)據(jù)治理委員會(huì),提供立法和組織保障

  • 成立治理制度執(zhí)委會(huì),負(fù)責(zé)研究和出臺(tái)相關(guān)治理制度和規(guī)范標(biāo)準(zhǔn),目標(biāo)是促成公司內(nèi)各個(gè)業(yè)務(wù)團(tuán)隊(duì)達(dá)成共識(shí),形成統(tǒng)一規(guī)范,避免信息孤島。
  • 成立治理產(chǎn)品執(zhí)委會(huì),負(fù)責(zé)梳理數(shù)據(jù)各環(huán)節(jié)的需求處理流程和業(yè)務(wù)流轉(zhuǎn)流程,負(fù)責(zé)各環(huán)節(jié)的治理工具建設(shè),形成可執(zhí)行方案,然后報(bào)制度執(zhí)委會(huì)推行。
  • 成立治理技術(shù)執(zhí)委會(huì),負(fù)責(zé)數(shù)據(jù)各環(huán)節(jié)的技術(shù)定義、模型設(shè)計(jì)和口徑維護(hù),對(duì)數(shù)據(jù)資產(chǎn)的落庫(kù)規(guī)范性和唯一性等負(fù)責(zé)。
  • 成立第三方治理審計(jì)監(jiān)察組,負(fù)責(zé)治理效果的評(píng)估、badcase的運(yùn)營(yíng)跟進(jìn)和事后追溯審計(jì)。

(2)項(xiàng)目落地實(shí)施劃分一系列項(xiàng)目小組

  • 成立需求規(guī)劃小組,對(duì)所有業(yè)務(wù)需求的接待和規(guī)范負(fù)責(zé)
  • 成立模型工程小組,對(duì)接數(shù)據(jù)應(yīng)用PM,對(duì)數(shù)據(jù)從業(yè)務(wù)關(guān)聯(lián)到技術(shù)側(cè)的文檔和規(guī)范負(fù)責(zé)
  • 成立質(zhì)檢監(jiān)控小組,對(duì)數(shù)據(jù)業(yè)務(wù)測(cè)試和技術(shù)測(cè)試的實(shí)施負(fù)責(zé),對(duì)數(shù)據(jù)上報(bào)的質(zhì)量篩查負(fù)責(zé),對(duì)數(shù)據(jù)質(zhì)量的監(jiān)控負(fù)責(zé)
  • 成立審計(jì)評(píng)估小組,對(duì)上報(bào)的問(wèn)題評(píng)估定級(jí)負(fù)責(zé),對(duì)問(wèn)題的合理分發(fā)和處理進(jìn)展負(fù)責(zé)
  • 成立數(shù)倉(cāng)工程小組,對(duì)數(shù)倉(cāng)的規(guī)范建設(shè)負(fù)責(zé),對(duì)問(wèn)題的修復(fù)負(fù)責(zé)
  • 成立應(yīng)急響應(yīng)小組,對(duì)緊急高優(yōu)先級(jí)的需求快速高質(zhì)量負(fù)責(zé)

3. 運(yùn)營(yíng)思路

數(shù)據(jù)治理項(xiàng)目規(guī)劃地圖橫向一共分為機(jī)制、流程保障、細(xì)則、責(zé)任劃分、工具平臺(tái)和各個(gè)子項(xiàng)目模塊(包括日志埋點(diǎn)模塊、通道傳輸模塊、內(nèi)容規(guī)范模塊、加工過(guò)程模塊、語(yǔ)義定義模塊)數(shù)據(jù)治理項(xiàng)目機(jī)制劃分為:事前預(yù)防——事中監(jiān)控——事后處理。

數(shù)據(jù)治理項(xiàng)目流程保障劃分為:規(guī)范建設(shè)→質(zhì)檢審查→發(fā)現(xiàn)問(wèn)題→評(píng)估問(wèn)題→解決問(wèn)題→驗(yàn)收問(wèn)題。

圖5:數(shù)據(jù)治理項(xiàng)目規(guī)劃地圖

八、結(jié)語(yǔ)

本期主要從數(shù)據(jù)治理的問(wèn)題分析、治理目標(biāo)和治理策略進(jìn)行了闡述,下期起將重點(diǎn)介紹數(shù)據(jù)治理涉及的相關(guān)工具和平臺(tái)建設(shè),包括資產(chǎn)治理中心、SLA治理中心、安全治理中心和指標(biāo)治理中心等,歡迎關(guān)注~

 

作者:明明,美團(tuán)數(shù)據(jù)安全與易用性工作組PM,在線教育行業(yè)雙師直播模式的第一批參與者,立志成為一名受人尊敬的產(chǎn)品經(jīng)理。

本文由@一個(gè)數(shù)據(jù)人的自留地 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來(lái)自Unsplash,基于CC0協(xié)議

作者:薄荷點(diǎn)點(diǎn),“數(shù)據(jù)人創(chuàng)作者聯(lián)盟”成員。

本文由@一個(gè)數(shù)據(jù)人的自留地 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來(lái)自Unsplash,基于CC0協(xié)議。

該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 能不大佬,能更新數(shù)據(jù)治理規(guī)劃的圖片?現(xiàn)在看不清楚

    來(lái)自廣東 回復(fù)
  2. 大大,能不能更新數(shù)據(jù)治理規(guī)劃的圖片,現(xiàn)在的看不清楚,麻煩啦

    回復(fù)
  3. 辛苦了

    回復(fù)
  4. 很詳細(xì),點(diǎn)贊

    來(lái)自北京 回復(fù)