如何構建企業(yè)級數據治理體系?
編輯導讀:數據治理是指企業(yè)的數據架構、數據標準、數據質量、數據安全等領域的建設和管理的全流程。作為一個數據工作者,無論公司數據體量大或小,都應該具備數據治理的能力。本文從自身經驗出發(fā),分析如何構建企業(yè)級數據治理體系,希望對你有幫助。
通常我在做數據架構的時候,都會在旁邊加一個“數據治理”。但是吧,大多數時候都只是寫寫而已。因為這個數據治理太費勁了,短期內吃力不討好,長期才能見效,但是又不足為外人道也。就像是好媳婦把家里拾掇的干干凈凈利利索索的,外人看來,最多夸一句“家里真干凈”,卻不會說你這是大才。
上圖是數據架構示例,數據治理是其中非常重要的一部分。它的意義決定了上層應用的可用性,甚至決定了項目的成敗。很多數據項目建完之后,老板都有一個非常顯著的感覺:花幾十萬建的系統(tǒng),還沒有秘書好用。這是為啥呢?
一、“數據治理”到底有什么用?
一句話解釋:“數據治理”往大了說,是進行企業(yè)的數據架構、數據標準、數據質量、數據安全等領域的建設和管理的全流程;往小了說,是在數據管理和使用層面之上進行規(guī)劃、監(jiān)督和控制。
嗯,你理解的沒錯,通常在數據體量較大的公司,數據治理才會被提上桌面。但是作為一個數據工作者,我認為無論你有多少數據–哪怕只是記手賬–都需要進行數據治理。一個追求完美的數據工作者,應該要有數據潔癖。
二、“數據治理”應該做什么?
其實絕大多數事情,早已經有無數人在研究,也有很多的研究成果。稍微收集一下就會有很多很多的資料。
目前國內外數據治理的理論及規(guī)范:
國外:
- CWM 1.1
- MOF
- DAMA- DMBok
- DMM
國內:
- DMCM
- DCMM
在數據質量國家標準《GB/T 36073-2018》數據管理能力成熟度評估模型中定義,應該從數據戰(zhàn)略、數據治理、數據架構、數據標準、數據生命周期、數據應用、數據質量、數據安全等八大方面進行評估。
在《DAMA-DMBOK職能框架》中,定義了10個主要的數據管理職能:
這兩張圖可以貼到你的ppt里面去,讓你的領導看看數據治理是一個多么龐大的體系。
三、“數據治理”應該怎么做?
偷偷告訴你一個小技巧,有一個大帽子蓋在前面,就方便咱做事,這招屢試不靈。
前面兩張圖,給你提供了一個巨大的帽子,但是怎么落實呢?這就可大可小,隨心控制了。
我再給你扔一張圖:
如果,你的公司啥都沒有,就幾個數據工程師。老板說要建數據中臺,那么你有兩種選擇:離職;堅持,一定要堅持,堅持看完整個項目的失敗,這樣你就能經歷一個完整的失敗案例。
扯回來。如果公司要讓你做數據治理、數據管理、數據戰(zhàn)略等事情,你就照著上面的表格去寫就好了。
第一階段:其實就是各種規(guī)劃
- 首要的事情肯定是組織保障,啥話不說,先招幾十號人來,人越多,你的位置越穩(wěn)(來自于互聯網摸魚大法,笑^_^);
- 然后是各種流程、標準、制度建設,數據安全管理制度、數據處理流程、數據提取流程、元數據標準、主數據標準等。
- 還有各種摸底,數據資源梳理、數據需求梳理等等。
第二階段:其實就是各種建設
- 根據元數據標準、主數據標準,建設元數據、主數據
- 根據數據處理流程、數據提取流程、數據需求梳理結果,建設各種固定報表、即席查詢等內容
- 根據數據資源梳理結果,進行數倉的規(guī)劃和建設
第三階段:其實就是上各種平臺
- 建設數據地圖、血緣分析、數據資產目錄等,將數據資產化
- 進行數據開放,進行各種AI探索
- 其實上面的建完了,基本上能打通的也都打通了,能統(tǒng)一的也都統(tǒng)一了,再加上一些統(tǒng)一管控的服務,數據中臺也就差不多順理成章,做好了
四、數據治理能不能一步到位?
看你是從哪一步開始走了。
如果你公司有成建制的數據團隊,早就已經拉平認知、統(tǒng)一定義,流程規(guī)范,制度嚴謹,技術先進,投入有保障,那沒問題,只要稍微組織一下相關知識的學習,做個半年規(guī)劃,投入人力物力,肯定一步到位。
如果你公司就3、5個數據工程師,那么你有兩個選擇,離職;堅持看完整個項目的失敗。對了,上面好像講過了。
你問我為啥這么肯定?因為我經歷過~~
地基不穩(wěn),無異于泥塘之中起高樓,能做起來簡直是奇跡!
五、數據治理全景圖
好了,最后放一張數據治理全景圖,鎮(zhèn)樓!
轉發(fā),點贊,在看,安排一下?
作者:大數據架構師,國藥國華大數據總監(jiān),擅長BI、數倉、數據中臺產品規(guī)劃領域,公眾號:大數據架構師
本文由 @大數據架構師 原創(chuàng)發(fā)布于人人都是產品經理。未經許可,禁止轉載
題圖來自Unsplash,基于 CC0 協議
你好,我們這有個數據治理規(guī)劃需求,看看如何合作,13529260708.
老師好,有個我遇到的問題想請教下:
現發(fā)現負責的業(yè)務系統(tǒng)數據準確性不高,無法支持用戶日常分析和領導管理決策,因此用戶也想著要做出改變,做所謂的數據治理,提升數據準確性。按您的框架,是否適用于我們這種場景和訴求呢,謝謝
DAMA的框架是一個通用的框架。傳統(tǒng)企業(yè)和互聯網企業(yè)都在參考這個體系。
不過您這個描述有些奇怪,業(yè)務系統(tǒng)數據準確性不高,這不應該吧?畢竟業(yè)務系統(tǒng)的基本要求就是記錄真實的業(yè)務情況??!好比你去某寶買個東西,你的訂單必須是準確的??!
供應商以某種方式拿到零售門店的銷售數據。這個過程,零售門店給的數據會存在數據質量很差的情況。
只有4個java后端和2個前端,沒有數據工程師,咋搞?
具體的數據治理工作不是開發(fā)的事情。
我理解你說的是數據治理產品自研的工作吧?如果是,那么只要有數據產品經理給你規(guī)劃數據治理產品需求,你們按需求開發(fā)各種產品就好了。這跟數據治理本身就沒關系了。
和樓主同樣情況,而我是那個產品經理(并不懂數據),咋切入?