數據治理(一):動手前的建設思考

0 評論 4080 瀏覽 33 收藏 11 分鐘

數據治理環節的存在可以幫助企業解決數據不準、或者數據全生命周期的相關問題,那么企業該如何進入數據治理環節、并搭建相應策略?可能在開始之前,企業需要先做好內部調研和思考。本篇文章里,作者便針對數據治理建設發表了他的見解,一起來看一下。

前言

數據治理這一概念最近越來越受到企業的關注,筆者也在兩家公司完成數據治理從0-1的建設,從數據集成、數據質量、數據資產、數據安全、數據交換各個環節。數據治理是個大話題,包含的環節也非常多,所以拆開了多期內容與大家共同討論。

一、定義

數據治理基本上有兩種定義。第一類【數據】治理,主要解決指標標準、數據不準的問題,解法相對于聚焦一些,應用工具指標管理平臺、數據質量平臺,甚至直接由研發“人肉智能”就能夠見效。第二類數據【治理】,主要解決數據全生命周期的問題,從數據采集、數據質量、數據應用、數據安全、數據分享各個環節。

二、思考

數據治理是一個系統化且長周期的工程,雖然治理的路數和思路基本上大同小異,基本上三大抓手“組織架構、治理工具、運營監控”,但是因為下面幾個問題,所以在各企業落地的方式和形態都不太一致。

1. 角色

數據治理絕大部分都是由內向外,在企業內部形成閉環,那我們所在部門在公司的角色是重中之重,這影響到可以獲得的支持、調動的資源、協調的部門、取得的收益。

第一類國企,那看數據治理這份工作是什么視角,是軟件部門所在的治理還是以監察審計出發,可以參考成熟的數據治理成熟度模型-DCMM去建設治理體系,不會犯錯,看當前有多少預算,多少資源選擇性去做(下圖有些刪減,僅供參考)。

第二類私企,一般業務部門的數據團隊進行【數據】治理,保障數據的準確性的一致性即可。而在數據中臺則考慮的更全面、更體系,筆者現在是數據中臺,所以后續內容站在中臺視角講的多些,下面先簡單講講數據中臺。

數據中臺是圍繞數據從生產、存儲、質量、使用、傳輸、共享、冷存儲到毀滅的全生命周期,是滿足數倉研發工程師、數據科學專家、產品經理、分析師、決策管理者等不同角色對數據的應用需求,具備海量多源異構數據整合、實時數據計算與發布、統一通道數據調用與分析能力,支持高可復用、高可靠、高效的且開放型數據治理能力的數據應用平臺。

2. 階段

從數據的價值角度來看,總結有兩個階段「業務數據化和數據業務化」,企業處于不同的階段,我們所實施的治理的步驟順序也有一定重心調整。

業務數據化實際上就是業務發生的過程形成數據,比如教培行業的課中學習數據、老師授課數據、廣告投放數據等等。那這一部分治理的重心就在于數據埋點、數據入庫、數據存儲、數據標準、數據質量、數據指標,保證數據及時、完整、一致,為數據分析做好有效有效支持。

數據業務化實際上就是數據加工后,從中找出規劃后反哺業務。比如音樂平臺,根據用戶之前的聽歌記錄,通過算法判斷用戶的喜好,推送歌單給用戶,提升用戶的粘性和留存。亦如電商平臺根據客戶的歷史購買記錄,給客戶推薦商品。這個階段重點治理數據倉庫、數據資產、數據分析、數據安全、數據應用等,釋放數據價值。

三、價值

如何評估數據治理的價值呢?這往往也是令我們最頭疼的,本質上來講數據治理的價值就是降本增效、控質提安、賦能決策,治理的收益有很多,但是要知道的是上面想拿哪些收益,這也是影響治理的重要性和執行力度的關鍵。

1. 降本

成本一般由四部分構成,分別是采集、計算、存儲、應用。

降本是這里面收益最直觀、見效最快、最好衡量,畢竟和Money掛鉤,這四部分收益最快的存儲>計算>應用>采集。

存儲可以直接采用下服務、刪除冗余數據等手段,衡量的指標可以直接用“存儲節約TB/元”。

計算可以在有限的資源里去合理的分配,或者使用監控手段,比如一條計算大約多少錢,當然這一部分有明確的業務預算和高層的支持。

應用和采集是相對不好拿收益,采集是大數據的源頭,理論來講其實是越多越好,而應用是最終服務的呈現,治理的話牽一發動全身,還需慎重。

2. 增效

增效的角度可以從查詢效率、查詢時間、時間成本都可以作為治理收益。比如我查詢數據之前要用一個小時,現在用十五分鐘。

3. 控質

從數據質量角度出發,數據故障率、數據及時率、數據完整率等指標進行監控。

4. 提安

安主要是講數據的安全,數據安全可以從風險項、數據安全覆蓋率、數據脫敏等角度出發。

“安全無小事,責任終于山”,安全這個方向要么不出事要么就是出大事,所以數據一定要監控留痕,以防事后追責。最近行業內安全事故層出不窮,各個企業也都越來越重視。

5. 賦能決策

這個方向比較長效,串聯部門也多,更需要深入業務,比如數據模型、畫像標簽直接帶來的收益,還有一種思路比如說不同數據源它的業務產生的價值區別。

四、策略

對內有的時候治理規則太多,不能落地,導致大而全,沒辦法集中資源,拿不到有效的收益。對外有的時候治理規則太多,不能落地,畢竟需要很多團隊參與,效率協同也很重要。

1. 體系

所有數據治理體系已經很成熟了,阿里云的dataworks、華為云的DataArts Studio等,但是如果采用自建數據體系,一定不能因為治理而治理,要從實際出發,找到企業自身痛點,確定優先級。

2. 組織

首先,在做數據治理前重中之重一定要有高層的支持,自上而下的去推動,否則只是停留在口號階段。其次,數據治理誰負責?誰執行?從筆者公司的數據中臺角度來說,建立數據體系,平臺工具,最終由業務數據團隊協同配合和使用。

數據委員會的建立,一般是有企業的高級管理者組成,負責數據戰略創建和批準,負責項目、政策、授權的制定和協同。

數據治理小組一般是負責人角色,負責整理體系的方案構建、平臺落地、評估規劃。

業務治理團隊一般是執行者角色,使用平臺工具按照標準規范生產加工數據,根據評估體系來治理數據所存在的問題。

協同團隊一般財務、hr團隊,給予數據治理資源的協調和支持。

3. 運營

數據治理不是一個 “階段性項目”,而是一個“可持續的運營項目”。針對企業存儲、規范、質量、資源、安全、價值等六個方面形成數據治理評估體系,可以采用健康分的形式,以現存的問題為驅動的理念,覆蓋事前、事中、事后的全鏈路主動式數據治理和治理評估。

五、總結

數據治理是一個大工程,所以在動手之前要做好充足的思考和調研,所以也就有了此篇文章,后續數據治理章節會以平臺工具為話題去安排,按照體系中的架構圖,包含指標管理平臺、數據質量監控平臺、數據地圖、數據安全中心等。

本文由 @芥末先生 原創發布于人人都是產品經理。未經許可,禁止轉載。

題圖來自 Unsplash,基于 CC0 協議。

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!