數據治理(一):動手前的建設思考
數據治理環節的存在可以幫助企業解決數據不準、或者數據全生命周期的相關問題,那么企業該如何進入數據治理環節、并搭建相應策略?可能在開始之前,企業需要先做好內部調研和思考。本篇文章里,作者便針對數據治理建設發表了他的見解,一起來看一下。
前言
數據治理這一概念最近越來越受到企業的關注,筆者也在兩家公司完成數據治理從0-1的建設,從數據集成、數據質量、數據資產、數據安全、數據交換各個環節。數據治理是個大話題,包含的環節也非常多,所以拆開了多期內容與大家共同討論。
一、定義
數據治理基本上有兩種定義。第一類【數據】治理,主要解決指標標準、數據不準的問題,解法相對于聚焦一些,應用工具指標管理平臺、數據質量平臺,甚至直接由研發“人肉智能”就能夠見效。第二類數據【治理】,主要解決數據全生命周期的問題,從數據采集、數據質量、數據應用、數據安全、數據分享各個環節。
二、思考
數據治理是一個系統化且長周期的工程,雖然治理的路數和思路基本上大同小異,基本上三大抓手“組織架構、治理工具、運營監控”,但是因為下面幾個問題,所以在各企業落地的方式和形態都不太一致。
1. 角色
數據治理絕大部分都是由內向外,在企業內部形成閉環,那我們所在部門在公司的角色是重中之重,這影響到可以獲得的支持、調動的資源、協調的部門、取得的收益。
第一類國企,那看數據治理這份工作是什么視角,是軟件部門所在的治理還是以監察審計出發,可以參考成熟的數據治理成熟度模型-DCMM去建設治理體系,不會犯錯,看當前有多少預算,多少資源選擇性去做(下圖有些刪減,僅供參考)。
第二類私企,一般業務部門的數據團隊進行【數據】治理,保障數據的準確性的一致性即可。而在數據中臺則考慮的更全面、更體系,筆者現在是數據中臺,所以后續內容站在中臺視角講的多些,下面先簡單講講數據中臺。
數據中臺是圍繞數據從生產、存儲、質量、使用、傳輸、共享、冷存儲到毀滅的全生命周期,是滿足數倉研發工程師、數據科學專家、產品經理、分析師、決策管理者等不同角色對數據的應用需求,具備海量多源異構數據整合、實時數據計算與發布、統一通道數據調用與分析能力,支持高可復用、高可靠、高效的且開放型數據治理能力的數據應用平臺。
2. 階段
從數據的價值角度來看,總結有兩個階段「業務數據化和數據業務化」,企業處于不同的階段,我們所實施的治理的步驟順序也有一定重心調整。
業務數據化實際上就是業務發生的過程形成數據,比如教培行業的課中學習數據、老師授課數據、廣告投放數據等等。那這一部分治理的重心就在于數據埋點、數據入庫、數據存儲、數據標準、數據質量、數據指標,保證數據及時、完整、一致,為數據分析做好有效有效支持。
數據業務化實際上就是數據加工后,從中找出規劃后反哺業務。比如音樂平臺,根據用戶之前的聽歌記錄,通過算法判斷用戶的喜好,推送歌單給用戶,提升用戶的粘性和留存。亦如電商平臺根據客戶的歷史購買記錄,給客戶推薦商品。這個階段重點治理數據倉庫、數據資產、數據分析、數據安全、數據應用等,釋放數據價值。
三、價值
如何評估數據治理的價值呢?這往往也是令我們最頭疼的,本質上來講數據治理的價值就是降本增效、控質提安、賦能決策,治理的收益有很多,但是要知道的是上面想拿哪些收益,這也是影響治理的重要性和執行力度的關鍵。
1. 降本
成本一般由四部分構成,分別是采集、計算、存儲、應用。
降本是這里面收益最直觀、見效最快、最好衡量,畢竟和Money掛鉤,這四部分收益最快的存儲>計算>應用>采集。
存儲可以直接采用下服務、刪除冗余數據等手段,衡量的指標可以直接用“存儲節約TB/元”。
計算可以在有限的資源里去合理的分配,或者使用監控手段,比如一條計算大約多少錢,當然這一部分有明確的業務預算和高層的支持。
應用和采集是相對不好拿收益,采集是大數據的源頭,理論來講其實是越多越好,而應用是最終服務的呈現,治理的話牽一發動全身,還需慎重。
2. 增效
增效的角度可以從查詢效率、查詢時間、時間成本都可以作為治理收益。比如我查詢數據之前要用一個小時,現在用十五分鐘。
3. 控質
從數據質量角度出發,數據故障率、數據及時率、數據完整率等指標進行監控。
4. 提安
安主要是講數據的安全,數據安全可以從風險項、數據安全覆蓋率、數據脫敏等角度出發。
“安全無小事,責任終于山”,安全這個方向要么不出事要么就是出大事,所以數據一定要監控留痕,以防事后追責。最近行業內安全事故層出不窮,各個企業也都越來越重視。
5. 賦能決策
這個方向比較長效,串聯部門也多,更需要深入業務,比如數據模型、畫像標簽直接帶來的收益,還有一種思路比如說不同數據源它的業務產生的價值區別。
四、策略
對內有的時候治理規則太多,不能落地,導致大而全,沒辦法集中資源,拿不到有效的收益。對外有的時候治理規則太多,不能落地,畢竟需要很多團隊參與,效率協同也很重要。
1. 體系
所有數據治理體系已經很成熟了,阿里云的dataworks、華為云的DataArts Studio等,但是如果采用自建數據體系,一定不能因為治理而治理,要從實際出發,找到企業自身痛點,確定優先級。
2. 組織
首先,在做數據治理前重中之重一定要有高層的支持,自上而下的去推動,否則只是停留在口號階段。其次,數據治理誰負責?誰執行?從筆者公司的數據中臺角度來說,建立數據體系,平臺工具,最終由業務數據團隊協同配合和使用。
數據委員會的建立,一般是有企業的高級管理者組成,負責數據戰略創建和批準,負責項目、政策、授權的制定和協同。
數據治理小組一般是負責人角色,負責整理體系的方案構建、平臺落地、評估規劃。
業務治理團隊一般是執行者角色,使用平臺工具按照標準規范生產加工數據,根據評估體系來治理數據所存在的問題。
協同團隊一般財務、hr團隊,給予數據治理資源的協調和支持。
3. 運營
數據治理不是一個 “階段性項目”,而是一個“可持續的運營項目”。針對企業存儲、規范、質量、資源、安全、價值等六個方面形成數據治理評估體系,可以采用健康分的形式,以現存的問題為驅動的理念,覆蓋事前、事中、事后的全鏈路主動式數據治理和治理評估。
五、總結
數據治理是一個大工程,所以在動手之前要做好充足的思考和調研,所以也就有了此篇文章,后續數據治理章節會以平臺工具為話題去安排,按照體系中的架構圖,包含指標管理平臺、數據質量監控平臺、數據地圖、數據安全中心等。
本文由 @芥末先生 原創發布于人人都是產品經理。未經許可,禁止轉載。
題圖來自 Unsplash,基于 CC0 協議。
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
- 目前還沒評論,等你發揮!