10分鐘,講通透銀行數據治理該怎么做
數據治理是銀行數據建設必不可少的一個環節。好的數據治理體系可以盤活整條數據鏈路,最大化保障銀行數據的采集、存儲、計算和使用過程的可控和可追溯。本篇文章,作者介紹了銀行數據治理該如何去做,包括數據治理有哪些環節,又有哪些誤區,一起來看看吧,希望能夠給你帶來幫助。
數據治理的目的是什么?數據治理的最終目標是提升數據的價值。
數據治理是一個從上到下的工作,資源的調動,制度的設計、執行、監督,最終都要落實在人上,只有獲得組織內部全鏈條的支持,最終才能取得成效。
一、為什么說數據治理是臟活累活呢?
數據的收集、治理和管理是個長期的活,需要的資源多,項目周期長,不懂的領導不太明白這塊工作的價值和工作量。
數據治理長期且繁雜,而且大多數時候很難看到立竿見影的效果,很多坑容易踩到,一不小心就以失敗告終,所以經常被吐槽為“臟活累活”。
吐槽歸吐槽,但數據治理的重要性也不可否認。做數據治理很難,但對于一些正在數字化轉型道路上邁步前行的銀行來說,這又是一件關系到發展戰略的不得不做的基礎工程,銀行早在10年前已經開始進行數據治理,只是大家的治理的水平和階段不一致而已。
1.源數據
煙囪式開發:業務繁多、數據庫多而亂,系統與系統之間錯綜復雜
數據庫種類:架構經歷多次變遷,切換不完全,需要從Mysql、oracle、hbase甚至excle表中跨庫、跨實例、跨種類才能獲得有效業務數據
數據結構混亂:同一字段,類型、命名都不一致
文檔缺失:無數據庫文檔或文檔陳舊
2.變遷
系統版本升級:每一次升級都只是掩蓋之前的錯誤,數據治理需要從源頭
人員變更:梳理過程中的大部分問題最終答案:“不清楚,原來維護人已離職”
數據流轉:數據從源頭經過很多次不規范的同步
3.存量
各自為政:各業務部門已有自己的統計邏輯和報表,同一指標匯總維度又不一致,梳理、治理、輸出還要盡量不影響已有報表結果
半途而廢:前任都知道數據治理、統一出口的重要性,但只完成一部分就放棄了。問題在于“完成的一部分”有人還在用。
二、數據治理閉環
1、組織固定的數據治理團隊
行里分管的領導需要組建一支對數據治理有足夠認識、有治理經驗、熟悉業務的團隊,給予團隊有相對的資源和足夠權限,得到各部門的全力配合和支持。
2、清楚行內數據質量和任務
行內的數據采集情況、數據存儲情況,數據從分散的系統集中到數據倉庫。評估當前數據質量,保證數據完整性、準確性、及時性、一致性、唯一性,明確數據治理的任務和階段目標。
3、規范治理流程和建立制度
數據治理團隊可以選擇從業務流程,也就是數據產生的源頭開始,對其進行規范化、流程化、標準化處理,并建立相關業務規則文檔,保證業務部門能夠在人員流動中保持數據治理意識。
4、確認業務指標,劃分數據層級
在數據治理工作中,對數據進行指標、標簽分類非常重要,數據治理團隊自己要熟悉業務和各個系統,與業務部門充分溝通,并要求合作為業務數據建立對應的指標體系,劃分核心數據指標,進行分類分級。
5、建立平臺,自動化處理機制
治理過程中需要建立自動化治理平臺,讓業務數據能夠自動傳輸到對應數據倉庫中。
6、關注異常數據,完善業務系統
數據治理團隊建立監控預警機制,分析數據質量和異常數據,協調技術人員完善業務系統。
7、完善業務數據閉環
數據治理團隊可以對整個數據治理周期流程進行整合,形成一套完整的“業務-數據-處理-存儲-調取-利用-分析-可視化-預警-決策-業務”閉環流程,讓數據在過程中不斷優化,持續提高數據質量。
三、數據治理體系
銀行數據治理體系包括數據質量管理、元數據管理、主數據管理、數據資產管理、數據安全及數據標準等內容。
1、數據質量
一般采用常用的標準來衡量數據質量的好壞:完整性、準確性、一致性和及時性。
完整性:數據的記錄和信息是否完整,是否存在缺失情況。
準確性:數據匯總記錄的信息和數據是否準確,是否存在異?;蛘咤e誤。
一致性:多個業務數倉間的公共數據,必須在各個數據倉庫中保持一致。
及時性:數據能及時產生和預警。
2、元數據管理
元數據是關于數據的組織、數據域及其關系的信息,通俗理解,元數據就是描述數據的數據。
元數據包含技術元數據和業務元數據,讓數據分析人員對銀行的數據情況一目了然,數據存儲在哪里,如何抽取、清理、維護這些數據,血緣關系怎么樣。
元數據確立數據業務含義可解釋性。
提升數據整合和溯源能力,血緣關系可維護性。
建立數據質量稽核體系,分類管理監控。
3、主數據管理
銀行的數據分為三部分:主數據、交易數據、指標數據。其中,主數據和交易數據合稱為基礎數據。主數據指銀行內一致并共享的業務主體,常見的主數據比如銀行的員工、客戶數據、渠道數據、產品數據。
主數據還包括一些關系數據,它們描述了主數據之間的關系,比如客戶與產品的關系、產品與地域的關系、客戶與客戶的關系、產品與產品的關系等。
4、數據資產管理
數據資產管理主要關心數據有沒有被合理利用?如何產生最大價值?這些都是數據資產管理關心的核心工作,數據資產從業務角度和技術角度進行合并,輸出統一的數據資產分析,向外提供統一的數據資產服務。
如何盤活數據,形成數據資產,提供完整的數據資產全景視圖,讓數據管理部門和業務部門全局、宏觀地掌控銀行資產動態。
5、數據安全
數據安全是銀行數據建設必不可少的一環,我們的數據都存儲在服務器中,需要對數據進行核查、敏感字段加密、訪問權限控制,確保數據能夠被安全地使用。
6、數據標準
數據要有統一的標準,保障數據內外部使用和交換的一致性和準確性的規范性約束,通過統一規范,消除二義性。
定制統一的數據標準平臺,包括字段標準管理,碼值標準管理以及字典管理,業務源數據和中臺數據統一標準。
四、數據治理的幾點誤區
1、數據治理是否要做得大而全
不同階段和規模的銀行,數據治理的實施程度會有所不同,一般建設先根據自身的數據狀況分階段進行,避免盲目鋪開規模,過程中可調整。
2、數據治理是技術部門的事嗎
數據治理不僅僅是技術團隊的事,而銀行各部門一起協作完成,包括各業務線以及其它網點和營銷點。
3、數據治理不是短期的項目
數據治理是個長期過程,隨著業務發展和銀行規模增長,業務系統的不斷的迭代,數據治理是一個長期而持續的項目。
4、一定需要建設平臺嗎
前期平臺不是必須的,首先要有成熟的數據治理體系和策略,自建平臺和采購平臺都可以,先把體系建設好。
5、數據質量問題各類原因
有業務方面的數據定義不明確,也有技術方面的數據抽取不完整。
有管理方面的崗位職責不清晰,也有執行層面的數據操作不規范。
有數據處理加工過程中出現了錯誤,也有數據源本身就有問題。
有數據治理系統功能有缺陷,也有系統強大但是沒人用……
五、小結
數據治理是銀行數據建設必不可少的一個環節。好的數據治理體系可以盤活整條數據鏈路,最大化保障銀行數據的采集、存儲、計算和使用過程的可控和可追溯。
數據治理是幾乎需要所有部門參與和支持的項目,進行長期且持續的堅持才能實現成功的系統項目。
數據治理的最終目標是賦能業務,提升數據價值。這是一個持續漫長的運營過程,需要逐步完善、分步迭代,指望一步到位完成數據治理是不現實的。
項目型的數據治理,是不全面的,無延續性,能夠解決一時的數據問題,但很難獲得持續的數據價值。
專欄作家
湯向軍,公眾號:營銷數字化轉型(ID:Fi-Digital),人人都是產品經理專欄作家。專注于銀行數字化轉型。
本文原創發布于人人都是產品經理。未經許可,禁止轉載
題圖來自 Unsplash,基于 CC0 協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務
- 目前還沒評論,等你發揮!