10分鐘,講通透銀行數據治理該怎么做

0 評論 4967 瀏覽 17 收藏 13 分鐘

數據治理是銀行數據建設必不可少的一個環節。好的數據治理體系可以盤活整條數據鏈路,最大化保障銀行數據的采集、存儲、計算和使用過程的可控和可追溯。本篇文章,作者介紹了銀行數據治理該如何去做,包括數據治理有哪些環節,又有哪些誤區,一起來看看吧,希望能夠給你帶來幫助。

數據治理的目的是什么?數據治理的最終目標是提升數據的價值。

數據治理是一個從上到下的工作,資源的調動,制度的設計、執行、監督,最終都要落實在人上,只有獲得組織內部全鏈條的支持,最終才能取得成效。

一、為什么說數據治理是臟活累活呢?

數據的收集、治理和管理是個長期的活,需要的資源多,項目周期長,不懂的領導不太明白這塊工作的價值和工作量。

數據治理長期且繁雜,而且大多數時候很難看到立竿見影的效果,很多坑容易踩到,一不小心就以失敗告終,所以經常被吐槽為“臟活累活”。

吐槽歸吐槽,但數據治理的重要性也不可否認。做數據治理很難,但對于一些正在數字化轉型道路上邁步前行的銀行來說,這又是一件關系到發展戰略的不得不做的基礎工程,銀行早在10年前已經開始進行數據治理,只是大家的治理的水平和階段不一致而已。

1.源數據

煙囪式開發:業務繁多、數據庫多而亂,系統與系統之間錯綜復雜

數據庫種類:架構經歷多次變遷,切換不完全,需要從Mysql、oracle、hbase甚至excle表中跨庫、跨實例、跨種類才能獲得有效業務數據

數據結構混亂:同一字段,類型、命名都不一致

文檔缺失:無數據庫文檔或文檔陳舊

2.變遷

系統版本升級:每一次升級都只是掩蓋之前的錯誤,數據治理需要從源頭

人員變更:梳理過程中的大部分問題最終答案:“不清楚,原來維護人已離職”

數據流轉:數據從源頭經過很多次不規范的同步

3.存量

各自為政:各業務部門已有自己的統計邏輯和報表,同一指標匯總維度又不一致,梳理、治理、輸出還要盡量不影響已有報表結果

半途而廢:前任都知道數據治理、統一出口的重要性,但只完成一部分就放棄了。問題在于“完成的一部分”有人還在用。

二、數據治理閉環

10分鐘給你講通透銀行數據治理該怎么做

1、組織固定的數據治理團隊

行里分管的領導需要組建一支對數據治理有足夠認識、有治理經驗、熟悉業務的團隊,給予團隊有相對的資源和足夠權限,得到各部門的全力配合和支持。

2、清楚行內數據質量和任務

行內的數據采集情況、數據存儲情況,數據從分散的系統集中到數據倉庫。評估當前數據質量,保證數據完整性、準確性、及時性、一致性、唯一性,明確數據治理的任務和階段目標。

3、規范治理流程和建立制度

數據治理團隊可以選擇從業務流程,也就是數據產生的源頭開始,對其進行規范化、流程化、標準化處理,并建立相關業務規則文檔,保證業務部門能夠在人員流動中保持數據治理意識。

4、確認業務指標,劃分數據層級

在數據治理工作中,對數據進行指標、標簽分類非常重要,數據治理團隊自己要熟悉業務和各個系統,與業務部門充分溝通,并要求合作為業務數據建立對應的指標體系,劃分核心數據指標,進行分類分級。

5、建立平臺,自動化處理機制

治理過程中需要建立自動化治理平臺,讓業務數據能夠自動傳輸到對應數據倉庫中。

6、關注異常數據,完善業務系統

數據治理團隊建立監控預警機制,分析數據質量和異常數據,協調技術人員完善業務系統。

7、完善業務數據閉環

數據治理團隊可以對整個數據治理周期流程進行整合,形成一套完整的“業務-數據-處理-存儲-調取-利用-分析-可視化-預警-決策-業務”閉環流程,讓數據在過程中不斷優化,持續提高數據質量。

三、數據治理體系

銀行數據治理體系包括數據質量管理、元數據管理、主數據管理、數據資產管理、數據安全及數據標準等內容。

10分鐘給你講通透銀行數據治理該怎么做

1、數據質量

一般采用常用的標準來衡量數據質量的好壞:完整性、準確性、一致性和及時性。

完整性:數據的記錄和信息是否完整,是否存在缺失情況。

準確性:數據匯總記錄的信息和數據是否準確,是否存在異?;蛘咤e誤。

一致性:多個業務數倉間的公共數據,必須在各個數據倉庫中保持一致。

及時性:數據能及時產生和預警。

10分鐘給你講通透銀行數據治理該怎么做

2、元數據管理

元數據是關于數據的組織、數據域及其關系的信息,通俗理解,元數據就是描述數據的數據。

10分鐘給你講通透銀行數據治理該怎么做

元數據包含技術元數據和業務元數據,讓數據分析人員對銀行的數據情況一目了然,數據存儲在哪里,如何抽取、清理、維護這些數據,血緣關系怎么樣。

元數據確立數據業務含義可解釋性。

提升數據整合和溯源能力,血緣關系可維護性。

建立數據質量稽核體系,分類管理監控。

3、主數據管理

銀行的數據分為三部分:主數據、交易數據、指標數據。其中,主數據和交易數據合稱為基礎數據。主數據指銀行內一致并共享的業務主體,常見的主數據比如銀行的員工、客戶數據、渠道數據、產品數據。

主數據還包括一些關系數據,它們描述了主數據之間的關系,比如客戶與產品的關系、產品與地域的關系、客戶與客戶的關系、產品與產品的關系等。

4、數據資產管理

數據資產管理主要關心數據有沒有被合理利用?如何產生最大價值?這些都是數據資產管理關心的核心工作,數據資產從業務角度和技術角度進行合并,輸出統一的數據資產分析,向外提供統一的數據資產服務。

10分鐘給你講通透銀行數據治理該怎么做

如何盤活數據,形成數據資產,提供完整的數據資產全景視圖,讓數據管理部門和業務部門全局、宏觀地掌控銀行資產動態。

5、數據安全

數據安全是銀行數據建設必不可少的一環,我們的數據都存儲在服務器中,需要對數據進行核查、敏感字段加密、訪問權限控制,確保數據能夠被安全地使用。

6、數據標準

數據要有統一的標準,保障數據內外部使用和交換的一致性和準確性的規范性約束,通過統一規范,消除二義性。

定制統一的數據標準平臺,包括字段標準管理,碼值標準管理以及字典管理,業務源數據和中臺數據統一標準。

四、數據治理的幾點誤區

1、數據治理是否要做得大而全

不同階段和規模的銀行,數據治理的實施程度會有所不同,一般建設先根據自身的數據狀況分階段進行,避免盲目鋪開規模,過程中可調整。

2、數據治理是技術部門的事嗎

數據治理不僅僅是技術團隊的事,而銀行各部門一起協作完成,包括各業務線以及其它網點和營銷點。

3、數據治理不是短期的項目

數據治理是個長期過程,隨著業務發展和銀行規模增長,業務系統的不斷的迭代,數據治理是一個長期而持續的項目。

4、一定需要建設平臺嗎

前期平臺不是必須的,首先要有成熟的數據治理體系和策略,自建平臺和采購平臺都可以,先把體系建設好。

5、數據質量問題各類原因

有業務方面的數據定義不明確,也有技術方面的數據抽取不完整。

有管理方面的崗位職責不清晰,也有執行層面的數據操作不規范。

有數據處理加工過程中出現了錯誤,也有數據源本身就有問題。

有數據治理系統功能有缺陷,也有系統強大但是沒人用……

五、小結

數據治理是銀行數據建設必不可少的一個環節。好的數據治理體系可以盤活整條數據鏈路,最大化保障銀行數據的采集、存儲、計算和使用過程的可控和可追溯。

數據治理是幾乎需要所有部門參與和支持的項目,進行長期且持續的堅持才能實現成功的系統項目。

數據治理的最終目標是賦能業務,提升數據價值。這是一個持續漫長的運營過程,需要逐步完善、分步迭代,指望一步到位完成數據治理是不現實的。

項目型的數據治理,是不全面的,無延續性,能夠解決一時的數據問題,但很難獲得持續的數據價值。

專欄作家

湯向軍,公眾號:營銷數字化轉型(ID:Fi-Digital),人人都是產品經理專欄作家。專注于銀行數字化轉型。

本文原創發布于人人都是產品經理。未經許可,禁止轉載

題圖來自 Unsplash,基于 CC0 協議

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!