搭建數據資產管理平臺之實施流程

0 評論 5786 瀏覽 14 收藏 8 分鐘

對于已經建設好數據倉庫且有充足資源的企業,或許可以考慮搭建數據資產管理平臺,以更好地服務企業內部用戶。那么,怎么搭建好數據資產管理平臺呢?這篇文章里,作者總結了相應的關鍵階段與實施流程,一起來看一下。

一、數據資產管理平臺如何搭建?

該篇文章簡述數據資產管理平臺搭建的內容、流程和注意事項。

自研or采購

實現數據資產管理平臺可以分為兩種方式,自研或采購,這兩者之間的區別也是非常明顯。

先說采購,采購一般是商業化的數據治理套件,其中的數據資產管理相關的數據目錄、數據標準、數據血緣、數據質量等內容很難單獨購買。

一般都是,為了買一個工具,要買一整套的數據治理服務。這意味著要付出多余的成本。

但是對于剛剛步入大數據業務范疇的公司,尤其是傳統企業,對數據倉庫,數據資產,數據治理認知不足的情況下,更適合通過直接采購成熟的數據開發、治理套件去使用。

可以提高數據團隊的認知,規范數據團隊的開發流程。

其次是自研數據資產管理平臺,適合已經建設完成數據倉庫且有足夠資源的企業,自研能夠更好的服務企業內部用戶,提供定制化的產品能力。

項目實施流程:需求識別可行性分析需求規格確定項目規劃系統開發項目實施項目驗收幾個關鍵階段。

二、需求識別

想要啟動數據資產管理平臺項目,首先要明確企業的當前階段是否需要該產品,是否必須通過上線該產品來解決某些問題,達到企業目標。

數據資產管理就是對元數據進行管理,是數據治理的基礎。不只是數據的增刪改查,而是和維度建模、數據標準、數據安全、數據質量息息相關的。

比如在數倉不同層級表元模型各不相同,不同實體的元模型各不相同。

比如在元數據管理過程中,部分元數據枚舉值的來源已制定的數據標準。

比如上下游表之間數據的安全等級關系。

比如對于各個實體而言, 數據質量檢測結果也是元數據的一種。

所以在實施數據資產管理前,甚至是需求收集前,不妨先了解當前的數據建設情況,組織流程是否完善,數據規范/數據標準維護是否完善,線下文件是否有合理管理方法,并了解當前管理的方法還存在哪些問題。

其次考慮當前階段是否需要考慮數據安全,數據質量等內容。

最終確定當前階段開發數據資產管理平臺的必要性,平臺的能力范圍。

可以詢問以下幾個問題:

  1. 在開發平臺之前,是如何管理元數據的?
  2. 當前數據管理的組織,流程,規范,標準建設階段是怎么樣的?
  3. 出現的數據管理問題是流程問題,規范問題,模型問題,還是資源問題?
  4. 當前有多少條業務線在生產數據,生產的量級大概是多少?(業務線多代表管理難度大)

三、可行性分析

現狀分析:主要包括數據建設現狀分析、數據應用情況、數據集成情況。

建設邊界:哪些系統需要數據資產管理平臺的支持,比如除了數據倉庫的元數據采集,還可以鏈接BI工具/數據服務的元數據及血緣關系。

建設質量:主要是看企業當前數據倉庫,數據標準,數據安全的建設情況;當前的元數據管理方式,存儲方式,通過什么方式可以保證線上管理的準確性和及時性。這關系著系統上線后的易用性,以及元數據的質量。

建設成本:采購成本/自研成本。

項目目標:描述本項業務達成目標,如發揮的作用、解決的問題、對基層的支撐、體現的價值,原則上需要有可量化、可評估目標。

四、需求規格確定

1. 元數據采集

確定元數據的采集范圍,元數據模型,包括業務元數據、技術元數據、管理元數據等;確定采集方式、采集頻率、存儲方式。

注意采集邊界,哪些元數據可直接采到,哪些元數據需要手動維護,哪些自動采集配合手動維護。

手動維護元數據是一項長期,工作量較大的工作,所以不能自動采集的元數據,通過什么方式可以自動采集也是未來需要考慮的地方。

2. 數據目錄

為了快速的查看數據資產情況,需要對數據資產進行盤點,可以從主題域、數倉分層、數據來源,或自定義目錄等角度盤點數據資產的數量。

支持數據資產查詢,數據資產詳情,元數據管理等功能。

3. 數據血緣

數據血緣也是元數據的一種展現形式,主要運用于影響分析、問題歸因、數據價值評估、數據安全分析等。

4. 數據質量

數據質量監控DQC模塊,是處于被動式數據治理階段,即對運行結果的監測,按照數據資產等級劃分-檢測任務配置-運行結果預警/通知的流程,保障數據完整性、一致性、準確性等。

五、項目規劃

建設規劃:數據資產管理平臺,并非一次性可以建設完成。

大致可分為基礎元數據展示階段、提高元數據管理能力階段,促進數據應用與共享三個階段進行系統開發實施。

項目開始前制定每個階段的產品目標,每個階段要做成什么樣,基于這樣的方向,列出非常詳細的計劃,包括資源的規劃,每個里程碑的時間節點,輸出物,成果的評價方式等。

本文由 @清小墨 原創發布于人人都是產品經理,未經許可,禁止轉載

題圖來自 Unsplash,基于 CC0 協議

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!