搭建數據資產管理平臺之實施流程
對于已經建設好數據倉庫且有充足資源的企業,或許可以考慮搭建數據資產管理平臺,以更好地服務企業內部用戶。那么,怎么搭建好數據資產管理平臺呢?這篇文章里,作者總結了相應的關鍵階段與實施流程,一起來看一下。
一、數據資產管理平臺如何搭建?
該篇文章簡述數據資產管理平臺搭建的內容、流程和注意事項。
自研or采購
實現數據資產管理平臺可以分為兩種方式,自研或采購,這兩者之間的區別也是非常明顯。
先說采購,采購一般是商業化的數據治理套件,其中的數據資產管理相關的數據目錄、數據標準、數據血緣、數據質量等內容很難單獨購買。
一般都是,為了買一個工具,要買一整套的數據治理服務。這意味著要付出多余的成本。
但是對于剛剛步入大數據業務范疇的公司,尤其是傳統企業,對數據倉庫,數據資產,數據治理認知不足的情況下,更適合通過直接采購成熟的數據開發、治理套件去使用。
可以提高數據團隊的認知,規范數據團隊的開發流程。
其次是自研數據資產管理平臺,適合已經建設完成數據倉庫且有足夠資源的企業,自研能夠更好的服務企業內部用戶,提供定制化的產品能力。
項目實施流程:需求識別–可行性分析–需求規格確定–項目規劃–系統開發–項目實施–項目驗收幾個關鍵階段。
二、需求識別
想要啟動數據資產管理平臺項目,首先要明確企業的當前階段是否需要該產品,是否必須通過上線該產品來解決某些問題,達到企業目標。
數據資產管理就是對元數據進行管理,是數據治理的基礎。不只是數據的增刪改查,而是和維度建模、數據標準、數據安全、數據質量息息相關的。
比如在數倉不同層級表元模型各不相同,不同實體的元模型各不相同。
比如在元數據管理過程中,部分元數據枚舉值的來源已制定的數據標準。
比如上下游表之間數據的安全等級關系。
比如對于各個實體而言, 數據質量檢測結果也是元數據的一種。
所以在實施數據資產管理前,甚至是需求收集前,不妨先了解當前的數據建設情況,組織流程是否完善,數據規范/數據標準維護是否完善,線下文件是否有合理管理方法,并了解當前管理的方法還存在哪些問題。
其次考慮當前階段是否需要考慮數據安全,數據質量等內容。
最終確定當前階段開發數據資產管理平臺的必要性,平臺的能力范圍。
可以詢問以下幾個問題:
- 在開發平臺之前,是如何管理元數據的?
- 當前數據管理的組織,流程,規范,標準建設階段是怎么樣的?
- 出現的數據管理問題是流程問題,規范問題,模型問題,還是資源問題?
- 當前有多少條業務線在生產數據,生產的量級大概是多少?(業務線多代表管理難度大)
三、可行性分析
現狀分析:主要包括數據建設現狀分析、數據應用情況、數據集成情況。
建設邊界:哪些系統需要數據資產管理平臺的支持,比如除了數據倉庫的元數據采集,還可以鏈接BI工具/數據服務的元數據及血緣關系。
建設質量:主要是看企業當前數據倉庫,數據標準,數據安全的建設情況;當前的元數據管理方式,存儲方式,通過什么方式可以保證線上管理的準確性和及時性。這關系著系統上線后的易用性,以及元數據的質量。
建設成本:采購成本/自研成本。
項目目標:描述本項業務達成目標,如發揮的作用、解決的問題、對基層的支撐、體現的價值,原則上需要有可量化、可評估目標。
四、需求規格確定
1. 元數據采集
確定元數據的采集范圍,元數據模型,包括業務元數據、技術元數據、管理元數據等;確定采集方式、采集頻率、存儲方式。
注意采集邊界,哪些元數據可直接采到,哪些元數據需要手動維護,哪些自動采集配合手動維護。
手動維護元數據是一項長期,工作量較大的工作,所以不能自動采集的元數據,通過什么方式可以自動采集也是未來需要考慮的地方。
2. 數據目錄
為了快速的查看數據資產情況,需要對數據資產進行盤點,可以從主題域、數倉分層、數據來源,或自定義目錄等角度盤點數據資產的數量。
支持數據資產查詢,數據資產詳情,元數據管理等功能。
3. 數據血緣
數據血緣也是元數據的一種展現形式,主要運用于影響分析、問題歸因、數據價值評估、數據安全分析等。
4. 數據質量
數據質量監控DQC模塊,是處于被動式數據治理階段,即對運行結果的監測,按照數據資產等級劃分-檢測任務配置-運行結果預警/通知的流程,保障數據完整性、一致性、準確性等。
五、項目規劃
建設規劃:數據資產管理平臺,并非一次性可以建設完成。
大致可分為基礎元數據展示階段、提高元數據管理能力階段,促進數據應用與共享三個階段進行系統開發實施。
項目開始前制定每個階段的產品目標,每個階段要做成什么樣,基于這樣的方向,列出非常詳細的計劃,包括資源的規劃,每個里程碑的時間節點,輸出物,成果的評價方式等。
本文由 @清小墨 原創發布于人人都是產品經理,未經許可,禁止轉載
題圖來自 Unsplash,基于 CC0 協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
- 目前還沒評論,等你發揮!