企業數據質量管理制度搭建
編輯導語:數據質量問題是各種行業和企業在步入信息化數字階段后都會面臨的一個問題,那如何確保自己企業的數據質量比較高呢?其中一個重要的保障措施就是頒布管理制度,本篇文章主頁闡述了數據管理制度有哪幾個關鍵部分,一起來看看吧。
無論是任何行業或者何種背景下的企業,在步入信息化數字化階段后,都會面臨數據質量問題。沒有一個組織擁有完美的業務流程、完美的技術流程或完美的數據管理實踐,所有組織都會遇到與數據質量相關的問題。
相比那些不開展數據質量管理的組織,實施正式數據質量管理的組織碰到的問題會更少。如何確保自己企業的數據質量比較高,或者是逐步提高,一個很重要的保障措施就是頒布管理制度。數據質量管理制度需要包含數據質量管理辦法,數據質量管理規范,數據質量績效考核方面的內容。
值得大家注意的是,管理制度搭建的過程中,往往很難區分規范、辦法兩者之間的關系。
規范是指對于某一工程作業或者行為進行定性的信息規定。主要是因為無法精準定量而形成的標準,所以相對籠統。
辦法是按照規范制度的要求提出具體可落地、可執行的實施措施,所以一定是很具體可量化的細則。
我們在規范中可以強調數據的及時性,但是在具體的管理辦法中需要明確、量化及時性這一指標概念。如:獲取數據后X個工作日內錄入數據,發生變更時X個工作日內完成數據更新等。
細分來講,數據質量管理制度應該由以下幾個關鍵部分組成。
一、 規范定義
首先定義清楚什么樣的數據稱之為高質量的數據,高質量數據并不是越高越好,因為學過質量成本控制的都清楚,數據質量并不存在絕對的,而只要滿足企業業務管理需要,即可認為數據質量達標的數據。
還要明確什么樣的數據屬于數據質量管理的范疇。比如核心,重要的數據,所以識別關鍵數據重要數據,并且還要確認該類數據的生成規則和維護流程。
那達到什么程度才算高質量呢?例如:確保數據的及時性,究竟怎么才算及時性,是獲取數據的時效?還是分發到下游的時效?還是接受數據的時效?
二、稽查監控措施
- 針對我們已經識別的數據及其對應生成規則,我們需要確定稽查監控的措施(提升數據質量的關鍵是預防,而不是事后修正)
- 對于產生問題的錯誤數據,我們如何去修復改正相應流程
- 數據稽查的頻率和問題反饋頻率,以及反饋渠道或稽查工具平臺需要明確清楚
三、組織與職能
- 重點描述組織崗位對應的職能,定義需要執行遵守的數據質量管理原則
- 各組織對數據質量流程中的職責權利需要明確清楚,例如誰生產,誰使用,誰負責,誰改進等權責
四、績效考核
評價標準需要量化。一般情況下,以單條數據為單位,通過數據質量巡檢規則,從完整性、及時性、準確性、一致性、唯一性、有效性等六個維度進行檢查,根據計算規則得出各區域的數據質量綜合得分。常見的數據質量考核計算方法如下:
1)員工數據質量綜合得分
以該員工錄入維護的相關數據質量項為范圍,以數據質量檢查項的單條數據質量規則為檢查單元,先計算正確記錄數占比作為該條數據質量規則對應的得分,再加權計算該數據項的所有數據質量規則得分作為該數據項的得分,最后取所有數據項得分的平均值作為員工的數據質量綜合得分,計算過程及計算公式如下:
數據質量規則得分=(1-數據質量規則檢查的問題數/數據質量規則檢查的總數)*100
數據質量規則的得分表(示例)
數據項的得分表(示例)
員工的得分表(示例)
2)團隊數據質量綜合得分
以該團隊的全體成員為范圍,統計每個團隊的數據質量綜合得分,取所有項目得分的平均值作為該團隊的綜合得分。
區域的得分表(示例)
統計各團隊的綜合得分,并根據各團隊的綜合得分從高到低進行排名,由數據管理團隊負責人進行有效獎懲排名。如果對數據質量評價結果有意見,可向數據管理團隊提出。
團隊數據質量綜合評價表(示例)
五、附則—數據質量衡量維度
在DAMA體系中,數據質量維度是指數據的某個可測量的特性。國際上較為成熟的框架包括:Strong-Wang 框架、Redman的“可表示的三元組”還有Larry Englist的固有特征和實用特征。各個企業公司可以根據自身的業務場景、管控要求選擇不同的質量維度框架,本篇文章只針對DAMA UK提出的六個核心維度進行闡述解釋:
1)完整性
指數據在創建、傳遞過程中無缺失和遺漏。包括實體完整、屬性完整、記錄完整和字段值完整四個方面,完整性是數據質量最基礎的評判維度。
2)及時性
指及時記錄和傳遞相關數據,滿足業務對信息獲取的時間要求。數據交付的及時性,及時抽取、及時展現,如果數據交付時間過長,可能導致分析結論失去參考意義。
3)準確性
指真實、準確記錄原始數據,無虛假數據及信息,數據準確反映其所建模的“真實世界”實體。例如:員工的身份信息必須與身份證件上的信息保持一致。
4)一致性
指遵守統一的數據標準,記錄和傳遞數據和信息,主要體現在數據記錄的規范和數據是否符合邏輯。例如:同一工號數據在不同系統的員工姓名不一致。
5)唯一性
指同一數據只能有唯一的標識符。體現在一個數據集中,沒有實體多余一次出現,并且每個唯一實體有一個鍵值且該鍵值只指向該實體。例如:員工有且僅有一個有效工號。
6)有效性
指數據的值、格式和展現形式符合數據定義和業務定義的要求。描述數據格式、數據類型、值域和相關業務規則的有效性。例如:員工的國籍類型必須存在于國家基礎數據中定義的允許值。
企業數據質量管理體系的搭建并非一朝一夕的事情,本文只是針對管理制度的目錄編寫進行了詳細闡述。如何針對管理制度進行組織保障、資金項目保障、人力保障等措施在后續章節會再詳細講到。
作者:成于念,微信號:415864696,感興趣的事情很多,歡迎一起溝通交流。
本文由@成于念 原創發布于人人都是產品經理,未經作者許可,禁止轉載。
題圖來自Unsplash,基于CC0協議。
“相比那些不開展數據質量管理的組織,實施正式數據質量管理的組織碰到的問題會更少?!边@句話說得有道理
相比那些不開展數據質量管理的組織,實施正式數據質量管理的組織碰到的問題會更少。
高質量的企業數據能夠隨時調用,建立管理的組織非常必要,非常期待后續的章節!
數據管理制度真的是一個很重要的內容,之前一直容易忽略,這篇文章很具有操作性
真的是一篇很好的操作指南!把整個管理制度搭建講的很系統性