如何有效地進(jìn)行數(shù)據(jù)治理
無論企業(yè)大小,在使用數(shù)據(jù)上都面臨相似的數(shù)據(jù)挑戰(zhàn)。企業(yè)越大,數(shù)據(jù)越多,而數(shù)據(jù)越多,越發(fā)需要制定一個(gè)有效的、正式的數(shù)據(jù)治理策略。
如果你處理或使用過大量數(shù)據(jù),一定有聽到過“數(shù)據(jù)治理”這個(gè)詞。你會(huì)思考數(shù)據(jù)治理是什么?數(shù)據(jù)治理是否適合你?如何實(shí)施。簡單來說,數(shù)據(jù)治理就是處理數(shù)據(jù)的策略——如何存儲(chǔ)、訪問、驗(yàn)證、保護(hù)和使用數(shù)據(jù)。數(shù)據(jù)治理也還包括誰來看,使用,共享你的數(shù)據(jù)。
這些問題日益重要,越來越多的企業(yè)依賴采集和儲(chǔ)存、分析數(shù)據(jù),并實(shí)現(xiàn)他們的商業(yè)目標(biāo)。數(shù)據(jù)變成了企業(yè)的盈利工具、業(yè)務(wù)媒介和商業(yè)機(jī)密。數(shù)據(jù)泄露會(huì)導(dǎo)致法律糾紛,還會(huì)令消費(fèi)者對(duì)公司的核心業(yè)務(wù)失去信心。
如果抱著僥幸的心理,讓各個(gè)業(yè)務(wù)部門自己管理數(shù)據(jù),那么你會(huì)缺乏有效的數(shù)據(jù)管理,甚至各部門會(huì)自己做自己的。你無法想象各個(gè)部門按隨心所欲地自己生產(chǎn)、儲(chǔ)存、銷售產(chǎn)品。數(shù)據(jù)使用不當(dāng)就像庫存使用不當(dāng)一樣,會(huì)給企業(yè)造成沉重的損失。因此必須制定一項(xiàng)測量用以保證所需數(shù)據(jù)的有效和安全,可用性,這就是我們要談的“數(shù)據(jù)治理”。
數(shù)據(jù)治理的特點(diǎn)
數(shù)據(jù)治理策略必須包含完整的數(shù)據(jù)生命周期。策略必須包含從數(shù)據(jù)采集到管理,在這個(gè)生命周期內(nèi),數(shù)據(jù)治理必須要有關(guān)注以下內(nèi)容:
數(shù)據(jù)從哪里來,數(shù)據(jù)怎么來
這是數(shù)據(jù)生命周期的起點(diǎn)。數(shù)據(jù)來源決定了數(shù)據(jù)治理策略的基礎(chǔ)。例如數(shù)據(jù)集的大小就由數(shù)據(jù)來源所決定。是從目標(biāo)市場、現(xiàn)存用戶和社交媒體收集數(shù)據(jù)?還是使用第三方收集數(shù)據(jù)或者分析你收集的數(shù)據(jù)?輸入數(shù)據(jù)流是什么?數(shù)據(jù)治理必須關(guān)注這些問題,并制定策略來管理數(shù)據(jù)的采集,引導(dǎo)第三方處理他們收集的數(shù)據(jù)或者分析你收集的數(shù)據(jù),控制數(shù)據(jù)的路徑和生命周期。
數(shù)據(jù)驗(yàn)證
通常數(shù)據(jù)源都是非常龐大且多樣的,這是一個(gè)讓數(shù)據(jù)管理者非常頭疼的問題。將數(shù)據(jù)噪音和重要數(shù)據(jù)進(jìn)行區(qū)分僅僅只是開始,如果你正從關(guān)聯(lián)公司收集數(shù)據(jù),你必須確保數(shù)據(jù)是可靠的,如果你從社交媒體收集數(shù)據(jù),那就要保證你有驗(yàn)證重要數(shù)據(jù)的方法??傊?,你要確保你所獲得的數(shù)據(jù)是合法和原始真實(shí)的,這個(gè)問題在并行計(jì)算環(huán)境中尤其令人擔(dān)心,因?yàn)椴⑿杏?jì)算常常被用來收集大量數(shù)據(jù),這往往會(huì)使用云服務(wù),故而增加了安全隱患。
數(shù)據(jù)治理必須解決存儲(chǔ)問題
而數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)集的大小有密切關(guān)系。大數(shù)據(jù)的存儲(chǔ)必須是在安全的冗余系統(tǒng)之中。常常利用層次體系,根據(jù)使用頻率來存儲(chǔ)數(shù)據(jù)。這樣一來,昂貴的在線系統(tǒng)提供的是被頻繁請(qǐng)求的數(shù)據(jù),而請(qǐng)求頻率較低的數(shù)據(jù)則存儲(chǔ)在便宜,可用率較低的系統(tǒng)上。當(dāng)然,一些請(qǐng)求頻率低但是敏感的數(shù)據(jù)如果存儲(chǔ)于安全性較低的系統(tǒng)上,風(fēng)險(xiǎn)會(huì)大大提升。因此,在制定數(shù)據(jù)存儲(chǔ)方案時(shí),良好的數(shù)據(jù)治理策略必須考慮到方方面面的因素。
數(shù)據(jù)治理必須建立訪問管理制度,在需求和安全性找到平衡點(diǎn)
明確訪問者的權(quán)限,只能訪問他們對(duì)應(yīng)權(quán)限包含的數(shù)據(jù)。只有合法請(qǐng)求才能夠訪問數(shù)據(jù),而敏感的數(shù)據(jù)需要更高的權(quán)限和更嚴(yán)密的驗(yàn)證才可以被訪問。只向具有特定安全級(jí)別的用戶開放。應(yīng)該對(duì)用戶和數(shù)據(jù)本身設(shè)置訪問級(jí)別,管理賬戶時(shí),應(yīng)與人力資源部和采購部緊密互動(dòng),這一點(diǎn)非常重要,因?yàn)檫@樣可以及時(shí)地使離職員工和停止合作的供應(yīng)商不再擁有訪問權(quán)限。處理好這些細(xì)節(jié)以及確保數(shù)據(jù)所有權(quán)和責(zé)任,這是構(gòu)成完整的數(shù)據(jù)治理策略的一部分。
數(shù)據(jù)的使用/共享/分析
如何使用數(shù)據(jù)是數(shù)據(jù)治理之后一項(xiàng)重要的內(nèi)容,數(shù)據(jù)可能會(huì)用于客戶管理,提高客戶體驗(yàn),投放定向廣告,提供市場分析,和關(guān)聯(lián)公司共享數(shù)據(jù)。必須仔細(xì)界定哪些數(shù)據(jù)可用于共享或者用于營銷,并保護(hù)它們免遭攻擊和泄露,因?yàn)閿?shù)據(jù)本來就應(yīng)該被用于純粹的內(nèi)部用途。讓用戶知悉采集數(shù)據(jù)的所有公司都會(huì)遵守?cái)?shù)據(jù)安全和保證的規(guī)定。能夠確保數(shù)據(jù)被合理合規(guī)的使用,也是數(shù)據(jù)治理重要的一項(xiàng)內(nèi)容。
收集、驗(yàn)證、存儲(chǔ)、訪問和使用都是數(shù)據(jù)安全計(jì)劃的必要組成部分
收集、驗(yàn)證、存儲(chǔ)、訪問和使用都是數(shù)據(jù)安全計(jì)劃的必要組成部分,必須要有一個(gè)全面的策略來解決這些問題以及其他安全問題。數(shù)據(jù)安全計(jì)劃必須是有效且可用性高,但是數(shù)據(jù)生命周期的所有部分都很容易受到攻擊和由于粗心造成的破壞。你必須在數(shù)據(jù)治理中確定數(shù)據(jù)安全計(jì)劃,包括訪問控制,靜態(tài)數(shù)據(jù),數(shù)據(jù)傳輸之后的加密等。
管理/元數(shù)據(jù)
沒有管理的數(shù)據(jù)生命周期是不完整的。例如,將元數(shù)據(jù)應(yīng)用于一段數(shù)據(jù),用來進(jìn)行識(shí)別檢索。元數(shù)據(jù)包含數(shù)據(jù)的來源,采集或生成的日期,信息訪問的級(jí)別,語義分類及其他企業(yè)所必須的信息。數(shù)據(jù)治理能建立一個(gè)元數(shù)據(jù)詞匯表,界定數(shù)據(jù)的有效期。請(qǐng)注意數(shù)據(jù)也會(huì)過期,過期之后我們只能用于歷史數(shù)據(jù)的分析。
數(shù)據(jù)治理的企業(yè)問題
數(shù)據(jù)治理創(chuàng)建的過程中可能會(huì)在企業(yè)內(nèi)部遭到一些阻力,比如有的人會(huì)害怕失去訪問數(shù)據(jù)的權(quán)限,而有些人也不愿意和競爭者共享數(shù)據(jù)。數(shù)據(jù)治理政策需要解決上述問題,讓各方面的人都可接受。習(xí)慣了數(shù)據(jù)筒倉環(huán)境的公司,在適應(yīng)新的數(shù)據(jù)治理策略上面會(huì)有困難,但如今對(duì)大型數(shù)據(jù)集的依賴以及隨之而來的諸多安全問題,使創(chuàng)建和實(shí)施覆蓋全公司的數(shù)據(jù)策略成為一種必然。
數(shù)據(jù)日益成為企業(yè)基礎(chǔ)設(shè)施的一部分,在企業(yè)一步步處理各種特定情況的過程中形成決策。它以一次性的方式作出,常常是對(duì)某一特定問題的回應(yīng)。因此,企業(yè)處理數(shù)據(jù)的方法會(huì)因?yàn)椴煌块T而改變,甚至?xí)驗(yàn)椴块T內(nèi)部的不同情況而改變。即使每個(gè)部門已經(jīng)有一套合理的數(shù)據(jù)處理方案,但這些方案可能彼此沖突,企業(yè)將不得不想辦法協(xié)調(diào)。弄清數(shù)據(jù)存儲(chǔ)的要求和需求是一件難事,如果做得不好,就無法發(fā)揮數(shù)據(jù)在營銷和客戶維系方面的潛力,而如果發(fā)生數(shù)據(jù)泄露,你還要承擔(dān)法律責(zé)任。
另外在大企業(yè)內(nèi)部,部門之間會(huì)展開對(duì)數(shù)據(jù)資源的爭奪,各部門只關(guān)注自身的業(yè)務(wù)情況,缺乏全局觀念,很難在沒有調(diào)解的情況下達(dá)成妥協(xié)。
因此公司需要一個(gè)類似數(shù)據(jù)治理委員會(huì)的機(jī)構(gòu),他的職責(zé)是執(zhí)行現(xiàn)有數(shù)據(jù)策略、挖掘未被滿足的需求以及潛在安全問題等,創(chuàng)建數(shù)據(jù)治理策略,使數(shù)據(jù)的采集、管護(hù)、儲(chǔ)存、訪問以及使用策略均實(shí)現(xiàn)標(biāo)準(zhǔn)化,同時(shí)還會(huì)考慮各個(gè)部門和崗位的不同需求。平衡不同部門之間存在沖突的需求,在安全性與訪問需求之間進(jìn)行協(xié)調(diào),確保最高效、最安全的數(shù)據(jù)管理策略。
成功的數(shù)據(jù)治理步驟
建立數(shù)據(jù)治理委員會(huì)
負(fù)責(zé)評(píng)估各個(gè)數(shù)據(jù)用戶的需求,建立覆蓋全公司的數(shù)據(jù)管理策略,滿足內(nèi)部用戶、外部用戶甚至法律方面的各種需求。該委員會(huì)的成員應(yīng)該囊括各個(gè)業(yè)務(wù)領(lǐng)域的利益相關(guān)者,確保各方需求都得到較好地滿足,所有類型的數(shù)據(jù)所有權(quán)均得到體現(xiàn)。委員會(huì)也需要有數(shù)據(jù)安全專家,數(shù)據(jù)安全也是重要的一環(huán)。了解數(shù)據(jù)治理委員會(huì)的目標(biāo)是什么,這一點(diǎn)很重要,因此,應(yīng)該思考企業(yè)需要數(shù)據(jù)治理策略的原因,并清楚地加以說明。
制定數(shù)據(jù)治理的框架
這個(gè)框架要將企業(yè)內(nèi)部、外部、甚至是法律層面的數(shù)據(jù)需求都納入其中??蚣軆?nèi)的各個(gè)部分要能夠融合成一個(gè)整體,滿足收集、存儲(chǔ)、檢索和安全要求。為此,企業(yè)必須清楚說明其端到端數(shù)據(jù)策略,以便設(shè)計(jì)一個(gè)能夠滿足所有需求和必要操作的框架。
有計(jì)劃地把各個(gè)部分結(jié)合起來,彼此支持,這有很多好處,比如在高度安全的環(huán)境中執(zhí)行檢索要求。合規(guī)性也需要專門的設(shè)計(jì),成為框架的一部分,這樣就可以追蹤和報(bào)告監(jiān)管問題。這個(gè)框架還包括日常記錄和其他安全措施,能夠?qū)舭l(fā)出早期預(yù)警。在使用數(shù)據(jù)前,對(duì)其進(jìn)行驗(yàn)證,這也是框架的一部分。數(shù)據(jù)治理委員會(huì)應(yīng)該了解框架的每個(gè)部分,明確其用途,以及它如何在數(shù)據(jù)的整個(gè)生命周期中發(fā)揮作用。
數(shù)據(jù)測試策略
通常一個(gè)數(shù)據(jù)策略需要在小規(guī)模的商用環(huán)境中進(jìn)行測試,用來發(fā)現(xiàn)數(shù)據(jù)策略在框架,結(jié)構(gòu)和計(jì)劃上的不足之處并進(jìn)行調(diào)整,之后才能夠投入正式使用。
數(shù)據(jù)治理策略要與時(shí)俱進(jìn)
隨著數(shù)據(jù)治理策略延伸到新的業(yè)務(wù)領(lǐng)域,肯定需要對(duì)策略進(jìn)行調(diào)整。而且,隨著技術(shù)的發(fā)展,數(shù)據(jù)策略也應(yīng)該發(fā)展,與安全形勢、數(shù)據(jù)分析方法以及數(shù)據(jù)管理工具等保持同步。
明確什么是成功的數(shù)據(jù)策略
我們需要確立衡量數(shù)據(jù)治理是否成功的明確標(biāo)準(zhǔn),以便衡量進(jìn)展。制定數(shù)據(jù)管理目標(biāo),有助于確定成功的重要指標(biāo),進(jìn)而確保數(shù)據(jù)治理策略的方向是符合企業(yè)需求。
總結(jié)
無論企業(yè)大小,在使用數(shù)據(jù)上都面臨相似的數(shù)據(jù)挑戰(zhàn)。企業(yè)越大,數(shù)據(jù)越多,而數(shù)據(jù)越多,越發(fā)需要制定一個(gè)有效的,正式的數(shù)據(jù)治理策略。規(guī)模較小的企業(yè)也許只需要非正式的數(shù)據(jù)治理策略就足夠了,但這只限于那些規(guī)模很小且對(duì)數(shù)據(jù)依賴度很低的公司。即便是非正式的數(shù)據(jù)治理計(jì)劃也需要盡可能考慮數(shù)據(jù)用戶和員工數(shù)據(jù)的采集、驗(yàn)證、訪問、存儲(chǔ)。
當(dāng)企業(yè)規(guī)模擴(kuò)大,數(shù)據(jù)需求跨越多個(gè)部門時(shí),當(dāng)數(shù)據(jù)系統(tǒng)和數(shù)據(jù)集太大,難以駕馭時(shí),當(dāng)業(yè)務(wù)發(fā)展需要企業(yè)級(jí)的策略時(shí),或者當(dāng)法律或監(jiān)管提出需求時(shí),就必須制定更為正式的數(shù)據(jù)治理策略。
如果你發(fā)現(xiàn),有部門在制定自己的數(shù)據(jù)管理策略,就是時(shí)候了。
一旦有足夠多的數(shù)據(jù)讓你成為黑客的攻擊目標(biāo),就是時(shí)候了。
簡而言之,如果你不得不問“是時(shí)候了嗎?”,那么可以肯定,是時(shí)候制定正式的數(shù)據(jù)治理策略了。
題圖來自 Pixabay,基于 CC0 協(xié)議
原文地址:http://www.iamwire.com/2017/03/successful-data-governance/149640
#專欄作家#
肥寒,微信公眾號(hào):chanpingdog,人人都是產(chǎn)品經(jīng)理專欄作家。九年產(chǎn)品經(jīng)理。做過數(shù)字閱讀,電商,社區(qū),目前致力于在線教育。
本文翻譯發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
不夠干,沒有案例
比較系統(tǒng),請(qǐng)問您是做數(shù)據(jù)治理產(chǎn)品經(jīng)理嗎
??
挺不錯(cuò)的
啦啦啦啦