如何從0開始做大數(shù)據(jù)治理(上)

0 評論 11955 瀏覽 41 收藏 8 分鐘

編輯導(dǎo)語:如今隨著互聯(lián)網(wǎng)的發(fā)展,數(shù)字化給我們帶來了更多的機(jī)會,在大數(shù)據(jù)時代,數(shù)據(jù)規(guī)模也在不斷的膨脹,所以各種企業(yè)需要大數(shù)據(jù)治理;本文作者分享了關(guān)于大數(shù)據(jù)治理的問題以及方法,我們一起來看一下。

01 數(shù)據(jù)治理的背景

從1969年開始,互聯(lián)網(wǎng)已經(jīng)走過了PC、移動,向產(chǎn)業(yè)互聯(lián)網(wǎng)時代邁進(jìn),人類活動被全面數(shù)字化。

數(shù)字化技術(shù)革命給商業(yè)帶來前所未有的機(jī)會,大數(shù)據(jù)讓我們更懂用戶和這個世界,這一切看上去很美好,但是危機(jī)已經(jīng)在悄然中來臨。

隨著業(yè)務(wù)的發(fā)展,數(shù)據(jù)規(guī)模也在以滾雪球的速度膨脹,帶來了一系列棘手的問題:

1. 高昂的成本支出

據(jù)測算,存儲1PB數(shù)據(jù)的硬件投入總成本在80萬左右,對于那些業(yè)務(wù)遍布全國的互聯(lián)網(wǎng)公司來說數(shù)據(jù)量達(dá)到60-80PB是很常見的事,這就意味著一年的存儲成本要花5000-8000萬左右;而且數(shù)據(jù)中心的機(jī)架容量是有限的,建設(shè)新的數(shù)據(jù)中心不是易事;這一切都在制約著企業(yè)的發(fā)展,吞噬著企業(yè)的利潤。

2. 數(shù)據(jù)質(zhì)量風(fēng)險增加

海量的數(shù)據(jù)帶來了復(fù)雜的鏈路依賴,數(shù)據(jù)質(zhì)量風(fēng)險瀕臨失控;隨著數(shù)據(jù)量的增長,運(yùn)維壓力也越來越大,故障告警次數(shù)顯著增多。

3. 組織協(xié)作出現(xiàn)問題

龐大的數(shù)據(jù)規(guī)模,紛亂的命名和存儲,以及理不清的業(yè)務(wù)邏輯,讓團(tuán)隊(duì)協(xié)同越來越難,推進(jìn)大型項(xiàng)目需要參與的團(tuán)隊(duì)人數(shù)越來越多,體現(xiàn)在企業(yè)集中力量辦大事的能力逐漸喪失。

4. 數(shù)據(jù)孤島開始出現(xiàn)

想要獲得一項(xiàng)指標(biāo),找不同的人可以得到不同的查詢結(jié)果,這其中出現(xiàn)的問題主要是口徑對焦;不同的人對于業(yè)務(wù)的理解也并不相同,缺少統(tǒng)一的標(biāo)準(zhǔn),這是很多公司發(fā)展過程中都存在的問題。

數(shù)據(jù)不好找,找到不敢用、不能用,迫使業(yè)務(wù)只能選擇重復(fù)建設(shè)資產(chǎn);而重復(fù)建設(shè)資產(chǎn)更進(jìn)一步加劇了數(shù)據(jù)不好找不好用的問題,形成了惡性循環(huán),數(shù)據(jù)孤島壁壘越壘越高。

這一系列的問題如果任由其繼續(xù)發(fā)展,數(shù)據(jù)對于業(yè)務(wù)只會變成雞肋,甚至?xí)蔀槠髽I(yè)的負(fù)債。

02 數(shù)據(jù)治理的目標(biāo)

數(shù)據(jù)治理是一項(xiàng)復(fù)雜的工程,想要做好數(shù)據(jù)治理首先要做的事是定好目標(biāo);關(guān)于數(shù)據(jù)治理的目標(biāo),可以簡單理解——數(shù)據(jù)治理的目標(biāo)就是要讓數(shù)據(jù)成為資產(chǎn)而不是負(fù)債。

數(shù)據(jù)資產(chǎn)的概念是能給企業(yè)帶來經(jīng)濟(jì)效益的資源,想要讓數(shù)據(jù)成為資產(chǎn),不外乎是”開源”、”節(jié)流”,前者指的是釋放數(shù)據(jù)價值,為業(yè)務(wù)帶來增長,后者指的是節(jié)約成本;這里的節(jié)約成本不單單是涉及到數(shù)據(jù)存儲成本,還包括了管理成本、數(shù)據(jù)風(fēng)險成本等隱形的部分,讓數(shù)據(jù)變成高質(zhì)量的數(shù)據(jù)。

03 數(shù)據(jù)治理的核心

幾乎所有關(guān)于數(shù)據(jù)治理的定義都在談?wù)摻ⅰ敖M織”、明確“權(quán)責(zé)”、制定“方法/制度/標(biāo)準(zhǔn)”。

事實(shí)上,數(shù)據(jù)之所以需要治理,問題的根源在于“無序”;而數(shù)據(jù)治理的核心就是制定數(shù)據(jù)世界的游戲規(guī)則,讓數(shù)據(jù)世界重歸有序。

1. 組織設(shè)計(jì)

明確數(shù)據(jù)治理的權(quán)責(zé)是開展數(shù)據(jù)治理工作的首要步驟。因?yàn)橐磺袉栴}都可以歸根于人的問題;資源的調(diào)動,制度的設(shè)計(jì)、執(zhí)行、監(jiān)督,最終都要落實(shí)在人上;很多時候問題難以推進(jìn),原因就在于人的重視不夠,級別不夠,相關(guān)方不配合。

某金融科技獨(dú)角獸公司在從事數(shù)據(jù)治理的過程中識別到主要問題表現(xiàn)在數(shù)據(jù)架構(gòu)腐壞,而數(shù)據(jù)架構(gòu)的腐壞的根源在于缺少推進(jìn)全局?jǐn)?shù)據(jù)架構(gòu)持續(xù)演進(jìn)的組織;這個組織是數(shù)據(jù)治理頂層設(shè)計(jì)的靈魂,為數(shù)據(jù)治理的最終成果負(fù)責(zé);為此,該公司成立了數(shù)據(jù)超域架構(gòu)師小組。

橙色集團(tuán)十余年來的數(shù)據(jù)架構(gòu)經(jīng)驗(yàn)表面,一個穩(wěn)定的持續(xù)迭代的中間層是保持?jǐn)?shù)據(jù)架構(gòu)有序的關(guān)鍵,跟隨業(yè)務(wù)奔跑過程中總需要有人停下來修繕屋頂;為此,該集團(tuán)將數(shù)據(jù)資產(chǎn)研發(fā)和數(shù)據(jù)應(yīng)用研發(fā)角色剝離開來,以沉淀資產(chǎn)、中間層建設(shè)、資產(chǎn)架構(gòu)優(yōu)化為主要職責(zé),設(shè)立數(shù)據(jù)資產(chǎn)工程師崗位和獨(dú)立晉升通道。

2. 規(guī)則制定

規(guī)則規(guī)范的指定是開始具體工作的前提,目的在于統(tǒng)一標(biāo)準(zhǔn),打破由于標(biāo)準(zhǔn)不一致帶來的數(shù)據(jù)孤島問題。

某金融科技獨(dú)角獸制定了三項(xiàng)核心規(guī)范:”數(shù)據(jù)資產(chǎn)必須先定義后研發(fā)”、”數(shù)據(jù)資產(chǎn)不能重復(fù)建設(shè)”、”應(yīng)用資產(chǎn)依賴公共服務(wù)資產(chǎn)建設(shè)”;這三項(xiàng)核心規(guī)范具備綱領(lǐng)性質(zhì),易于記憶和傳播。

在核心規(guī)范指導(dǎo)下,更貼近于執(zhí)行層面的,有一系列更詳細(xì)的指導(dǎo)規(guī)范;例如如何保障指標(biāo)的一致性、如何確保標(biāo)簽資產(chǎn)實(shí)現(xiàn)互通互享、如何避免數(shù)據(jù)資產(chǎn)重復(fù)建設(shè)等。

3. 機(jī)制設(shè)計(jì)

機(jī)制設(shè)計(jì)的目的是解決組織協(xié)作的效率問題,可以分成研發(fā)協(xié)作機(jī)制和數(shù)據(jù)互通機(jī)制兩方面來講。

研發(fā)協(xié)作機(jī)制:要解決的是”找誰做(資源問題)、如何做(架構(gòu)問題)、何時做(排期問題)、如何用(溝通問題)”;建議采用獨(dú)立資源統(tǒng)一架構(gòu)統(tǒng)一排期模式,輸出產(chǎn)物為數(shù)據(jù)中臺全景圖和操作手冊。

數(shù)據(jù)互通機(jī)制:遵循”寬進(jìn)嚴(yán)出、全鏈路可追蹤可審計(jì)”的策略原則,兼顧效率提升和安全風(fēng)控兩方面。

今天主要跟大家分享了大數(shù)據(jù)治理的背景、目標(biāo)及核心,下節(jié)我們來聊聊到底如何做大數(shù)據(jù)治理。

#專欄作家#

大鵬,公眾號:一個數(shù)據(jù)人的自留地。人人都是產(chǎn)品經(jīng)理專欄作家,《數(shù)據(jù)產(chǎn)品經(jīng)理修煉手冊》作者。

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來自Unsplash,基于CC0協(xié)議。

作者:薄荷點(diǎn)點(diǎn),“數(shù)據(jù)人創(chuàng)作者聯(lián)盟”成員。

本文由@一個數(shù)據(jù)人的自留地 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自Unsplash,基于CC0協(xié)議。

該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!