數據中臺建設(規劃篇)
編輯導語:數據中臺承擔著一定的實現企業戰略目標的使命,數據中臺是處于業務前臺和技術后臺的中間層。這篇文章從數據中臺的定義出發,詳細地為我們介紹了數據中臺的建設規劃,推薦對數據中臺感興趣的盆友來看看。
一 、什么是數據中臺
1.?數據中臺的定義
數據中臺不是數據平臺,數據中臺是處于業務前臺和技術后臺的中間層,是對業務提供的數據能力的抽象和共享的過程,數據中臺通過將企業的數據變成數據資產,并提供數據能力組件和運行機制,形成聚合數據接入、集成、清洗加工、建模處理、挖掘分析,并以共享服務的方式將數據提供給業務端使用,從而與業務產生聯動,而后結合業務系統的數據生產能力,最終構建數據生產>消費>再生的閉環,通過這樣持續使用數據、產生智能、反哺業務從而實現數據變現的系統和機制。
數據生產>消費>再生閉環圖
2.?為什么要建設數據中臺
數據中臺建設的背景跟企業的業務發展階段和信息技術建設階段緊密結合,不單單要投入大量的建設人力成本,還有有配套的組織制度、運營團隊配合為他保駕護航。所以為什么建設數據中臺,希望能達成什么樣的目標,對不同企業都來說都是非常重要數據中臺建設的起點。行業里,數據中臺的主要原因有以下三點:
(1)產品矩陣龐大,響應不及時,響應管理混亂
業務發展迅速,產品矩陣龐大,企業數據平臺的服務能力有限,響應不及時,同時響應管理混亂,導致數據服務實效延遲,及服務體驗較差,影響到業務端數據使用體驗和展業效果,有必要進行統一的、模塊化、標準化的服務能力管理和輸出,實現對業務端的數據需求的精準滿足和高效響應。
(2)煙囪式建設數據平臺,大量源被浪費
由于業務快速發展和缺乏對整個產品矩陣的數據產品體系進行整體規劃,就會出現多個業務線煙囪式建設各自的從數據接入>數據集成>數據開發>數據應用>數據治理等階段的產品,出現大量的重復建設,導致計算、開發人力、運維人力、存儲等資源的重復浪費。
對于這類現狀在告訴發展階段的企業是常見狀態,有必要對整個產品矩陣做整體的數據中臺能力的規劃,讓業務的數據需求在不斷增加的情況下,企業的有整套的可復用的數據能力庫及配套機制,支持業務正常運轉,節省研發成本。
(3)?數據治理的需要
面對業務已經沉淀的大量數據,逐步形成了企業的數據資產。而這些數據資產如何成為可持續使用的,為企業帶來價值的數據,需要數據治理進行提升數據質量,比如設計數據質量校驗的規則和使用流程,設計數據管控權限,數據如何安全輸出及共享的設計等,如何在整體上發揮出數據的協同效應,為業務提供更高價值的數據服務鏈路,數據中臺可以將這些數據能力整合到一起,對業務端提供穩定的持續的服務能力。
二、數據中臺的架構
數據中臺建設是個宏大的系統工程,前期的整體架構規劃在整個項目中尤其重要,接下來按照數據活動進行分層,分為底層服務、數據接入、數據整合、數據挖掘分析、業務應用、數據服務管理六層,并全程貫穿數據安全管控活動。
接下來將分別簡單闡述:
數據中臺架構圖
1. 底層服務
底層服務層重點為整個數據中臺,從數據接入層到數據安全管控全流程的數據活動,提供統一的數據存儲資源、計算引擎、數據處理中間件服務,增強了服務器資源的有效調度和統一管理。
2. 數據接入
數據接入層提供統一的數據接入平臺,根據數據采集的業務場景,平臺提供了數據收集的工具及解決方案,讓數據采集>數據傳輸>數據存儲>數據資源管理全鏈路都可自動化完成,并實現對活動任務的自動化監控。
3.?數據整合
數據整合層提供統一數據處理及標簽/模型開發服務。在整合層的數據需求應當來自企業的數據使用場景對數據進行建模,生成如標簽管理、數據倉庫這樣的服務平臺,為企業的數據團隊/業務團隊使用數據提供一個高效的整合后的數據源。并在這一層對數據進行治理,例如編碼規范、主題域劃分,表模型規劃、數據質量校驗規則設計等都在這一層完成,通過這些模型、規范及平臺的協同作用,為企業提供可高效獲取并質量可靠的數據。
4.?數據挖掘分析
數據挖掘分析層整合了企業存在的幾大數據挖掘及分析工作場景,比如對用戶行為數據進行數據分析、通過算法模型挖掘用戶潛在的商業價值、或者多個BU之間進行數據加密碰撞發現新合作場景等,這一層提供的平臺及工具,基本覆蓋了大部分數據挖掘的工作場景。通過數據中臺實現共享這些數據組件,使得各部門和團隊都可以通過工具高效完成挖掘分析工作。
5. 業務應用
業務應用層是指可以直接提供給業務端使用的數據產品,業務可以直接使用這些數據產品高效獲得滿足業務需求的目標數據,甚至這些數據可以直接打通到業務系統,比如DMP平臺,讓用戶從產生數據需求>數據加工>數據使用的整個數據獲取周期大幅度縮短。此外,也可以通過滿足特定具體業務場景的數據應用來給業務賦能。
6.?數據服務管理
數據服務管理層提供統一的數據服務出口,目標在幫助企業提升數據資產的應用價值,同時要保證數據的安全性和有效性。統一服務通過行業成熟的ONESERVICE解決方案,構建API和數據服務接口來滿足不同數據使用場景的需要,同時降低了數據的開發門檻。
三?數據中臺建設路徑
數據中臺的建設路徑,跟企業的業務所處的業務階段有關,亦跟企業所處的信息化建設階段有關。
行業里的數據中臺建設路徑,總體可以分為以下三類:
數據中臺建設路徑難度對比圖
1. 業務中臺與數據中臺并行建設
數據中臺與業務中臺并行建設,復雜度可想而知,也是挑戰難度最大的路徑。因為建設業務中臺的過程需要對業務進行梳理和規劃,這個過程會反復出現多次對流程調整,這給數據中臺建設帶來了非常多的不確定性,這也進一步增加了數據中臺建設的難度。
2.? 業務中臺先行建設,數據中臺跟進
相對比數據中臺與業務中臺并行的復雜度和挑戰度更高,路徑二顯得更加穩健,也是被企業采用最多的一種路徑。業務中臺先行,數據中臺跟進。很多企業會采取這種模式。這種模式吸取了第一種模式下的業務不確定給數據中臺帶來了多種不確定的教訓。在數字化營銷成熟發展的今天,其實業務與數據早已不能完全分割。業務數據化和數據業務化幾乎是同時完成的。
3. 單獨建設數據中臺
單建設數據中臺等選擇一般是在業務系統已經相對穩定時期,但是這種模式下也存在挑戰。
業務等野蠻生長過程,數據散落在各個系統,數據質量參差不齊。這個階段進行數據治理,必定是非常繁雜耗時的、產出不明顯的工作。
同時,涉及各個領域的數據整合及數據能力的規范化,勢必會帶來組織架構的變革和重組,這是數據中臺建設的至關重要環節。
如果在上層的政策和資源支持上,不足以有效協調各個領域數據建設者同一目標,齊心協力,那么也很難把數據中臺成功建設起來。
四、數據中臺的價值
數據中臺建設前期消耗的巨額成本常常給數據中臺項目帶來價值挑戰。數據中臺的建設階段如同自建房子,房子建設過程都是在消耗成本,房子開始自行入住和出租后,才能真實看到所建新房子的產生的價值。
數據中臺的使命是通過全局規劃來治理和運營企業的數據資產,讓數據使用者能高效地獲取可靠有效的數據。
若長期有效的運營這些數據資產,數據能力組件的復用帶來的工具研發降本愈發明顯;若數據復用到跨部門跨業務線的場景愈發豐富,數據中臺對業務端產生的價值也呈指數級增長。數據中臺的價值,我將歸類為一下三大點:
1.?幫助建立數據標準
在建設數據中臺之前,企業一般比較少有全局的數據標準或統一數據規范等,即使有,也因為數據平臺的分散狀態比較難以落地。
但是數據中臺建設會促使企業還要建設數據標準或規范,比如數據接入規范、數據集成規范、數據存儲規范、數據處理規范、數據使用權限規范、數據共享規范、數據銷毀規范、數據安全規范等。
這些標準都是數據中臺建設階段也需要建設的體系。有數據標準/規范體系護航,數據中臺才能更好的運轉;也只有依托數據中臺,數據標準才能更好的執行和落地。
數據中臺建設就是一個促使企業建設數據標準/規范的好契機。
2.?賦能業務,實現降本增效
數據中臺的最終價值還是降本增效。無論是建設數據標準,還是復用的數據能力,都是為了幫助賦能業務,企業達成戰略目標。
下面分別從兩個角度去闡述所產生的降本和增效價值:
- 降本:數據中臺通過復用數據能力組建,快速完成數據鏈路的搭建,減少重復研發的人力和維護成本;
- 增效:通過快速復用組建完成數據鏈路搭建,讓數據從接入>加工>使用的整個周期縮短,減少業務端的數據獲取等待時延,為業務方贏得更多的展業時間和機會。
通過提供賦能于具體業務場景的數據應用,幫助業務端更精準的發現客戶、分析客戶等,用數據滋養各線業務,使整個業務運營過程體驗更友好和高效,并縮短運營周期。
3.?促進數據組織建設
數據中臺承擔著一定的實現企業戰略目標的使命,數據中臺的建設過程勢必需要對應的組織和制度來支撐中臺的建設和運營。數據中臺這種體系化工程將橫向拉通企業數據的相關方,包括中臺建設團隊、中臺運維團隊、數據產品經理團隊、數據運營團隊等,形成企業真正的數據組織。
五、總結
- 從定義和建設背景來認識數據中臺,對中臺有了認知性的概念;
- 從數據中臺架構角度按分層介紹每一層的數據能力及建設邏輯,對數據中臺的服務能力有整體的認知;
- 從數據中臺建設的常見路線分析,并分析建設難度及風險,認識根據企業的業務發展現狀及數據需求現狀,選擇合適的數據中臺建設路線;
- 數據中臺的主要價值有促進數據標準建設,并通過中臺落執行數據標準;此外降本增效是數據中臺的終極目標。
作者:蒙佳恩,某大廠數據中臺產品經理,專注于數據產品和數據管理,并持續學習中,“數據人創作者聯盟”成員。
本文由@一個數據人的自留地 原創發布于人人都是產品經理。未經許可,禁止轉載。
題圖來自Unsplash,基于CC0協議。
作者:杭州@阿坤,母嬰電商行業數據分析師兼數據產品經理,致力于研究電商行業的數據驅動增長以及數據產品從0到1的搭建;“數據人創作者聯盟”成員。
本文由@一個數據人的自留地 原創發布于人人都是產品經理,未經許可,禁止轉載。
題圖來自Unsplash,基于CC0協議。
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
有沒有數據中臺的文件分享下
業務中臺先搞,等于幫數據趟水搭橋
錯別字有點兒多
懂了懂了
哪家