關(guān)于數(shù)據(jù)中臺與數(shù)據(jù)倉庫的區(qū)別,你需要知道這些
編輯導(dǎo)讀:“中臺”是前臺和后臺的鏈接點(diǎn),將業(yè)務(wù)共同的工具和技術(shù)予以沉淀。而中臺細(xì)分下來也有很多類目,比如數(shù)據(jù)中臺,很多人不知道它和數(shù)據(jù)倉庫、商業(yè)分析有什么區(qū)別。本文作者對此進(jìn)行了分析,與你分享。
“中臺”這個概念,是相對于前臺和后臺而生,是前臺和后臺的鏈接點(diǎn),將業(yè)務(wù)共同的工具和技術(shù)予以沉淀。相對于業(yè)務(wù)中臺來講,數(shù)據(jù)中臺跟企業(yè)的業(yè)務(wù)有較強(qiáng)的關(guān)聯(lián)性,是企業(yè)業(yè)務(wù)和數(shù)據(jù)的沉淀,如果在煙囪林立的各財務(wù)業(yè)務(wù)系統(tǒng)之上搭建共享的數(shù)據(jù)中臺,其不僅能降低重復(fù)建設(shè)和減少煙囪式協(xié)作的成本,也是企業(yè)差異化競爭優(yōu)勢所在。
然而,當(dāng)說到數(shù)據(jù)中臺這里,很多人就有了疑問,以前沒有數(shù)據(jù)中臺這個概念時,企業(yè)不是也建設(shè)了數(shù)據(jù)倉庫、商業(yè)分析之類的東西嗎?對比這個有什么區(qū)別?不就是換了個概念和馬甲嗎?
一、數(shù)據(jù)中臺與數(shù)倉的區(qū)別
首先可以先看看專業(yè)的數(shù)據(jù)中臺的白皮書是怎么說的:數(shù)據(jù)中臺是一站式解決平臺,從數(shù)據(jù)集成、大數(shù)據(jù)計算、數(shù)據(jù)治理、數(shù)據(jù)工具、數(shù)據(jù)模型、數(shù)據(jù)應(yīng)用、市場集成完整一套綜合解決方案及產(chǎn)品系列。
而數(shù)據(jù)倉庫平臺逐步從BI報表為主到分析為主、到預(yù)測為主、再到操作智能為目標(biāo)。數(shù)據(jù)倉庫系統(tǒng)的作用能實(shí)現(xiàn)跨業(yè)務(wù)條線、跨系統(tǒng)的數(shù)據(jù)整合,為管理分析和業(yè)務(wù)決策提供統(tǒng)一的數(shù)據(jù)支持。
但數(shù)據(jù)中臺從某個意義來說也屬于數(shù)倉的一種,都是要把數(shù)據(jù)抽進(jìn)來建立一個數(shù)據(jù)倉庫。但是兩者的數(shù)據(jù)來源和建立數(shù)倉的目標(biāo)以及數(shù)據(jù)應(yīng)用的方向都存在很大差異。
首先,從數(shù)據(jù)來源來說,數(shù)據(jù)中臺的數(shù)據(jù)來源期望是全域數(shù)據(jù)包括業(yè)務(wù)數(shù)據(jù)庫,日志數(shù)據(jù),埋點(diǎn)數(shù)據(jù),爬蟲數(shù)據(jù),外部數(shù)據(jù)等。數(shù)據(jù)的來源可以是結(jié)構(gòu)化數(shù)據(jù)或者非結(jié)構(gòu)化的數(shù)據(jù)。而傳統(tǒng)數(shù)倉的數(shù)據(jù)來源主要是業(yè)務(wù)數(shù)據(jù)庫,數(shù)據(jù)格式也是以結(jié)構(gòu)化數(shù)據(jù)為主。
數(shù)據(jù)中臺不單單指系統(tǒng)或者工具,而是一個職能部門,通過一系列平臺、工具、流程、規(guī)范來為整個組織提供數(shù)據(jù)資產(chǎn)管理和服務(wù)的職能部門。數(shù)據(jù)中臺負(fù)責(zé)全域數(shù)據(jù)采集、數(shù)據(jù)資產(chǎn)加工和管理、并向前臺業(yè)務(wù)部門和決策部門提供數(shù)據(jù)服務(wù)。所以,數(shù)據(jù)中臺的核心應(yīng)該是數(shù)據(jù)資產(chǎn)管理和數(shù)據(jù)賦能,通俗的講就是數(shù)據(jù)彈藥庫。
1. 數(shù)據(jù)來源不同
數(shù)據(jù)中臺的數(shù)據(jù)來源期望是全域數(shù)據(jù),包括:業(yè)務(wù)數(shù)據(jù)庫,日志數(shù)據(jù),埋點(diǎn)數(shù)據(jù),爬蟲數(shù)據(jù),外部數(shù)據(jù)等,數(shù)據(jù)的來源可以是結(jié)構(gòu)化數(shù)據(jù)或者非結(jié)構(gòu)化的數(shù)據(jù)。
而傳統(tǒng)數(shù)倉的數(shù)據(jù)來源主要是業(yè)務(wù)數(shù)據(jù)庫,數(shù)據(jù)格式是以結(jié)構(gòu)化數(shù)據(jù)為主。
2. 建立的目標(biāo)不同
目標(biāo)是為了融合整個企業(yè)的全部數(shù)據(jù),打通數(shù)據(jù)之間的隔閡,消除數(shù)據(jù)標(biāo)準(zhǔn)和口徑不一致的問題。
數(shù)據(jù)中臺通常會對來自多方面的的基礎(chǔ)數(shù)據(jù)進(jìn)行清洗,按照主題域概念建立多個以事物為主的主題域。比如會員域,商品域,渠道域,門店主題域等等。
數(shù)據(jù)中臺遵循三個One的概念:One Data, One ID, One Service,就是說數(shù)據(jù)中臺不僅僅是匯聚企業(yè)各種數(shù)據(jù),而且讓這些數(shù)據(jù)遵循相同的標(biāo)準(zhǔn)和口徑,對事物的標(biāo)識能統(tǒng)一或者相互關(guān)聯(lián),并且提供統(tǒng)一的數(shù)據(jù)服務(wù)接口。就像做菜一樣,按照標(biāo)準(zhǔn)化的菜名,先把所有可能用到的材料都準(zhǔn)備好。
而傳統(tǒng)的數(shù)倉主要用來做BI的報表,目的性很單一,只抽取和清洗相關(guān)需要使用到的基礎(chǔ)數(shù)據(jù),進(jìn)行建倉,然后再用來做領(lǐng)域分析,有的時候可能因?yàn)樾略鲆粡垐蟊?,就要從底層到上層再做一次加工和處理?/p>
3. 數(shù)據(jù)應(yīng)用方面不同
建立在數(shù)據(jù)中臺上的數(shù)據(jù)應(yīng)用不僅僅只是面向于BI報表,更多面向營銷推薦,用戶畫像,AI決策分析,風(fēng)險評估等。這些應(yīng)用的特點(diǎn)比較輕,容易快速開發(fā)出來,因?yàn)橹匾臄?shù)據(jù)分析工作在數(shù)據(jù)中臺已經(jīng)完成并且沉淀,所以之前工作成果都能被多個應(yīng)用共享。
而傳統(tǒng)的數(shù)據(jù)倉庫主要是面向報表或者高級可視化,數(shù)據(jù)應(yīng)用的建設(shè)一般是面對相對確定的主題內(nèi)容,在諸如數(shù)據(jù)建模,進(jìn)行數(shù)據(jù)追蹤與探查,深度挖掘?qū)用娲嬖谳^大的局限性。
4. 依賴平臺不同
數(shù)據(jù)中臺一般都是建立在分布式計算平臺和存儲平臺,理論上可以無限擴(kuò)充平臺的計算和存儲能力。
而多數(shù)的傳統(tǒng)數(shù)倉工具只是建立在傳統(tǒng)關(guān)系數(shù)據(jù)庫和單一服務(wù)器部署的基礎(chǔ)上,一旦數(shù)據(jù)量變大,很容易出現(xiàn)存儲、效率、計算的問題,其后續(xù)擴(kuò)充存在較大的成本和時間。
二、數(shù)據(jù)中臺經(jīng)歷的階段
事實(shí)上,阿里巴巴很早便開始運(yùn)用中臺模式滿足業(yè)務(wù)需求,并于 2015 年正式提出中臺戰(zhàn)略。中臺戰(zhàn)略的原理是將不同業(yè)務(wù)通用的工具和技術(shù)加以沉淀,成立專門的中臺部門,這樣新的業(yè)務(wù)需求可以不再重新設(shè)計,避免因重復(fù)的功能建設(shè)和維護(hù)造成資源浪費(fèi)。
構(gòu)建靈活、多變的組織機(jī)制和業(yè)務(wù)機(jī)制是阿里巴巴建立數(shù)據(jù)中臺的戰(zhàn)略核心。各行業(yè)的領(lǐng)頭企業(yè)也開始對數(shù)據(jù)中臺、數(shù)字化轉(zhuǎn)型進(jìn)行積極探索,力求以數(shù)據(jù)智能的方式實(shí)現(xiàn)生產(chǎn)經(jīng)營的智能化和精細(xì)化管理。
2018 年 8 月末,騰訊宣布組織架構(gòu)變革,成立技術(shù)委員會,未來將打造技術(shù)中臺。與此同時,京東、華為、美團(tuán)等不同業(yè)務(wù)領(lǐng)域的互聯(lián)網(wǎng)公司均著手改革組織架構(gòu),積極打通數(shù)據(jù)平臺,構(gòu)建數(shù)據(jù)中臺。至此,數(shù)據(jù)中臺由概念逐漸變?yōu)楝F(xiàn)實(shí),數(shù)據(jù)智能賦能業(yè)務(wù),用更低的成本、更高的效率為用戶服務(wù)的模式逐漸被認(rèn)可,數(shù)據(jù)中臺得到進(jìn)一步發(fā)展,掀起了一波數(shù)字化轉(zhuǎn)型的浪潮。
而我們從阿里數(shù)據(jù)中臺發(fā)展歷程,可以看到大概經(jīng)歷以下4個階段:
- 數(shù)據(jù)庫階段,主要是OLTP(聯(lián)機(jī)事務(wù)處理)的需求;
- 數(shù)據(jù)倉庫階段,OLAP(聯(lián)機(jī)分析處理)成為主要需求;
- 數(shù)據(jù)平臺階段,主要解決BI和報表需求的技術(shù)問題;
- 數(shù)據(jù)中臺階段,通過系統(tǒng)來對接OLTP(事務(wù)處理)和OLAP(報表分析)的需求,強(qiáng)調(diào)數(shù)據(jù)業(yè)務(wù)化的能力;
那么,數(shù)據(jù)中臺這個階段有什么特征?
其顯著的特征就是數(shù)據(jù)量的指數(shù)級增長,從PB邁向了EB級別。
這個數(shù)量級的變化主要來源于IOT(物聯(lián)網(wǎng))的發(fā)展起來,帶動了視圖聲(視頻、圖像、聲音)數(shù)據(jù)的增長,這些數(shù)據(jù)需要視覺計算技術(shù)、圖像解析的引擎+視頻解析的引擎+音頻解析的引擎來轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù);來源于線下要想和線上一樣,通過數(shù)據(jù)來改善業(yè)務(wù),就要和線上一樣能做到行為可監(jiān)測,數(shù)據(jù)可收集,這是前提。
線下最大量的就是視圖聲數(shù)據(jù),依靠IOT技術(shù)和算法的進(jìn)步,最終會通過智能端來自動化獲取數(shù)據(jù);要使用這些數(shù)據(jù),光有視覺算法和智能端也不行,還要有云來存儲和處理這些數(shù)據(jù),以及打通其他領(lǐng)域的數(shù)據(jù)。
綜合這個階段特征,我們看到依靠傳統(tǒng)的數(shù)據(jù)倉庫方法已經(jīng)全然不能滿足企業(yè)大數(shù)據(jù)量、非結(jié)構(gòu)化、分布式存儲的需求。還需要基于IOT設(shè)備收集數(shù)據(jù)、基于云端存儲數(shù)據(jù)、基于AI算法和云計算進(jìn)行應(yīng)用。
未來的數(shù)據(jù)中臺,一定是AI驅(qū)動的數(shù)據(jù)中臺。
這個中臺包括計算平臺+算法模型+智能硬件,幫助企業(yè)去打通業(yè)務(wù)數(shù)據(jù),最終建立線上線下觸達(dá)和服務(wù)消費(fèi)者的能力。中臺不僅僅是系統(tǒng),亦是一套方法論,中臺最重要的價值在于從“管理在線”到“業(yè)務(wù)在線”。真正做到“一切業(yè)務(wù)數(shù)據(jù)化,一切數(shù)據(jù)業(yè)務(wù)化”。
本文由 @國云數(shù)據(jù) 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于CC0協(xié)議。
- 目前還沒評論,等你發(fā)揮!