數(shù)據(jù)中臺(tái)對(duì)企業(yè)的價(jià)值是什么?

5 評(píng)論 25302 瀏覽 73 收藏 52 分鐘

為什么數(shù)據(jù)湖也好,數(shù)據(jù)平臺(tái)也好,在過(guò)去都沒(méi)有像今年數(shù)據(jù)中臺(tái)這么熱門(mén),那么業(yè)務(wù)部門(mén)為什么這么熱衷于數(shù)據(jù)中臺(tái)?

數(shù)據(jù)實(shí)際上是一個(gè)非常傳統(tǒng)的行業(yè)。

有軟件開(kāi)始的那一天起,數(shù)據(jù)這個(gè)行業(yè)就存在了。比如說(shuō)原來(lái)最早的時(shí)候,有非常多的數(shù)據(jù)報(bào)表數(shù)據(jù)可視化,然后到后來(lái),有了商業(yè)智能,有了Data Warehouse(就是數(shù)據(jù)倉(cāng)庫(kù)),然后數(shù)據(jù)挖掘,并且在數(shù)據(jù)這個(gè)行業(yè)里面是有非常多的巨頭的,比如:teradata、cognos,biee、microstrategy等。

數(shù)據(jù)這個(gè)行業(yè)不僅僅是軟件,它還有管理的部分,也就是說(shuō)數(shù)據(jù)治理,即如何讓企業(yè)的數(shù)據(jù)治理的質(zhì)量更好。所以數(shù)據(jù)這個(gè)行業(yè)本身是一個(gè)非常傳統(tǒng)的行業(yè),每個(gè)大型一點(diǎn)的企業(yè)都有自己的數(shù)據(jù)分析部門(mén),數(shù)據(jù)倉(cāng)庫(kù)部門(mén)。

那么為什么數(shù)據(jù)湖也好,數(shù)據(jù)平臺(tái)也好,在過(guò)去都沒(méi)有像今年數(shù)據(jù)中臺(tái)這么熱門(mén)。而且關(guān)注數(shù)據(jù)中臺(tái)的還不僅僅是技術(shù)部門(mén),很多都是業(yè)務(wù)部門(mén)。那么業(yè)務(wù)部門(mén)為什么這么熱衷于數(shù)據(jù)中臺(tái),業(yè)務(wù)部門(mén)以前不是特別關(guān)注這些技術(shù)的數(shù)據(jù)平臺(tái)和這些技術(shù)的概念。

大概在04,05年,我就開(kāi)始從事一些跟數(shù)據(jù)相關(guān)的工作,在06年的時(shí)候做過(guò)一個(gè)數(shù)據(jù)倉(cāng)庫(kù)的項(xiàng)目。

講到數(shù)據(jù)中臺(tái),我們就要提到平臺(tái)化。我們現(xiàn)在所講的SARS也好,所講的path也好,所講的數(shù)據(jù)中臺(tái)也好,所講的業(yè)務(wù)中臺(tái)也好,它實(shí)際上根本的思想來(lái)源是來(lái)自于平臺(tái)化,就是platform。

平臺(tái)化的概念

舉個(gè)例子:我們拿一個(gè)飲料廠的產(chǎn)品線來(lái)講,那么他可以生產(chǎn)果汁,可以生產(chǎn)飲料,還可以生產(chǎn)其他的產(chǎn)品,它可能是三四條不同的生產(chǎn)線。從原材料加工成飲料,它有很多環(huán)節(jié),雖然品種不一樣,但是它很多環(huán)節(jié)是類(lèi)似的,比如裝瓶、攪拌。

那么這幾個(gè)不同的生產(chǎn)流程、生產(chǎn)線,我們可以把那些公共的部分合并起來(lái),更加專(zhuān)業(yè)化,然后并且讓他們獨(dú)立去維護(hù),之后把那些不同的產(chǎn)品面向客戶(hù),使客戶(hù)體驗(yàn)不同的產(chǎn)品,使它獨(dú)立出來(lái),這就是平臺(tái)化的思路。

火熱的數(shù)據(jù)中臺(tái)對(duì)企業(yè)的價(jià)值是什么?

所以,平臺(tái)化的思路很重要的就是把那些有共性的資源,有共性的能力合并在一起,然后把那些面向客戶(hù)的價(jià)值獨(dú)立出來(lái)。

這樣的話(huà),專(zhuān)業(yè)的人做專(zhuān)業(yè)的事情,并且對(duì)于企業(yè)的績(jī)效也非常的有利,不揉在一塊了,更加的清晰,所以這就是平臺(tái)化的思路。

那么不管什么中臺(tái),它實(shí)際上都是平臺(tái)思想的一個(gè)體現(xiàn),一種具象。

火熱的數(shù)據(jù)中臺(tái)對(duì)企業(yè)的價(jià)值是什么?

所以從軟件角度來(lái)看,那么這個(gè)圖是十幾年前,所謂的EAI,即企業(yè)應(yīng)用集成。

最早的時(shí)候企業(yè)的應(yīng)用集成是一種點(diǎn)對(duì)點(diǎn)的形式,以前沒(méi)有前后臺(tái)之分,比如說(shuō)所有的業(yè)務(wù)系統(tǒng)可能最后都要結(jié)賬,都要算賬,那就叫財(cái)務(wù)系統(tǒng)。然后所有的財(cái)務(wù)系統(tǒng)在結(jié)賬的時(shí)候,WBS code,我們所講的項(xiàng)目編碼,叫項(xiàng)目系統(tǒng)。

所以這樣的話(huà)在這里面有很多的系統(tǒng),它的功能要被多個(gè)其他的系統(tǒng)所調(diào)用,原來(lái)的網(wǎng)狀點(diǎn)對(duì)點(diǎn)集成結(jié)構(gòu)很復(fù)雜而且一團(tuán)麻,摩擦非常多,經(jīng)常搞不清楚,數(shù)據(jù)不統(tǒng)一、規(guī)則也不一致。

這種情況下,平臺(tái)化思路怎么解決?

以前我們稱(chēng)ESB,為企業(yè)的服務(wù)總線,然后將多個(gè)服務(wù),用SOA的方式,把多個(gè)這種會(huì)復(fù)用的服務(wù),抽象出來(lái),變成企業(yè)級(jí)的service。ESB上可以提供其他的服務(wù)消費(fèi)者所調(diào)用,中間的ESB,實(shí)際上它也是一個(gè)平臺(tái)。所以平臺(tái)化的優(yōu)勢(shì)就是能力復(fù)用,減少摩擦。

所有的這種無(wú)論是你的信息技術(shù)系統(tǒng)還是業(yè)務(wù)系統(tǒng),只要它能夠抽象出來(lái),能夠被復(fù)用,則復(fù)用的這一層,那我們都可以把它理解為是中臺(tái)。

中臺(tái)是介于前臺(tái)和后臺(tái)之間的一個(gè)系統(tǒng),那么后臺(tái)實(shí)際上對(duì)我們現(xiàn)在來(lái)講的話(huà),大部分情況下指的就是企業(yè)里的SAP,后臺(tái)的財(cái)務(wù),hr系統(tǒng),客戶(hù)距離市場(chǎng)跟進(jìn)的系統(tǒng)。

中臺(tái)里面很重要的兩個(gè)中臺(tái),一個(gè)是業(yè)務(wù)中臺(tái),一個(gè)是數(shù)據(jù)中臺(tái)。業(yè)務(wù)中臺(tái)是提供可復(fù)用的業(yè)務(wù),API數(shù)據(jù)中臺(tái)是提供數(shù)據(jù)洞察和智能的。

我們前面介紹了一下背景,從平臺(tái)化到中臺(tái),我們下面進(jìn)入到數(shù)據(jù)中臺(tái)。

數(shù)據(jù)中臺(tái)為什么這么火?

1. 數(shù)據(jù)中臺(tái)和傳統(tǒng)的數(shù)據(jù)系統(tǒng)出發(fā)點(diǎn)不一樣

這里舉個(gè)例子,原來(lái)的數(shù)據(jù)平臺(tái)也好,數(shù)據(jù)湖也好,數(shù)據(jù)倉(cāng)庫(kù)也好,它們的出發(fā)點(diǎn)很多時(shí)候有局限性,應(yīng)該說(shuō)更是一個(gè)支撐性的技術(shù)系統(tǒng),即一定要去考慮我先有什么數(shù)據(jù),然后我能干什么,這是傳統(tǒng)的數(shù)據(jù)平臺(tái),數(shù)據(jù)湖,依賴(lài)于現(xiàn)有數(shù)據(jù)的質(zhì)量,現(xiàn)有數(shù)據(jù)的狀況來(lái)做的這樣的一個(gè)支撐性的技術(shù)平臺(tái)。

但是數(shù)據(jù)中臺(tái)在我們現(xiàn)在所講的概念里面,它更多的是從業(yè)務(wù)出發(fā),比如說(shuō):我們現(xiàn)在所設(shè)計(jì)的一套精益數(shù)據(jù)的方法,它就是從業(yè)務(wù)出發(fā),一開(kāi)始都不用看你系統(tǒng)里面有什么數(shù)據(jù),重點(diǎn)的是去解決你的業(yè)務(wù)需要什么樣的數(shù)據(jù)服務(wù)?

作為第一出發(fā)點(diǎn),作為切入點(diǎn)。然后再來(lái)看這些業(yè)務(wù),你需要這些數(shù)據(jù)服務(wù),它有什么價(jià)值?至于說(shuō)這些數(shù)據(jù)服務(wù)所依賴(lài)的數(shù)據(jù)有沒(méi)有,那是我們的實(shí)現(xiàn)方式,只要這個(gè)服務(wù)有價(jià)值,那我們就去想辦法去拿到數(shù)據(jù),如果沒(méi)有能力,我們?nèi)ソ夹g(shù)能力,去完成數(shù)據(jù)服務(wù)的提供。

所以數(shù)據(jù)中臺(tái)最重要區(qū)別于傳統(tǒng)數(shù)據(jù)平臺(tái),技術(shù)類(lèi)平臺(tái)的區(qū)別在于數(shù)據(jù)中臺(tái)的思維是業(yè)務(wù)思維,他從業(yè)務(wù)問(wèn)題出發(fā),這也就是為什么業(yè)務(wù)部門(mén)對(duì)數(shù)據(jù)中臺(tái)會(huì)這么歡迎。

我們的目標(biāo)是哪怕我的數(shù)據(jù)只有50%的準(zhǔn)確性,那么在我提高數(shù)據(jù)質(zhì)量同時(shí),我也希望這50%準(zhǔn)確的數(shù)據(jù)也能為我產(chǎn)生業(yè)務(wù)價(jià)值。這句話(huà)是我們現(xiàn)在正在嘗試的,也是用來(lái)做的。

在過(guò)去,業(yè)務(wù)部門(mén)跟技術(shù)部門(mén)同數(shù)據(jù)倉(cāng)庫(kù)的人提需求,數(shù)據(jù)倉(cāng)庫(kù)的人說(shuō)不行,沒(méi)有數(shù)據(jù),數(shù)據(jù)質(zhì)量不好,現(xiàn)在做不到,現(xiàn)在我們只有這些數(shù)據(jù),然后看看在這些數(shù)據(jù)里面,你們能干點(diǎn)啥,這是原來(lái)的思路。
但是我們所講的數(shù)據(jù)中臺(tái)指的是業(yè)務(wù)需要什么,我們就用數(shù)據(jù)中臺(tái)提供什么,哪怕說(shuō)現(xiàn)在可能你連數(shù)據(jù)庫(kù)都沒(méi)有,但是只要業(yè)務(wù)需要這樣的數(shù)據(jù)服務(wù),我們手工的去錄入構(gòu)建這樣的一個(gè)API也要讓它實(shí)現(xiàn),也要為業(yè)務(wù)產(chǎn)生價(jià)值。然后慢慢的我們?cè)賮?lái)完善數(shù)據(jù)服務(wù),把它自動(dòng)化。

所以這就是我們所講的業(yè)務(wù)中臺(tái)第一個(gè)最大的區(qū)別,一定是從業(yè)務(wù)價(jià)值出發(fā),所以業(yè)務(wù)部門(mén)過(guò)去這么多年里,實(shí)際上對(duì)數(shù)據(jù)的需求和業(yè)務(wù)的需求從來(lái)沒(méi)有發(fā)生過(guò)變化。從來(lái)沒(méi)有說(shuō)原來(lái)因?yàn)閿?shù)據(jù)平臺(tái)沒(méi)有數(shù)據(jù)中臺(tái)的概念,所以我提的需求少一點(diǎn)。

業(yè)務(wù)對(duì)于數(shù)據(jù)的需求沒(méi)有變化,但是它需要一種新的思維方式,一種新的技術(shù)平臺(tái),幫他去快速解決從數(shù)據(jù)到業(yè)務(wù)價(jià)值到業(yè)務(wù)服務(wù)的這個(gè)過(guò)程。所以這是第一點(diǎn),數(shù)據(jù)中臺(tái)是面向業(yè)務(wù)的,它不依賴(lài)于你現(xiàn)在數(shù)據(jù)中臺(tái)的建設(shè)方法,不依賴(lài)于你現(xiàn)在有什么數(shù)據(jù)。

2. 度量不同

為什么在過(guò)去我們所講的數(shù)據(jù)治理這么火,而現(xiàn)在,實(shí)際上我們?cè)絹?lái)越覺(jué)得數(shù)據(jù)治理可能是一種企業(yè)級(jí)的大而全的數(shù)據(jù)治理,但這可能是個(gè)偽命題,因?yàn)樗鼣?shù)據(jù)質(zhì)量是不可能同你的真實(shí)的業(yè)務(wù)百分之百一致。

但是數(shù)據(jù)的系統(tǒng)數(shù)據(jù)平臺(tái),數(shù)據(jù)倉(cāng)庫(kù),很多時(shí)候是以你的數(shù)據(jù)質(zhì)量作為度量標(biāo)準(zhǔn)的,即現(xiàn)在這個(gè)數(shù)據(jù)平臺(tái)存儲(chǔ)了多少數(shù)據(jù),數(shù)據(jù)報(bào)表開(kāi)發(fā)了多少?gòu)垐?bào)表,這個(gè)是你的價(jià)值。但是在數(shù)據(jù)中臺(tái)層面上,我們所講的數(shù)據(jù)中臺(tái)的價(jià)值度量,是它為你的業(yè)務(wù)提供了多少有價(jià)值的數(shù)據(jù)服務(wù)。至于說(shuō)這個(gè)數(shù)據(jù)服務(wù)后面的數(shù)據(jù)質(zhì)量可能不是那么的好,但是只要它能夠給業(yè)務(wù)帶來(lái)價(jià)值,這個(gè)就是好的數(shù)據(jù)服務(wù)。

所以我們很快地拆解一下,從數(shù)據(jù)中臺(tái)這四個(gè)字上來(lái)看,實(shí)際上它也能夠快速的讓我們大家理解什么是數(shù)據(jù)中臺(tái),首先是數(shù)據(jù),數(shù)據(jù)讓業(yè)務(wù)更智慧。數(shù)據(jù)中臺(tái)提供數(shù)據(jù)分析,數(shù)據(jù)挖掘,將數(shù)據(jù)提供給前臺(tái),是以數(shù)據(jù)為核心,它介于前臺(tái)與后臺(tái)之間。

在某種角度上來(lái)講,大家會(huì)問(wèn)是不是也會(huì)有數(shù)據(jù)后臺(tái)?

是的,在有的維度里面,我們把傳統(tǒng)的數(shù)據(jù)湖作為數(shù)據(jù)后臺(tái),前臺(tái)中也有數(shù)據(jù),提供消費(fèi)數(shù)據(jù)服務(wù)的就是數(shù)據(jù)前臺(tái)。中臺(tái)是為多個(gè)業(yè)務(wù)系統(tǒng)提供服務(wù)的,能夠使一個(gè)系統(tǒng)變成一個(gè)數(shù)據(jù)服務(wù)的生態(tài),它是不斷演進(jìn)的。

用一句話(huà)來(lái)概括數(shù)據(jù)中臺(tái),我們把數(shù)據(jù)中臺(tái)理解為是企業(yè)的數(shù)據(jù)服務(wù)工廠。所謂的數(shù)據(jù)服務(wù)工廠在我看來(lái),以后所有的企業(yè)中的本質(zhì)就是加工處理數(shù)據(jù),產(chǎn)生數(shù)字化世界里的產(chǎn)品,然后把它連接到物理世界,生產(chǎn)出來(lái),銷(xiāo)售出去。所以數(shù)據(jù)中臺(tái)對(duì)企業(yè)來(lái)講,它是數(shù)據(jù)服務(wù)的工廠。

過(guò)去那么多年,建設(shè)的系統(tǒng)是把業(yè)務(wù)數(shù)據(jù)化,現(xiàn)在我們很多的企業(yè)在后臺(tái)系統(tǒng)建設(shè)好以后,在做的業(yè)務(wù)系統(tǒng)實(shí)際上是把數(shù)據(jù)業(yè)務(wù)化,而且有一點(diǎn)也是我們現(xiàn)在行業(yè)里面重點(diǎn)強(qiáng)調(diào)的,原來(lái)我們講先有業(yè)務(wù),后有數(shù)據(jù),先有應(yīng)用系統(tǒng),后有數(shù)據(jù)系統(tǒng)。這個(gè)觀點(diǎn)從今年開(kāi)始要發(fā)生改變了,在業(yè)務(wù)系統(tǒng)還沒(méi)有建立起來(lái)的時(shí)候,我們就要有數(shù)據(jù)思維,就要把數(shù)據(jù)集成到業(yè)務(wù)系統(tǒng)的架構(gòu)里面去。

原來(lái)我們所講的業(yè)務(wù)系統(tǒng)叫OLTP,即在線交易系統(tǒng),然后數(shù)據(jù)類(lèi)的系統(tǒng)叫OLAP,即在線分析性系統(tǒng)。

現(xiàn)在可以看到一個(gè)趨勢(shì),這個(gè)趨勢(shì)就是OLTP和OLAP在融合,也就是很多企業(yè)所講的P流一體,即為批處理和實(shí)時(shí)流數(shù)據(jù)處理一體化。原來(lái)我們的OLTP、OLAP是平行的關(guān)系,先要通過(guò)OLTP系統(tǒng)產(chǎn)生數(shù)據(jù),然后ETL,然后抽取到OLAP里面,再把多個(gè)OLTP的系統(tǒng)抽在一起,之后在OLTP、OLAP的系統(tǒng)里面產(chǎn)生洞見(jiàn),變成數(shù)據(jù)可視化報(bào)表給業(yè)務(wù)部門(mén)去看,再去改變你的OLTP的做法,這里的OLTP和OLAP是平行的關(guān)系。

我們現(xiàn)在提到得是OLAP和OLAP的融合,每個(gè)業(yè)務(wù)系統(tǒng)都會(huì)需要都會(huì)趨于具有大數(shù)據(jù)處理能力,智慧能力的交易系統(tǒng),之前把它叫做在線交易系統(tǒng)和在線分析系統(tǒng),我們現(xiàn)在把它叫做在線分析型交易系統(tǒng),它是有跨域的,有歷史的集成數(shù)據(jù)分析交易系統(tǒng)。

這樣的話(huà),原來(lái)的數(shù)據(jù)百分之七八十在企業(yè)里的應(yīng)用都是數(shù)據(jù)可視化,都是BI,都是data house報(bào)表,讓人看,這叫人機(jī)接口,這個(gè)是人看完數(shù)據(jù)以后,然后再去提取,之后去做你的決策,改變你的行為,去看數(shù)據(jù)。

從今年開(kāi)始,數(shù)據(jù)中臺(tái)更多強(qiáng)調(diào)的是機(jī)器與機(jī)器的接口,就是我的數(shù)據(jù)分析出來(lái)的結(jié)果,不僅僅以報(bào)表可視化的形式讓人看,而更多的是把這些API這樣的一些數(shù)據(jù)服務(wù)直接地嵌入到交易系統(tǒng)里面產(chǎn)生影響,變成你的價(jià)格策略,變成你的推薦引擎,變成你的風(fēng)險(xiǎn)管控。

那么我們所講數(shù)據(jù)中臺(tái),它不僅僅是一個(gè)技術(shù)平臺(tái),它還是一個(gè)體系。

數(shù)據(jù)中臺(tái)會(huì)對(duì)應(yīng)到一個(gè)企業(yè)里的一個(gè)部門(mén)一個(gè)組織,也要有數(shù)據(jù)戰(zhàn)略的支撐,要有數(shù)據(jù)治理,數(shù)據(jù)中臺(tái)上面生長(zhǎng)一個(gè)數(shù)據(jù)服務(wù),數(shù)據(jù)服務(wù)提供給我們業(yè)務(wù)系統(tǒng),提供給我們業(yè)務(wù)中臺(tái),然后我們所接收到的數(shù)據(jù)消費(fèi)者,就都生長(zhǎng)在數(shù)據(jù)中臺(tái)之上。數(shù)據(jù)中臺(tái)是一個(gè)生態(tài),是一個(gè)平臺(tái),是一個(gè)數(shù)據(jù)服務(wù),是生產(chǎn)、加工、交易、度量、運(yùn)營(yíng)的平臺(tái),所以我們把數(shù)據(jù)中臺(tái)實(shí)際上叫做一個(gè)體系。

火熱的數(shù)據(jù)中臺(tái)對(duì)企業(yè)的價(jià)值是什么?

這張圖,我們認(rèn)為未來(lái)所有的企業(yè)都是一個(gè)數(shù)據(jù)工廠,看上去現(xiàn)在華為在生產(chǎn)的是手機(jī)、電腦、電信設(shè)備,但是只要他掌握了用戶(hù)的數(shù)據(jù),B端、C端,它知道用戶(hù)喜歡什么,行為模式,消費(fèi)模式,它完全可以在現(xiàn)有的用戶(hù)數(shù)據(jù)基礎(chǔ)上開(kāi)發(fā)出產(chǎn)品。然后至于說(shuō)這個(gè)產(chǎn)品可能是農(nóng)業(yè)的,可能是汽車(chē)的,然后它快速的把用戶(hù)產(chǎn)品的畫(huà)像連接到供應(yīng)鏈上,讓行業(yè)里幫它生產(chǎn)出這樣的產(chǎn)品。所以未來(lái)的企業(yè)都會(huì)是數(shù)據(jù)工廠,都是加工生產(chǎn)數(shù)據(jù)的工廠。

這樣的一個(gè)數(shù)據(jù)工廠需要什么東西,需要什么樣的結(jié)構(gòu),我們可以看到它需要有數(shù)據(jù)員,就是原材料的加工,然后把原材料取過(guò)來(lái)過(guò)磅,原材料經(jīng)過(guò)質(zhì)檢檢驗(yàn),進(jìn)入到原材料倉(cāng)庫(kù),這就是我們所講的數(shù)據(jù)湖。

然后不同的數(shù)據(jù)產(chǎn)品它會(huì)有不同的生產(chǎn)線,這就是我們所講的data plan數(shù)據(jù)流水線,然后數(shù)據(jù)流水線生產(chǎn)出數(shù)據(jù)服務(wù),這個(gè)數(shù)據(jù)模型就放到數(shù)據(jù)集市里面,它就是半成品的數(shù)據(jù)的服務(wù)。

生產(chǎn)數(shù)據(jù)的廠房會(huì)有創(chuàng)新實(shí)驗(yàn)室,專(zhuān)門(mén)研發(fā)新產(chǎn)品,會(huì)有治理數(shù)據(jù)的管理辦公室,去保證工廠整個(gè)運(yùn)營(yíng)的效率,也有控制中心,監(jiān)控中心,保證整個(gè)data pipeline、數(shù)據(jù)處理的性能,安全性和穩(wěn)定性。然后最頂上是你的數(shù)據(jù)服務(wù)商店,把這個(gè)數(shù)據(jù)產(chǎn)品,一個(gè)一個(gè)的數(shù)據(jù)服務(wù),一個(gè)一個(gè)的智能模型,算法模型放到這個(gè)商店里面,供數(shù)據(jù)消費(fèi)者去調(diào)用和使用。所以我們把這個(gè)理解為成廣義的數(shù)據(jù)中臺(tái)。

數(shù)據(jù)中臺(tái)對(duì)企業(yè)的價(jià)值

1. 應(yīng)用開(kāi)發(fā)要快于數(shù)據(jù)開(kāi)發(fā)的速度

原來(lái)我們?cè)谧鲆粡垐?bào)表,或者是在業(yè)務(wù)系統(tǒng)里面需要查詢(xún)一個(gè)數(shù)據(jù)結(jié)果的時(shí)候,它的過(guò)程是比較麻煩的,而且它的測(cè)試往往也是比較復(fù)雜的,因?yàn)闃I(yè)務(wù)系統(tǒng)是有業(yè)務(wù)屬性的,但是數(shù)據(jù)是跨業(yè)務(wù)的,是融合的。

在OLAP領(lǐng)域中,很多這種情況,比如說(shuō)我的企業(yè),Java開(kāi)發(fā)工程師很好找,做應(yīng)用的人很好找,懂data,知道如何做數(shù)據(jù)建模,如何做算法的人相對(duì)來(lái)講是比較少的。但是在我們應(yīng)用開(kāi)發(fā)過(guò)程當(dāng)中,我們會(huì)發(fā)現(xiàn)有太多的數(shù)據(jù)需求,這種情況下應(yīng)用開(kāi)發(fā)的速度是快于數(shù)據(jù)開(kāi)發(fā)的速度。

2.?加速?gòu)臄?shù)據(jù)到價(jià)值的服務(wù)產(chǎn)生過(guò)程

在很多時(shí)候我們會(huì)發(fā)現(xiàn)不同的應(yīng)用開(kāi)發(fā)項(xiàng)目組,他們都會(huì)調(diào)用同樣的數(shù)據(jù)模型,同樣的數(shù)據(jù)服務(wù),但是由于不了解數(shù)據(jù),并且他們也不知道底層的數(shù)據(jù)結(jié)構(gòu)。所以他們不同的項(xiàng)目組可能對(duì)同樣的數(shù)據(jù)處理會(huì)用不同的方法,自己做自己的,然后出來(lái)的結(jié)果不一樣。有的是錯(cuò)誤的,所以開(kāi)發(fā)速度慢,并且數(shù)據(jù)結(jié)果不準(zhǔn)確,質(zhì)量低,這就是過(guò)去應(yīng)用開(kāi)發(fā)和數(shù)據(jù)開(kāi)發(fā)所面臨的矛盾。

但是現(xiàn)在數(shù)據(jù)中臺(tái)就要解決這個(gè)問(wèn)題,數(shù)據(jù)中臺(tái)要把那些復(fù)用的數(shù)據(jù)模型,要把那些數(shù)據(jù)模型data派對(duì)中一些數(shù)據(jù)復(fù)用的能力,變成一個(gè)數(shù)據(jù)的能力平臺(tái),讓那些做數(shù)據(jù)的人專(zhuān)注在做數(shù)據(jù),把數(shù)據(jù)變成一個(gè)樂(lè)高積木,數(shù)據(jù)服務(wù)提供給應(yīng)用開(kāi)發(fā)。

然后不同的應(yīng)用開(kāi)發(fā)項(xiàng)目組可以共同的去調(diào)用唯一的SARS數(shù)據(jù)服務(wù),去保證它的數(shù)據(jù)質(zhì)量和一致性,加速?gòu)臄?shù)據(jù)到價(jià)值的服務(wù)產(chǎn)生過(guò)程,打造高響應(yīng)力且更加智慧的業(yè)務(wù)。

回顧

數(shù)據(jù)中臺(tái)解決的核心問(wèn)題:

  • 解決應(yīng)用開(kāi)發(fā)快于數(shù)據(jù)開(kāi)發(fā)的效率問(wèn)題。
  • 解決數(shù)據(jù)開(kāi)發(fā)與數(shù)據(jù)產(chǎn)生價(jià)值的協(xié)作問(wèn)題。
  • 解決在很多企業(yè),它的開(kāi)發(fā)人員,技術(shù)人員沒(méi)有數(shù)據(jù)能力的問(wèn)題,這是它從技術(shù)層面的核心問(wèn)題上來(lái)解決問(wèn)題。

那是不是一定要做到保證數(shù)據(jù)質(zhì)量百分之百,在沒(méi)有問(wèn)題的情況下,才能夠去做數(shù)據(jù)系統(tǒng),才能去做數(shù)據(jù)服務(wù)?

從這點(diǎn)上來(lái)講,實(shí)際上數(shù)據(jù)和業(yè)務(wù)之間的速度一直是不一致的,我們的業(yè)務(wù)永遠(yuǎn)比這個(gè)系統(tǒng)的開(kāi)發(fā)速度要快,就是我們物理世界里的業(yè)務(wù)一定比你的軟件的開(kāi)發(fā)要快。然后軟件從軟件本身到沉淀出數(shù)據(jù),這又是一個(gè)滯后的過(guò)程,所以數(shù)據(jù)與你的企業(yè)的業(yè)務(wù)一定是不一致的。

數(shù)據(jù)的及時(shí)性,數(shù)據(jù)的一致性和數(shù)據(jù)的集成性問(wèn)題,在某種角度上來(lái)講,它是不可能百分之百?gòu)氐捉鉀Q的,除非你的業(yè)務(wù)是靜態(tài)的。因?yàn)槟愕臉I(yè)務(wù)呈現(xiàn)是在變化的,你的用戶(hù)天天在變,我們的業(yè)務(wù)部門(mén)天天在思考創(chuàng)新,天天在希望找到新的客戶(hù)的模式,這一切的創(chuàng)新落地下來(lái)就是數(shù)據(jù),你的數(shù)據(jù)時(shí)時(shí)刻刻在發(fā)生變化。

就是說(shuō),有的企業(yè)的業(yè)務(wù)報(bào)表系統(tǒng)上線以后,上線兩個(gè)月很好,上線到第三個(gè)月的時(shí)候就發(fā)現(xiàn)報(bào)表不對(duì)了,而且他也不知道問(wèn)題在哪里,然后他就需要去查看整個(gè)的過(guò)程。因?yàn)閿?shù)據(jù)系統(tǒng)它有很強(qiáng)的不確定性,因?yàn)樗膩?lái)源控制不了,它的來(lái)源是來(lái)自于它的業(yè)務(wù)系統(tǒng),然后業(yè)務(wù)系統(tǒng)是變化的。

如何加快從你的業(yè)務(wù)到數(shù)據(jù)到你的數(shù)據(jù)產(chǎn)品之間的反饋的速度響應(yīng)力,也是數(shù)據(jù)中臺(tái)要解決的問(wèn)題。它要把應(yīng)用的價(jià)值,應(yīng)用的速度,和你數(shù)據(jù)產(chǎn)生的速度中間的差異,時(shí)間的差異和有時(shí)候業(yè)務(wù)理解上的差異,通過(guò)數(shù)據(jù)中臺(tái)去把它彌補(bǔ)起來(lái)。

數(shù)據(jù)中臺(tái)應(yīng)該具備的能力

下面這個(gè)圖,我們把它定義成是現(xiàn)在數(shù)據(jù)驅(qū)動(dòng)的智能企業(yè)的一個(gè)模型,然后我們可以看到這里面有六大功能,其中除了灰色的部分,我們認(rèn)為是傳統(tǒng)的數(shù)據(jù)平臺(tái)提供的功能。那么之外的這五大功能,我們認(rèn)為這就是現(xiàn)在企業(yè)里面所講的數(shù)據(jù)中臺(tái)所應(yīng)該具備的能力。

火熱的數(shù)據(jù)中臺(tái)對(duì)企業(yè)的價(jià)值是什么?

如果有一個(gè)數(shù)據(jù)中臺(tái)所謂的廠商找到大家說(shuō)我們給大家提供數(shù)據(jù)中臺(tái),我們可以對(duì)比一下,他有沒(méi)有現(xiàn)在所講的五個(gè)功能,五大領(lǐng)域的功能。

1. 數(shù)據(jù)資產(chǎn)的規(guī)劃和治理

你有什么數(shù)據(jù)資產(chǎn)要存什么數(shù)據(jù),這個(gè)東西一定是要有統(tǒng)一的規(guī)劃的,而且是要有系統(tǒng)經(jīng)營(yíng)管理的,所以每一個(gè)數(shù)據(jù)中臺(tái)一定要有一個(gè)數(shù)據(jù)資產(chǎn)目錄。至于數(shù)據(jù)資產(chǎn)目錄是長(zhǎng)什么樣子的,要怎么去構(gòu)建,那么在其他的topic里面我們?nèi)ビ懻?,這里就不詳細(xì)去講了。

2. 數(shù)據(jù)資產(chǎn)的采集、獲取和存儲(chǔ)

這就是傳統(tǒng)的數(shù)據(jù)湖數(shù)據(jù)倉(cāng)庫(kù)所做的事情。

3. 數(shù)據(jù)資產(chǎn)的共享和協(xié)作

數(shù)據(jù)仲裁很重要的一個(gè)功能是讓企業(yè)的數(shù)據(jù),企業(yè)擁有的數(shù)據(jù),能夠在內(nèi)部開(kāi)放,對(duì)你的生態(tài)開(kāi)放、用戶(hù)、員工開(kāi)放、數(shù)據(jù)的消費(fèi)者開(kāi)放共享和協(xié)作。在很多時(shí)候我們看到有些企業(yè),他自己的部門(mén)之間都不清楚他企業(yè)有哪些數(shù)據(jù),數(shù)據(jù)在哪里,有什么價(jià)值,如果這一點(diǎn)數(shù)據(jù)中臺(tái)解決不了,那它就不能稱(chēng)之為是一個(gè)完整的數(shù)據(jù)中臺(tái)。
這個(gè)是怎么去做的?我們把它叫data is great。就是數(shù)據(jù)探索的平臺(tái)。

4. 數(shù)據(jù)業(yè)務(wù)價(jià)值的探索和分析

數(shù)據(jù)中臺(tái)一定要有一個(gè)能力,就是除了存儲(chǔ)數(shù)據(jù),然后管理數(shù)據(jù)資產(chǎn)之外,它一定要能夠提供面向用戶(hù)的這種價(jià)值探索工具。讓用戶(hù),讓不同層面的用戶(hù),比如說(shuō)有數(shù)據(jù)分析人員,有業(yè)務(wù)分析人員,讓他們能夠在數(shù)據(jù)中臺(tái)提供的工具里面去探索業(yè)務(wù)價(jià)值。

比如說(shuō)我們現(xiàn)在在研發(fā),當(dāng)然行業(yè)里面有很多也有這樣的系統(tǒng),它能夠讓你把你企業(yè)里的數(shù)據(jù)服務(wù),同你企業(yè)的數(shù)據(jù)集放在一起,然后讓業(yè)務(wù)部門(mén),讓你的業(yè)務(wù)人員做self service,自己去探索這些數(shù)據(jù)集,發(fā)現(xiàn)它的業(yè)務(wù)價(jià)值,我們把它叫做datenight。

然后當(dāng)你發(fā)現(xiàn)這個(gè)數(shù)據(jù)集很有價(jià)值,對(duì)你的業(yè)務(wù)很有幫助的時(shí)候,數(shù)據(jù)中臺(tái)能夠提供一個(gè)能力,那就是快速的把這些數(shù)據(jù)數(shù)據(jù)集以一種合適的方式發(fā)布成數(shù)據(jù)服務(wù)。

5.?數(shù)據(jù)服務(wù)的構(gòu)建和治理

當(dāng)然這個(gè)數(shù)據(jù)服務(wù)一定是要有治理的,不能出現(xiàn)數(shù)據(jù)服務(wù)重疊,然后浪費(fèi)好多服務(wù)放在那里沒(méi)有人用。

6. 數(shù)據(jù)服務(wù)的度量和運(yùn)營(yíng)

數(shù)據(jù)類(lèi)的項(xiàng)目一定是一個(gè)持續(xù)的項(xiàng)目,它一定是不斷迭代不斷分析的項(xiàng)目,它不僅僅是說(shuō)我產(chǎn)生完數(shù)據(jù)我就完事了,或者說(shuō)我把數(shù)據(jù)報(bào)表開(kāi)發(fā)出來(lái)我就不管了,一定不是這樣,所有數(shù)據(jù)的項(xiàng)目都是要持續(xù)的去運(yùn)營(yíng)的。

運(yùn)營(yíng)的目的就是去看我產(chǎn)品數(shù)據(jù)服務(wù)是有誰(shuí)在用,他們用的反饋如何,哪些報(bào)表,哪些數(shù)據(jù)產(chǎn)品沒(méi)有人用,哪些產(chǎn)品它是可以合并的,使用這些產(chǎn)品的用戶(hù)畫(huà)像是什么,他們有什么特點(diǎn),如何更好地為他們提供服務(wù),所以數(shù)據(jù)中臺(tái)一定要具備數(shù)據(jù)產(chǎn)品運(yùn)營(yíng)的能力。

剛才我們所講的這六大功能,在這個(gè)數(shù)據(jù)服務(wù)工廠里面都能一一得到映射。

我們所講的是一個(gè)廣義的數(shù)據(jù)中臺(tái),然后同時(shí)我們現(xiàn)在在很多企業(yè)里面,我們也會(huì)看到,有的企業(yè)它不可能一上來(lái)就構(gòu)建一個(gè)這么龐大的數(shù)據(jù)服務(wù)工廠,如果他要做數(shù)據(jù)平臺(tái),它先做什么?他現(xiàn)在可能連數(shù)據(jù)湖都沒(méi)有,數(shù)據(jù)平臺(tái)也沒(méi)有,那怎么辦?他還要不要做數(shù)據(jù)中臺(tái)?

我們所講過(guò)的,只要你的前臺(tái)業(yè)務(wù)系統(tǒng)有多個(gè),而且你希望你的數(shù)據(jù)服務(wù)未來(lái)是可復(fù)用的,被多個(gè)業(yè)務(wù)系統(tǒng)所使用,提供平臺(tái)性的能力的話(huà),你就要構(gòu)建數(shù)據(jù)中臺(tái)。

那么你的數(shù)據(jù)中臺(tái)可以簡(jiǎn)單到它就是只提供一個(gè)data API,哪怕它后面沒(méi)有數(shù)據(jù)庫(kù),沒(méi)有數(shù)據(jù)湖,沒(méi)有數(shù)據(jù)平臺(tái),然后是人去維護(hù)一個(gè)excel表,然后把這個(gè)excel表的數(shù)據(jù)變成一個(gè)data API讓業(yè)務(wù)部門(mén)去調(diào)用,我們覺(jué)得這就是數(shù)據(jù)中臺(tái)的一個(gè)核心,那就是提供數(shù)據(jù)服務(wù)。所以我們所講狹義的數(shù)據(jù)中臺(tái),那就是數(shù)據(jù)服務(wù)data API。

data API和傳統(tǒng)的數(shù)據(jù)報(bào)表很大的區(qū)別在于數(shù)據(jù)報(bào)表是單向的,是人機(jī)接口,人看報(bào)表。數(shù)據(jù)API是什么數(shù)據(jù)?

API是可被監(jiān)控的,是可被調(diào)度的,它是一個(gè)機(jī)器與機(jī)器之間的接口,是由你的電腦,你的應(yīng)用去消費(fèi)數(shù)據(jù),不是由人去看數(shù)據(jù)。

所以這是很重要的,數(shù)據(jù)服務(wù)是我們所講的狹義的數(shù)據(jù)中臺(tái)最重要的部分。如果你要做一個(gè)最簡(jiǎn)單的數(shù)據(jù)中臺(tái),那么很簡(jiǎn)單,你只需要去把你的數(shù)據(jù)變成服務(wù)提供給你的多個(gè)業(yè)務(wù)用戶(hù),或者是你的多個(gè)業(yè)務(wù)系統(tǒng),它就可以被稱(chēng)之為一個(gè)數(shù)據(jù)中臺(tái)。

數(shù)據(jù)中臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖傳統(tǒng)的區(qū)別

數(shù)據(jù)中臺(tái)距離業(yè)務(wù)更近,數(shù)據(jù)平臺(tái)、數(shù)據(jù)湖是被動(dòng)地響應(yīng)業(yè)務(wù)需求,用戶(hù)說(shuō)我要什么,然后你有什么數(shù)據(jù),然后我來(lái)給你提供什么數(shù)據(jù)服務(wù),但是數(shù)據(jù)中臺(tái)是業(yè)務(wù)需求驅(qū)動(dòng)的業(yè)務(wù)服務(wù)平臺(tái)。比如說(shuō),現(xiàn)在很多企業(yè)在做數(shù)據(jù)中臺(tái)規(guī)劃的時(shí)候,第一件事情不是去看他的數(shù)據(jù),他有什么數(shù)據(jù),那是第二件事情,第一件事情先看他需要什么樣的數(shù)據(jù)服務(wù),什么樣的數(shù)據(jù)對(duì)他有價(jià)值。

小結(jié)

數(shù)據(jù)平臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)中臺(tái)的關(guān)鍵關(guān)系?

數(shù)據(jù)倉(cāng)庫(kù)是分析報(bào)表及服務(wù),數(shù)據(jù)平臺(tái)和數(shù)據(jù)湖是提供數(shù)據(jù)集,我把一個(gè)數(shù)據(jù)集給到你,然后業(yè)務(wù)部門(mén)根據(jù)這個(gè)數(shù)據(jù)集拿到數(shù)據(jù)庫(kù)的鏈接,自己去做開(kāi)發(fā)。

數(shù)據(jù)中臺(tái)是什么數(shù)據(jù)?數(shù)據(jù)中臺(tái)最核心的就是data API,它提供一個(gè)一個(gè)的可以復(fù)用的標(biāo)準(zhǔn),這種數(shù)據(jù)服務(wù)給到業(yè)務(wù)系統(tǒng)。

構(gòu)建數(shù)據(jù)中臺(tái)和構(gòu)建數(shù)據(jù)平臺(tái)也有很大的區(qū)別,構(gòu)建數(shù)據(jù)中臺(tái)一定是業(yè)務(wù)價(jià)值出發(fā),而且數(shù)據(jù)中臺(tái)一定不是一個(gè)單體的產(chǎn)品,數(shù)據(jù)中臺(tái)里面的組件是有的是可以產(chǎn)品化的,比如數(shù)據(jù)存儲(chǔ),比如說(shuō)你的數(shù)據(jù)分析工具,比如說(shuō)你的數(shù)據(jù)探索的工具,你是可以有產(chǎn)品去組合的。

但是數(shù)據(jù)中臺(tái)一定不是一個(gè)產(chǎn)品,每個(gè)企業(yè)的數(shù)據(jù)中臺(tái)會(huì)依賴(lài)于他企業(yè)的業(yè)務(wù)模式,他企業(yè)的信息化水平,他企業(yè)的投資預(yù)算,依賴(lài)于很多他的個(gè)體化,個(gè)性化的因素。所以數(shù)據(jù)中臺(tái)對(duì)于不同的企業(yè)來(lái)講,它一定是一個(gè)定制化的系統(tǒng)。因?yàn)樗鷺I(yè)務(wù)息息相關(guān)。數(shù)據(jù)中臺(tái)的架構(gòu)一定不是一個(gè)固定的,它一定是眼鏡式架構(gòu)。

比如我們現(xiàn)在在有一個(gè)客戶(hù)那里,一個(gè)做全球潤(rùn)滑油的零售客戶(hù),我們跟他們合作已經(jīng)兩年多了,將近三年了,他們最早的時(shí)候還沒(méi)有數(shù)據(jù)中臺(tái)的概念,但是從他們最早的時(shí)候,由于在中國(guó)沒(méi)有it,所以他們最早的預(yù)算非常低,非常小。

但是在那樣的情況下,可能也就很少的預(yù)算,我們也能構(gòu)建一個(gè)數(shù)據(jù)中臺(tái)的雛形,然后一點(diǎn)一點(diǎn)地快速地為他們的業(yè)務(wù)產(chǎn)生價(jià)值,并且持續(xù)的演進(jìn)到現(xiàn)在他們已經(jīng)有了自己真正的數(shù)據(jù)中臺(tái),做的是比較完善的了。

數(shù)據(jù)中臺(tái)的建設(shè)要有戰(zhàn)略耐心

投資方要有戰(zhàn)略耐性。

不是說(shuō)我給你錢(qián),給你1000萬(wàn),你趕緊給我買(mǎi)個(gè)數(shù)據(jù)平臺(tái)回來(lái),然后買(mǎi)完了以后趕緊要產(chǎn)生業(yè)務(wù)價(jià)值,往往這樣的項(xiàng)目,我們認(rèn)為數(shù)據(jù)中臺(tái)的構(gòu)建一定要是平臺(tái)就是數(shù)據(jù)的部分,技術(shù)的部分和業(yè)務(wù)的部分要同時(shí)前進(jìn)。

但是它一定會(huì)有一定的過(guò)程,你的數(shù)據(jù)價(jià)值的探索,到你的數(shù)據(jù)價(jià)值變成一個(gè)數(shù)據(jù)產(chǎn)品的設(shè)計(jì),然后變成一個(gè)可用的軟件上線,這是一個(gè)需要時(shí)間的,所以我們認(rèn)為投資方要有戰(zhàn)略耐心。要認(rèn)識(shí)到從數(shù)據(jù)到業(yè)務(wù)價(jià)值是有一個(gè)過(guò)程的。

火熱的數(shù)據(jù)中臺(tái)對(duì)企業(yè)的價(jià)值是什么?

建設(shè)方也要有耐心。

建設(shè)方不能好高騖遠(yuǎn),一上來(lái)就做一個(gè)龐大的能力,然后在上面再生長(zhǎng),因?yàn)樽兓?,技術(shù)更新太快,業(yè)務(wù)變化太快。所以我們所講的數(shù)據(jù)中臺(tái)的構(gòu)建方式一定是敏捷的,然后是不斷的迭代。

思考:數(shù)據(jù)治理是偽命題嗎?

是因?yàn)樵谖迥暌郧埃暌郧埃以谧鰝鹘y(tǒng)的數(shù)據(jù),做了很多數(shù)據(jù)治理項(xiàng)目,那樣的數(shù)據(jù)治理項(xiàng)目在他看來(lái)很多是不成功的。之前我們所講的成功是項(xiàng)目系統(tǒng)驗(yàn)收了叫成功,但是現(xiàn)在我們理解成功指的是它對(duì)企業(yè)的業(yè)務(wù)帶來(lái)價(jià)值。

我們回想起來(lái),過(guò)去的數(shù)據(jù)治理的項(xiàng)目,會(huì)產(chǎn)生三大類(lèi)的服務(wù):

  • 第一類(lèi),一堆流程,一堆標(biāo)準(zhǔn),就是一堆文檔。
  • 第二類(lèi),產(chǎn)生一堆崗位,就是會(huì)有很多的人,原來(lái)做業(yè)務(wù)的,做技術(shù)的,現(xiàn)在專(zhuān)門(mén)出來(lái)給它個(gè)名詞叫數(shù)據(jù)管理員,或者給它個(gè)名詞叫數(shù)據(jù)管理委員會(huì),或者是物料審批員,像這樣的名詞會(huì)產(chǎn)生一堆崗位。
  • 第三類(lèi),會(huì)產(chǎn)生一堆系統(tǒng),元數(shù)據(jù)管理系統(tǒng),但是數(shù)據(jù)治理的項(xiàng)目都往往做起來(lái)都很龐大,因?yàn)槲覀兿M蛷母旧辖鉀Q企業(yè)級(jí)數(shù)據(jù)質(zhì)量的問(wèn)題。但是現(xiàn)在我們回過(guò)頭來(lái)看,我們覺(jué)得這種方式不一定是最有效的,而且很多時(shí)候當(dāng)你把這些標(biāo)準(zhǔn)做出來(lái),把系統(tǒng)做出來(lái),實(shí)際上當(dāng)時(shí)認(rèn)為你可以解決的這些問(wèn)題的這些數(shù)據(jù)已經(jīng)發(fā)生了變化。

刻舟求劍是一個(gè)很好的名詞來(lái)形容這個(gè)數(shù)據(jù)類(lèi)項(xiàng)目數(shù)據(jù)治理的特點(diǎn),因?yàn)閿?shù)據(jù)在企業(yè)里面它是流動(dòng)的,像河水一樣,永遠(yuǎn)是在流動(dòng)的。

而我們企業(yè)追求的是什么?

就是數(shù)據(jù)的流動(dòng)速度。我的數(shù)據(jù)流動(dòng)越快,我產(chǎn)生的數(shù)據(jù)越多,我對(duì)用戶(hù)的維度越細(xì)分,我的企業(yè)的經(jīng)營(yíng)就越有活力,我在市場(chǎng)上就越具有競(jìng)爭(zhēng)力。但是你流動(dòng)的越快,你很難保證。因?yàn)樗欢〞?huì)有你想不到的東西,你的系統(tǒng)響應(yīng)力一定沒(méi)那么快。

這種情況下,我們希望現(xiàn)在用做一個(gè)數(shù)據(jù)標(biāo)準(zhǔn)做一個(gè)數(shù)據(jù)模型,然后做一個(gè)數(shù)據(jù)治理,然后就好像是說(shuō)在河水上加標(biāo)準(zhǔn)化的檢測(cè)站一樣,這是做不到的。所以我們現(xiàn)在所講的治理,把它叫精益數(shù)據(jù)治理,在業(yè)務(wù)層面跟業(yè)務(wù)一起去治理數(shù)據(jù),而且我們追求的不是說(shuō)一定要把數(shù)據(jù)質(zhì)量設(shè)計(jì)到好多完美,做不到,這是不可行的,達(dá)不到的。

我們的目標(biāo)是哪怕我的數(shù)據(jù)只有50%的準(zhǔn)確性,那么在我提高數(shù)據(jù)質(zhì)量同時(shí),我也希望這50%準(zhǔn)確的數(shù)據(jù)也能為我產(chǎn)生業(yè)務(wù)價(jià)值。這句話(huà)是我們現(xiàn)在正在嘗試的,也是用來(lái)做的。

數(shù)據(jù)中臺(tái)和業(yè)務(wù)中臺(tái)的區(qū)別

業(yè)務(wù)中臺(tái)讓前臺(tái)開(kāi)發(fā)更敏捷,為什么業(yè)務(wù)中臺(tái)起的作用是把多個(gè)交易權(quán),比如用戶(hù)查用戶(hù)創(chuàng)建訂單的API,你的生成庫(kù)存入庫(kù)單的這種API全部把它合并成一個(gè),然后讓前臺(tái)去調(diào)用,它是為了讓前臺(tái)開(kāi)發(fā)更敏捷,速度更快,而且更標(biāo)準(zhǔn)。

數(shù)據(jù)中臺(tái)是什么?

數(shù)據(jù)中使前臺(tái)更智慧。當(dāng)然它也可以加快前臺(tái)的開(kāi)發(fā)速度,但它更重要的是使前臺(tái)更智慧。

業(yè)務(wù)系統(tǒng),原來(lái)是跨類(lèi)的,是分領(lǐng)域的財(cái)務(wù)系統(tǒng),我只有財(cái)務(wù)系統(tǒng)的數(shù)據(jù),我就看不到物資系統(tǒng)的數(shù)據(jù),我的物資系統(tǒng)的數(shù)據(jù),只能看到物資的,我看不到我的設(shè)備。所有的跨域的數(shù)據(jù)融合在一起,形成數(shù)據(jù)動(dòng)產(chǎn),形成數(shù)據(jù)有洞察跨域的歷史的融合,將這些數(shù)據(jù)服務(wù)提供給前臺(tái),能夠讓前臺(tái)更智慧。

舉個(gè)例子:最直接的就是動(dòng)態(tài)價(jià)格,像滴滴每時(shí)每刻的價(jià)格一定是不一樣的,在不同時(shí)間點(diǎn)怎么出來(lái)的,一定有當(dāng)時(shí)現(xiàn)在的空間上的,不同地點(diǎn)的這種價(jià)格的一個(gè)匹配,同時(shí)它應(yīng)該也會(huì)有歷史的在這個(gè)時(shí)間,在這個(gè)地點(diǎn)的一個(gè)價(jià)格的數(shù)據(jù),然后融合在一起,快速地生成這種實(shí)時(shí)性的價(jià)格。就是OLAP的這些數(shù)據(jù)服務(wù),從原來(lái)的數(shù)據(jù)報(bào)表的形式變成一個(gè)一個(gè)的這種API時(shí)時(shí)的去驅(qū)動(dòng)著業(yè)務(wù)的變化。

數(shù)據(jù)中臺(tái)和業(yè)務(wù)中臺(tái)的關(guān)系,在行業(yè)中認(rèn)為最經(jīng)典的就是數(shù)據(jù)中臺(tái)在提供服務(wù)到前臺(tái)業(yè)務(wù),同時(shí)它也提供數(shù)據(jù)服務(wù)給到業(yè)務(wù)中臺(tái)。

業(yè)務(wù)中臺(tái)和數(shù)據(jù)中臺(tái)的服務(wù)的區(qū)別,剛才提到了,這個(gè)數(shù)據(jù)中臺(tái)是智慧的服務(wù),有這種智能的數(shù)據(jù)服務(wù),也有查詢(xún)類(lèi)的,還有搜索類(lèi)的,它總的來(lái)講就是給業(yè)務(wù)系統(tǒng)提供你的數(shù)據(jù)動(dòng)產(chǎn),提供你的這種智慧的決策,提供你的業(yè)務(wù)規(guī)則。

業(yè)務(wù)中臺(tái)是什么?

業(yè)務(wù)中臺(tái)是產(chǎn)生數(shù)據(jù)。我去產(chǎn)生一個(gè)訂單,我去生成一個(gè)庫(kù)存,生成一個(gè)項(xiàng)目編碼,這是業(yè)務(wù)中臺(tái)。

所以總的來(lái)講,數(shù)據(jù)中臺(tái)是企業(yè)的數(shù)據(jù)服務(wù)的工廠。那么這樣的一個(gè)工廠是企業(yè)運(yùn)營(yíng)數(shù)據(jù)、加工數(shù)據(jù)、交易數(shù)據(jù)的一個(gè)平臺(tái)。在把這個(gè)數(shù)據(jù)中臺(tái)做好以后,我們還需要運(yùn)營(yíng)。

我們認(rèn)為數(shù)據(jù)正在逐漸成為一個(gè)新的領(lǐng)域,新的行業(yè)。像現(xiàn)在的很多原生的數(shù)據(jù),原生的這種數(shù)字化企業(yè),它實(shí)際上加工生產(chǎn)的就是數(shù)據(jù),像今日頭條,它本身沒(méi)有任何的實(shí)物,數(shù)據(jù)是它的原材料,它生產(chǎn)出來(lái)的都是數(shù)據(jù)產(chǎn)品。

數(shù)據(jù)中臺(tái)的績(jī)效體系

前面講到數(shù)據(jù),中臺(tái)一定是一個(gè)組織,是個(gè)團(tuán)隊(duì)。那么如何對(duì)這樣一個(gè)組織團(tuán)隊(duì)進(jìn)行績(jī)效,很重要的就是度量數(shù)據(jù)服務(wù)調(diào)用的滿(mǎn)意度,你這個(gè)數(shù)據(jù)中臺(tái)產(chǎn)生的數(shù)據(jù)服務(wù)運(yùn)營(yíng),被你的消費(fèi)者所使用,他們的滿(mǎn)意度產(chǎn)生資產(chǎn),帶來(lái)業(yè)務(wù)價(jià)值。

所以我們希望通過(guò)數(shù)據(jù)和智能這樣的技術(shù),通過(guò)數(shù)據(jù)中臺(tái)能夠賦給企業(yè)以數(shù)據(jù)和智能的能力,我們認(rèn)為這是數(shù)據(jù)中臺(tái)應(yīng)該承載的價(jià)值作用。

Q & A

問(wèn)題一:企業(yè)構(gòu)建數(shù)據(jù)中臺(tái)是否存在一個(gè)量化或判斷的標(biāo)準(zhǔn)?

對(duì)這個(gè)問(wèn)題有幾種解讀:

第一種解讀是說(shuō)企業(yè)是否要構(gòu)建自己的數(shù)據(jù)中臺(tái),這個(gè)問(wèn)題有沒(méi)有標(biāo)準(zhǔn)?以這個(gè)問(wèn)題來(lái)講的話(huà),我們認(rèn)為所有的企業(yè)它都需要數(shù)據(jù)中臺(tái),因?yàn)樗枰獜臄?shù)據(jù)里面獲得洞察,從數(shù)據(jù)里面獲得它業(yè)務(wù)經(jīng)營(yíng)的指導(dǎo)。

那么這個(gè)問(wèn)題的第二個(gè)解讀就是如何去度量和判斷數(shù)據(jù)中臺(tái)做得好不好?數(shù)據(jù)中臺(tái)做得好不好,有沒(méi)有給企業(yè)帶來(lái)價(jià)值?我們有一個(gè)非常簡(jiǎn)單粗暴的度量方法,就是數(shù)據(jù)服務(wù)被業(yè)務(wù)系統(tǒng)和業(yè)務(wù)人員使用的滿(mǎn)意度如何?第一我們認(rèn)為數(shù)據(jù)中臺(tái)本身應(yīng)該具備快速的將數(shù)據(jù)變成API的能力,而不需要讓技術(shù)人員一個(gè)一個(gè)去開(kāi)發(fā)API。

數(shù)據(jù)中臺(tái)里面的六個(gè)能力里,數(shù)據(jù)中臺(tái)很重要的一個(gè)能力,就是數(shù)據(jù)服務(wù)的構(gòu)建和治理。數(shù)據(jù)中臺(tái)要具備一鍵式的數(shù)據(jù)API的生成和一鍵式的發(fā)布,包括數(shù)據(jù)API的治理,比如說(shuō)數(shù)據(jù)API的搜索,數(shù)據(jù)API的編排,數(shù)據(jù)API的發(fā)現(xiàn)監(jiān)控,都要有。

問(wèn)題二:數(shù)據(jù)中臺(tái)之外,還有哪些方法進(jìn)行優(yōu)化?如何能更好的以業(yè)務(wù)驅(qū)動(dòng)數(shù)據(jù)?

我們認(rèn)為數(shù)據(jù)中臺(tái)是一個(gè)體系,除了技術(shù)的因素之外,有一個(gè)非常重要的因素,那就是數(shù)據(jù)思維。

所以在構(gòu)建數(shù)據(jù)中臺(tái)的同時(shí),企業(yè)一定要加強(qiáng)培訓(xùn),讓業(yè)務(wù)人員具備數(shù)據(jù)思維。數(shù)據(jù)思維是數(shù)字化的系統(tǒng)里面的這種語(yǔ)言和交流方法,所以我們?cè)跇?gòu)建數(shù)據(jù)中臺(tái)的同時(shí),一定要有配套的培訓(xùn),配套的技能培訓(xùn)、理念培訓(xùn)。

配套的這種案例分享,讓業(yè)務(wù)人員知道行業(yè)里面其他的這種公司,其他的行業(yè)再用數(shù)據(jù)做什么,只有這樣的話(huà),數(shù)據(jù)中臺(tái)能得到更廣泛地使用,才能得到業(yè)務(wù)部門(mén)的認(rèn)可,否則的話(huà)會(huì)像原來(lái)的傳統(tǒng)數(shù)據(jù)湖那樣不被業(yè)務(wù)所接受。

在這一點(diǎn)上我們又會(huì)發(fā)現(xiàn),現(xiàn)在數(shù)據(jù)中臺(tái)所受到的歡迎,不僅僅是受業(yè)務(wù)人員的歡迎,它也很受技術(shù)人員的歡迎。那些原來(lái)做數(shù)據(jù)倉(cāng)庫(kù),做數(shù)據(jù)湖的技術(shù)人員,原來(lái)離業(yè)務(wù)太遠(yuǎn),他們做的東西開(kāi)發(fā)出來(lái)了,然后給到業(yè)務(wù),業(yè)務(wù)說(shuō)不行,這東西不是我要的。但實(shí)際上他們很苦的是在最早的時(shí)候,這就是業(yè)務(wù)部門(mén)提供給他的需求,等于是前面提的需求后面又發(fā)生了變化,他們就很痛苦。

所以根本的原因是什么?

  • 第一點(diǎn),根本原因是他們太依賴(lài)于數(shù)據(jù)本身。業(yè)務(wù)人員不懂?dāng)?shù)據(jù),技術(shù)人員不懂業(yè)務(wù),這是原來(lái)數(shù)據(jù)平臺(tái)的這種團(tuán)隊(duì)和業(yè)務(wù)團(tuán)隊(duì)脫節(jié)的地方。那么數(shù)據(jù)中臺(tái),我們認(rèn)為它從結(jié)構(gòu)上,從理念解決了這些問(wèn)題。
  • 第二點(diǎn),是業(yè)務(wù)驅(qū)動(dòng)數(shù)據(jù),業(yè)務(wù)要懂?dāng)?shù)據(jù),數(shù)據(jù)要懂業(yè)務(wù)。它倆之間是要拉通的,否則的話(huà)業(yè)務(wù)提供出來(lái)的需求很多時(shí)候是不具可行性的,或者說(shuō)它是用原來(lái)的技術(shù)和方法思維再提需求,它在提需求的本身已經(jīng)提出了對(duì)這個(gè)問(wèn)題的設(shè)計(jì)。所以它倆之間一定要是拉通的,所以業(yè)務(wù)價(jià)值出發(fā)。
  • 第三點(diǎn),小步迭代。不斷的去優(yōu)化和演進(jìn)的,而不是做大而全的這種數(shù)據(jù)系統(tǒng)。
  • 第四點(diǎn),要持續(xù)的改進(jìn),持續(xù)的去運(yùn)營(yíng)。數(shù)據(jù)的系統(tǒng)有一個(gè)特別典型的特點(diǎn),那就是不確定性。

每個(gè)企業(yè)都希望自己的河水跑得更快,如何在這樣河水里面去做系統(tǒng)?怎么去操作?怎么樣去產(chǎn)生業(yè)務(wù)價(jià)值?

很重要的一點(diǎn)就是不斷的持續(xù)優(yōu)化,隨著你河流水的速度,水的溫度,水的配方,就是它的里面的元素不一樣,你要產(chǎn)生不同的應(yīng)對(duì)的方法。

問(wèn)題三:數(shù)據(jù)中臺(tái)的產(chǎn)品化和定制化比例?

是個(gè)很好的問(wèn)題。剛才我們回到這個(gè)圖,這個(gè)圖就很清楚。這里面灰色的部分我們認(rèn)為是存儲(chǔ)、采集,除了集成工作之外這些東西,這些部分相對(duì)是比較標(biāo)準(zhǔn)的,結(jié)構(gòu)化,有結(jié)構(gòu)化的存法,非結(jié)構(gòu)化有非結(jié)構(gòu)化的存法,然后你的IOT的數(shù)據(jù)有IOT的產(chǎn)品去存儲(chǔ),所以這一部分基本上可以產(chǎn)品化,可以用開(kāi)源的套裝或者是產(chǎn)品化去解決。

火熱的數(shù)據(jù)中臺(tái)對(duì)企業(yè)的價(jià)值是什么?

然后在這個(gè)數(shù)據(jù)資產(chǎn)的共享和協(xié)作這一塊,基本上百分之百都是要定制的,因?yàn)椴煌髽I(yè)的數(shù)據(jù)模型,企業(yè)里的數(shù)據(jù)安全的管理方式都是不一樣的。所以這一部分?jǐn)?shù)據(jù)資產(chǎn)從規(guī)劃到治理到共享到協(xié)作這一塊,可能里面有的小部分的組件可以產(chǎn)品化,但是對(duì)于數(shù)據(jù)資產(chǎn)的管理來(lái)講,一定是要控制在企業(yè)自己的手里。

也就是說(shuō)它的知識(shí)產(chǎn)權(quán)和它的技術(shù)核心是要掌握在企業(yè)自己手里面的,因?yàn)閿?shù)據(jù)資產(chǎn)未來(lái)是一個(gè)最重要的資產(chǎn),它的數(shù)據(jù)安全性是企業(yè)里面重要的命脈。

至于業(yè)務(wù)價(jià)值的探索和分析,這個(gè)相對(duì)來(lái)講可以有一部分的產(chǎn)品化,比如說(shuō)像現(xiàn)在行業(yè)里面的data庫(kù)這樣的數(shù)據(jù)科學(xué)平臺(tái),比如說(shuō)像有的行業(yè)里的這種機(jī)器學(xué)習(xí)平臺(tái),它部分跟你的業(yè)務(wù)關(guān)聯(lián),但是業(yè)務(wù)關(guān)聯(lián)不是那么的大,它是比較偏技術(shù)的,這部分是可以用。

你的數(shù)據(jù)服務(wù)的構(gòu)建和發(fā)布,還有治理這一塊,一半一半吧,我們覺(jué)得有技術(shù)能力的企業(yè)盡可能的還是自己研發(fā),你可以用開(kāi)源的產(chǎn)品,因?yàn)槟銖臄?shù)據(jù)到數(shù)據(jù)產(chǎn)品的構(gòu)建過(guò)程,實(shí)際上也是非常核心的企業(yè)的競(jìng)爭(zhēng)力。

最后數(shù)據(jù)服務(wù)的度量和運(yùn)營(yíng),這個(gè)一定是客戶(hù)化的,因?yàn)榉彩巧婕暗綌?shù)據(jù)資產(chǎn)的,當(dāng)然這里面我們?cè)偬崃硗庖粋€(gè)概念,數(shù)據(jù)資產(chǎn)在很多時(shí)候被認(rèn)為是原數(shù)據(jù)。但是我們現(xiàn)在認(rèn)為數(shù)據(jù)資產(chǎn)還包括那些二次加工的數(shù)據(jù)產(chǎn)品,還包括我們的數(shù)據(jù)報(bào)表,包括我們的數(shù)據(jù)服務(wù),所有能夠產(chǎn)生價(jià)值的數(shù)據(jù)的資源都叫數(shù)據(jù)資產(chǎn)。

所以與數(shù)據(jù)資產(chǎn)相關(guān)的我們認(rèn)為盡可能的定制,因?yàn)樗瞧髽I(yè)的核心資產(chǎn),它要變成企業(yè)的核心能力。

所以這樣來(lái)看,我們總結(jié)一下,基本上產(chǎn)品化和定制化的比例,我們認(rèn)為可能在三七,也就是30%的純產(chǎn)品,70%的定制。

問(wèn)題四:投資行業(yè)如何解決中臺(tái)產(chǎn)品的跨行業(yè)問(wèn)題?

這是一個(gè)比較有意思的行業(yè),因?yàn)槲抑劳顿Y行業(yè),它跨的維度非常的廣,雖然每個(gè)投資公司不一樣,他們的選擇的行業(yè),選擇的投資航道不一樣,但是即使是同一個(gè)行業(yè),他的里面的細(xì)分還是很多的。

所以這個(gè)問(wèn)題坦率來(lái)講有一定的專(zhuān)業(yè)度,但是我們舉個(gè)例子,在17年的時(shí)候,我們做過(guò)一個(gè)數(shù)據(jù)資產(chǎn)創(chuàng)新平臺(tái),實(shí)際上它就是現(xiàn)在數(shù)據(jù)中臺(tái)的前身,基本上是一樣的,只不過(guò)那時(shí)候數(shù)據(jù)中臺(tái)的名字還沒(méi)有產(chǎn)生。那個(gè)案例的客戶(hù)就是一個(gè)有五個(gè)業(yè)態(tài),60多家企業(yè)的一個(gè)超大型的集團(tuán)。

它有航空業(yè)、物流業(yè)、倉(cāng)儲(chǔ)業(yè)、跨境電商、通關(guān)貿(mào)易,還有供應(yīng)鏈金融,這么多的這種行業(yè),我們做數(shù)據(jù)中臺(tái)怎么做?

很重要的一點(diǎn)就是抓最重要的數(shù)據(jù)先集成。比如說(shuō)在那個(gè)項(xiàng)目里面,我們最先集成整合的核心數(shù)據(jù)是哪些?

  • 第一,是用戶(hù)數(shù)據(jù),訂單數(shù)據(jù)和支付數(shù)據(jù)。這樣的話(huà),我們能快速地產(chǎn)生業(yè)務(wù)價(jià)值。
  • 第二,構(gòu)建數(shù)據(jù)資產(chǎn)平臺(tái)。我們把不同的業(yè)態(tài),對(duì)它進(jìn)行整個(gè)的data治理,我們把它叫精益數(shù)據(jù)治理。精益數(shù)據(jù)探索是把這些不同業(yè)態(tài)的企業(yè),它的信息化程度,它的核心梳理出來(lái)。

我們?nèi)绾未_定它是不是數(shù)據(jù)資產(chǎn)呢?

很重要的一個(gè)標(biāo)準(zhǔn),就是他會(huì)不會(huì)被別人所調(diào)用,會(huì)不會(huì)產(chǎn)生價(jià)值?所以第一件事情,制定最核心的數(shù),把最核心的數(shù)據(jù)變成價(jià)值。第二,建立全量的數(shù)據(jù)資產(chǎn)平臺(tái),也就是數(shù)據(jù)資產(chǎn)目錄,現(xiàn)在這行業(yè)里面叫Data Catalog。

這樣的話(huà),不管他有多少行業(yè),能我們都能夠抓住他最有價(jià)值的,最快速產(chǎn)生利潤(rùn)的產(chǎn)生收益的這部分?jǐn)?shù)據(jù),同時(shí)又可以整個(gè)企業(yè)集團(tuán),在跨行業(yè)的高度上,把企業(yè)的數(shù)據(jù)資產(chǎn)梳理出來(lái),所以這兩件事情是非常重要的。

如何解決跨行業(yè)的問(wèn)題呢?

我覺(jué)得這個(gè)問(wèn)題作為投資行業(yè)來(lái)講,如果你投的公司是不同的行業(yè),你的數(shù)據(jù)中才有必要,跨行業(yè)可能有時(shí)候是不可能,有時(shí)候沒(méi)有必要,但是如果你希望說(shuō)你投資的這些公司,跨行業(yè)之間產(chǎn)生價(jià)值拉通,把不同的行業(yè)變成一個(gè)貫穿的價(jià)值流。

這個(gè)就很有意思,這個(gè)就跟我們17年講的案例是一樣的。它把原來(lái)五個(gè)業(yè)態(tài)的業(yè)務(wù)通過(guò)用戶(hù)訂單和支付穿在一起,在數(shù)據(jù)資產(chǎn)創(chuàng)新平臺(tái)上,利用現(xiàn)有的數(shù)據(jù),融合了用戶(hù)訂單和支付產(chǎn)生了新的產(chǎn)品,構(gòu)成了一個(gè)新的價(jià)值流,甚至創(chuàng)造了把過(guò)去五大業(yè)態(tài)的這些不同的API不同的服務(wù),全部整合在一個(gè)平臺(tái)上的一個(gè)入口,然后營(yíng)銷(xiāo),這就是非常典型的一個(gè)跨行業(yè)的數(shù)據(jù)中臺(tái)案例。

 

講師:史凱

本文由 @史凱 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來(lái)自Unsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 對(duì)中臺(tái)的解讀非常深刻,真大佬

    來(lái)自上海 回復(fù)
  2. 感謝作者的分享,作為中臺(tái)元年我們更多的是要了解客戶(hù)的需求,從需求引入中臺(tái)概念。以大數(shù)據(jù)平臺(tái)作為基礎(chǔ),通過(guò)場(chǎng)景和需求確認(rèn)客戶(hù)主業(yè)務(wù),進(jìn)而確定主數(shù)據(jù)。通過(guò)收集主數(shù)據(jù)的過(guò)程與外部系統(tǒng)建立數(shù)據(jù)標(biāo)準(zhǔn),訂立自己的元數(shù)控;對(duì)業(yè)務(wù)需求和已有數(shù)據(jù)不一致的情況,引入數(shù)據(jù)治理概念。進(jìn)而打造客戶(hù)對(duì)其資產(chǎn)的管理可控,最終提供更多更快的數(shù)據(jù)服務(wù),為客戶(hù)帶來(lái)業(yè)務(wù)價(jià)值;通過(guò)中臺(tái)的建設(shè),更是讓客戶(hù)橫向打通各個(gè)業(yè)務(wù)部門(mén)的數(shù)據(jù),對(duì)客戶(hù)的組織管理也是一個(gè)沖擊

    來(lái)自北京 回復(fù)
  3. 瑕不掩瑜,受教了。

    回復(fù)
  4. 看的真累,有的都不通順

    來(lái)自湖北 回復(fù)
    1. 長(zhǎng)文難免寫(xiě)的時(shí)候手跟不上腦子很正常的,筆者對(duì)中臺(tái)有自己很深刻的理解 ??

      來(lái)自廣東 回復(fù)