數據中臺實戰入門篇:雙中臺戰略
上一講講了商品模塊《數據中臺實戰(四):商品分析(產品設計篇)》我們從商品整個生命周期講了怎么保證我們的商品都是爆款。最近很多朋友問中臺相關問題,此篇文章關于什么是中臺、業務中臺、數據中臺有什么關系,什么公司適合搭建雙中臺體系等問題做一個統一的介紹。
中臺是什么?
中臺是阿里提出,在2015年年中的時候,他去參觀了一家芬蘭的游戲公司,叫做Supercell。
這家公司名字你也許不熟悉,但是他們開發的游戲你可能玩過,比如《部落沖突》。這家公司一年光是利潤就有15億美金,不過員工人數非常少,只有不到200個人,而且公司里每一個開發游戲的小團隊,都只有六七個人而已。
這么小規模的團隊,怎么做成了這么大的業務呢?
其中一個原因是他們把游戲開發過程中,要用的一些通用的游戲素材和算法整理出來,把這些作為工具提供給所有的小團隊。同一套工具,可以支持好幾個小團隊研發游戲。這種管理方式,就是一個“中臺”的模型。
中臺又分為業務中臺和數據中臺。業務中臺承載公司所有的通用業務,將一切業務數據化。數據中臺則基于業務產生的數據反哺業務,將一切數據業務化。
業務中臺是什么?
業務中臺簡單來講,就是企業級功能復用平臺,比如:淘寶下面有很多電商產品有toB、有toC其實他們用到的賬號系統、交易系統、營銷系統等,這些大模塊都是通用的。如果每個團隊都重新開發一套系統就是對資源的嚴重浪費。因此,有專門的團隊負責開發這些通用的系統,再賦能給每個產品線,這樣既做到資源的最大化重復利用,又可以將每條產品線的數據沉淀在一起。
數據中臺是什么?
同樣的如果每條產品線都配備數據分析、開發相關人員又是一種資源的浪費。
數據中臺要做四個方面的工作分別是“采集”、“存儲”、“打通”、“使用”。采集就是要采集各條業務線的業務數據、日志數據、用戶行為數據等有用的數據。
存儲就是要用更加科學的方式存儲數據,一般采用三層建模的方式,讓收集上來的數據形成公司的數據資產。打通就是要打通用戶的行為數據和用戶的業務數據,如電商用戶的瀏覽、點擊行為和用戶的支付業務數據,就要做到打通。使用就是就打通的數據賦能業務人員、領導層進行決策,做到數據反哺業務。
業務中臺、數據中臺有什么關系?
其實沒有什么必然的關系,公司有業務中臺的話,數據中臺的工作會好做很多。因為業務中臺已經使業務數據存儲到了一個地方,這樣就不用再對每個產品線,溝通成本會大大降低。沒有業務中臺的公司也可以搭建數據中臺,只不過多么一步要從各條業務線采集數據。所以,有了業務中臺,數據中臺的搭建會事半功倍。
什么公司適合搭建中臺?
公司內有多條產品線,各個產品線之間有很多可以復用的功能。初創公司是不適合搭建中臺的,因為中臺是比較重的模式,有比較高的人力成本,初創公司前期還是更加專注你的業務。
業務中臺總體架構
最底層是數據存儲層,根據公司業務量的大小,選擇合適的數據庫存儲。上面一層就是業務中臺最核心的地方了包括n個中心,是可以擴展的,企業級的能力復用平臺就體現在這里,業務中臺會把所有通用的一個個的開發部署好,提供給各個產品線使用。
下面簡單介紹一下用戶、商品、交易、支付、營銷中心讓大家有個概念。
1)用戶中心
互聯網產品都會有用戶的概念,用戶模塊有很多通用的模塊能夠復用,比如:注冊、登陸、賬號的管理,用戶基礎信息的管理等。
那些偏業務的信息不會存儲到業務中臺,還是會分散在各個應用。大家可以想一下,以前每一個產品線都需要開發登陸、注冊這些功能,其實是對資源的嚴重浪費,現在只用各個產品線與中臺對接起來就能實現同樣的功能,還是提高了不少效率。
2)商品中心
拿我們公司的三條產品線舉個例子:
環貿快版是為設計師提供打版服務的平臺,就是商品的生產環節,要記錄商品從設計到生產的全部信息。億訂是一個B2B的交易平臺,為終端門店提供貨源。要記錄商品的上架、銷售、售后信息。富運通則是一個物流平臺,要記錄商品的物流信息。我們把商品從生產、銷售、運輸的過程都匯聚在一起,就十分有基于以后數據中臺的數據分析。
3)交易中心
任何有支付的產品都需要用到訂單,包括:訂單的生成,也就是用戶提交訂單的過程。
訂單的狀態管理,每個產品線的狀態是不一樣的,比如電商產品用戶剛提交訂單狀態就是未支付、支付完成后就要修改成已經支付狀態,當供應商發貨完狀態變成已發貨、當用戶確認自己收到的商品沒有問題,那狀態最終變為已完成。
環貿快版是一開始就是設計師提交需求,接下來就會有n家生產方報價,此時狀態就邊為已經報價。當設計師選擇完一個供應商打版后就變成了生產中,生產完成后就再把版樣發給了設計師,整個流程才結束。
4)支付中心
支付中心幾乎是任何互聯網中心都需要的模塊,因為要想盈利必須要有線上的支付環節。要處理各個支付渠道的對接,比如:支付寶、微信、銀聯等支付方式。還要處理支付后的對賬,一個一個訂單用戶應該支付多少錢,app應該抽多少錢,供應商應該分多少錢,有一套對賬的邏輯在每天的檢查,保證賬目是平的。
5)營銷中心
比如:我們做一個優惠券的活動,該怎么發券、領券、用券等都是通用的。
我們做一場h5的活動,該選擇那些人做活動?以什么方式?推送、短信、公眾號、電話等方式觸達等等這些也都是通用的模塊。營銷中心和數據中臺就聯系比較緊密,怎么選擇用戶做活動是數據中臺基于規則算好的,當活動完成后,數據中臺再基于活動產生的數據做自動化的活動效果分析。
數據中臺架構
數據采集層
每條業務線都會產生一定的業務數據,比如:電商產品如用戶的加購數據、收藏數據、下單數據等隨著用戶量的增大會越來越多,這些數據大部分是存在業務中臺。
還有用戶的瀏覽行為、點擊行為,這些行為會做相應的埋點,一般會以日志文件的形式存儲。無論是業務數據庫的數據還是日志文件的數據,我們都需要把它們抽取到數據中臺做統一的存放。一般數據工程師會用用一些比較成熟的數據同步工具,將業務庫的數據實時同步到數據中臺,將離線日志數據以T-1的形式抽取過來,整合到一起。
數據計算層
數據抽取過來后,一般是按照原來的格式進行存儲,面對海量的數據采用傳統的存儲方式是不行的。
業界一般采用分層存儲的方式包括:操作數據層(Operational Data Store, ODS)、 明細數據層(Data WarehouseDetail, DWD)、匯總數據層(Data Warehouse Summary, DWS)和應用數據層(Application Data Store, ADS),可以將數據更高效、更科學的組織。
另外,為了保證數據指標的準確性,從指標的定義、業務口徑、技術口徑、指標的計算需要有一套嚴格的規范來定義,數據中臺產品、開發都參考這套規范來工作,這樣就能更大程度的保證數據的準確性。
數據服務層
數據已經被整合計算好了,怎么給產品和應用使用呢?
一般以接口的形式對外服務,開發人員將計算好的數據根據需要封裝成一個一個的接口服務于數據產品以及各個產品線使用。對于簡單的數據查詢,復雜的數據查詢如用戶畫像,和基于實時的數據查詢,都可以通過接口的方式提供相應的服務。
數據應用層
數據產品分為幾種:對內、對用戶、對商家。
對內一般是公司的運營人員和領導,運營人員關注更多是明細數據,比如:電商產品的活躍用戶持續性降低,我們如何提供數據支撐他們找出原因,領導層更關注的是一些大盤數據。
比如:公司近一年各個產品線的運營情況等,適合做一些大屏類的產品。針對用戶我們也可以做一些創新,典型的比如說商品的推薦,讓貨找人而不是人找貨,這樣會有更好的用戶體驗。對商家的話可以提供一些數據服務,電商產品比如基于銷售數據的流行趨勢、行情,店鋪的數據報告等。
推薦閱讀
數據中臺實戰(二):基于阿里OneData的數據指標管理體系
數據中臺實戰(一):以B2B點電商為例談談產品經理下的數據埋點
作者:Wilton(董超華),曾任職科大訊飛,現任富力環球商品貿易港大數據產品經理。微信公眾號:改變世界的產品經理。簡單、簡短、有用,堅持原創、堅持做感動你的好文章。
本文由@華仔 原創發布于人人都是產品經理,未經許可,禁止轉載。
題圖來自Unsplash, 基于CC0協議。
可不可以這么理解?就是業務中臺他就是一些共性的業務的匯聚。比如用戶中心,支付中心這些系統。如果有個性化的需求在各個應用里去做。
我再補充一句,業務中臺就是公共業務邏輯,他不涉及到可視化顯示的內容(也就是頁面)
想咨詢一下,小前臺有些能力是用的中臺的,小前臺還會需要有自己的一些后臺邏輯,和數據存儲嗎,還是全部基于中臺化?
據我所知業務中臺都是有獨立的數據庫,那么數據中臺也都專門的數據庫嗎?
請問數據中臺管理的數據范圍是什么?是采集和存儲全量的企業數據嗎?
數據存儲都是分層的,ODS層會抽取全量數據。
好的,謝謝,那實際上數據中臺也是大數據的基礎支撐平臺了
有個疑問,有了業務中臺和數據中臺, 那是否還需要針對應用A、應用B、應用C開發獨立的管理系統,還是說其實應用A、應用B、應用C的管理系統就是從中臺用管理權限分出來的局部中臺
參加過阿里的中臺線下沙龍,感覺應該是:業務中臺還是數據中臺都是將可復用的或可共享的功能或數據進行管理,針對個性化的業務還是需要相應的應用管理系統進行管理的?!緝H供參考哈】
大中臺,輕前臺。 中臺只是封裝了比較大的通用的模塊,如用戶、支付、交易等模塊給前端應用調用。一般來說前端還是要有一個系統做支撐,因為每個系統都有個性化的東西,中臺不可能完全滿足。