阿里巴巴云上數據中臺之道01

0 評論 1914 瀏覽 3 收藏 9 分鐘

本文將帶你深入了解阿里巴巴如何構建云上數據中臺,分享其背后的大數據思想發展史和具體的實施策略,引導你探索如何利用數據驅動業務發展,希望對您在數據管理和應用方面的理解和實踐有所幫助。

近日,疫情卷土重來,原本安排的旅游出行計劃泡湯,所以還是老老實實在家看書吧,靈魂和身體總有一個要在路上,不是嗎~

接下來我們來一起讀讀《大數據大創新:阿里巴巴云上數據中臺之道》這本書,了解阿里建設數據中臺的由來以及如何建設數據中臺。

有跡可循的大數據思想萌芽,可追溯至1974年,當時便有學者撰寫論文,研究如何用程序處理“大數據集”。

1991年,Bill Inmon出版了《建立數據倉庫》一束,其中首次提到了數據倉庫的定義——面向主題的、集成的、相對穩定的、反映歷史變化的數據集合。

2003年,Google公開了內部海量數據處理技術——基于冗余存儲機制的分布式文件系統GFS、用于搜索索引計算的并行處理框架MapReduce,這些促成了分布式系統基礎架構Hadoop。

2011年,EMC世界大會以“云計算相遇大數據”為主題,正式提出“大數據”的概念,同年,麥肯錫全球研究院發布報告《大數據:創新、競爭和生產力的下一個新領域》。

2017年,根據CCW的研究,全球的大數據市場規模已達到2000億美元。

而阿里在2012年開始探索在云上構建大數據體系,云上數據中臺致力于構建“快、準、全、統、通”的智能大數據體系。其最終目標為催生數據智能化,促進業務發展與模式創新,數據價值變現乃至產業變革升級。

簡而言之,就是我們最常聽到的用數據來驅動業務發展。

當然說歸說,那怎么用數據驅動業務發展的呢?那我們一起來看看中臺大佬阿里是怎么做的吧~

阿里巴巴云上數據中臺之道01

整個數據中臺包含三個層面:統一計算后臺、統一云上數據中臺、賦能業務前臺。

1. 計算中臺

計算后臺同時具有離線計算、實時計算、在線分析能力,從而讓用戶盡可能早并準確地看到歷史數據。

2. 數據中臺

通過智能數據能力實現全局數倉規劃、數據規范定義、數據建模研發、數據連接萃取、數據運維監控等。這些能力需要如何構建的呢?

首先是數據采集,采集盡可能豐富的數據,包含業務數據、服務器日志數據、埋點數據、第三方數據等。

接著進行數據預處理,清晰、結構化采集所得的數據后,行程垂直數據中心,即統一的ODS數據基礎層。

然后進行數據建模研發,并處理不因組織架構變動而輕易轉移的數據中間層,包含DWD數據明細層和DWS匯總數據中間層,它們與ODS基礎層一起行程公共數據中心。

最后增加數據標準,基于OneData規范構建指標體系,計算出復用性強的統計指標,將其增加到公共數據中心。

基于OneEntity規范構建標簽體系、數據體系,將各個垂直的孤島數據連接起來,并萃取不同于統計指標的精華數據,如行為標簽、關系等,行程萃取數據中心,包括消費者數據體系、企業數據體系、商品數據體系和位置數據體系。

其最終形態可分為指標體系和標簽/數據體系,通常指標體系以業務線的視角進行劃分,如劃分電商、金融2套指標體系;而標簽/數據體系通常以某個實體對象視角進行劃分,如劃分消費者、商家數據體系。

3. 業務前臺

阿里內部部門眾多,受眾有三大類,阿里小二、阿里客戶、社會大眾,他們基于同一數據體系,同一份可復用的數據。

阿里小二即內部工作人員,可以使用內部數據平臺,進行業務數據化,包含全局數據監控、數據化運營、數據植入業務等,數據平臺為其提供如下4個層次的服務。

第一層:數據工具服務

普通運營有查看或分析業務數據的需求,所以阿里數據平臺提供了多種BI工具,如快門、小站、孔明燈等,供運營自助獲取數據、多維分析、DIY個性化數據門戶。目前具有綜合性代表意義的是Quick BI。

第二層:專題分析服務

運營對類目分析具有強烈的訴求,平臺按照分析師沉淀的成熟分析思路組織數據,幫助運營自助分析行業異動的原因,實現人人都是分析師的目標。代表產品有:

直播廳:輔助業務根據實時數據調整資源及分配流量

行業360:行業一體化分析產品,從行業視角提供360度數據披露及沉淀數據分析的思路

A+:流量分析產品,從流量視角積累并提供流量相關數據,包括對站點、頁面、區塊、位置瀏覽、曝光、點擊分布數據,一級資源位活動投放數據等進行數據分析

第三層:應用與分析服務

日常營銷活動中,需要選擇商品和商家搭建專場活動,使用黃金策這類的數據產品,可以完成系統間數據的對接,通過設定條件篩選出目標數據,支持自助分析、調整條件,將調優后的結果直接對接到前臺的應用系統,滿足個性化推薦的需求

第四層:數據決策服務

高層管理者和決策者需要宏觀的業務數據,可沉淀的數據和豐富的趨勢來輔助決策,包括通過數據了解業務進展、判斷當前進展是否合理,調整業務方向等。

阿里數據平臺提供定制化的數據產品,如全景洞察、高管日報等,為高層管理者提供宏觀決策分析服務,包括歷史數據規律分析、未來發展趨勢預測、全行業動態洞察等。

阿里客戶即商家、內容創作者等,可以使用生意參謀。

但羅馬非一天建成的,阿里龐大的數據體系也是在不同業務驅動下,經過4個階段的建設,才不斷完善起來。

那對于即將建設數據數據中臺的企業而言,在缺乏經驗的情況下,如何建設適合自己的數據中臺服務呢?

接下來一章,草帽小子會繼續分享阿里云上數據中臺執行計劃的文章,敬請關注吧~

專欄作家

草帽小子,公眾號:一個數據人的自留地,人人都是產品經理專欄作家?!洞髷祿嵺`之路:數據中臺+數據分析+產品應用》書籍作者,專注用戶畫像領域。

本文原創發布于人人都是產品經理。未經許可,禁止轉載

題圖來自Unsplash,基于CC0協議。

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!