數據中臺機會對創業公司意味著什么?
無論是叫“數據中臺”、“大數據平臺”或者“數據PaaS平臺”也好,名稱不重要。透過現象看本質,一切的平臺構建最終目的均要服務于業務,進而給企業帶來價值,并力求過程中不耗費企業過多的建設和運營維護成本。
數據中臺如火如荼,不少企業客戶以及創業公司都在圍繞數據中臺進行布局。
近期閱讀了很多有關阿里數據中臺的文章,包括阿里云團隊對阿里數據中臺的解析,阿里對中臺的定義、架構,中臺和傳統數倉/數據湖的區別以及阿里數據中臺建設的一些案例。
阿里的中臺建設對很多數據中臺創業公司具有較強的啟發意義。但創業公司作為一個第三方的數據中臺服務提供商,面向的是各行業的客戶需求和非標準化的業務數據類型,面臨的挑戰甚至更大。
本文和大家一起探討數據中臺賦能行業的話題。
數據中臺是什么?
這兩天看到譚虎、陳曉勇兩位作者寫的關于阿里云(阿里巴巴)數據中臺的詳解和阿里云公開的《阿里巴巴數據中臺實踐》,結合個人過往的見聞,寫下關于數據中臺的一些粗淺的看法。
數據中臺的概念是最早由阿里巴巴首次提出,是為了應對內部眾多業務部門千變萬化的數據需求和高速時效性的要求而成長起來的,它既要滿足業務部門日常性的多個業務前臺的數據需求,又要滿足像雙十一,六一八這樣的業務高峰、應對大規模數據的線性可擴展問題、應對復雜活動場景業務系統的解耦問題,而在技術、組織架構等方面采取的一些變革。——《詳解阿里云數據中臺,一篇文章全面了解大數據“網紅”》
既然數據中臺來自于阿里巴巴,我們就直接來看看最近公開的《阿里巴巴數據中臺實踐》中阿里巴巴的數據中臺全景。
▲圖片來源:《阿里巴巴數據中臺實踐》
乍一看和我們見過的很多大數據處理的平臺有些類似:底層IAAS大數據計算平臺、中層數據接入管理清洗融合、上層數據接口和服務中間件,最終承載數據應用和業務系統的數據需求。
誠然,從大的架構分層來說確實和很多大數據公司的架構類似,但數據中臺意義的并不在架構本身。
正如文中對數據中臺的定義的說明:
阿里巴巴數據中臺是阿里云上實現數據智能的最佳實踐,它是由數據中臺方法論+組織+工具所組成。
數據中臺方法論采用實現企業數據的全局規劃設計,通過前期的設計形成統一的數據標準、計算口徑,統一保障數據質量,面向數據分析場景構建數據模型,讓通用計算和數據能沉淀并能復用,提升計算效能;數據中臺的建設實施必須有能與之配合的組織,不僅僅相應崗位的人員要配備齊全,而且組織架構建設也需要對應,有一個數據技術部門統籌企業的數字化轉型,數據賦能業務中形成業務模式,在推進數字化轉型中實現價值;數據中臺由一系列的工具和產品組成,阿里云數據中臺以智能數據構建與管理Dataphin產品、商業智能QuickBI工具和企業參謀產品為主體等一系列工具組成?!对斀獍⒗镌茢祿信_,一篇文章全面了解大數據“網紅”》
一個完整的數據中臺不僅僅是簡單的產品和技術分層,更多的是需要前期的頂層設計,多場景的數據融合和標準化,以及一個合理的組織架構將其運營應用好。
數據中臺價值所在
既然看起來一個好的數據中臺要應用起來并不容易,那企業為什么會花大量精力去實施這么一套平臺呢?
這就涉及數據中臺本身能夠解決的問題和現有系統的痛點了:
1. 企業數據來源分散在多個不同的系統中
如阿里系就有淘寶、天貓、聚劃算等多個業務子系統。但如果你僅僅擁有一個或者兩個業務系統,花費力氣構建一套完整的數據中臺產品可能讓你得不償失。
2. 不同子系統之間的數據存在大量復用的情況,數據相互間調用可能存在網狀結構
舉個最簡單的例子,你可用淘寶賬號登錄天貓商城、支付寶的訂單支付統計數據需要反饋給各大商城。
▲圖片來源:《阿里巴巴數據中臺實踐》
3. 部門/人員數據之間的協作頻繁
很多數據挖掘工程師往往會自嘲是爬數工程師,而這其中最苦惱的在于運營/業務人員提出的微小的數據需求變動也往往需要重新編寫或者修改腳本、再運行,缺乏一個產品化的平臺快速響應上層業務的數據需求。
4. 現有數據倉庫數據庫已經無法解決的問題
現有的數據倉庫更多的是面向決策層,以報表或者BI的形式輸出,而數據中臺更多的是面向一系列的業務系統以API的方式提供給現有的業務系統使用,甚至直接開發出阿里生意參謀類似的數據化業務。
數據中臺與傳統數倉有很多明顯的區別:
首先表現在服務對象方面,傳統的數倉只是滿足領導數據決策的需要,因此更多的體現在報表輸出,使用者以小部分的業務人員和決策層為主,新需求的開發周期以月甚至到年為計。而數據中臺由于起家于互聯網企業,其使用對象擴大到一線服務人員和商家企業,其業務需求更繁雜,很難用一套報表系統滿足需求,因此催生出一個生態的數據服務。
其次是體系架構上,數據中臺是由多系統組成,除了計算平臺外,其方案由多個分布式服務系統提供,滿足不同業務需求和高并發和系統自動擴容需求,除了大數據存儲和計算平臺外,還包含數倉建設、工作臺開發IDE、任務調度、數據同步服務、對外統一數據服務、資產管理系統、實時流計算平臺和開發平臺、OneID計算和查詢模塊,敏捷BI報表開發等多個組件,通過多個維度組件組成一整套方案。
再則,在服務表現形式上數據中臺體現的更多樣化,數據中臺不僅能提供報表基礎服務功能,而且為了滿足各個業務部門不同需求,會提供領導決策系統、行業分析、業務洞察、業務重塑,自助查詢等多個功能,滿足從領導層、PD、業務人員、開發人員等各個層級的需求?!对斀獍⒗镌茢祿信_,一篇文章全面了解大數據“網紅”》
阿里巴巴數據中臺實際實施用到的技術本身并沒有太多的秘密:數據加工處理基于Maxcompute或者Hadoop Hive和HDFS,業務數據查詢基于分布式的MPP和KV數據庫。
數據中臺更多的價值在于是在技術平臺之上構建了幾大模塊,來賦能更多的業務部門不同角色的需求,真正實現了支撐業務的目的:
- 垂直數據中心(OneClick):本質是傳統數據架構中的ETL,通過離線、實時等方式將各渠道的數據采集過來;
- 公共數據中心(OneData):保證數據口徑的規范和統一,沉淀共性的數據。阿里采用的是維度建模,通過分析業務過程抽象出維度和指標,最后匯總成所需要的倉庫模型;
- 萃取數據中心(OneID):一套以各種ID(業務核心對象)為唯一標識的業務中臺;
- 統一數據服務中間件(OneService):以數據倉庫整合計算好的數據作為數據源,對外通過接口的方式提供數據服務。
創業公司面臨的5大挑戰
前面的觀點更多的是從企業需求和平臺建設本身來看,阿里巴巴的中臺業務最初也更多的是支撐自身不同業務線的數據需求。
而如果一家創業企業要給客戶提供數據中臺建設,相比阿里構建數據中臺可能面臨更大的挑戰:
1. 客戶個性化需求
客戶需求的梳理,可能需要針對企業業務本身前期承擔大量的咨詢調研服務。
需求不明確,分析場景設計不合理,數據指標和分析思路不夠能解決用戶痛點等情況,但這些都可以通過增加投入,特別是加強咨詢和調研的力度來解決這些問題?!对斀獍⒗镌茢祿信_,一篇文章全面了解大數據“網紅”》
而這本身也是ToB創業企業最容易陷入的泥潭,當產品面向各行各業,甚至同一行業的不同客戶時,你需要了解客戶本身的業務,結合他們的業務幫助客戶做頂層設計,最后花費大量的人工在教育和引導客戶上。
2. 客戶粘性和產品標準化的平衡
業務的粘性往往比技術更高,不同業務的場景抽象才更能放大數據中臺的價值,以此構建業務中臺。
但業務抽象又需要企業有非常強的業務領域知識,如何定義好業務的邊界。而阿里的OneID體系就是典型的業務中臺應用之一,以ID為中心可以融合多數據源構建多個業務底層畫像,包括商家、客戶、商品、內容、位置等。
3. 不同行業不同客戶的擴展性問題
數據中臺承擔的是業務數據的匯聚存儲和流轉中心。因此,創業企業在提供產品和服務的同時,不可避免得和客戶的業務數據打交道,如何在不同客戶的多樣繁雜的數據中抽象出一個通用化、可配置甚至低代碼開發工具是目前數據中臺服務商亟待解決的問題。
4. 關于產品出口的問題
是否給客戶做上層的數據產品甚至應用系統?
傳統的數倉往往以BI或者報表作為出口,支撐企業的整體運營決策,需求比較明確。
數據中臺本身是為了支撐更多的業務系統的數據需求,而往往有的企業可能上層系統并不完善或者根本沒有,甚至要求創業企業給提供一套完整且可能非標的數據產品甚至應用系統。而如果不提供的話,數據中臺的價值就沒有被充分放大;而如果提供的話,則可能產生大量定制化的需求。
5. 數據中臺后期如何跟進客戶的需求變更
客戶的業務是伴隨著客戶的產品、營銷、市場和供應鏈等策略實時變動的,業務系統的變更可能導致對中臺的需求也越來越高。如何在后期低成本的進行中臺的升級和更新,讓中臺產品如何持續為企業產生價值才是中臺產品最終成功的關鍵。
數據中臺建設是一個循序漸進的建設過程,數據積累和分析維度都有一個數據和知識積累,認知的過程,和業務系統的“交鑰匙”工程有本質不同,營銷,市場和供應鏈的數據是在不斷變化中,營銷活動,產品也在不斷發展和更新中,因此,數據中臺建設是一個不停迭代和發展的過程,需要持續投入是數據中臺運營部門所面臨的最大的挑戰。——《詳解阿里云數據中臺,一篇文章全面了解大數據“網紅”》
總之,無論是叫“數據中臺”、“大數據平臺”或者“數據PaaS平臺”也好,名稱不重要。
透過現象看本質,一切的平臺構建最終目的均要服務于業務,進而給企業帶來價值,并力求過程中不耗費企業過多的建設和運營維護成本。
因此,企業在考慮建設數據中臺時也需要從自身需求出發,真正做到數據賦能業務。
作者:吳文超,晨山資本投資經理;公眾號:晨山資本(ID:chenshancapital)
來源:https://mp.weixin.qq.com/s/zM5ehphndqtJ4yfdPFB6-Q
本文由 @晨山資本 授權發布于人人都是產品經理,未經許可,禁止轉載
題圖來自 Unsplash,基于 CC0 協議
雖然提出的問題并沒有給出解決方案,不過把做數據中臺服務可能出現的場景都已經概括了,很不錯