5個方面談談,數據中臺應該具備哪些功能?
數據中臺是什么?應該具備哪些功能?本文作者通過梳理分析,從六個方面對數據中臺進行了拆解,與大家分享。
自從阿里巴巴引入中臺以后,中臺在國內行業持續高熱不退,高潮迭起。從獵聘網、boss直聘上直接搜索中臺產品經理、中臺架構師等,可以看到各個大小公司都在招聘相關人員,組建團隊。
市面上BAT等大型互聯網公司也有關于中臺的文章,但是其中更多都在講述中臺解決的問題,其中數據中臺究竟應該包括哪些功能比較少在描述。
數據中臺作為企業的基礎平臺,貫徹了整個數據生命周期,但是中臺的內容并不是從最近在開始,歷史上數據湖、數據管理平臺等都是或多或少涉及到相關內容,本文嘗試將數據中臺分拆為大家熟悉的產品和功能。
中臺與傳統的軟件、產品是存在較大區別的,確切地說,中臺不是獨立產品,中臺本身是一套方法論+組織+工具集合,本文重點集中在工具集合部分。
數據中臺是什么?
一、數據匯聚平臺
匯聚平臺主要是從數據存儲角度來表述,指將原始數據進行集中存放,便于后續使用的讀取使用。
數據匯聚平臺的主要目標是將不同來源的異構數據存放到數據倉庫中。企業一般數據分成幾類:
- 業務數據,指企業業務辦理過程中產生的數據,比如訂單數據、客戶數據、商品數據、供應鏈數據。這類數據由業務信息系統產生,已存放在現有信息系統中,比如ERP系統、CRM系統等。
- 在線監測數據,比如企業自有媒體上部署代碼能夠獲得用戶媒體行為日志數據;或者傳感器實時產生的監測數據。這類數據需要實時在線服務接收并記錄相應的日志數據。
- 第三方平臺數據,數據存在第三方平臺,比如微信公眾號、支付寶等平臺數據。這類數據平臺往往提供API能進行數據拉取。
數據匯聚,或者稱作ETL,將不同的業務系統的數據加載到數據倉庫中。數據匯聚有多種方式,按照數據匯聚的傳輸方式,可以分為文件傳輸、數據抽取、消息推送等方式。
數據匯聚平臺依托于基礎支撐軟件和基礎網絡設施,通過圖形化的配置界面實現分布的、異構的、跨網絡的各場景數據匯聚,主要結構如下:
二、數據治理平臺
數據治理的主要目標確保數據滿足標準,標準主要有兩個方面:
- 正確性;
- 描述語言一致性
因此數據治理平臺主要包括兩個層次:
第一層:數據清洗,確保數據正確性,將數據中錯誤的數據排斥。包括清洗規則算法管理、數據分布查看。
第二層:字段體系統一,將不同來源的同一語義的字段進行名稱和值的統一。主要包括語義標準命名管理、字段體系管理、字段映射管理等。
三、數據加工平臺
加工平臺承擔了數據字段、數據指標的衍生計算任務,為數據開發人員提供可視化或者可編碼的環境進行加工規則的管理和實施,是將數據資產化的重要環節。數據加工平臺完成的典型任務有用戶標簽計算、ID打通計算、電商典型購買指標計算等。
數據加工平臺主要包括:體系指標管理、計算模型管理;
- 指標體系管理:指標體系、指標的定義、增刪改查等;
- 計算模型管理:計算模型定義、調度等配置管理。比如標簽的任務、ID計算的任務等。
數據加工平臺形成不同業務含義域,形成企業的數據地圖。這些域中的數據都是可以進行直接使用的正確數據。
四、數據資產管理平臺
數據資產管理實際上是從元數據角度展現關聯關系和統計量,本質上是數據字典的圖形化版本,阿里有多少數據、如何存儲、數據之間關系如何、如何找、如何用都可以從資產地圖找到答案,蠻形象的,從網上資料看,其設計還是值得借鑒,以下是一些界面截圖。
數據資產管理平臺,主要包括兩個部分:數據看板、數據地圖。
五、自助統計分析平臺
中臺作為企業數據的基礎平臺,面向對象從公司老板到具體一線業務人員,其數據統計、分析需求區別較大,如果每一個都定制開發,基本上是一個不可完成的任務。
自助統計分析平臺的定位是,使用者可以通過平臺選擇需要的數據域和數據表,選擇需要的指標、維度、過濾條件以此為基礎進行統計分析。
在建設過程中,自助統計分析平臺不一定需要重新建設,市面上有很多成熟產品可以使用,進行對接。比如帆軟、達芬奇和supset等,這些產品具體就不進一步說明,網上有很多相應資料。
六、數據供應平臺
數據供應平臺就是將數據業務化,包括了與業務相關的、可復用的一些公共技術組件或產品,如數據目錄、數據標簽、數據分析、數據開放接口、機器學習算法模型等,它們可以使用SAAS方式直接對外提供服務,也可以以更小粒度如API、消息接口、文件接口、服務接口、SDK軟件包等方式只提供組件能力或數據服務,內部或外部第三方應用不必關心底層數據準備情況,直接調用數據服務模塊對外提供的服務接口,就可以方便進行二次開發,借以增強自身的能力。
目前數據供應平臺更多指以微服務,API方式對業務系統直接提供數據業務服務,數據供應平臺類似一個API的開放市場,包括API注冊、發布、搜索、調用支持等。
除了上面內容,本身這些功能的生產過程可視化也是重要的功能模塊。
本文由 @瘦子的天空 原創發布于人人都是產品經理,未經作者許可,禁止轉載。
題圖來自Unsplash,基于CC0協議。
- 目前還沒評論,等你發揮!