大模型時代,數據中臺現在過氣了嗎?
最近兩年,好像沒什么公司說“中臺”這種概念了。甚至有人說中臺已經不行了。實際情況是這樣嗎?其實并不是。
一、數據中臺的概念有沒有過時
2019年中臺火爆之后,大廠紛紛建設中臺,一些數據服務公司甚至專門推出數據中臺相關的產品;后來<XX拆中臺了>的文章開始甚囂塵上,中臺的熱度逐漸散去。但是數據中臺是真的不需要了嘛?
數據中臺的核心思想是數據輸出能力的組件化、服務化,從而提升數據從采集到賦能業務應用的效率。在經濟環境不景氣的情況下尤其重要。只是需要平衡業務應用產出的價值和中臺能力建設的成本的ROI。AIGC、生成式AI應用也需要依賴于完善的數據資產和中臺化數據能力,否則每個GENAI的業務場景的定制化,成本必然很高且難以快速復制。
數據中臺的核心思想是將所有的數據資源和服務整合到一個統一的平臺上,實現數據的集中管理和服務。這主要是為了解決企業數據管理中存在的“存”、“通”、“生”的難題,即連接數據孤島,讓一切業務數據化,讓一切數據業務化。
通過將企業的數據轉化為數據資產,數據中臺可以提高數據研發效率、數據發現效率和數據分析效率,并解決數據質量問題,包括數倉設計的質量、指標的一致性和數據研發的質量等。
數據中臺需要解決以下問題:
- 數據孤島問題:企業中不同的部門或系統可能擁有各自的數據資源,形成數據孤島。數據中臺通過集中管理和整合這些數據資源,實現數據的共享和互通,打破了數據孤島,提高了數據的利用價值。
- 數據效率問題:在數據研發、數據發現和數據分析過程中,由于缺乏統一的數據平臺,往往導致效率低下。數據中臺通過提供統一的數據接口和服務,簡化了數據獲取和處理的流程,提高了工作效率。
- 數據質量問題:由于數據來源多樣、格式不統一,數據質量往往難以保證。數據中臺通過數據清洗、整合和標準化處理,提高了數據的一致性、準確性、及時性和完整性,從而保證了數據的質量。
二、數據中臺一般架構
數據中臺的目標是:效率,成本,復用,業務數據化,數據資產化,資產業務化。
降低業務創新過程所需數據的獲取和使用成本,數據分析和大數據人工智能應用更便捷。
很多文章里會講,數據中臺的輸出是API,API即服務嘛,但一個API要更加快速高效的輸出,要依賴于數據同步、數據清洗加工、資產沉淀等各個流轉環節,木桶效應,任何一個部分出現短板,整體的效率都不會高。
因此,我把數據中臺的產品架構分為五層:
- 數據服務層:基于數據資產、平臺工具輸出的分析服務、數據查詢服務,可視化服務、標簽、算法服務等
- 數據資產層:包括數倉模型資產建設、數據治理、資產盤點
- 數據加工層:基于業務邏輯進行ETL的過程,包括批、流數據的開發、調度、搬運、運維
- 數據集成層:數據入湖第一步,把不同數據源數據同步到統一的數據倉庫或數據湖
- 基礎設施層:最底層是大數據集群服務,包括存儲、計算、資源調度和Hadoop生態的各個組件管理
三、數據中臺包含數據產品簡介
1.數據采集
定位:提供企業內、外部數據采集解決方案,為大數據分析應用提高原始數據支持,是企業的“數據原油”,沒有數據,大數據就是無源之水。
產品模塊:埋點解決方案&埋點管理平臺、爬蟲系統、數據填報系統
2.組件管理
定位:大數據組件管理平臺,以配置化的流程替代人肉命令行操作、運維大數據集群及各個組件。
產品模塊:云平臺、HDFS管理、Kafka管理、Hbase管理、ES管理
3.開發套件
定位:產品化、自動化數據采集、同步、加工到應用流程,提升數據開發效率,降低開發成本,縮短業務創新數據需求周期。
產品模塊:數據集成、離線開發平臺、實時開發平臺、智能運維平臺、機器學習平臺
4.數據資產
定位:沉淀數據資產,公開資產目錄,助力數據共享,并依制定數據稽核規則監控數據質量,從源頭保證數據準確高可用,統一權限管控,保證數據安全。
產品模塊:數據地圖、數據血緣、指標系統、數據質量監控、模型建設平臺、資產管理中心
5.數據治理
定位:治理低效或無價值的數據及任務,釋放存儲&計算資源,實現數據資產成本的精細化管理。
產品模塊:成本優化中心、數據安全中心
6.分析應用
定位:聚合和治理跨域數據以產品化形式封裝數據能力,將數據應用于業務決策、產品優化、精細化運營等環節,挖掘數據價值,賦能業務。
產品模塊:
數據分析:Adhoc查詢、用戶行為分析系統、自助分析、敏捷BI、數據可視化平臺、智能分析平臺
產品智能:個性化推薦、用戶畫像與精準營銷平臺
7.數據服務
定位:基于數據中臺思想,將數據快速輸出API服務,同時具備服務監控及管理能力
產品模塊:API服務平臺、推薦平臺、智能預警&數據訂閱(從人找數到數找人)
8.通用功能
定位:抽象各數據產品通用模塊,提供統一服務能力,減少各產品重復建設,降低開發成本
產品模塊:工單系統、消息中心、幫助中心、統一權限、產品導航、需求中心
四、小結
對于數據中臺產品,各家公司都在做很多相似的事情,作為數據產品經理的你,當前在從事哪一產品領域的工作呢?未來職業發展規劃又想哪一模塊的產品工作呢?
在此明確回答一下一些同學的疑惑,<AI時代是不是數據產品是不是應該轉型做AI產品經理?>,答案是:AI應用是數據核心價值體現的方式之一,但是想要AI應用更高效,低成本,企業需要持續完善基礎的數據產品的中臺化基建能力。
本文由人人都是產品經理作者【數據干飯人】,微信公眾號:【數據干飯人】,原創/授權 發布于人人都是產品經理,未經許可,禁止轉載。
題圖來自Unsplash,基于 CC0 協議。
拋開業務談架構,都是耍流氓
文章有一些標題黨,并沒有深入討論“數據中臺過氣”這一問題