數字化轉型主要包括業務數字化、數據資產化、資產業務化、業務智能化幾個階段。在不同的階段，分別需要哪些數據產品呢？作者在本篇文章中進行了逐一的盤點，希望可以為各位伙伴的數字化轉型過程中數據產品規劃提供參考，一起來看看吧。

數字化轉型主要包括業務數字化、數據資產化、資產業務化、業務智能化幾個階段。在不同的階段，分別需要哪些數據產品呢？

今天就逐一盤點一下，希望可以為各位老板的數字化轉型過程中數據產品規劃提供參考，主要是以模塊規劃為主。

一、數據采集相關產品

數字化包含兩層含義，其一是線上化，也就是把過去線下的、手工的低效業務過程線上化流程化，以提升人效，同時建立數據采集的基礎。其二是數據化，把線上化的業務流程數據采集下來，為后期的業務化、智能化提供基礎數據源。所以，在數據采集環境，主要涉及的數據產品包括：

1. 數據采集范圍與標準定義（必須）

互聯網行業畢竟熟悉埋點一詞，埋點也是很多公司的“痛”。埋點不規范，數據兩行淚。先污染后治理勢必帶來后期數據應用清洗的資源浪費。所以，為了減少踩坑，需要事先確立不同數據源、數據類型的數據采集規范，針對App、小程序等產品需要建立統一埋點規范和采集方案，其他的智能硬件、傳感器設備或者三方數據源，需求定義不同來源的數據傳輸格式。

2. 埋點管理系統（可選）

將埋點規范集成到數據管理后臺中，讓整個埋點流程線上化流轉，提升埋點工作的規范化程度，減少漏埋和錯埋。即使像一些用戶行為分析系統力推的無埋點或可視化埋點，也都有埋點數據管理模塊提供界面化的指標定義能力。早期的埋點規則主要靠excel世代相傳

3. 數據同步或集成系統（必須）

這一模塊既可以單獨存在，也可以和大數據開發平臺耦合，其主要作用是提供源到端的數據同步功能，即選擇數據來源以及希望數據同步到的目標為主，針對不同的源、目標設置參數、任務調度頻率和策略即可?，F在比較時髦的一個詞叫數據一鍵入湖。一鍵自動化實現非結構化（音視頻等）、結構化數據到中央數據湖，以供后期處理消費?；氐角懊嬷v過的大廚做菜的例子，數據集成工具就比如自動化的收割工具，過去因為手工勞作，食材數量、種類有限，當機械化生產后，豐盈度大大提升。

二、數據加工與處理工具

1. 離線開發平臺（必須）

匯聚入湖的數據需要加工處理才能發揮其價值，尤其對于湖倉一體的架構中，涉及到結構化數據的數據倉庫模塊的開發。按照業務需求的邏輯對數據進行ETL處理，輸出一個個的數據模型。對于離線開發平臺主要功能應包括：

存儲&計算層：資源的自動化分配（主要是集群資源的調度），數據開發主要關注業務邏輯，而不需要人人都搭一套hadoop

任務開發層：IDE可視化任務開發，除了核心的數據處理邏輯需要代碼實現外，其他的參數設置都可以配置化，且平臺需要支撐Hive、Shell、python等常用數據開發和挖掘任務類型。

任務調度：數據有嚴格的上下游關系，只有上游數據任務運行成功數據加工完成后，下游數據才準確，所以一般任務不會單獨存在，需要建立依賴關系，此外，周期性的數據也不能每天手動點一下，還需要時間調度，根據需求設定是每分鐘、小時還是天月執行，在什么時間執行等。

任務運維：修改邏輯、上游出錯、集群資源不穩定等經常需要涉及數據回溯、任務重跑等操作，提供批量、自動化的操作可以節省大量運維時間。

2. 實時開發平臺（必須）

實時數據主要滿足實時數據監控，產品端實時搜索、推薦或實時場景化營銷，實時開發和離線開發主要在技術組件上的差別，產品功能模塊大同小異，也可以把整合形成批流一體化的一站式大數據開發運維平臺。

3. 數據倉庫建設工具（可選）

主要是將數據模型開發規范和流程融入到系統當中，是一種低代碼的思想減少數倉建模的開發代碼開發，提升模型的規范化和復用性，比如阿里的Datapin，系統化的好處在于方便前置化管理建模過程，而不是先污染后治理，弊端是可能沒有開發自己寫代碼那么靈活，所以可以作為可選模塊。

三、數據資產管理和治理產品

1. 數據地圖（必須）

酒香也怕巷子深，數據模型開發完了，找得到、敢使用才能提升復用性，數據地圖通過資產目錄共享和強大的數據檢索能力，提供逛數據、找數據的能力，同時需要具備豐富的模型元數據信息，讓數據消費者快速判斷是不是自己所需要的數據，如何使用。

2. 數據質量監控（必須）

數據不準可以說是業務和數據團隊最頭疼的問題之一，業務拿到數據不敢用，先來問下開發準不準，開發不自信，看了任務看了代碼說應該沒問題。數據質量監控圍繞一致性、及時性、完整性、準確性維度構建豐富靈活的數據質量規則配置和自動化預警能力，讓數據開發人員更自信，只要監控沒報警，就可以拍著胸脯說，是不是業務上有什么變化。

3. 數據血緣（必須）

主要解決數據的追根溯源的問題，例如數據異常，需要通知下游業務，數據治理時需要下線或者刪除，下游有沒有人在使用，沒有血緣就不敢治理，數據&服務只增不減。

4. 數據成本優化（必須）

雖然說大家默認數據部門是成本中心，但是在這個寒冬之下，也要勒緊褲腰帶，雖不能開源但總要節流，哪些數據長期無人使用可以歸檔或刪除，哪些任務SQL性能奇差一個任務執行10多個小時，消耗大量CPU、GPU？數據成本優化核心目標是建立數據健康分評價體系，自動化檢測治理目標，并提供歸檔、刪除等自動化治理動作，從而釋放服務器資源，常態化做減法。

5. 統一數據權限（必須）

數據安全問題事關企業生死存亡和數據團隊的“錢途”，統一權限主要是建立數據資產權限申請、授權、審計對應的流程，從而保證數據既共享又安全。

四、數據決策與智能應用

1. 數據可視化分析（必須）

這里主要指主題式數據分析報表，可以是定制化開發，也可以是基于自助BI工具配置。其主要目標是提供業務經營管理的核心指標體系的可視化分析能力。不能讓老板每天自己使用自助BI拖拉拽吧。例如一些管理駕駛艙Dashboard或者可視化大屏。

2. 現代自助式BI分析（必須）

Tableau在被saleforce 以157億美金收購后，在21年底宣布退出中國市場，作為BI工具的鼻祖，功能非常完善和強大，為什么水土不服呢？主要原因是它的目標用戶是數據分析師，功能的復雜度導致學習理解成本高，數字化轉型時代要求的是數據民主和普惠，人人都是數據分析師，所以相比較tableau，現在國內的一些云廠商（QuickBI、火山引擎等）和BI產品（觀遠數據）更能滿足讓一線業務人員用數據的需求。有了現代BI，數據人員聚焦模型開發和數據基建，業務人員拖拽分析，自己配置可視化Dashboard，不再純依賴數據團隊的臨時SQL取數，或者定制化的可視化頁面開發了。

3. 用戶行為分析系統（可選）

2015年用戶增長、增長黑客理論火爆的時候，很多中小型互聯網企業紛紛購買神策、GrowingIO等用戶行為分析系統。其好處是可以提供用戶行為數據從采集到自助式分析的能力，但數據層面更多的聚焦在流量數據，對其他業務系統數據支持性相對較弱?，F代自助BI可以包含用戶行為的模型數據，所以包容性更強。

4. 數字化營銷CDP或DMP（必須）

基于大數據計算和數據挖掘技術，構建用戶畫像標簽體系，用戶圈選、精細化分層，進行差異化運營和營銷觸達，提升運營ROI。業務同學可基于平臺實現從人群圈選、場景構建、觸達投放、效果回收的閉環，同時，基于算法挖掘標簽及模型推薦的人群組合，從基于人的經驗運營，到基于大數據算法推薦的智能運營。一般企業內部私域流量運營稱之為CDP（客戶數據管理平臺），流量變現的企業稱之為DMP（數據管理平臺），如騰訊廣點通、阿里達摩盤。

5. 算法平臺（可選）

數字化轉型高級層次是智能化，要想AI服務開發更加高效，甚至產品、運營都可以配置一個推薦服務接口，這時機器學習或者叫算法平臺就可以派上用場了。對于算法開發，主要是提供從資源調度（CPU、GPU等）、離在線數據獲取、特性開發、模型訓練、推理服務全流程的算法工作臺，從而提升算法中臺化輸出的能力，甚至可以通過模型節點拖拽實現無代碼化的算法服務上線。

6. 數據服務管理（可選）

有人也把數據中臺稱之為DAAS，即數據即服務，數據如何快速輸出業務端，賦能產品創新。API服務統一管理，建立完善的應用血緣關系，提供通用接口的配置化生成能力，降低對Java開發的依賴。數據中臺思想下，數據服務API輸出是應用輸出的最主要形式，數據服務管理平臺一方面要具備將數據資產自助配置化輸出的能力，即數倉清洗好的數據模型，數據開發或業務人員可以通過入參、出參的可視化配置生成API接口，不需要接口開發介入。同時也要把API資產化管理，API接口文檔、應用調用情況做到可追蹤、可監控。

五、總結

廣義數據產品的定義是凡是可以提升數據從采、存、管、算、用全流程效率，促進數據價值輸出的相關產品都可以歸結為數據產品，在數字化轉型過程中涉及的產品大大小小二三十款，但總體產品矩陣大同小異。而且現在幾乎每個細分領域都有成熟的商業化數據產品版本，企業在實際數字化轉型的過程中可以根據研發資源、投入時間及財務成本、數據安全等多個方面綜合評估，哪些選擇外采，哪些自主研發。