數據中臺產品的建設意義
中臺的概念已經數年了,不少公司也在內部開發或者引入第三方做自己的中臺。對于一個新的產品來講,并不是很能理解中臺的意義。這篇文章,作者分享了為什么要做數據中臺的意義和價值,與大家分享。
我們都知道,隨著政府、企業、園區等信息化系統如火如荼的持續建設,數據問題逐漸凸顯,我們從數據現狀,數據應用,技術路徑等方面著手,淺析數據中臺產品的建設意義。
一、改善數據現狀
以下是未引入數據中臺時信息系統中數據的現狀。
1. 數據質量不佳
- 因為系統建設的先后問題、建設團隊不同等問題會導致數據統計口徑不一致,比如同名不同意或同意不同名,例如有的系統區分性別是男/女,有的是先生/女士。
- 業務數據缺失,有些業務系統對關鍵流程未做校驗,導致關鍵數據缺失。比如某些數據找不到上報路徑,是云云對接的數據還是機器直報的數據無從得知。
- 數據臟亂差,比如重復數據、無效數據、空數據、不合法數據等,這些數據無法正常使用,需要進行特定處理。
2. 數據架構落后
- 因為系統建設的歷史問題,信息化進程并非從上至下統一規劃,導致系統間相互割裂,無法實現數據共享,關聯數據又存儲在不同系統中,正所謂“數據孤島”。
- 隨著業務系統數據量的日漸龐大,操作、查詢、導出等操作效率越來越低。
通過引入數據中臺,經過數據治理模,持續改善數據質量,優化數據架構。
二、全面挖掘數據資產,改善數據應用面臨的問題
近年來,“數據要素”,“數字資產”等概念不斷被提及,顯見數據的重要性,那么在我們現有信息化系統基礎上數據資產的應用面臨的問題有哪些?
1. 開發運營成本升高
人力成本
隨著系統的正常運營,新的需求被不斷提出,而系統的開發和運維依賴大量的工程師,并需配套的服務人員,人員數量不斷增多,人力成本居高不下。
時間成本
系統的開發只能按照計劃線性推進,而隨著業務的復雜度逐漸增加,相同功能需要的時間越來越多,邊際效用遞減。
溝通成本
系統的開發和運維依賴于人之間的協作和配合,并要大量的工具、文件作為輔助,而系統數量的增加,業務復雜度的提高都導致了溝通成本的逐漸上升。
2. 數據資產浪費
因為數據孤島問題,很多運營數據、管理數據、服務數據只能孤零零地存儲在業務系統中,無法為業務的精細化發展作分析支撐,更不能作為戰略決策的依據,造成了寶貴數據資源的浪費。
通過引入數據中臺,可以將數據融合并自動化的處理,節省新業務導致的開發運營成本,也盤活了數據資產,挖掘了數據價值,為企業的決策分析提供支撐依據。
三、從技術角度看數據中臺的必要性
數據中臺中數據的存儲、處理用到數倉技術,可以比對一下傳統數據庫和數倉的區別。
1. 傳統數據庫VS數據中臺
處理的業務不同
傳統數據庫是操作型業務處理,即會對數據進行增刪改查,數倉是分析型業務處理,主要針對數據進行查詢。
關注點不同
傳統數據庫更關注操作時的響應時間、并發量等,數倉關注的是數據分析,主要用來進行商業決策。
存儲的數據類型不同
傳統數據庫存儲的是業務數據,而數倉存儲的是歷史數據。
冗余設計不同
傳統數據庫在設計時盡量避免冗余,而數倉有意引入冗余以便支撐商業分析。
設計理念不同
傳統數據庫是為了捕獲數據而設計的,即用戶的每一個操作為變為數據資產存儲在系統中,而數倉是為分析數據而設計的。
總之,數據中臺不是不需要傳統數據庫,而是需要在傳統數據庫的上層再添加一層數據倉庫來銜接數據源系統和分析/展示系統。
2. 為什么不直接在原有基礎上直接改造?
在原有架構上改造豈不是成本更低?
原有過程是直讀的方式,瀏覽器直接讀取業務庫而獲取數據,經過大量實踐證明,這條路不好走,失敗案例多入牛毛,原因如下:
- 因為安全原因,某些數據無法直接讀取
- 業務系統變更頻繁,需要重寫分析系統和測試
- 難以建立和維護來自多個系統的報表、匯總數據
- 業務系統的很多列是硬編碼或是無意義字符串
- 業務系統的數據格式不統一
- 業務系統表結構為事務處理而做的性能優化不適用于查詢分析
- 找不到適當方式把有價值數據合并和應用
- 影響業務系統事務處理性能
所以,從技術角度看,想要快速、精確、低成本的進行數據分析,引入中臺是必然的路徑。
在企業數字化實踐的道路上,隨著時間的積累,引入數據中臺是挖掘數據、節省成本、快速相應決策分析需求的必經之路。
本文由 @娜娜 原創發布于人人都是產品經理。未經許可,禁止轉載
題圖來自 Unsplash,基于 CC0 協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
數據中臺=數據倉庫?
寫了點啥啊~