從零建立賦能業務的數據中心「邏輯框架」
轉崗到業務公司新的數據團隊,需要從零開始建立數據中心,時常讓人無從下手。本文作者結合自身轉崗經歷,根據實踐中的邏輯思路在文中詳實舉例,幫助數據分析師新人進一步學習數據庫的應用,推薦迷茫中的數據分析師閱讀學習~
數據中心整體的思路是基于現有的業務系統,接入數據后,將模型部署在前端,用于支持業務分析場景。
1. 項目目標
此次項目希望能與你分享一個可以賦能業務的數據中心是如何從零開始構思設計的,不過這并不是技術開發中數據倉庫,而是定位在用于數據分析工作的數據庫。
借此機會,也供剛接觸SQL的朋友,有一個更貼近業務現實的實戰案例。
2. 業務場景
為簡化業務邏輯,此次案例是基于電商企業,涉及的業務部門有用戶運營部門、及產品部門。
我經常說數據分析師的價值在于解決業務問題,那么此次的數據中心項目是在解決什么樣的解決問題,以及是如何解決的?我們來按「以終為始」的思考邏輯來梳理一番。
一、從業務層面思考,需要解決哪些業務問題
數據分析師的價值在于賦能業務,所以「數據中心」建設的起點要從終點出發:業務需求。
1. 用戶運營部門
隨著電商市場的飽和,現在電商進入存量運營時期,要求品牌對存量用戶進行精細化管理,并實現業務增長。因此用戶運營部門的需求是用戶價值的分層模型,可以幫助業務把精力集中在最高收益的人群。與用戶運營部門溝通,明確建立RFM模型對人群進行分層,并形成不同人群的營銷策略。
2. 產品部門
產品部門的職能大體能分為兩個方面:一個是需要前瞻市場的產品開發,另一個是“確保子彈供及”的庫存管理。與產品部門溝通后,明確需求是要做「新品分析」,根據新品的表現情況,調整生產及庫存計劃。簡單點說就是表現好的新品,就多生產/進貨,反之則清倉處理。
二、從數據層面思考,需要解決哪樣的數據問題
到這一步,已經明確了業務需求,接下來要建立能支撐業務發展的數據中心。
按數據處理流程,可以把數據中心分為:落地層、建模層、及數據層
1. 落地層
離業務最近,是業務看得見摸得著的數據應用,比如在線BI系統,業務可以直接登錄看到需要的報表;還可以是數據分析報告,業務從報告中獲得直接的洞察分析及建議;還可以是專項的數據分析項目,把通過分析形成的策略方案在業務場景下執行,直接實現增長。也就是說,在這一層,需要考慮數據分析價值落地的具體形式。
2. 建模層
建模層和數據層都是業務部門不可感知的。建模層是支撐價值落地的數據模型,比如在線BI系統中的報表,背后復雜的表間關系,需要業務邏輯和表格模型支撐;數據分析報告背后的洞察分析,需要如帕累托分析、關聯算法等數據模型支撐。
3. 數據層
到這一層,就需要關注最小顆粒度的數據,也就是數據庫層面的表格與字段,它們是建模層具體操作的要素。通俗地說,需要從不同數據源中接入業務數據,并通過同步更新、數據清洗等過程確保數據的完整性及準確性。
三、如何把業務需求轉為數據問題
了解完數據賦能的三個層次,回過頭來看看如何把業務需求轉為數據問題。
1. 用戶運營
(1)落地層
業務部門都有KPI指標,在運營工作中,需要定期回顧運營成效及執行下一階段的運營策略。對業務來說,運營策略的落地需要借助觸達工具:發短信。因此,「RFM模型」的落地不能只是給出算法模型報告,而是要以報表的形式,對存量用戶進行分群的同時,搭配策略分析工具,并提供用戶信息下載
根據業務場景,確定可以通過PowerBI在線報表的形式,為用戶運營部門提供在線人群分層報表,并交叉零售行業常用的「人貨場模型」及「指標拆解」作為策略分析工具。
(2)建模層
明確了落地的形式后,需要對背后的「RFM模型」和「人貨場模型」及「指標拆解」進行數據層面的定義。
- 對于「RFM模型」來說,需要明確分層邏輯,具體包括行為周期、R/F/M的閾值計算。
- 對于「人貨場模型」來說,在RFM模型已解決「人」層面的分析,需要進一步補充:「貨」通過「產品結構分析」解決,「場」通過「活動周期分析」解決。
- 對于「指標拆解」來說,因為最終是交付給用戶運營部門,所以需要盡量從用戶的角度來拆解銷售額,比如銷售額 = 新客銷售 + 老客銷售,這樣就符合業務關注的新客指標及老客指標。
(3)數據層
明確了需要開發的數據模型,需要對更細顆粒度的數據庫表格及字段進行設計。
- 模型圍繞著用戶訂單數據進行,所以至少需要訂單表,包括下單時間、購買商品、購買金額、商品件數等字段。
- 另外,落地層提到用戶運營側的落地需要結合觸達工具,所以還需要用戶表,提供會員昵稱、手機號、地址等字段。
2. 產品部門
(1)落地層
對于企業來說,產品策略背后的影響因素多且復雜,比如市場培育、公司戰略等。也就是說,對于數據部門來說,做的新品分析或許更多只是輔助工作,供產品部門參考新品表現。此外,與產品部門溝通業務流程時,他們還提及日常還會用數據部門提供的表格做二次分析。
根據此業務場景,確定可以通過Metabase平臺的形式做在線報表,業務部門能在平臺上下載數據的同時,也可以在線做透視分析。
此場景其實為了介紹Metabase平臺設計的,該工具在解決業務們自助取數,及簡單BI報表方面很實用??梢韵韧ㄟ^官網了解:www.metabase.com。后面會有具體的教程出來。
(2)建模層
明確了以報表形式提供新品分析后,需要考慮新品分析背后的表格模型,可以結合「存銷分析」來實現,即分析新品的銷售與庫存之前的相關指標,體現新品表現。
(3)數據層
銷售及庫存相關的指標分析,需要用到訂單表、庫存表,除了用戶運營提及的訂單字段外,還需要貨品批次號、數量等庫存字段。
至此,我們完成了從業務需求出發,到落地層、建模層及數據層的倒推,形成了數據賦能業務的整體框架:
(后續會豐富此框架)
四、從執行層面思考,把框架落地
接下來,需要逆著第二步的思考邏輯,形成執行計劃。
1. 數據層
- 建立數據庫模型:從業務模型、概念模型到物理模型。
- 新建數據庫,并從數據源(業務系統)接入存量數據。
- 通過存儲過程同步增量數據,實現數據動態更新。
- SQL SERVER代理完成定時任務:執行ETL、定期備份。
2. 建模層
- RFM模型在用戶運營中的落地。
- 如何進行新品分析。
3. 落地層
- RFM模型在PowerBI的部署落地
- Metabase的安裝及應用案例:存銷分析
接下來會按照上述計劃,逐步實現數據中心的落地。
本文由 @餅干哥哥 原創發布于人人都是產品經理。未經作者許可,禁止轉載。
題圖來自Unsplash,基于CC0協議。
- 目前還沒評論,等你發揮!