網約車數據產品實戰一:設計數據體系
O2O領域自2011年開始,各個行業從早期的粗獷式攻城略地,到中期的穩中求勝,發展到如今的精耕細作。數據產品的價值隨著行業的深度發展日益重要。
網約車作為O2O行業內的先行者,早已進入了數據驅動業務增長的階段,本系列將基于“設計數據體系”、“搭建指標體系”、“可視化設計”三個階段,呈現網約車行業數據產品從0到1的搭建實戰(基于PowerBi)。
一、如何著手
初接到任務的時候,沒有0-1數據產品經驗的我還是很無從下手的。但靜下心來仔細思考數據產品的本質,無外乎兩件事情:提取指標、輔助決策。
高效、精準地提取出業務指標是數據產品的根基,因為巧婦難為無米之炊。而輔助決策則需要依賴一些可視化工具,市面上有很多:Tableau、PowerBi、FineBi等等,我們最終選擇微軟提供的PowerBi為我們提供指標可視化能力,接下來的難點便在于提取數據指標了。
二、從目標開始
數據體系作為指標體系的前置條件,其架構的穩定性和延展性決定了輸出的指標數據能否滿足業務方的各類應用場景,能否適應業務的橫向拓展。以下羅列幾點數據體系的設計目標:
- 「時效性」需獲取高時效性的今日數據,用于生成實時指標,應用于看板、儀表盤等;
- 「不可變」歷史數據(指今日之前的)產生的指標一經生成,不可更改。(由于實際業務場景中可能存在系統臟數據、接口超時等,造成業務原始數據變動。如在不同時間生成同一項指標,可能出現指標數據不吻合,帶來財務核算的錯誤風險)
- 「靈活性」高速發展的業務形態會帶來各種各樣的統計指標,為此數據體系必須擁有較強的靈活性,將指標提取和指標數據讀取進行解耦,避免牽一發而動全身。
三、確定整體架構
整體架構如下圖所示(重點關注指標提取層):
指標分為兩大板塊:
1. 實時指標
定義:今日實時產生的指標數據,如今日發單量、今日完單量、今日出車司機數等等。指標要求最少5秒一次刷新。
用途:制作實時數據儀表盤、戰術大盤等。
方法:SQL語句提取指標,各個指標數據組裝為json格式,每隔2-3秒post到PowerBi的流式數據集api。
2. 匯總指標
定義:包含今日和歷史的業務指標,如昨日注冊司機數、昨日活躍司機數、今日出車司機數等等。「匯總指標」包含了「今日指標」。
用途:制作多維度指標圖表,如折線圖、餅狀圖、組合圖、核心指標表等。
方法:
- 今日的業務指標通過python中的pymysql模塊進行讀庫和組裝指標數據。一些簡易指標可以直接通過SQL語句獲?。ㄍ缴衔闹械膶崟r指標)
- 歷史的業務指標為每日凌晨2點,通過python腳本抓取前一日指標數據,存儲到「周期性匯總指標表」,每條指標一行數據(如顆粒度為半小時的完單數指標,最終落在指標表中為48條數據)。后續通過SQL語句即可通過指標表讀取到指標數據。
匯總指標中的歷史業務指標是整個數據體系中最關鍵的部分,所有業務數據最終都會形成指標落到「周期性匯總指標表」
四、總結與探討
幾點經驗
1、合理利用異步思想:本次歷史業務指標的設計思路即為異步思想,將“指標提取”和“指標數據讀取”進行解耦并異步處理;
2、領域間保持一致性維度:各領域的業務數據(如財務、資產、運營、客服等),雖數據源不同,但大多數可以通過相同的維度進行打通關聯。如時間、城市等。
探討幾個問題
1、每天凌晨2點生產昨日的數據指標,意味著0~2點存在兩個小時的空檔期,此期間無法獲取前一日的指標數據(因為獲取實時指標和今日指標的腳本亦不會獲取昨日數據)
2、文中的數據體系通過怎樣的低成本優化,可以支撐更復雜的應用場景,如用戶標簽系統、運營策略實驗系統等。(后續將更新專題文章探討這一課題)
作者:Sean,公眾號:SeanZ的自我修養
本文由 @Sean 原創發布于人人都是產品經理,未經許可,禁止轉載
題圖來自 Unsplash,基于 CC0 協議
這個文章是網約車的人寫的,還是外部人做的案例?
大家期待已久的《數據產品經理實戰訓練營》終于在起點學院(人人都是產品經理旗下教育機構)上線啦!
本課程非常適合新手數據產品經理,或者想要轉崗的產品經理、數據分析師、研發、產品運營等人群。
課程會從基礎概念,到核心技能,再通過典型數據分析平臺的實戰,幫助大家構建完整的知識體系,掌握數據產品經理的基本功。
學完后你會掌握怎么建指標體系、指標字典,如何設計數據埋點、保證數據質量,規劃大數據分析平臺等實際工作技能~
現在就添加空空老師(微信id:anne012520),咨詢課程詳情并領取福利優惠吧!
坐等,對問題2部分的專題很感興趣