數據產品經理,該如何搭建數據平臺?
本文作者結合實際工作案例,介紹了在搭建數據平臺的過程中數據產品經理需要注意的流程和使用的工具,與大家分享。
關于2B/2G數據平臺搭建與一般軟件開發流程整體一致,但是特殊性體現在用戶和數據上。這里以之前做的一個數據監測平臺為例,以數據為中心,介紹一下數據PM在整個數據平臺開發過程中用到的工具與需重點關注的數據處理流程。
一、常用數據分析工具
1. 數據分析工具
- Orange:可視化數據挖掘工具,無需coding;
- SPSS:數據統計軟件,需較強的數據分析能力;
- Excel:數據統計軟件,需入門級數據分析能力;
2. 數據來源工具
- 百度指數:數據分享平臺,只用于PM參考,無開放API;
- 八爪魚:爬蟲工具,只用于PM參考,只支持windows平臺;
3. 數據展示工具
- Echarts:數據可視化插件,自帶代碼,可與技術人員共享;
- Tableau:數據可視化分析、展示,可預設計動態數據界面;
- 易詞云:詞云生成器,詞云樣式豐富。
二、重點數據處理流程
1. 流程概覽
- 重點數據提取
- 數據采集
- 數據評估與運維
- 數據展示
2. 具體執行
(1)重點數據提取
我們提取重點數據是為了形成數據指標。在結合其他資深數據產品建議與自身開發經驗的基礎上,這里介紹一種相對全面實用的數據指標的建設方法:
數據指標=指標名稱+業務大類+維度+匯總方式+量度+關聯維度+時間
提取重點數據,即建立數據指標的過程中,需要產品進一步梳理產品映射的業務邏輯,設計產品底層的數據分析策略。同時基于此,也可協助技術開發人員打開數據表創建思路,以便后臺數據庫搭建(包括數據倉庫建設)。
建立數據指標需重點把握業務大類和維度——
業務大類,一方面可直接按照B/G端客戶的實際業務邏輯進行梳理,另一方面源自產品開發前期的需求分析內容——業務需求之外的其他需求,比如2G數據產品經常關注的輿情方面。在此過程中,需要細化信息顆粒度,全面覆蓋需求進行匯總,再按照重要程度、業務內容進行取舍分類,形成業務大類。
維度,一般按照時間、空間、主體進行劃分。
時間即指年月日以及更小的時間單位,在橫向的時間軸上,數據既要涵蓋對歷史情況的回溯,又要包含對未來事件的預判(需要數據建模)。
空間方面,2B/2G產品關注的空間通常反映為行政等級——國家、省、市、地方等,尤其是對G端產品,這種空間劃分涉及到用戶權限配置,比如省級監管局可看到對應省轄區內的所有數據內容。時間與空間在后期的產品使用中,一般應支持用戶下鉆,進行更細致的信息查詢。
主體指的產品業務邏輯所涉及到的人、物等,在政府數據監管平臺中,這里包括受監管的企業、產品。不同的主體一般都存著在復雜的業務聯系,所以在設計數據模塊時應考慮到用戶對相關的主體維度的關注,在之中創建便捷的跳轉方法。
根據數據指標的定義,數據產品應該支持多種組合查詢,數據展示模塊中應具備聯動功能,如不同的業務+不同的維度查詢,形成篩選器,支持用戶自主查詢。
(2)數據采集
數據采集通常有三種方法:錄入、抓取、建模。
- 錄入,支持用戶通過產品后臺進行數據錄入,這種信息通常是通過系統抓取難以獲取的,比如數據來源不確定的信息,需要人工進行錄入。
- 抓?。合到y對不同數據源的數據進行抓取分析,進行展示,這種信息常為內容類。
- 建模:區別與錄入與抓取的直接展示,數據建模主要應用于數據預測,對數據的處理更為復雜,先建模再生成新數據,對原有數據形成補充,完善數據信息或者對未來趨勢形成預測,以支撐決策。
(3)數據評估與運維
數據評估、運維從PM出發,提供兩個參考的角度:質量把控和重要級排序。
質量把控方面嚴格來講,通常大的數據平臺,需要建立專門的數據質量管理系統,對于元數據、接口穩定性等內容進行細致管理監控。在此,PM可以從數據的來源可靠性、優化處理、工具利用方法等方面進行評估把控,如對抓取信息的網站進行評估篩選,保證數據來源安全可靠。
重要級排序,在沒有真正用戶使用產品的前提下,這種排序是很難進行設計與用戶之間的雙向確認的,所以我們可以在進行產品設計時,允許用戶后期對dashboard等頁面的功能模塊進行自定義的拖拉組建,對我們已經預設的數據內容重要級排序進行修正。
(4)數據展示
這里從功能、數據呈現方式兩方面進行說明。
數據展示需要的功能在前面的重點數據提取——維度建立已經提過,最重要的是聯動與下鉆,這要求數據在系統中形成一個完整的信息鏈路,既可統攬匯總,又可細化查看,真正做成一個好用的數據工具。
數據呈現方式主要是數據布局和圖表的選擇。這里可以參考桃子貍的文章《“NCP疫情分析管控”數據可視化大屏設計總結》中的可視化設計部分。
結語
本篇著重介紹搭建數據平臺過程中,PM對于數據處理需要掌握的工具與重點,基本出自筆者自身經驗,多有不足還請大家指教~
本文由 @Lens-J 原創發布于人人都是產品經理。未經許可,禁止轉載
題圖來自Unsplash,基于CC0協議
作者:產品經理小派
本文由 @產品經理小派 原創發布于人人都是產品經理,未經許可,禁止轉載。
題圖來自Unsplash,基于CC0協議。
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
分析過于淺顯而且總結也不是很完備。
就比如數據采集的定義假如是前臺展示用數據的來源,可以粗略地可以分為手工(包括后臺錄入,格式文件導入),自動(抓取,系統api推送,系統內邏輯處理)
再比如,最開始的數據說明,時間是維度,空間地理也是維度,地理還可以有支撐維;維表建模是業務數據處理的第一步
我覺得您提出的問題是合理的,感謝指出。
這里的總結只是針對產品經理角色的主要工作內容的,所以涉及到開發包括后臺技術的內容未做深入分析。
作者目前經驗尚有不足,后期會根據實際執行情況再作補充。向您學習~
大家期待已久的《數據產品經理實戰訓練營》終于上線啦!
本課程非常適合新手數據產品經理,或者想要轉崗的產品經理、數據分析師、研發、產品運營等人群。
課程會從基礎概念,到核心技能,再通過典型數據分析平臺的實戰,幫助大家構建完整的知識體系,掌握數據產品經理的基本功。
學完后你會掌握怎么建指標體系、指標字典,如何設計數據埋點、保證數據質量,規劃大數據分析平臺等實際工作技能~
現在就添加空空老師(微信id:anne012520),咨詢課程詳情并領取福利優惠吧!
x