數據產品經理必備技能之BI建設

41 評論 80866 瀏覽 558 收藏 14 分鐘

文章從BI平臺的版本迭代路線的四個階段展開,對BI系統的建設作了簡要的分析。希望對你有所幫助。

現在已經進入了大數據時代,每個公司對數據的重視程度都提高到了前所未有的程度,只要是進入到一定規模的公司,不論是考慮到數據的安全性,還是數據的使用效率,都會搭建自己的BI平臺來管理查看數據,因此,掌握搭建BI平臺的各種知識,也是數據產品經理必備的一項技能。

下面,按照BI平臺的版本迭代路線,講一下BI建設的四個階段:實現可拓展的展示報表(1.0版本)、自助分析功能(2.0版本)、添加功能性分析工具(3.0版本)、實現業務場景模板(4.0版本) 。

1.實現可拓展的展示報表

BI平臺首先要完成的就是對指標的報表性展示,大家首先想到的解決方案無非是前端寫頁面,后端接口在數據庫查詢相應字段,直接吐出數據。可是,這種傳統的方式太依賴于前端,如果增加一個指標,前后端修改的成本都比較高。因此,為了以后BI平臺的可擴展性,可以通過前端配置json,并在API下一層添加了QueryAdapter來把Api的接口翻譯成相應的Sql,然后通過Sql查詢數據庫的形式,來提高前端的擴展性和報表的靈活性,具體架構如下圖所示:

圖1 可擴展的報表架構

這里要講兩個概念,單圖(chart)與看板(dashboard),單圖主要是對指標進行某種樣式的展示,例如日活的折線圖、日活的表格、多平臺日活對比圖等,并可以對單圖進行多個維度的查詢操作,它提供了:

  • 維度:可以選擇多個維度,向下進行鉆??;
  • 時間:可以選擇昨天、過去7天、過去30天、過去90、過去180天、過去365天以及自定義天數;
  • 圖表樣式:目前支持折線圖、橫向柱圖、豎向柱圖、表格、地圖、餅圖等圖表。

看板(dashboard)能夠幫助將相互關聯的單圖集合在一起,兼顧全面性與單獨性,既能夠從多個圖表中發現關聯,也可以對單個圖表進行深入分析,方便每天查看相應的數據。 看板可以供不同的業務人員實現不同的使用場景:

  • 產品經理的看板可能是項目的核心指標;
  • 市場人員的看板可能是監控各個渠道來源指標;
  • 銷售的看板可能是潛在客戶的活躍度…

對于支持自定義圖表的單圖(chart)而言,在前端配置的json格式中,需要明確以下幾個字段:

  • dataSource:數據源,也就是單圖(chart)要查詢的數據庫、數據表,它包含了數據的地址、端口、數據庫格式、數據庫、數據表等,是數據展現的基礎。
  • metrics:這是是要展示的指標,包括指標的計算類型、指標的id、指標名稱、指標別名等,
  • dimensions:指標的維度,也就是相當于Sql中的group,也就是分析人員想按照什么樣的分組來查看數據。
  • filter:這部分是用來設置過濾器,前端報表用來篩選查詢條件的,它要規定每個維度應該以何種規則來過濾,是等于、不等于、大于、小于還是包含,還要規定維度的查詢字段和查詢值,簡單表示下就是下面這種格式,當然還有很多字段可以添加以便進一步擴展功能,具體filter的格式可以參考下圖。

圖2 filer格式

  • orders:輸出結果應該以哪一個指標進行排序。通常使用時間字段來進行排序設置。

除了以上幾個重要字段外,還可以設置time、limit等字段來擴展更多功能,這里就不一一詳述了。

看板(dashboard)的實現邏輯也與上面相似,不同的是還添加了看板中包含哪些單圖(即包含的每個chart的id),以及這些單圖在看板中的位置等信息。

有了上面的支持可拓展的json配置格式,就可以在BI平臺配置出符合自己需求的單圖(chart)與看板(dashboard)了。至此,已經能滿足日常的報表展示需求,BI平臺也完成了V1版本的迭代。

2.自助分析功能

以上只是滿足固定數據的展示,可是,數據產品經理經常面對的情況是,業務人員的需求是多種多樣的,如果這些需求都讓負責BI平臺的產品經理來配置的話,既增加工作量,又有很大的溝通成本,這時候,業務人員就需要一個能夠自己在平臺上快速方便搭建報表的方式。

自助分析功能這部分主要包含創建單圖(chart)和創建看板(dashboard)兩部分,這兩部分都是基于前期靈活可擴展的json圖表配置,并在此基礎上,能夠創建一些復雜的計算字段,例如,想計算平均停留時長這個指標,它是由總停留時長除以dau計算而成的,總停留時長和dau都是基礎指標,在數據表中是已經存在的,那么就可以定一個計算字段,命名為平均停留時長,計算公式為sum(dwell/dau),如下圖3所示:

圖3 創建計算字段

自助分析功能的核心是創建單圖功能,使用人員可以選擇圖表樣式,現在常用的圖表類型有表格、折線圖、柱狀圖(橫向柱圖、豎向柱圖)、餅圖、漏斗圖、堆積圖等,然后選擇數據源里的數據表,把對應的數據表中的字段拖拽到時間、維度、指標欄中,然后選擇查詢便可以在顯示區進行預覽,還可以設置過濾條件,進行一些維度的過濾,并可以設置是否在前后端顯示,具體功能見圖4。

圖4 創建單圖(chart)頁面

在基本功能的基礎上,還有一些細節功能需要去優化,例如,有時候折線圖從0為Y軸為起點很難看出波動,這樣就可以設置指標顯示的范圍,讓它在一定范圍內顯示,從而進一步縮小顯示區間,突出趨勢變化,另外,還可以支持一些實時數據的展示功能等。

完成創建單圖功能后,就可以基于已經創建的單圖上,選擇已經創建的單圖,動態拖拽到看板(dashboard)的合適位置,從而組成滿足自己分析需求相關的看板,形成日常性報表組合。

最后不得不提一下數據源管理功能,因為所有的單圖(chart)和看板(dashboard)都是基于數據源進行分析的,好的數據源管理可以提高數據源的利用率、降低重復創建數據源,進一步提高效率,并且還可以進一步拓展數據的存儲形式,除了支持Mysql存儲,還可以支持Druid、Phoenix等。另外,數據源管理要考慮業務的復雜性,能夠滿足復雜的多表join,支持自定義SQL查詢。最后,數據源管理也要注意對數據權限的控制,最好能夠做到對表中字段這種細粒度的權限管理,進一步提高數據的安全性。

3.功能性分析工具

一個完善的BI平臺,不僅僅是單純展示數據的,還要能夠能為數據分析師、業務人員提供一些常用的數據分析工具,例如用戶行為路徑、用戶分群與用戶詳情、系統監控等工具,可以方便使用人員方便快捷的分析更精細的業務場景。

以用戶分群和用戶細查為例,日常中經常需要把滿足某個或者某些條件的用戶區分出來,然后查看這批用戶的一些關鍵指標以及一些行為事件等,例如,想了解iOS平臺上,最近五天內連續沉默的用戶,使用人員選擇這些條件組合后,就可以獲取一批userid的列表,讓后查看每個userid的用戶屬性、用戶行為軌跡、用戶活躍度趨勢、用戶閱讀文章列表等信息,由于不方便透露一些用戶信息,用戶細查頁面就以原型圖的形式給予示例,見圖5。當然獲取某些條件下的userid對集群來說是有一定的計算壓力的,要等一些時間計算完成后才能給用戶顯示。

圖5 用戶細查原型頁面

4.業務場景模板

BI數據系統是要更方便的服務于不同的業務場景進行數據分析的,每個業務場景總會沉淀下來一套固定的分析思路和分析架構,這套固定的分析架構就可以放在BI平臺上來實現,例如渠道分析、用戶留存分析、用戶活躍分析及日常的周月報等。通過分析模板,可以方便快速的查看數分析數據,提高效率。

例如活躍用戶分析來說,根據平時的分析習慣,一般要將活躍用戶拆解為不同的活躍用戶群體,進一步查看活躍用戶的構成及這部分用戶的變化情況,從而針對每部分的不同群體進行優化和分析。例如可以按照下圖的分析框架創建一個看板(dashboard),由一下七個單圖(chart)組成一個日常的分析模板。

圖6 活躍用戶構成分析模板

梳理好分析框架后,就可以在BI平臺上建立起固定的模板,很大的方便的滿足了日常的業務場景分析。

搭建一個完善的BI平臺,是需要不斷打磨優化產品的,搭建平臺的目的無非就是提高工作效率,方便大家快捷高效的獲取數據,以上只是我在搭建BI平臺的一些經驗心得,分享出來與大家一起交流。

作為一名數據產品經理,還需要多了解業務,多使用自己的產品,如果BI平臺自己使用都不方便,那么更何況數據分析師,乃至數據經驗比較少的業務相關人員呢?另外,對于BI平臺,以上四個階段并不是適用于所有公司。不同的業務階段的需求都是不一樣的,初創公司沒有太多的人力和時間來搭建自己的平臺,可以引用市面上的第三方產品,例如友盟、BDP等,做的都已經相當成熟,還是要針對每個公司的具體階段而定。

 

本文由 @徐鵬 原創發布于人人都是產品經理。未經許可,禁止轉載。

題圖來自PEXELS,基于CC0協議

專欄作家

一個數據人的自留地,公眾號:一個數據人的自留地。人人都是產品經理專欄作家,《數據產品經理修煉手冊》作者。

本文原創發布于人人都是產品經理。未經許可,禁止轉載

題圖來自Unsplash,基于CC0協議。

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 大家期待已久的《數據產品經理實戰訓練營》終于上線啦!

    本課程非常適合新手數據產品經理,或者想要轉崗的產品經理、數據分析師、研發、產品運營等人群。

    課程會從基礎概念,到核心技能,再通過典型數據分析平臺的實戰,幫助大家構建完整的知識體系,掌握數據產品經理的基本功。

    學完后你會掌握怎么建指標體系、指標字典,如何設計數據埋點、保證數據質量,規劃大數據分析平臺等實際工作技能~

    現在就添加空空老師(微信id:anne012520),咨詢課程詳情并領取福利優惠吧!

    來自廣東 回復
  2. 樓主是怎么學習BI的,可以推薦書本或者課程嗎,萬分感謝!

    來自廣東 回復
    1. 我已經把自己多年工作經驗整理成書:《數據產品經理修煉手冊:從零基礎到大數據產品實踐》
      京東和當當都可以購買。

      來自北京 回復
    2. 已經購買,在看了,書中推薦的學習R個人覺得換成Python比較好,不知道是否正確呢

      來自廣東 回復
  3. 可以的話加下

    來自上海 回復
  4. xuanwu1

    來自上海 回復
  5. 感覺講的非常不錯,冒昧問下能否有償使用您的原型?非常感謝!

    來自上海 回復
  6. 你好,可以發一份原型和相關文檔到郵件嗎?跪求!360761890@qq.com

    來自北京 回復
  7. 你們與其要原型圖,還不如根據自己理解畫一個,再去競品分析下主流的BI產品,tableau、powerBI、帆軟、quick BI 等等

    來自上海 回復
  8. 不錯,對我很有幫助尤其是在業務報表那塊,講了一些開發性的知識,非常感謝~
    整體的功能上還可以講的更大一些,你這個是一個非常傳統的通用性的BI,現在的BI產品可以做的更大,我理解的BI除了四大基本屬性:取數、分析、下發、可視化,還需要加入指標管理,用戶畫像、標簽的一部分能力,凡是涉及分析的、可視化展示、常規展示的都可以從BI調用數據;
    實時BI也是一種趨勢,傳統的BI產品都是展示T+1的數據,實時數據也是BI需要考慮的問題,這個要實現就要求底層技術可以獲取到實時數據,可以有很多方式實現,流、Ogg等,不多說了~~~

    來自上海 回復
    1. 是的,BI平臺中還會整合用戶分群、用戶細查、用戶行為路徑以及業務大腦等更貼合業務的可視化產品,BI在演進,數據產品在迭代,未來在業務中數據產品也會發揮越來越重要的作用。

      來自北京 回復
  9. 您好,跪求一份原型和相關文檔到郵箱?郵箱847245324@qq.com

    來自北京 回復
  10. 樓主能分享下相關原型和文檔嗎?目前正在搭建BI平臺,想找點參考!郵箱375859363@qq.com

    來自浙江 回復
  11. 圖4是一種自助選取數據分析的功能,這里面思考的邏輯和底層數據的處理邏輯是什么呢,跪求??! ??

    來自安徽 回復
  12. 為什么要自研BI 市面上有那么多的報表 BI的產品 求解

    來自上海 回復
    1. 基于數據的安全性和保密性的角度出發

      來自浙江 回復
    2. 并且,定制化的功能還是自研的好

      回復
  13. 你好,可以發一份原型和相關文檔到郵件嗎?跪求!1014663908@vip.qq.com

    回復
  14. 求問作者 為什么網易有數和bdp 在做全局篩選器時不能對數值類型字段進行篩選?

    來自浙江 回復
    1. 數值型字段篩選只能篩選數值范圍,BDP提供了對參與指標計算字段的數值篩選

      來自廣東 回復
  15. 交流一下,你們公司的數據部門會做給各個業務部門提供報表服務么?報表之間的口徑是如何統一的?報表都是以需求的形式提上來的,而且時間緊任務重的。 ?

    來自北京 回復
    1. 我們的業務部門的報表都放在我們的數據平臺上,這正是bi平臺的價值所在,是要服務業務的,報表的指標要明確好指標口徑,形成指標字典,才能進一步放在平臺上,不能讓指標有不同的理解偏差,容易誤導業務。指標字典是很重要的,一定要拉各相關業務部門提前對清楚并達成一致。

      來自北京 回復
    2. 我明白您的意思,指標口徑的明確是報表的關鍵;但是在實際的場景中,我們這邊每個工程師負責一條業務線,業務部門的報表需求都是以工單的形式提過來,并且短時間要上線,這種場景下,很難做到統一,針對某一個業務線,涉及到的數據非常多,就比如某個售賣數據的計算,做了什么樣的過濾,加上業務邏輯復雜的情況,只有工程師才知道最詳細的口徑是什么,讓工程師去寫口徑,有幾個痛點,一是時間緊任務重,他們很難按照要求去寫;二是工程師的口徑描述業務人員看不懂;三是報表是不斷的迭代的,口徑會變。不知道您有什么好的建議呢?請賜教!

      來自北京 回復
    3. 那可以開始就簡單粗暴的上業務所需報表,但是前期缺的步驟后期都要補上,包括整理指標字典、統一指標口徑、甚至數據倉庫重構等,可能后期付出的比前期還要多,據我了解,國內創業公司可能都會存在這種問題,前期簡單粗放鋪業務,后期有技術實力和人力了再重新梳理。

      來自北京 回復
    4. 您覺得數據產品的未來是什么?因為數據系統總有功能完善趨于自動化的一天,可能是我想的比較短淺,純交流

      來自北京 回復
    5. bi等數據系統只是數據展現分析的開始,數據產經理品要做的不僅僅是這些,未來數據的價值會越來越大,那么就更需要有人去實現數據服務和數據變現,去實現體現數據價值的產品。

      來自北京 回復
    6. 嗯,這確實是一個方向,現在的數據變現大多都是商業變現的,廣告行業運用比較多,dmp,推薦系統等

      來自北京 回復
  16. 寫的很好,對于想轉做數據產品經理的人很有啟發作用,只是具體要怎么深入了解和學習各項技能還請大師指明一下方向,比如有哪些書籍和網站推薦。非常感謝!

    來自上海 回復
    1. 多看一些相關數據,例如數據化管理、決戰大數據、精益數據分析等,培養一下數據分析思路,然后多體驗tableau、bdp等相關bi產品,并能夠掌握一些數據倉庫相關知識,做數據產品就會比較輕松了。

      來自北京 回復
    2. 非常感謝!

      來自上海 回復
  17. 功能性的分析這種還是需要有數據經驗的人來用,業務線的產品和運營大都不會代碼,涉及到表之間的join,就無法實現了,所以這也是我頭疼的一個地方,各種各樣的數據需求還是會放到我們數據部門。

    來自北京 回復
    1. 恩,這部分確實是一個痛點,培養業務部分的數據意識和數據知識是一個比較持續的過程。

      來自北京 回復
  18. 感謝BDP在BI方面一直做的努力和嘗試,很多產品功能的思想還是很值得借鑒的。

    來自北京 回復
  19. 有點偏,平臺也好,工具也好,并不是大數據或者BI的精髓,談大數據的人多,但是懂數據,能用好數據的不多,所以我的看法可能遭人討厭,自助分析反而是最雞肋的功能,因為超過90%的人(未經過實證,也許是偽數據)并不知道自己要看什么數據,或者看到數據以后不知道該怎么辦。

    來自江蘇 回復
    1. 確實有很多業務人員不知道自己想要什么,不知道如何分析利用數據,這些都是我們數據產品經理需要無論是用工具也好,培訓也好,不斷給大家普及數據意識的,畢竟也是隨著移動端的興起我們才有了收集大數據的能力,數據意識是需要不斷培養的,而且如果沒有自助分析,很多報表需求都交給平臺方,會有很大的需求壓力。

      來自北京 回復
    2. 其實從傳統商業,到商業智能BI,目前的進程其實不是很令市場滿意,從傳統商業來說,本身就已經有統計報表,缺乏的是分析思路,自助分析很好,千人千面,一萬個人看同一個數據可能會產生一萬零一個想法,但是入市太早,早期在還未培養出數據思路和興趣前,大興圖表其實并非好的做法,以股市為例,這么久了,日線圖,K線圖,很少很簡單的圖表支撐了龐大的股票市場,有專家,他們會定制私人的圖表,但是數據應用集數太小,我覺得如果我們要做大數據,就得沉下去,做廣大人群的大數據,而非小眾人群的大數據

      來自江蘇 回復
    3. 我本身也做過BI,我個人的感覺是千人千面是后期發展戰略,初期以某一行業為核心,打造方法論,除了圖標組合的儀表盤,善用記號筆、排序、重點數據提拉等方法,形成一個可落地,易具現的產品,多行業發展后,再聯動打通,不失為一個好方法

      來自江蘇 回復
    4. 恩,認同你的想法,放在整個大數據行業來說,大家對數據的利用和重視程度還不夠,也沒有能夠挖掘出很有價值的點,還是沒有體現出數據就是下一代水煤電的價值,每個行業進行到各個階段都有應該需要關注的重點,即使BI平臺,針對不同公司的業務階段,實現滿足自己的需求的功能就好。

      來自北京 回復
  20. 咨詢樓主,圖4是原型還是某種工具?

    來自北京 回復
    1. 是我們實現的BI系統的截圖

      來自北京 回復
    2. 做得不錯

      來自北京 回復