數據中臺實戰(五):自助分析平臺(產品設計篇)
本文筆者詳細介紹了開發自助分析平臺的重要性、自助分析平臺的具體方案和選型,一起來看看吧。
一、為什么要開發自助分析平臺
上一篇文章講到《數據中臺實戰入門篇:數據中臺對內、對外合作機制》。這時數據中臺團隊已經做了幾個比較大塊的功能模塊,和各個產品線的合作越來越緊密。
每個月每條產品線都有一些數據需求,每條產品線都有N個指標,數據中臺主要的開發任務就是數據指標,現在已經發現開發資源已經趕不上運營提需求的速度。如果每個指標都按照之前那個流程,開發周期會很長。
這時我和團隊的技術負責人討論了一下,決定引入一套自助分析的工具,這樣數據中臺只用負責指標的計算也就是模型設計、數據開發,把最終的計算結果和自助分析工具結合,運營就可以通過拖拉拽的方式形成自己的看板。
一些特殊的需求再讓后端開發和前端參與,這樣后端開發和前端開發可以做一些其他大模塊的開發。
之前一個數據指標的開發需要產品經理、模型設計師、數據開發、后端開發、前端開發、測試、UI,現在只有一些特殊的需求需要后端開發、前端開發的參與,直接提高了30%左右的開發效率。
二、自助分析平臺產品方案
我們先看下目前市場上的數據產品關于看板模塊是怎么做的:目前市場上比較成熟的數據產品:Growingio、諸葛io、神策這三個產品。你會發現他們的產品有一個共同點,都只有2個大功能:一個是數據看板,另外一個是分析模塊。
我們先講一下看板功能,簡單來說一個制作看板,一個是使用看板(我的看板)。邏輯都是先制作看板,通過選擇指標、維度、過濾條件、特殊條件的選項,以拖拉拽的方式就可以定制自己的看板。當看板制作完成后,就會分類形成自己的看板庫。
另外一個功能是使用看板,可以將看板庫中的看板取出,形成自己的看板。這個看板可以同時在移動端和PC端顯示,也可以通過地址分享給其他人看或者以H5的形式嵌入其他產品。
制作看板功能
我的看板功能
這樣的看板功能和傳統的看板功能有一個很大區別就是,使用者只看到他關心的數據,形成了看板的“千人千面”。
另外由于看板都是配置的,可以節省大量的前端開發和后端開發?;A的看板,運營的同事是可以配置的,前端開發只用解決一些比較特殊的需求。
有了這么一個功能,以后無論數據中臺接入多少個產品線,這些產品線的看板功能是不用再一個一個開發,這樣會節省大量的開發資源。
三、自助分析平臺技術選型
怎么實現這么一個強大的看板功能呢?
自己從頭到尾開發一套,會付出大量的開發成本,我拉上數據中臺的技術負責人給他講了這個功能的重要性。
剛好我們的技術負責人對這一一塊還是有一定的研究,給我看了一下目前市場上比較成熟的3種自助分析框架,這些框架我們可以與數據中臺做個集成,形成數據中臺的自助分析模塊。
一個是商用收費的大數據可視化組件叫帆軟,在國內做的比較好。還有兩個開源的工具叫達芬奇和supset。達芬奇是國內的來源組件,Supset則是國外的來源組件。讓我們來分別看一下。
1. 帆軟
先看下帆軟制作報表的過程:第一步是處理數據源數據源,這個需要技術人員將數據庫的數據鏈接到帆軟,并將數據做進一步的處理;
主要就是將數據庫的庫表字段轉化為運營、產品可以理解的名稱。
可以通過URL連接各種數據庫
字段可以重命名
運營人員通過選擇選擇數據源,字段名稱,計算方式,就可以配置出自己想要的圖表。
圖表的顯示可以有很多種方式包括報表、折線圖、餅圖、柱狀圖等常規圖表。
2. 達芬奇
達芬奇有這么幾個功能:
(1)數據源管理,這個主要是給數據開發用。數據開發需要把計算好的數據,一般是ads層的數據同步到達芬奇,達芬奇支持n種數據源的鏈接。
(2)當數據抽取過來后,還有一個問題就是,原始數據運營人員是看不懂的,因為都是數據庫的字段,比較偏技術,需要進行一層處理,至少是要把字段重新命名的,這里還是需要數據開發的技術人員處理一下。
(3)第三個功能看板制作器,這個可以給運營直接使用。
運營人員看到的是處理過的數據,通過拖拉維度、指標、過濾條件這些指標,完成看板的制作,看板可以是類似excel的報表顯示,常規的柱狀圖、折線圖、餅圖等也是可以的。
(4)最后一個功能是我的看板。運營人員可以快速找到自己制作的看板,形成自己的看板??梢酝ㄟ^拖拉拽的形式調整看板的位置,每個看板界面會生成一個分享鏈接,看板數據支持導出、分享。
3. SUPERSET
Superset和達芬奇功能類似,也有數據源的接入、看板的制作,沒有看板管理功能。
Superset整體還是偏技術,很多地方需要寫sql,甚至想做的好看一點需要寫css。但是它靈活性更高,圖表可視化甚至可以與echart做對接。
可以看下其中一些界面,Superset針對數據源的管理,主要是給技術人員使用。
Superset的看板制作器功能,有很多是技術人員用的SQL、JASON、CSS等字眼,這些運營、產品是很難理解的。
Superset的看板管理器也有分享的功能,但是不能通過拖拉拽的形式改變看板的位置。但是Superset可以與第三方的看板管理功能做集成,比如百度的E-chaet
Superset專門針對技術人員或者懂SQL的人員提供的SQL可視化工具。
最終結論
三個可視化自助分析工具我們都看了一下,帆軟當然是做的最好,體驗最好,但它不是開源產品,要收費。
由于它不是開源的,沒有源碼,我們很難做集成。我們希望把制作看板的界面直接可以開放給產品、運營使用,直接在數據中臺操作,帆軟是沒辦法集成過來的。
對于supset來說,還是偏技術一點,至少是懂sql的人才能用。開放給數據分析師來用是沒有任何問題的,但是開放給運營使用,還是太難用。
達芬奇屬于折中的選擇,看板的制作、看板的管理功能能夠直接開放出去給運營、產品人員來用。
另外因為達芬奇是開源的可以直接集成到數據中臺,但是唯一不足就是功能太簡陋比如我們在查找指標時,顯示的是一個分頁的列表,當我們指標少的時候還好,當指標有很多,很難快速找到我們想要的指標。
對比下來最后我們還是決定先用開源的達芬奇來做自助分析平臺的底層開發框架,但是我們需要做一些定制的開發:
- 指標可以分模塊,分類,可以支持簡單的快速搜索指標。這樣產品和開發同事就可以快速找到他想要的指標。這是需要改源碼的,可以交個前端開發搞定;
- 移動端也要有我的看板功能。達芬奇制作的看板是可以自適應屏幕顯示,它支持H5,每個看板都會生成一個地址。我們需要做的就是保存每個用戶建立看板的地址,然后再讓前端開發加載這個地址。這樣就很輕松完成了我的看板功能。
數據中臺的自助分析平臺是越早引入越好,因為它能解決你70%-80%的看板需求,看板的設計思想更加人性化。
傳統的一個指標一個界面的功能無法滿足所有的人,我的看板看板功能只要你引導產品和運營學會這種方式配置看板,他們看到的數據都是他們自己關心的數據。
#推薦閱讀#
《數據中臺實戰(一):以B2B點電商為例談談產品經理下的數據埋點》
《數據中臺實戰(二):基于阿里OneData的數據指標管理體系》
作者:Wilton(董超華),曾任職科大訊飛,現任富力環球商品貿易港大數據產品經理。微信公眾號:改變世界的產品經理。簡單、簡短、有用,堅持原創、堅持做感動你的好文章。
本文由@華仔 原創發布于人人都是產品經理,未經許可,禁止轉載。
題圖來自Unsplash, 基于CC0協議。
達芬奇有一個讓我們對于技術方向無法忍受的一個問題,前端由Angelar框架寫得,這是我在部署過程中整理的https://github.com/andotorg/davinci-boot
謝謝分享,“來源組件” -> “開源組件”?
Redash的開原方案也不錯
看完樓主的系列文章,越發堅定了我的看法:目前市面上的數據產品經理,在產品經理這個層面,還差的很多
Quick BI 呢?
可以嘗試下metabase
達芬奇我怎么搜不到這個
為什么沒有考慮神策這些平臺的,單點登錄也可以集成到自己的中臺,也是價格原因嗎?還是數據安全考慮?
早兩年看到這篇文章就好了。。我當初選擇了全部功能自己實現,而且當初沒有參考這些競品 ?
難道不應該是tableau么
tableau沒研究過 ??
自定義BI組件
是的
帆軟體驗最好… ?? 競品選的太局限了
帆軟要錢啊,培訓成本比較高 ??
我的意思是競品是不是應該選點好的,帆軟實在算不上體驗好的呀 ?
樓上提的tableau,個人覺得功能強大,體驗一般
國內的競品都不咋地,可以看看國外的,Salesforce Analytics,DOMO,PowerBI等等