大數據體系下的政務智能BI建設
強大的BI平臺技術及政務智能BI應用,為政府行政管理和服務提供了新的工具和手段。具體怎么實現?這篇文章里,作者就總結了政務智能BI的建設,一起來看看本文的梳理和拆解。
現代信息技術發展到今天,政務智能BI的應用到政府的行政管理和公眾服務開辟了信息技術的重要應用領域,同時也為政府行政管理和服務提供了新的工具和手段。
政務活動與數據治理技術的結合,一方面擴大了智能BI行業的市場,在新的需求下促進智能BI不斷的往縱深的發展和完善;另一方面,采用強大的BI平臺技術,大數據分析技術,使行政管理和公眾服務增加了新的內容,改變了行政方式,提高了行政效率。
一、BI平臺建設的背景
伴隨著政務信息化的發展,BI也也逐步成為政府辦公的標配,在大數據、數據中臺的生態環境的加成下,政務BI平臺以大數據基礎為支撐,提供了便捷易用的數據可視化操作與靈活高效的多維分析能力。
下面我們先聊一下什么是政務BI,政務BI起源于商業BI,從技術層面來說,都是指使用數據倉庫技術、OLAP在線分析處理技術,數據挖掘和展現技術進行數據的“采,存,管,用”,從而實現政務價值。
簡單來說,政務BI也是一款數據工具,一款可以進行數據分析并輸出分析成果的工具,或者說是一套可以為政府領導實時查看信息,提供決策依據的數據分析解決方案。
如下本人項目的原型圖:
二、政務BI產品架構設計
當得到政務BI平臺建設項目的時候,首位接棒者就是數據產品經理,其要做的工作和常規的產品設計工作類似,首先要進行項目調研,對產品形態有大致的了解,進而梳理產品使用流程,完成功能架構設計,由此確定產品的需求范圍和功能的邊界。
1)產品的使用流程
以用戶為切入點,我們可將用戶分為內容的加工者:使用BI平臺進行數據處理,數據分析與可視化制作的人群(一般是供應商或一線公務員);內容使用者:查閱報表的人群(一般就是領導級別)。
2)產品的框架設計常見的框架設計方式有:
- 按照產品的功能模塊展開設計:如果產品相對獨立,或者對上下游的依賴關系清晰,可選用以產品的功能模塊為切入點,進行產品架構設計。
- 按照產品的業務邏輯展開設計:如果產品與企業多個系統存在依賴關系與數據流轉關系,且系統角色復雜,可通過產品的業務邏輯來進行產品架構設計,在設計前,需要補充各業務模塊的數據流轉邏輯和頁面交互。
三、政務BI產品功能詳解
需求實現的方式有很多,“條條大路通羅馬”,可供選擇的實現邏輯也有很多。一般而言,政務智能BI也可以以下方式實現:
1. 數據的接入
如果要自上而下的講解BI產品架構,首先要說的應該是基礎服務,不過基礎服務功能都是通用的,不管是商業BI,還是政務BI。所以這里從BI平臺使用的主流程開始講:
數據接入,顧名思義就是把源數據,外部數據接入BI平臺,比如可以從Hadoop大數據平臺(可以看做是新一代的數據倉庫系統),政府其他部門的數據中臺等接入。
簡單來說,政務BI平臺也一樣,使用適配的數據源類型有:
- 大數據平臺:企業級數據倉庫,常用Hadoop大數據平臺,如Hive等。
- 關系型數據庫:可以通過JDBC接口實時訪問的的數據庫,如MySQL。
- 文本數據源:文本文件如Excel,CSV。
- API數據源:對外提供標準的API接口。
- 內置數據源:內置的無須用戶添加即可使用的數據,如天氣數據,人口數據,移動應用數據等。
在進行具體的功能設計時,產品需要秉持“增刪改查空異?!钡钠咦终嫜?,這是產品設計最基礎最通用的設計準則。
2. 數據的處理
通過對已接入數據源的數據表進行二次計算等操作,創建新的數據集,以便進行數據的篩選與清洗、數據的標記、轉換等。
數據集,顧名思義就是數據的集合,就是一張張新的數據中間表。為了提高用戶的可視化分析取數的效率,政務BI平臺也會建設一個中間層(分布式數據庫)存儲各類數據集,避免每次數據的調用都需要重新進行底層的取數與計算。
大概可以分為以下3種方式:
1)數據表類:最直接最簡單最常用的數據加工方式,從指定的數據源中選擇想要的獲取的數據表,進行數據的抽取,保存操作即可。
2)SQL類:就是通過編寫SQL語句的方式實現的,基本功能就是為用戶提供SQL語法的編寫能力??梢詫崿F一些高級及有的深度的功能。
3)自助配置類:就是通過用戶界面操作數據集,自助配置類降低了數據的操作門檻,具體實現流程有:
- 數據的過濾:界面可視化進行數據的過濾。
- 分組匯總:比如:需要根據某社區的居民明細表,統計該社區中各樓棟的住戶數,起對應的SQL語句是SELECT COUNT(*) FROM <表名> GROUP BY <樓棟字段>。
- 新增字段:新增字段屬于相對復雜的處理動作,需要引入很多函數來實現多字段的二次計算。
- 多表合并:通過SQL語句進行多表合并,主要是左右合并(JOIN操作)和上下合并(UNION操作)兩類,這也需要有一定的編程基礎,理解JOIN和UNION是實現邏輯。
(這里再補充一下,產品經理是必須要懂一定程度的編程技術的,編程世界的一些原理,概念其實都是來自于現實生活的高度抽象,改變世界的其實一直都是技術而不是產品,哈哈)
3. 可視化分析
前面說BI平臺的內容生產流程時,我們說到從數據源到數據集的生產過程,對應著上文的數據接入與數據處理,而從數據集到圖表,再到儀表板(Dashboard),就是數據可視化應用的過程了。
在日常的工作中,業務分析人員使用BI平臺進行OLAP操作,并將數據分析的內容分發給其他人,就產生了報表或者數據大屏的展現效果。然后,將圖表(組件)抽離出來,作為一個獨立的模塊,在創建儀表板時,業務優先創建圖表,然后再將多個圖表組裝成儀表板,最終就可以形成一份份有價值的數據可視化。具體為:
- 數據加工分析:還應根據實際需要進行一些臨時的數據加工,如新增同比環比,設置維度與設置指標
- 圖表設置:目前基本的圖表類型有卡片、表格、折線圖、柱狀圖、餅圖與漏斗圖等,復雜的圖表類型有熱力圖、樹形圖等等,百度的Apache ECharts 是目前國內應用最廣,能力最全面的開源可視化圖表庫,大家可以參考一下。
- 儀表板設置:包括過濾條件的設置,可實現數據的穿透與交叉分析。圖表聯動的設置,當篩選某個字段時,其他關聯數據可以聯動的切換。
這些常規的操作,我們在設計可視化的時候就要考慮好~~~~~~~~
4. 內容分發
內容分發,顧名思義就是把內容分發給用戶。BI平臺常用的內容分發渠道包括BI報表查看平臺(PC)、移動BI(App)、數據大屏、郵件分發、URL分發與嵌入分發等。
報表數據的權限如何控制?如何實現權限的自動增刪?不同的場景應用下如何拆分問題?
大致可以下方式去解決:
- 用戶:拆分用戶主體下的最小單元,選擇用戶,選擇報表,設置數據權限,從而完成報表分發。
- 報表:拆分報表主體下的最小單元,選擇報表,設置數據權限,選擇用戶,從而完成報表分發。
四、更加靈活的移動政務BI
1. 內容分發的窗口
一把手、二把手可以查看所管轄區域關鍵經濟運行數據,人口數據等;發改委可以查看城市更新數據,舊村改造數據等;教育局可以查看當地的教育資源分配,就業情況等;交通局可以查看城市交通運行情況……這些信息很多時候是需要實時查看的,那就要有實時統計,并展現的載體:
本人推薦三種移動端信息架構形式:列表、網格、輪播(比如帆軟FineReport支持的報表嵌入其他應用等)
2. 數據分析的工具
我們需要結合業務需求對底層數據進行萃取,選取常用的指標與維度抽象成指標庫和維度庫,作為移動BI用戶數據分析的原材料。
1)指標庫-數據萃取
主要包括指標的查看與申請、指標的維護,指標的分組管理、指標的說明等等
2)維度庫-權限的管控
舉例,我們為某市管轄下某區發改委分配“全區工業投資總額”數據時,在為其分配“全區工業投資總額”這個指標的同時,還需要限制維度為“全市”還是“全市下的某區”,以避免數據權限外溢,因此,維度管理是權限管控的最直接手段。
3)數據分析-樂高模式
數據分析的操作流程簡單來說就是選擇有利于數據可視化展示的圖形,選取指標和設置維度3大步驟,具體來說就是將功能拆分成一個個“樂高”部件,用戶可以按照自身的需要組裝成各自的“樂高城堡”,最終達到自己想要的效果。
五、政務智能BI總結
隨著政府與公共部門各級決策者對經濟發展、城市管理、社會民生、治安、交通、教育、衛生等問題的日益重視,迫切需要建設一個涵蓋各業務數據統計等于一體的BI數據分析平臺,方便市政府各級決策者快速掌握相關情況、處理相關事務。
不管是PC端,移動端,還是大屏端,政務智能BI都不僅僅是數據分析的工具,它們輸出的是政府決策輔助的服務能力,是為了讓數據產生更多的行政、施政業務價值。
從傳統的BI到敏捷商業BI,再到如今大數據體系下的政務智能BI,BI平臺與政府業務越來越融合。BI平臺對于數據資源管理的方案優勢,提升了其獲取底層數據的能力,這讓數據對政府業務場景的描述越來越豐滿,政務智能BI具備的更強的處理具體政務業務場景的能力。
本文由 @短劍在閑逛 原創發布于人人都是產品經理,未經許可,禁止轉載
題圖來自 Unsplash,基于 CC0 協議。
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
非常棒
收益匪淺,請問一下,可以分享一下原型界面嗎?
收益匪淺,請問一下,可以分享一下原型界面嗎?