對數據分析和數據運營感興趣的童鞋看過來！這篇文章中作者深入淺出的闡釋了搭建一款BI系統的方法，分為BI系統的簡介、BI系統分類、BI系統搭建誤區、BI體系搭建、發展趨勢等多個維度來談，十分詳細，值得一讀。

一、BI系統介紹

1.1 什么是BI系統

BI的英文全拼是Business Intelligence，商業智能，簡稱BI。我們經常能聽到企業說“上BI”、“建設BI系統”、“構建BI決策平臺”等內容。那么BI到底是什么呢？

(1) 最初起源于固定報表

在幾十年前，現代企業還沒BI的時候，就要固定出報表。

(2) 數據倉庫OLAP技術帶來的BI的發展

隨著企業的發展，只看財務、銷售固定報表，已經不能滿足企業需要了，因為問題越來越復雜，局勢越來越多變，固定報表很難看清業務狀況，對決策支持越來越有限，但從幾十張常用報表，到開發幾百、上千張報表，開發量實在太大。于是產生了OLAP這種技術平臺，來快速實現人們對指數級上升的報表需求。

而由于報表都是基于歷史數據，所以沒必要從業務系統直接取數，且過多報表生成要影響業務系統本身，于是數據倉庫應運而生。

(3) 定義

BI就是基于聯機事務處理（OLTP）產生的海量數據，將其從關系數據庫中提取出來，通過聯機分析處理（OLAP）或者數據挖掘等技術得出有價值的信息，為管理者提供決策支持。讓企業通過數據，客觀、有預見性地決策，實現智能的商務運作。（BI是面向業務決策的）

(4) 補充

然而實際情況并非那么理想，無論傳統行業，還是互聯網，都在強調拿數據說話，但看數據，說數據，并不意為著你就“智能”了，OLAP分析不能實現智能、數據挖掘分析也難以實現智能，原因就是商業（業務）的復雜、多變性。這也是我們總是感覺好的BI產品那么少的原因。

1.2 BI系統的分類

(1) 報表式

報表式BI主要是指產品中有各類固定樣式的報表設計，通常用來呈現業務的明細數據和指標匯總，支持的數據量相對不大。中國的報表有著復雜的表頭、類似Excel的格式，國內報表工具帆軟FineReport，對于中國式報表支持較好。

(2) 看板式

看板式BI主要是數據看板、數據大屏、數據駕駛艙等，特點是看板中的數據指標、展示形式基本固定，以可視化圖表為主，看板式BI對數據分析支持較少，并且由于固定指標，所以業務變化后升級看板BI需要一段時間，因此敏捷性較弱。

(3) 平臺式

平臺式BI主要是BI自助分析平臺，特點是業務人員或者業務側數據分析師，通過前端簡單工具就可以自行配置需要的數據報表、數據看板，項目周期短、易于后期維護，隨著數據中臺概念的興起，BI平臺成為潮流，數據和技術部門回歸技術支持的本位——做好底層技術和數據的支撐，由業務人員自行探索數據價值。

(4) 總結

這三類BI產品并無優劣之分，各有其適用場景，我們需要根據業務發展的特點和實際需求去選擇合適的BI產品。

舉例子：看板式比起報表式，雖然使用可視化讓數據更直觀、更生動了，缺失了很多數據細節。

自助式比起看板式靈活了許多，但是有一定的使用門檻（比如可能需要使用SQL）、也會受到業務人員數據素養的高低的限制（比如是否能將業務思維轉化為數據分析思維）。

今天我們講的BI系統主要是報表式和看板式。

二、BI系統搭建的常見誤區

2.1 做了一大堆數據指標：沒有區分出指標的重要性

問題：當你不是從0到1跟一個產品，那么此時你可能沒你們的運營懂產品的各項數據，當你問你們運營問那些指標是比較重要的，因為他們所處的崗位不同，看事情的角度不同，最后你會發現得到一個結果：一大堆的指標，都重要。

解法：

① 可以問人事或者他們的部門負責人要一下部門的績效考核指標，也許這些就是他們最重要的指標。

② 可以和部門的負責人溝通，那些是他比較關注的指標，那就應該從這些指標做起。

2.2 指標做了但沒什么用：區分哪些是虛榮指標

問題：做了很多常見的PV、UV、月活、總用戶數、總商品數等等，但是其實這些都是虛榮指標，因為他無法直接促進交易額的增長。uv、月活再多有什么用，用戶就是不購買。

解法：產品經理需要識別那些是虛榮指標，那些是更有用的指標（指標對于商業目標有直接的作用）。一般能直接促進交易額、類似轉換率這種帶分子、分母的指標都是非虛榮指標。比如：

① 商行業的主路徑的轉化率，訪問-商品列表、商品列表-商品詳情、商品詳情-加購、加購-下單轉化率，這些都是降低流失就能提高交易額的。

② 用戶的次日留存、7日留存率（新用戶7日后是否再次訪問）、30日留存率等，這些能直接反應用戶的質量和運營做的好壞。

③ 商品的動銷率（銷售款數/上架款數），能直接反映這批商品的好壞。

2.3 難以兼顧各類用戶的需求：按主題進行BI看板設置

問題：每個人關注的數據粒度不太一樣，老板關注的和部門領導關注的是有差別的、部門領導關注的和一線的執行人員關注的還是有差別的。

解法：這種情況，不能把看板都做在一起。而是按照主題進行區分。

在主題內，按照一定的數據分析邏輯、數據查看邏輯建立起一定的故事體系，幫助用戶理解主題。

2.4 產品上線后老板對BI感受不深：如何體現出產品價值

問題：需要區分你的BI產品是面向哪類業務人員的，老板感受不深可能他并不是這個BI系統的核心用戶。

解法：BI產品上線后不是就結束項目了，而是要持續地進行產品運營：

① 進行產品埋點，了解用戶的使用情況，好的產品一定能夠獲得業務人員的喜歡。

② 對業務人員進行使用培訓，多和他們溝通，不斷升級迭代，最終打造出一個有生命力的版本。

③ 日常運維一定要做好，保證數據的及時、準確，否則做了再多培訓推廣，產品質量不過關，也會沒有口碑。

三、BI系統體系搭建

3.1 BI系統包含哪些模塊

• 數據采集：內部數據、外部數據· 數據開發ETL：數據處理，數據放入數據倉庫，按照BI需求進行應用層數據開發。
• 數據算法/模型：數據挖掘算法，如預測、歸因……
• 前端應用展示：前端可視化、實時更新、大數據量秒極查詢
• 權限管理：用戶訪問權限管理，一般到頁面、到按鈕。
• 監控：數據異常報警、日常訪問情況統計。

3.2 BI系統搭建的業務調研：保證產品不走偏的前提

(1) 確定我們的業務用戶、產品目標。一般來講有兩種情況：

① 項目有發起方，那么和發起方的領導層去溝通了解發起BI系統項目的背景、要解決什么問題，明確產品大方向。

② 如果是技術部門自己驅動的BI系統項目，則立項階段還需要做好公司內部使用BI現狀（或者數據使用現狀）的調研。

(2) 用戶調研：用戶故事地圖

BI應用是基于業務流程和數據的，IT測試人員僅能夠檢查計算結果是否準確，但無法判斷分析圖表是否符合業務要求，數據結果是否有商業意義等。

用戶故事地圖是一種比較好的需求調研和需求梳理方法，能夠建立起團隊對需求的全局把握，又不失細節。

因為我們今天不是講用戶調研，就不展開了，大家感興趣可以去找一些資料來看。

(3) 決定產品規劃方案、選型

① 產品規劃方案：功能分組、分期（優先級）

② 選型：報表式、看板式、平臺式

3.3 BI系統的設計原則

確定了產品方案和路線圖，接下來就需要進行系統設計，這里分享幾個設計原則：

(1) 簡單易用、數據準確

BI應用是否符合用戶習慣，數據是否準確及時，是BI能否活下來的關鍵。

① 報表式BI：如何將表格中的細節數據更加友好的展示；

② 看板式BI：注重核心指標，指標與指標之間的故事性、分析思維；

③ 平臺式BI：盡可能考慮低代碼支持、可視化操作、所見即所得等，畢竟業務人員會SQL不多；

(2) 可以集成現有系統

能夠適配企業現有數據庫選型，能保證項目在數據采集/數據接入時能夠順利

(3) 考慮多場景支持

① PC和移動兩類使用場景

盡量在架構設計時就考慮未來移動端、PC端兼容的方案，要知道任何BI系統最后都會面臨移動化。

② 統一支持的數據分享方式

需要對數據下載、數據導出等數據分享方式進行統一設計。

(4) 考慮引入算法、模型

不要僅僅把BI當成一款『看數』工具，在產品設計時適當考慮引入算法或者未來引入算法模塊的技術架構，能夠提升產品的定位，有助于發揮更大的價值。

(5) 考慮數據監控、權限

一定要在架構上就考慮數據異常的監控機制和權限管理，否則后期加起來很痛苦。權限上，要注意考慮數據權限的設計（同一頁面不同的崗位看到的數據內容范圍不同，例如華北區域只能看到華北區域的數據，這就是數據權限。）

四、BI系統未來發展趨勢

4.1 分析時刻

分析時刻是Gartner定義的一種數據分析流程，通過對數據進行可視化、探索和應用算法，支持業務成果的交付，從而做出更好或更快的決策，實現業務流程的自動化。隨著數據使用門檻逐步降低，自助式、平臺式BI成為趨勢，數據分析的主動權會逐步轉移到業務人員手中，數據分析直接由遇到業務問題的業務人員發起，業務人員可以使用數據分析工具/平臺完成數據分析內容。

舉例：當一名業務人員想知道某個商品的線上銷售預測，或者為什么購物車中的商品沒有被某些客戶轉化為購買，在過去，這名業務人員必須求助于IT部門的專業數據分析師（提取可能相關的數據，輸出特定分析報告）、數據科學家（建立預測模型），但是試想一下，如果BI系統中建立了常用的預測算法模型、歸因分析工具，可以方便的連接數據集，業務人員自主快速完成分析內容，他通過自助分析很快就知道了這幾個數據結論或者問題原因，從而做出業務上的反饋。

4.2 增強分析

增強分析主要是指以機器學習為基礎的數據分析和BI功能，通過機器學習、人工智能等技術的應用將常見通用的數據分析的場景沉淀為產品功能中，幫助普通用戶在沒有數據科學專家或 IT人員協助的情況下完成數據分析。增強分析的底層理念是“簡單易用”，能夠支撐用戶在沒有專業知識背景下，完成數據的“收集-準備-整合和分析”全過程。

增強分析包含增強數據準備、增強機器學習、增強數據分析這些模塊。這里主要講在數據分析中的應用趨勢。

(1) NLP和NLG的應用

① 自然語言分析，無需寫SQL，通過語言和可視化來分析數據

舉例：ThoughtSpot使用搜索和NLP作為訪問數據的主要界面，用戶可以通過打字或者語音提出問題。

② 對話式數據分析，數據對話機器人

自然語言轉化成 SQL，再將 SQL 結果集轉化成可視化的圖形，形成了”NL2SQL2Graph”的完整鏈路。

舉例：阿里小蜜（入口：淘寶）

③ NLG技術（自然語言生成），將機器分析出的觀點結論以語言形式展現給用戶。

舉例：tableau的explain Data功能，會自動針對所選值提供由 AI 驅動的解釋。此功能會在后臺檢查數百個可能的解釋，并呈現可能性最大的那些解釋。

(2) 自動洞察和自動可視化① 自動洞察( automated insights )

自動洞察是指機器自動地從數據中發現潛在信息和價值：發現數據之間的關聯、發現數據異常、自動進行聚類。

現在大部分的主流 BI 平臺都有自動洞察的相關功能推出。

舉例：微軟的 PowerBI 的Quick Insights 功能能夠自動對于源數據做出各種交叉的一階或者多階計算 ( 百分比，排序，同環比 )，從而挖掘數據內部各種趨勢。

https://www.c-sharpcorner.com/article/quick-insights-and-power-bi/

②自動可視化 ( automated visualization )

根據數據結果自動的選擇可視化的方式進行展示，以清晰的展現數據分析結果。

有2個方向：

• 自動選擇圖表：當查詢出數據集后，機器會根據數據特點，自動生成合適的圖表。圖表自動化現在主流的BI工具都已經支持了，比如tableau，選擇好數據集后第一眼看到的不是數據，而是自動的可視化圖表。
• 自動生成報告：比自動選擇圖表更高一層，自動生成報表布局、配置控件、圖表聯動等。

技術上有2種實現方法：

• 基于規則：預先設置好規則庫，根據規則生成圖表，規則庫的質量是關鍵。
• 基于模型：將問題轉化為分類或者排序問題），數據本身的特征與可視化圖表的特征是關鍵。

4.3 嵌入式分析

將特定的數據分析方法集成到業務系統中。BI系統的頁面可以用于嵌入到其他系統中，這樣對產品未來發展很有好處：

• 能夠擴大BI的適用范圍，也便于未來產品規劃的升級
• 業務人員在產生數據的系統內就能看到數據的分析結果，增加了體驗，并且使用起來流程、體驗都很順

4.4 預測和決策建議

通過大量人工業務分析總結出的業務經驗、再加上AI和機器學習技術的加持，讓機器一次性完成業務分析和行動建議。比如：taobao的生意參謀，會根據數據指標提供對應的營銷工具或學習資料。