中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

文章分享了一個簡單的數據分析平臺搭建教程，希望能夠對你帶來些幫助。

今天教大家如何搭建一套數據分析平臺。

它可能是最簡單的搭建教程，有一點Python基礎都能完成。比起動輒研發數月的成熟系統，借助開源工具，整個時間能壓縮在一小時內完成。

優秀的數據分析平臺，首先要滿足數據查詢、統計、多維分析、數據報表等功能?？上Ш芏喾治鰩?，工作的第一年，都是埋葬在SQL語句中，以SQL+Excel的形式完成工作，卻用不上高效率的工具。

說Excel也很好用的同學，請先回避一下。

另外一方面，以互聯網為代表的公司越來越重視數據，數據獲取不再是難點，難點是怎樣敏捷分析獲得洞察。

市面上已經有不少公司推出企業級的分析平臺和BI，可惜它們都是收費的。我相信不少讀者聽說過，但一直沒有機會體驗，或者老板們囊中羞澀?，F在，完完全全能免費建立一套BI系統，即可以單機版用以分析，也能私有化部署到服務器，成為自家公司的分析工具。

這一切，只需要一小時。

Superset

Superset是一款輕量級的BI工具，由Airbnb的數據部門開源。整個項目基于Python框架，不是Python我也不會推薦了，它集成了Flask、D3、Pandas、SqlAlchemy等。

這是官網的案例（本來是動圖的，可惜壓縮后也超過微信圖片大小限制，吐槽下），想必設計界面已經能秒殺一批市面上的產品了，很多BI真的是濃烈的中國式報表風……因為它的前端基于D3，所以絕大部分的可視化圖表都支持，甚至更強大。

Superset本身集成了數據查詢功能，查詢對分析師那是常有的事。它支持各類主流數據庫，包括MySQL、PostgresSQL、Oracle、Impala、SparkSQL等，深度支持Druid。

后臺支持權限分配管理，針對數據源分配賬戶。所以它在部署服務器后，分析師們可以通過它查詢數據，也能通過數據建立Dashboard報表。

介紹了這么多，想必大家已經想要安裝了吧。

安裝

Superset同時支持Python2和Python3， 我這里以Python3作為演示。它支持pip形式的下載，不過我不建議直接安裝，因為Superset的依賴包較多，如果直接安裝，很容易和現有的模塊產生沖突。

這里需要先搭建Python的虛擬環境。虛擬環境可以幫助我們在單機上建立多個版本的Python。簡而言之，即可以Python2和Python3共存，也能Python3.3、3.4、3.5共濟一堂，彼此間互相獨立。

虛擬環境的安裝方式很多，pyenv和virtualenv等。這里用Anaconda自帶的conda工具。打開電腦終端/cmd，輸入以下命令。

conda create -n superset python=3.4

conda create是創建虛擬環境的命令。-n是環境的命名參數，在這里，我們創建了名為superset的環境，它安裝在Anaconda的envs目錄下。python版本為3.4(superset暫時不支持3.6)。

該命令只會安裝基礎包，如果需要額外安裝其他包，在命令行后加上想要的包名字即可，如python=3.4 numpy pandas。

安裝很迅速，完成后，我們的Python環境還是默認版本，現在需要激活虛擬環境。

source activate superset

source activate是激活命令，superset為想要激活的虛擬環境名。windows和mac的命令不一樣，win只要activate superset 。如果要退出，則是source deactivate或者deactivate。

激活成功后，命令行前面會多出一個前綴(superset)，表明切換到了新的虛擬環境。接下來安裝superset。

pip install superset

pip會自動安裝所有的依賴，速度可能有點慢，建議更改pip源。

命令行后加上 -i?https://pypi.douban.com/simple?，我這里用了豆瓣的鏡像源，速度嗖嗖的。

如果安裝過程中報錯，是部分程序缺失，像系統比較老舊的win用戶，需要安裝新版的visual c++，網上搜索教程即可。在官網的教程中，還要求pip install cryptography==1.7.2，我沒有安裝也沒有影響，供大家參考。其他報錯，都可以通過搜索解決。

安裝成功后，需要進行初始化配置，也是在命令行輸入。

fabmanager create-admin –app superset

首先用命令行創建一個admin管理員賬戶，也是后續的登陸賬號。會依次提示輸入賬戶名，賬戶使用者的first name、last name、郵箱、以及確認密碼。fabmanager是flask的權限管理命令，如果大家忘了密碼，也能重新設立。

superset db upgrade

初始化數據源。

superset load_examples

載入案例數據，這里的案例數據是世界衛生組織的數據，也是上文演示的各類可視化圖表，大家登陸后能夠直接看到。下載速度還行。

superset init

初始化默認的用戶角色和權限。

superset?runserver

最后一步驟，啟動Superset服務。因為我們是本地環境，所以在瀏覽器輸入?http://localhost:8088?即可。在runserver后面添加 -p XXXX 可更改為其他端口。

進入登陸界面，輸入登陸密碼，大功告成。

使用

先別急著使用，因為Superset是英文，我們先把它漢化了。Superset自身支持語言切換。

進入到Superset所在目錄文件，按我之前的步驟，應該在anaconda/envs/superset/lib/python3.4/site-packages/superset中，路徑視各位情況可能有差異。

在目錄下有一個叫config.py的文件，打開它，找到Setup default language這一行，修改變量。

BABEL_DEFAULT_LOCALE調整為zh，這樣界面默認為中文。languages字典中zh前面的注釋#去掉。保存后退出。

接下來還是在Superset的目錄下新創建文件夾，按translations/zh/LC_MESSAGES的路徑依次創建三個。Superset官網提供了漢化包，在最大的同性交友網站github上下載，目錄為：

https://github.com/apache/incubator-superset/blob/master/superset/translations/zh/LC_MESSAGES/messages.mo

網址路徑有點長，下載后把mo文件放在LC_MESSAGES文件下。清除瀏覽器的緩存，重新登陸localhost。

搞定！

需要注意的是，它并非完全漢化，而是漢化了superset相關的部分。部分文字被寫入在flask app的文件中，漢化起來比較麻煩。

Superset分為多個模塊，安全模塊是賬號管理相關，包括角色列表，視圖權限控制，操作日志等。管理模塊沒什么用，主要是設計元素。

數據源可以訪問和連接數據庫，切片是各類數據可視化，均是單圖；看板即為Dashboard，是切片的集合，Superset提供了三個初始案例，SQL工具箱是數據查詢平臺。

麻雀雖小，五臟俱全，對于大部分中小型的企業，Superset足以應付數據分析工作。

先學習連接數據庫，這里以我電腦中的數據庫為準，如果大家學習過早前的教程，那么數據庫中都應該有數據分析師的練習數據，我這里不重復了，可以看歷史文章。也可用自帶的衛生數據照著練習。

Superset使用了sqlalchemy框架，使用前需要安裝數據庫驅動程序，先退出runserver，進入superset虛擬環境，安裝Python中的MySQL驅動程序。

?pip install pymysql

MySQL的驅動程序很多，除了pymysql，還有mysqlclient等。安裝好后，進入數據源，新建一個database連接。

在SQLAlchemy URL中加入數據庫的地址，格式為:

mysql+pymysql://root:xxxx@localhost:3306/qin?charset=utf8

mysql是數據庫類型，pymysql是驅動程序，表示用pymysql連接mysql數據庫，+號不能省略。

另外，root是數據庫登陸賬號,xxxx為密碼，這個按大家自己設立的來。localhost是數據庫地址，因為我的是本地環境，所以localhost即可，也可以是127.0.0.1。3306是端口，一般默認這個。qin是需要連接的數據庫，也是我自己設的名字。后面帶參數charset=utf8，表示編碼，因為表里面有中文。

其他數據庫的連接大同小異，圖中綠色的連接是相關教程。

如果大家在公司網絡，擁有內網訪問數據庫的權限，也可以嘗試連接，應該是可以的，這樣就能在個人電腦上實行敏捷的BI分析。

格式命名好后，點擊測試，出現seems ok，表示成功訪問。在選項下面還有個Expose in SQL Lab，允許我們在SQL工具箱查詢，要打上勾。

進入到SQL工具箱，左邊選擇table為DataAnalyst。

直接出來了數據庫的數據預覽。連查詢平臺的顏值都那么高。大家的SQL技能應該都很不錯，有興趣可以在這里練習一下，語法和MySQL一致。其他數據庫則是其他數據庫的語法。

執行一段SQL語句，它支持下載為CSV，我沒試過支持最大文件的大小，但作為日常的查詢平臺是綽綽有余了。

選擇Visualize，進入切片繪圖模式。

這里自動匹配支持的圖表選項，包括Bar Chart條形圖，Pir Chart餅圖等。下面的選項是定義維度，我們將city，education，postitionName，salary，workYear都勾選為維度。agg_func是聚合功能，這里將職位ID求和，改成count()，點擊生成圖表。

這里按城市生成了各職位ID求和獲得的條形圖，也就是不同城市的分析師人數。

左邊Chart Options可以調整分析需要的維度。Metrics是分析的度量，這里是count(positionId)，Series是條形圖中的類別，Breakdowns可以認為是分組或者分桶。這里將Series改成workYear，Breakdowns改成city，點擊Query執行。

條形圖變更為按工作年限和城市細分的多維條形圖。點擊Stacked Bars，則切換成堆積柱形圖。操作不難。

左側的選項欄還有其他功能，這里就不多做介紹了，和市面上常見的BI沒有多大區別，琢磨一下也就會了。

Superset支持的圖表很豐富，如果具備開發能力，也能以D3和Flask為基礎做二次開發。Airbnb官方也會不斷加入新的圖表。不同圖表，其左側的操作選項也不同。

\

上圖是以數據分析師職位名稱為基礎繪制的詞云圖，生成的速度會比較慢。我們選擇save保存。完成的圖表均存放在切片下。

Dashboard通過多個切片組合完成，每個切片連接不同的數據源，這是BI的基本邏輯。進入看板界面，新建一個Dashboard。

設置看板相應的配置選項，因為我偷懶了，所以只做了兩個切片，大家有興趣可以繼續增加。其他選項忽略，都是自動生成的。點擊save，到這一步，BI最重要的Dashboard就完成了。

瀏覽一下最終的成果吧。

關于Superset的新手教學結束了，要是部署到公司，賬號和權限多研究下。它和市面上的其他BI沒有太多區別，不過它是我們用Python從零到有一手建立，這個感覺可比用Excel爽不少。雖然我的演示以單機版為主，將其建立在linux服務器上大同小異。

從零開始搭建到現在，排除掉下載花費的時間，大家可以計算是不是真的只用一個小時就搭建好一個數據分析平臺？沒騙你們吧。

通過搭建Superset，數據分析新手對BI應該也有一個大概的了解，市面上的BI大同小異，只是側重點不同。在Superset的基礎上，往底層完成埋點采集和數據ETL，往上拓展報表監控，CRM等，這些也有不少開源軟件可用。至于機器學習，以及Hadoop和Spark更是一個大生態，把這些都算上，則是真正完整的大數據分析平臺了。

Superset也有缺陷，它使用的是ORM框架，雖然它能連接眾多的數據庫，但是它有一個關系映射過程，將SQL數據轉化為Python中的對象，這也造成它在大數據量的處理效率不如專業的BI軟件。在使用SQL工具箱時，應該盡量避免超大表之間的關聯，以及復雜的group by。

我個人的建議是，它只是一款輕量級的BI，復雜的數據關聯，應該在ETL過程中完成，Superset只需要執行最終結果表的讀取即可。它足夠支撐TB級別的數據源讀取。技術比較成熟的團隊，也能嘗試將Superset和Kylin整合，這樣OLAP的能力又能上一個臺階。

另外，Superset中的表都是獨立的，所以多圖表間的復雜聯動并不支持，僅支持過濾，這點比較可惜。不知道Airbnb后續會不會支持。

好消息是，這個開源項目一直在更新，github什么也有很多新的功能特性待開發，比如dashboard上加入tab切換欄等?？梢詓tar一下關注。

如果搭建過程有疑問，歡迎留言。

#專欄作家#

秦路，微信公眾號ID：tracykanc，人人都是產品經理專欄作家。

本文由 @秦路?原創發布于人人都是產品經理。未經許可，禁止轉載。