中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

最近和其他公司的同學對數據平臺的發展題做了一些溝通，發現各自遇到的問題都類似，架構的變遷也有一定的相似性。

以下從 數據&架構&應用的角度對2012.07-2014.12期間大眾點評數據平臺的架構變遷做一個概括性的總結，希望對還處在數據平臺發展初期的同學有一些幫助，歡迎線下溝通。

1.0(2012.07)

1.1 數據：

1. 以支持用戶報表需求為主
2. 初步沉淀出了一些底層模型
3. 模型計算程序以python為主

1.2 架構：

1. 存儲和計算都在GreenPlum
2. GreenPlum采用雙集群熱備，一大一小，部分關鍵報表數據同時在兩個集群存儲、計算。
3. 傳輸：公司的DBA同學將數據從Mysql、SQLServer拉出來，落地成文件。傳輸程序每天凌晨解析落地的文件，然后將數據load到greenplum
4. 調度：使用Quartz框架，依賴關系存放到表中，將依賴檢查做成一個腳本，下游job 調用方法check上游任務是否完成
5. 監控：用戶程序自主判斷異常，郵件、手機報警。

1.3 數據應用：

1. 報表數據以郵件的形式發送給用戶
2. 用戶可以使用自定義sql的web查詢工具主動查詢數據

2.0(2013.04)

2.1 數據：

1. 有了明確的模型分層：

• ODS:存放從原系統采集來的原始數據
• DW:保存經過清洗，轉換和重新組織的歷史數據，數據將保留較長時間,滿足系統最細粒度的查詢需要
• DM: 數據集市?；诓块T或某一特定分析主題需要
• RPT:直接面向用戶的報表

2. 形成了流量、團購、信息三大基礎模型及構建于三大基礎模型之上的數據集市

3. 基于volocity開發了canaan計算框架。

4. 開發了一些自定義的UDF

2.2 架構：

1. 存儲和計算都基于HIVE

2. GREENPLUM作為HIVE的“cache”存在，供用戶做一些小數據的快查詢，報表存儲。

3. 調度：和canaan框架進行整合，支持用戶快速新增任務，并自動導入任務依賴。

4. 主數據：保存了數據倉庫元數據信息，供用戶查詢和系統內部各個模塊交互。

5. ACL：構建了數據倉庫數據訪問權限控制，包括用戶權限申請、審批者審批、數據賦權等。

6. 傳輸：

• 參考阿里DataX的設計，實現了點評的異構數據離線傳輸工具wormhole
• 可視化界面，用戶通過界面操作，方便的將數據導入導出數據
• 和調度、主數據等系統打通

7. 監控：由于任務數量增長較快(2000+)，運維已經是個問題此外，因此，我們花了較大精力做了可視化的工作：

2.3 數據應用

1. 運營工具：用戶自定義SQL，存儲基于HIVE
2. 指標(KPI)：用戶自定義SQL，計算基于HIVE，結果放到GREENPLUM中，用戶可以根據指標通過時間拼接成報表
3. HIVE WEB：非常便捷的HIVE WEB工具，可用性可以甩hive原生的web界面HWI幾條街了

3.0(2013.12)

3.1 數據：

1. 有了明確的上層數據集市，各層數據集市打通，例如團購數據和流量數據打通
2. 形成了用戶集市、商戶集市兩大主題
3. 和算法團隊合作建設推薦系統
4. 提供框架和工具支持，引入外部數據開發者

3.2 架構：

1. 引入mysql、hbase，支持線上服務
2. 數據訪問接口支持：API、Query Engine、RPC Service
3. 引入shark支持臨時查詢，出于穩定性考慮，犧牲性能，shark/spark集群和hadoop/hive集群物理隔離
4. 數據質量：用戶指定以條件，對計算結果做檢查

3.3 數據產品：

支持DashBoard

4.0(2014.12)

4.1 數據：

1. 持續擴充/完善數據模型
2. 數據規范化，主要包括：APP日志、渠道
3. 完善數據開發平臺，其他部門數據開發者100+

4.2 架構：

1. 建設Redis Cluster，支持實時推薦、用戶畫像等服務
2. Hadoop升級到YARN
3. 引入Storm支持實時計算
4. 推出類Kafka的分布式消息系統，結合日志框架，支持日志數據的快速/低成本接入
5. 建設元數據中心

4.3 數據產品：

推出專有數據產品，包括：運營效果評估、流量分析產品等。

來源：IT癮