工業(yè)開(kāi)源實(shí)時(shí)數(shù)據(jù)庫(kù)淺析

0 評(píng)論 2016 瀏覽 1 收藏 7 分鐘

在工業(yè)互聯(lián)網(wǎng)快速發(fā)展的前提下,生產(chǎn)現(xiàn)場(chǎng)投放了大量的設(shè)備,比如監(jiān)控、傳感器等等,這些設(shè)備產(chǎn)生的實(shí)時(shí)數(shù)據(jù)能反映設(shè)備的情況和生產(chǎn)進(jìn)度,而對(duì)這些數(shù)據(jù)的處理和分析,則需要數(shù)據(jù)庫(kù)的支持。

在工業(yè)領(lǐng)域, 生產(chǎn)、測(cè)試、運(yùn)行階段都可能會(huì)產(chǎn)生大量帶有時(shí)間戳的傳感器數(shù)據(jù),這都屬于典型的時(shí)序數(shù)據(jù)。時(shí)序數(shù)據(jù)主要由各類(lèi)型實(shí)時(shí)監(jiān)測(cè)、檢查與分析設(shè)備所采集或產(chǎn)生,涉及制造、電力、化工、工程作業(yè)等多個(gè)行業(yè),具備寫(xiě)多讀少、量非常大等典型特性。

寫(xiě)入吞吐低:?jiǎn)螜C(jī)寫(xiě)入吞吐量低,很難滿足時(shí)序數(shù)據(jù)千萬(wàn)級(jí)的寫(xiě)入壓力存儲(chǔ)成本大:在對(duì)時(shí)序數(shù)據(jù)進(jìn)行壓縮時(shí)性能不佳,需占用大量機(jī)器資源維護(hù)成本高:?jiǎn)螜C(jī)系統(tǒng),需要在上層人工進(jìn)行分庫(kù)分表,維護(hù)成本高查詢性能差:查詢速度慢,尤其是海量實(shí)時(shí)數(shù)據(jù)的聚合分析性能差

一、工業(yè)互聯(lián)網(wǎng)時(shí)序數(shù)據(jù)庫(kù)的需求與痛點(diǎn)

主要問(wèn)題可以匯總?cè)缦拢?/p>

  • 寫(xiě)入吞吐低:?jiǎn)螜C(jī)寫(xiě)入吞吐量低,很難滿足時(shí)序數(shù)據(jù)千萬(wàn)級(jí)的寫(xiě)入壓力;
  • 存儲(chǔ)成本大:在對(duì)時(shí)序數(shù)據(jù)進(jìn)行壓縮時(shí)性能不佳,需占用大量機(jī)器資源;
  • 維護(hù)成本高:?jiǎn)螜C(jī)系統(tǒng),需要在上層人工進(jìn)行分庫(kù)分表,維護(hù)成本高;
  • 查詢性能差:海量實(shí)時(shí)數(shù)據(jù)的聚合分析性能差。

需要支持的特性:

  • 功能穩(wěn)定
  • 高效的數(shù)據(jù)寫(xiě)入
  • 高效的數(shù)據(jù)查詢,包括最新數(shù)據(jù)和歷史數(shù)據(jù)
  • 可云化部署
  • 可私有化部署
  • 線性擴(kuò)展
  • 高可用
  • 便于連接大數(shù)據(jù)平臺(tái)

二、數(shù)據(jù)源需求

從數(shù)據(jù)源角度,設(shè)計(jì)人員可以從下面幾個(gè)角度分析在目標(biāo)應(yīng)用系統(tǒng)里面的適用性。

  • 總體數(shù)據(jù)量巨大
  • 數(shù)據(jù)輸入速度偶爾或者持續(xù)巨大
  • 數(shù)據(jù)源數(shù)目巨大

三、架構(gòu)

隨著時(shí)序數(shù)據(jù)庫(kù)產(chǎn)品的引入,減少了組件數(shù)量,降低架構(gòu)的復(fù)雜度,同時(shí)降低了存儲(chǔ)成本,提升業(yè)務(wù)響應(yīng)實(shí)時(shí)性,降低了人員要求,釋放了業(yè)務(wù)創(chuàng)新能力。

四、收益與價(jià)值

高性能,可以支持百萬(wàn)級(jí)別的并發(fā)寫(xiě)入、萬(wàn)級(jí)的并發(fā)讀取,大量聚合查詢時(shí)依然有高性能表現(xiàn)高可用,可支持集群部署,可橫向擴(kuò)展,不存在單點(diǎn)故障,為生產(chǎn)環(huán)境穩(wěn)定運(yùn)行提供基礎(chǔ)低成本,數(shù)據(jù)庫(kù)對(duì)硬件資源要求低,數(shù)據(jù)壓縮率高,平均至少節(jié)省 70% 的硬件資源充分利用時(shí)序數(shù)據(jù)的特點(diǎn),高度一體化,具備消息隊(duì)列、流式計(jì)算和緩存的功能,大幅簡(jiǎn)化架構(gòu)易上手,使用 SQL 進(jìn)行數(shù)據(jù)庫(kù)操作,簡(jiǎn)單易學(xué),支持復(fù)雜查詢,減少開(kāi)發(fā)難度和運(yùn)維壓力。

五、系統(tǒng)分析

實(shí)時(shí)數(shù)據(jù)庫(kù)是數(shù)據(jù)和事務(wù)都有定時(shí)特性或顯示的定時(shí)限制的數(shù)據(jù)庫(kù)?在結(jié)構(gòu)和功能上是根據(jù)實(shí)時(shí)數(shù)據(jù)庫(kù)的性質(zhì)以及實(shí)時(shí)數(shù)據(jù)在使用方式上的特點(diǎn)而設(shè)計(jì)的?其中一些功能是標(biāo)準(zhǔn)的關(guān)系型數(shù)據(jù)庫(kù)所不具備的。在本系統(tǒng)中根據(jù)實(shí)時(shí)數(shù)據(jù)庫(kù)的結(jié)構(gòu)和功能特點(diǎn)?將實(shí)時(shí)數(shù)據(jù)庫(kù)設(shè)計(jì)分為實(shí)時(shí)數(shù)據(jù)庫(kù)結(jié)構(gòu)設(shè)計(jì)和實(shí)時(shí)數(shù)據(jù)庫(kù)管理程序設(shè)計(jì)兩部分。

六、收益與價(jià)值

  • 高性能,可以支持百萬(wàn)級(jí)別的并發(fā)寫(xiě)入、萬(wàn)級(jí)的并發(fā)讀取,大量聚合查詢時(shí)依然有高性能表現(xiàn)
  • 高可用,可支持集群部署,可橫向擴(kuò)展,不存在單點(diǎn)故障,為生產(chǎn)環(huán)境穩(wěn)定運(yùn)行提供基礎(chǔ)
  • 低成本,數(shù)據(jù)庫(kù)對(duì)硬件資源要求低,數(shù)據(jù)壓縮率高,平均至少節(jié)省 70% 的硬件資源
  • 高度一體化,具備消息隊(duì)列、流式計(jì)算和緩存的功能,大幅簡(jiǎn)化架構(gòu)
  • 易上手,使用 SQL 進(jìn)行數(shù)據(jù)庫(kù)操作,簡(jiǎn)單易學(xué),支持復(fù)雜查詢,減少開(kāi)發(fā)難度和運(yùn)維壓力

七、行業(yè)應(yīng)用

在工業(yè)互聯(lián)網(wǎng)快速發(fā)展的大背景下,工業(yè)生產(chǎn)現(xiàn)場(chǎng)投放了大量的設(shè)備傳感器和監(jiān)控系統(tǒng),二者提供的實(shí)時(shí)數(shù)據(jù)能夠反映設(shè)備的狀態(tài)和生產(chǎn)的進(jìn)度,其中的大多數(shù)據(jù)都是按照時(shí)間順序形成的實(shí)時(shí)數(shù)據(jù),這些海量實(shí)時(shí)數(shù)據(jù)有著多樣化的分析需求和重要的參考價(jià)值。

未來(lái)希望數(shù)據(jù)庫(kù)可以提供更復(fù)雜的流式計(jì)算、查詢分析以及監(jiān)測(cè)預(yù)警等能力,可以為產(chǎn)品的可視化運(yùn)維、預(yù)測(cè)性維護(hù)、遠(yuǎn)程智能管理等方面提供數(shù)據(jù)依據(jù),從而降低人員、時(shí)間等成本,加速工業(yè)化與信息化的深度融合,促進(jìn)復(fù)雜重型裝備制造業(yè)的轉(zhuǎn)型升級(jí),產(chǎn)生社會(huì)經(jīng)濟(jì)效益。

本文由 @Nate 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可,禁止轉(zhuǎn)載

題圖來(lái)自Unsplash,基于CC0協(xié)議

該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒(méi)評(píng)論,等你發(fā)揮!