2013年大數(shù)據(jù)市場(chǎng)應(yīng)用與趨勢(shì)調(diào)研

0 評(píng)論 4002 瀏覽 0 收藏 17 分鐘

即將逝去的2013年,被認(rèn)為是具有跨時(shí)代意義的“大數(shù)據(jù)元年”。在這一年,數(shù)據(jù)比以往任何時(shí)候都要寶貴,甚至成為可以與石油資源相媲美的新能源,大數(shù)據(jù)被認(rèn)為是繼信息化和互聯(lián)網(wǎng)后整個(gè)信息革命的又一次高峰。然而,大數(shù)據(jù)不是口號(hào),需要更多的企業(yè)付諸實(shí)踐,從單調(diào)的數(shù)據(jù)中挖掘出潛在價(jià)值。

年初的一項(xiàng)調(diào)查曾指出,28%的全球企業(yè)和25%的中國企業(yè)已經(jīng)開始進(jìn)行大數(shù)據(jù)實(shí)踐。為了進(jìn)一步了解中國企業(yè)大數(shù)據(jù)應(yīng)用的真實(shí)情況,IT168近期聯(lián)合ITPUB、ChinaUnix展開了一項(xiàng)有關(guān)大數(shù)據(jù)應(yīng)用與趨勢(shì)的專項(xiàng)調(diào)查,揭示大數(shù)據(jù)給企業(yè)帶來的挑戰(zhàn)及其解決之道。

此次調(diào)查于2013年9月30日正式啟動(dòng),歷時(shí)一個(gè)半月,通過線上線下兩種途徑回收問卷500余份,人群覆蓋數(shù)據(jù)架構(gòu)師、數(shù)據(jù)庫管理和運(yùn)維工程師、數(shù)據(jù)庫開發(fā)工程師、數(shù)據(jù)分析師、研發(fā)總監(jiān)和IT經(jīng)理等技術(shù)人員。

2013年大數(shù)據(jù)市場(chǎng)應(yīng)用與趨勢(shì)調(diào)研報(bào)告

調(diào)查主要結(jié)論:

1. 每月新增數(shù)據(jù)規(guī)模在500G以上的企業(yè)由2012年的16.67%,增長到18.11%。雖然擁有大數(shù)據(jù)的企業(yè)比例有所上升,但與預(yù)測(cè)中數(shù)據(jù)增長速度還有很大差距。

2. 選用國產(chǎn)大數(shù)據(jù)產(chǎn)品的企業(yè)僅占5.61%,國產(chǎn)廠商若抓住大數(shù)據(jù)和信息安全的重大機(jī)遇,將迎來成長的春天。

3. 企業(yè)認(rèn)為大數(shù)據(jù)的存儲(chǔ)和處理過程中三個(gè)最大的難點(diǎn)是數(shù)據(jù)安全、系統(tǒng)性能瓶頸和數(shù)據(jù)類型多樣化。

4. 在大數(shù)據(jù)時(shí)代,企業(yè)面臨的最大挑戰(zhàn)是缺乏專業(yè)的大數(shù)據(jù)人才。

5. 針對(duì)非結(jié)構(gòu)化數(shù)據(jù),企業(yè)目前最迫切需要解決的是如何對(duì)這些數(shù)據(jù)進(jìn)行分析。

6. 當(dāng)前已經(jīng)部署大數(shù)據(jù)的企業(yè)達(dá)到21.89%,計(jì)劃1年內(nèi)部署的占27.92%,2014年將是大數(shù)據(jù)部署的高峰期。

7. 企業(yè)在大數(shù)據(jù)選型的過程中最先考慮的三個(gè)因素是產(chǎn)品的性能、服務(wù)與支持水平和與其他應(yīng)用的兼容性。

8. 大多數(shù)企業(yè)選擇大數(shù)據(jù)產(chǎn)品或解決方案的類型是大數(shù)據(jù)分析軟件。

9. 被調(diào)查者最關(guān)注的大數(shù)據(jù)技術(shù),排在前五位的分別是大數(shù)據(jù)分析、云數(shù)據(jù)庫、Hadoop、內(nèi)存數(shù)據(jù)庫,以及數(shù)據(jù)安全。

10.?被調(diào)查者認(rèn)為在大數(shù)據(jù)分析中最重要的三個(gè)功能,分別是實(shí)時(shí)分析、豐富的挖掘模型和可視化界面。

一、企業(yè)大數(shù)據(jù)應(yīng)用現(xiàn)狀

如何定義大數(shù)據(jù)?這是一個(gè)仁者見仁、智者見智的問題。主流的有“3V”模型,即數(shù)量(Volume)、速度(Velocity)和種類(Variety);還有Gartner的定義,即大數(shù)據(jù)是超出了常用硬件環(huán)境和軟件工具在可接受的時(shí)間內(nèi)為其用戶收集、管理和處理數(shù)據(jù)的能力。

龐大的數(shù)據(jù)量無疑是大數(shù)據(jù)最明顯的一個(gè)特征。有預(yù)測(cè)稱,全球信息量正以每年59%的速度增長。企業(yè)的數(shù)據(jù)規(guī)模是否達(dá)到難以承受的程度?在去年的調(diào)查中我們就曾對(duì)企業(yè)每月新增數(shù)據(jù)規(guī)模進(jìn)行摸底,結(jié)果顯示企業(yè)的數(shù)據(jù)規(guī)模不斷增大,但還未達(dá)到企業(yè)無法掌控的程度,每月新增數(shù)據(jù)規(guī)模在500G以上的企業(yè)占到16.67%。

2013年大數(shù)據(jù)市場(chǎng)應(yīng)用與趨勢(shì)調(diào)研報(bào)告
▲企業(yè)每月新增數(shù)據(jù)規(guī)模調(diào)查

今年的情況又是如何呢?從上圖可以看出,被調(diào)查者所在企業(yè)每月新增數(shù)據(jù)規(guī)模在10G以下的占到26.79%,11-100G的占到41.89%,101-500G的占到13.21%,500G以上的達(dá)到18.11%。

對(duì)比去年的結(jié)果可以看出,企業(yè)每月新增數(shù)據(jù)規(guī)模在500G以上的由2012年的16.67%,增長到2013年的18.11%,同比增長8.64%。擁有大數(shù)據(jù)的企業(yè)比例有所上升,但與預(yù)測(cè)中數(shù)據(jù)增長速度(59%)還有很大差距。

企業(yè)大數(shù)據(jù)應(yīng)用現(xiàn)狀
▲企業(yè)選用大數(shù)據(jù)廠商調(diào)查

企業(yè)更青睞哪家大數(shù)據(jù)廠商?或許從現(xiàn)有產(chǎn)品的部署情況可以看出端倪。從上圖可以看出,排在前六位的的廠商分別是IBM(18.74%)、Oracle(18.33%)、SAP(11.35%)、Microsoft(9.71%)、SAS(7.52%)和NetApp(7.52%)。

與2012年的調(diào)查數(shù)據(jù)相比,Oracle從27.93%下降到18.33%,一家獨(dú)大的狀況終止,取而代之的是遍地開花,各個(gè)廠商所占份額相對(duì)平均。前三位中IBM和SAP份額增長最為迅猛,分別由15.99%和7.66%增長到現(xiàn)在的18.74%和11.35%。

在今年的調(diào)查中,新增了國產(chǎn)廠商的選項(xiàng)。相比國外的幾家IT巨頭,國產(chǎn)廠商的占有率僅為5.61%。今年震驚一時(shí)的“棱鏡門”事件給企業(yè)信息安全敲響了警鐘,也給國產(chǎn)廠商帶來巨大的機(jī)遇和挑戰(zhàn)。大數(shù)據(jù)和信息安全領(lǐng)域的需求激增,國產(chǎn)廠商將迎來成長的春天。

二、企業(yè)大數(shù)據(jù)痛點(diǎn)分析

多年前,企業(yè)關(guān)注信息化和互聯(lián)網(wǎng)化,近幾年關(guān)注更多的是云計(jì)算、移動(dòng)化和社交化。無論哪種技術(shù)趨勢(shì),都給企業(yè)的數(shù)據(jù)處理和分析帶來不少難題。數(shù)據(jù)量的激增、數(shù)據(jù)多樣性和復(fù)雜性、數(shù)據(jù)安全的問題,都成為企業(yè)面臨的挑戰(zhàn)。為了進(jìn)一步了解企業(yè)的真實(shí)需求,此次調(diào)查針對(duì)大數(shù)據(jù)時(shí)代的企業(yè)痛點(diǎn)進(jìn)行分析。

企業(yè)大數(shù)據(jù)痛點(diǎn)分析
▲企業(yè)大數(shù)據(jù)的存儲(chǔ)和處理難點(diǎn)調(diào)查

從上圖來看,企業(yè)在大數(shù)據(jù)存儲(chǔ)和處理上的難點(diǎn)分布比較均勻,所占比例最高的為數(shù)據(jù)安全(18.98%),排在第二的是系統(tǒng)性能瓶頸(18.42%),第三位的是數(shù)據(jù)類型多樣化(18.01%)。其他還有數(shù)據(jù)分析效率低(15.24%)、數(shù)據(jù)讀寫瓶頸(14.96%)和存儲(chǔ)壓力(14.40%)。

選項(xiàng)之間的差距非常小,也說明這六項(xiàng)都被認(rèn)為是企業(yè)數(shù)據(jù)存儲(chǔ)和處理的難點(diǎn),其中數(shù)據(jù)安全是企業(yè)最關(guān)注的問題。在大數(shù)據(jù)環(huán)境下,很多企業(yè)正在重新思考信息安全策略,保護(hù)數(shù)據(jù)資源不被侵犯。

企業(yè)大數(shù)據(jù)痛點(diǎn)分析
▲企業(yè)在大數(shù)據(jù)時(shí)代面臨的挑戰(zhàn)

在大數(shù)據(jù)時(shí)代,企業(yè)面臨的挑戰(zhàn)可以從上圖中看出一些端倪。缺乏專業(yè)的大數(shù)據(jù)人才(26.99%)成為企業(yè)面臨的最大挑戰(zhàn),其次是非結(jié)構(gòu)化數(shù)據(jù)的分析和處理(26.65%)、傳統(tǒng)技術(shù)難以處理大數(shù)據(jù)(25.27%)以及新技術(shù)門檻過高(21.13%)。

大數(shù)據(jù)相關(guān)人才的欠缺將會(huì)成為影響大數(shù)據(jù)市場(chǎng)發(fā)展的一個(gè)重要因素。據(jù)Gartner預(yù)測(cè),到2015年,全球?qū)⑿略?40萬個(gè)與大數(shù)據(jù)相關(guān)的工作崗位,且會(huì)有25%的組織設(shè)立首席數(shù)據(jù)官職位。大數(shù)據(jù)的相關(guān)職位需要的是復(fù)合型人才,能夠?qū)?shù)學(xué)、統(tǒng)計(jì)學(xué)、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和自然語言處理等多方面知識(shí)綜合掌控。未來,大數(shù)據(jù)將會(huì)出現(xiàn)約100萬的人才缺口,需要社會(huì)、高校和企業(yè)共同努力去培養(yǎng)和挖掘。

企業(yè)大數(shù)據(jù)痛點(diǎn)分析
▲企業(yè)針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的挑戰(zhàn)

面對(duì)文本、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù),企業(yè)并不擅長處理。從上圖的調(diào)查結(jié)果可以看出,企業(yè)目前最迫切需要解決的是如何對(duì)這些數(shù)據(jù)進(jìn)行分析,所占比例達(dá)到38.96%。其次是與其他數(shù)據(jù)源進(jìn)行集成(32.50%)、如何保存這些數(shù)據(jù)(14.72%),以及數(shù)據(jù)安全問題(13.82%)。

《駕馭大數(shù)據(jù)》一書曾寫到,數(shù)據(jù)的核心是發(fā)現(xiàn)價(jià)值,而駕馭數(shù)據(jù)的核心是分析。分析是大數(shù)據(jù)最關(guān)鍵的環(huán)節(jié),尤其對(duì)于傳統(tǒng)方式難以應(yīng)對(duì)的非結(jié)構(gòu)化數(shù)據(jù),人們最先想到是把它們轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù),然后再處理和分析。

與企業(yè)對(duì)結(jié)構(gòu)化數(shù)據(jù)安全性的關(guān)注不同,非結(jié)構(gòu)化數(shù)據(jù)的安全問題在企業(yè)中缺乏應(yīng)有的重視。但據(jù)統(tǒng)計(jì),高達(dá)80%的商業(yè)數(shù)據(jù)均以非結(jié)構(gòu)化的形式保存。非結(jié)構(gòu)化數(shù)據(jù)的安全問題也迫在眉睫,企業(yè)需要提前做好預(yù)警和規(guī)劃。

三、企業(yè)大數(shù)據(jù)選型規(guī)劃

毋庸置疑,大數(shù)據(jù)是2013年最熱門的話題。熱鬧之余,我們還應(yīng)該冷靜的思考一下,企業(yè)是否需要部署大數(shù)據(jù)、需要部署哪種類型的大數(shù)據(jù),以及如何選擇適合的解決方案,需要做一個(gè)有針對(duì)性的選型規(guī)劃。

根據(jù)今年的一項(xiàng)調(diào)查顯示,全球企業(yè)軟件支出近300億美元,相比2012年增長6.4%,預(yù)計(jì)2014年企業(yè)支出將向大數(shù)據(jù)傾斜,尤其在企業(yè)內(nèi)容管理、數(shù)據(jù)集成和數(shù)據(jù)質(zhì)量工具三個(gè)方面。

企業(yè)大數(shù)據(jù)選型規(guī)劃
▲部署大數(shù)據(jù)應(yīng)用規(guī)劃調(diào)查

從國內(nèi)企業(yè)大數(shù)據(jù)應(yīng)用的現(xiàn)狀和規(guī)劃來看,情況有什么不同呢?通過上圖可以看出,目前已經(jīng)部署大數(shù)據(jù)應(yīng)用的企業(yè)所占比例達(dá)到21.89%,計(jì)劃1年內(nèi)部署的企業(yè)占27.92%,計(jì)劃2年內(nèi)部署的企業(yè)占14.34%,沒有相關(guān)計(jì)劃和不確定的企業(yè)分別占11.32%和24.53%。

大數(shù)據(jù)時(shí)代,企業(yè)已經(jīng)逐漸意識(shí)到數(shù)據(jù)的重要性,也慢慢開始接受從傳統(tǒng)數(shù)據(jù)庫到大數(shù)據(jù)分析的轉(zhuǎn)變。但是大數(shù)據(jù)最大的難點(diǎn)就是落地,需要與業(yè)務(wù)需求相結(jié)合,選擇一套合適的大數(shù)據(jù)解決方案。

企業(yè)大數(shù)據(jù)選型規(guī)劃
▲大數(shù)據(jù)選型影響因素調(diào)查

從上圖可以看出,企業(yè)在大數(shù)據(jù)選型的過程中最先考慮的三個(gè)因素是產(chǎn)品的性能(19.79%)、服務(wù)與支持(15.20%)和兼容不同應(yīng)用(13.94%)。其次是產(chǎn)品的價(jià)格(13.16%)、產(chǎn)品的易用性(12.18%)、支持移動(dòng)化(11.11%)、所屬廠商及品牌(7.80%),以及是否開源(6.82%)。

產(chǎn)品的性能排在第一位是毋庸置疑的。排名在產(chǎn)品價(jià)格前面的服務(wù)與支持,卻似乎印證了IT廠商向服務(wù)提供商轉(zhuǎn)型道路的正確性。另外,隨著移動(dòng)化的不斷深入,支持移動(dòng)版的大數(shù)據(jù)解決方案,將成為未來趨勢(shì)。

企業(yè)大數(shù)據(jù)選型規(guī)劃
▲大數(shù)據(jù)產(chǎn)品或解決方案類型調(diào)查

除了產(chǎn)品選型時(shí)考慮的因素,企業(yè)選擇什么類型的大數(shù)據(jù)產(chǎn)品或解決方案更適合自己呢?從上圖可以看出,選擇大數(shù)據(jù)分析軟件的企業(yè)占32.05%、選擇大數(shù)據(jù)整體解決方案的占28.96%,選擇基礎(chǔ)架構(gòu)產(chǎn)品的占28.38%,最少選擇的是大數(shù)據(jù)一體機(jī),所占比例達(dá)到10.62%。

除了前文所述的大數(shù)據(jù)分析的重要性之外,我們還可以看到大數(shù)據(jù)一體機(jī)沒有想象中那么受歡迎。據(jù)業(yè)內(nèi)人士透露,大數(shù)據(jù)一體機(jī)往往針對(duì)某一業(yè)務(wù)流程設(shè)計(jì),缺乏普適性,且價(jià)格昂貴,不是一般企業(yè)能夠接受的。所以目前的大數(shù)據(jù)一體機(jī)往往針對(duì)成熟的業(yè)務(wù)流程,能極大的簡化部署和維護(hù)工作。

四、企業(yè)大數(shù)據(jù)應(yīng)用趨勢(shì)

在很長的一段時(shí)間中,只要一提到大數(shù)據(jù),人們的腦海中總會(huì)浮現(xiàn)出Hadoop,它幾乎成為大數(shù)據(jù)的代名詞。但其實(shí)大數(shù)據(jù)的技術(shù)領(lǐng)域很廣,涉及數(shù)據(jù)獲取、整合、治理、分析、探索、汲取智慧的方方面面。

企業(yè)大數(shù)據(jù)應(yīng)用趨勢(shì)
▲大數(shù)據(jù)技術(shù)趨勢(shì)調(diào)查

從上圖可以看出,被調(diào)查者最關(guān)注的大數(shù)據(jù)技術(shù)中,排在前五位的分別是大數(shù)據(jù)分析(12.91%)、云數(shù)據(jù)庫(11.82%)、Hadoop(11.73%)、內(nèi)存數(shù)據(jù)庫(11.64%),以及數(shù)據(jù)安全(9.21%)。其次是NoSQL(8.21%)、數(shù)據(jù)倉庫(8.21%)、數(shù)據(jù)集成(7.94%)、商業(yè)智能(7.13%)、列式數(shù)據(jù)庫(5.96%)、大數(shù)據(jù)(數(shù)據(jù)庫)一體機(jī)(3.52%),以及NewSQL(1.71%)。

令人欣慰的是,Hadoop已不再是人們心目中僅有的大數(shù)據(jù)技術(shù),而大數(shù)據(jù)分析成為最被關(guān)注的技術(shù)。從中可以看出,人們對(duì)大數(shù)據(jù)的了解已經(jīng)逐漸深入,關(guān)注的技術(shù)點(diǎn)也越來越多。

企業(yè)大數(shù)據(jù)應(yīng)用趨勢(shì)
▲大數(shù)據(jù)分析功能調(diào)查

既然大數(shù)據(jù)分析是最被關(guān)注的技術(shù)趨勢(shì),那么大數(shù)據(jù)分析中的哪項(xiàng)功能是最重要的呢?從上圖可以看出,排在前三位的功能分別是實(shí)時(shí)分析(21.32%)、豐富的挖掘模型(17.97%)和可視化界面(15.91%)。其次是預(yù)測(cè)分析(13.10%)、社交數(shù)據(jù)分析(12.12%)、云端服務(wù)(11.69%),以及移動(dòng)BI(7.90%)。

2012年也曾做過類似的調(diào)查,當(dāng)時(shí)選擇豐富的挖掘模型(27.22%)比實(shí)時(shí)分析(19.88%)多7.34%。短短一年時(shí)間內(nèi),企業(yè)對(duì)實(shí)時(shí)分析的需求激增,成就了很多以實(shí)時(shí)分析為創(chuàng)新技術(shù)的大數(shù)據(jù)廠商。

總結(jié)

本調(diào)查針對(duì)2013年大數(shù)據(jù)應(yīng)用現(xiàn)狀和趨勢(shì)展開,從調(diào)查結(jié)果可以看出,企業(yè)在未來一兩年中有迫切部署大數(shù)據(jù)的需求,并且已經(jīng)從一開始的基礎(chǔ)設(shè)施建設(shè),逐漸發(fā)展為對(duì)大數(shù)據(jù)分析和整體大數(shù)據(jù)解決方案的需求。與此同時(shí),大數(shù)據(jù)還面臨人才的缺乏的挑戰(zhàn),需要企業(yè)和高校聯(lián)合起來,培養(yǎng)數(shù)據(jù)領(lǐng)域的復(fù)合型人才,幫助企業(yè)打贏這場(chǎng)“數(shù)據(jù)戰(zhàn)”。

文章來源:199IT

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒評(píng)論,等你發(fā)揮!