行業(yè)前沿:互聯(lián)網(wǎng)人必須讀懂的“數(shù)據(jù)智能”
數(shù)據(jù)智能作為移動(dòng)互聯(lián)網(wǎng)時(shí)代的自然產(chǎn)物,也是未來很長一段發(fā)展階段的核心所在。本文主要跟大家闡述數(shù)據(jù)智能的本質(zhì)以及技術(shù)體系要求。
從1956年美國達(dá)特茅斯會(huì)議首次提出“人工智能”的概念,到如今新一輪科技革命和產(chǎn)業(yè)變革方興未艾,大數(shù)據(jù)、云計(jì)算、5G等為公眾所熟知。大數(shù)據(jù)時(shí)代勢(shì)不可擋,尤其在垂直細(xì)分行業(yè)的大數(shù)據(jù)應(yīng)用展現(xiàn)出巨大潛力,大數(shù)據(jù)與各行業(yè)業(yè)務(wù)場景有機(jī)結(jié)合,推動(dòng)細(xì)分行業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型升級(jí),助力社會(huì)治理創(chuàng)新發(fā)展,同時(shí)催生出大批新模式與新業(yè)態(tài)。
中國移動(dòng)互聯(lián)網(wǎng)的發(fā)展見證了中國大數(shù)據(jù)行業(yè)的蓬勃發(fā)展。數(shù)據(jù)智能作為移動(dòng)互聯(lián)網(wǎng)時(shí)代的自然產(chǎn)物,也是未來很長一段發(fā)展階段的核心所在。
本文主要根據(jù)個(gè)推在數(shù)據(jù)智能領(lǐng)域多年的實(shí)踐,來為大家闡述數(shù)據(jù)智能的本質(zhì)以及技術(shù)體系要求,之后還會(huì)跟大家分享關(guān)于數(shù)據(jù)中臺(tái)、數(shù)據(jù)體系建設(shè)的實(shí)質(zhì)、思路和方式等內(nèi)容。希望能用通俗化的語言,能讓各位技術(shù)人員、產(chǎn)品或運(yùn)營對(duì)數(shù)據(jù)智能以及所涉及的技術(shù)體系有一個(gè)比較清晰的了解,為大家的日常工作帶來一些新的啟發(fā)。
1. 大數(shù)據(jù)的發(fā)展歷程
什么是數(shù)據(jù)智能,這個(gè)概念怎么來的呢?
記得從2010年開始,隨著移動(dòng)互聯(lián)網(wǎng)的興起,大數(shù)據(jù)也隨之出現(xiàn)在各個(gè)媒體網(wǎng)站和行業(yè)論壇,大家見面都會(huì)問一句:“你們搞大數(shù)據(jù)了嗎?” 其實(shí)大家都不太清楚大數(shù)據(jù)應(yīng)該怎么搞,哈哈。
對(duì)于大數(shù)據(jù)能做什么,我在2013年左右找到一張我比較認(rèn)可的圖:
我把它稱之為大數(shù)據(jù)成熟度模型。這個(gè)過程實(shí)質(zhì)上我們理解也是數(shù)據(jù)從工具變成為資產(chǎn)的過程,從一個(gè)輔助的東西變成生產(chǎn)資料的過程?,F(xiàn)在在提的數(shù)字經(jīng)濟(jì),很多人試圖對(duì)此進(jìn)行理論定義,以便把數(shù)字經(jīng)濟(jì)和實(shí)體經(jīng)濟(jì)從概念上區(qū)分開來,我的建議是就從數(shù)字是否作為主要生產(chǎn)資料,是否作為核心資產(chǎn)這個(gè)角度去界定,會(huì)比較簡單明了。
從這幾年的實(shí)際發(fā)展來看,大數(shù)據(jù)基本上按照上圖的這個(gè)模型在演進(jìn)發(fā)展。
2013年左右,企業(yè)已經(jīng)開始認(rèn)知到數(shù)據(jù)價(jià)值,各個(gè)具有大數(shù)據(jù)生產(chǎn)環(huán)境的行業(yè)如電信運(yùn)營商、政府、公安、金融等開始建設(shè)大數(shù)據(jù)平臺(tái),收集并存儲(chǔ)企業(yè)業(yè)務(wù)產(chǎn)生的數(shù)據(jù)。同時(shí),金融等行業(yè)也開始大量購買外部數(shù)據(jù),希望通過外部數(shù)據(jù)快速挖掘數(shù)據(jù)的價(jià)值,彌補(bǔ)自身數(shù)據(jù)短缺的問題,不少從事數(shù)據(jù)聚合和相關(guān)服務(wù)公司獲得了發(fā)展機(jī)遇。
2015年,大數(shù)據(jù)進(jìn)入到了監(jiān)測(cè)階段,通過數(shù)據(jù)大屏等形式,實(shí)現(xiàn)對(duì)業(yè)務(wù)的監(jiān)測(cè),這是大數(shù)據(jù)最早、最先成熟的應(yīng)用方向。對(duì)于政府、央企及大型國企而言,數(shù)據(jù)大屏、領(lǐng)導(dǎo)看板等數(shù)據(jù)展現(xiàn)應(yīng)用是大數(shù)據(jù)最直接能夠反映價(jià)值的方式。
2017年,大數(shù)據(jù)平臺(tái)建設(shè)基本完善,單純數(shù)據(jù)展現(xiàn)開始難以滿足企業(yè)的多樣化需求,大數(shù)據(jù)開始與業(yè)務(wù)場景結(jié)合,基于大數(shù)據(jù)實(shí)現(xiàn)對(duì)業(yè)務(wù)問題的洞察,呈現(xiàn)出百花齊放的局面,分別應(yīng)用在金融領(lǐng)域的精準(zhǔn)營銷和風(fēng)控反欺詐,公安領(lǐng)域的刑偵破案,工業(yè)領(lǐng)域的故障預(yù)測(cè)預(yù)警等。
企業(yè)對(duì)業(yè)務(wù)場景的洞察,單純靠簡單的數(shù)理統(tǒng)計(jì)已經(jīng)不足以滿足要求。因此,數(shù)據(jù)挖掘、數(shù)據(jù)建模技術(shù)應(yīng)運(yùn)而生。AI建模平臺(tái)、數(shù)據(jù)科學(xué)平臺(tái)開始進(jìn)入人們的視野,出現(xiàn)了一些主打建模平臺(tái)的創(chuàng)業(yè)公司,但更多公司將AI建模平臺(tái)內(nèi)化成自身的能力,基于AI建模平臺(tái),形成解決方案,幫助企業(yè)客戶落地大數(shù)據(jù)應(yīng)用。
在2019年左右,大數(shù)據(jù)開始進(jìn)入到業(yè)務(wù)決策階段,也就是說,由機(jī)器形成數(shù)據(jù)報(bào)表或者數(shù)據(jù)報(bào)告,業(yè)務(wù)人員進(jìn)行決策,變成機(jī)器直接給出決策建議,讓機(jī)器具備推理能力。例如:在外賣、出行場景,美團(tuán)和滴滴的系統(tǒng)直接形成最佳調(diào)度方式,系統(tǒng)自動(dòng)完成決策環(huán)節(jié),將任務(wù)下發(fā)給騎手和司機(jī)。這種消費(fèi)互聯(lián)網(wǎng)相對(duì)常見的場景,將在產(chǎn)業(yè)互聯(lián)網(wǎng)、企業(yè)業(yè)務(wù)場景中逐漸出現(xiàn)。也就是說,大數(shù)據(jù)開始從業(yè)務(wù)數(shù)字化階段向數(shù)據(jù)智能化階段邁進(jìn)。
2. 數(shù)據(jù)智能的特征和定義
從上節(jié)中的大數(shù)據(jù)發(fā)展歷程中,我們看到數(shù)據(jù)智能目前對(duì)應(yīng)的是決策、優(yōu)化以及商業(yè)重塑階段。也就是說讓機(jī)器具備推理能力,而這些能力意味著自然語言處理(NLP)、知識(shí)圖譜(Knowledge Graph) 等認(rèn)知技術(shù)的逐漸成熟,這也是為何2018年NLP、知識(shí)圖譜成為市場的熱點(diǎn)的原因。
因此,數(shù)據(jù)驅(qū)動(dòng)決策,數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)發(fā)展的企業(yè)新需求,也必然會(huì)帶動(dòng)一批數(shù)據(jù)智能公司的興起。
未來,隨著技術(shù)更加成熟,大數(shù)據(jù)會(huì)從決策進(jìn)入到最后一個(gè)環(huán)節(jié),也就是業(yè)務(wù)重塑。很多執(zhí)行環(huán)節(jié)可以由機(jī)器來實(shí)現(xiàn),但仍然有很多環(huán)節(jié)需要人參與其中。因此,人機(jī)協(xié)同會(huì)迎來迅猛發(fā)展,從人工智能 AI (Artificial Intelligence ) 向人類智力增強(qiáng) IA (Intelligence Augmented) 進(jìn)發(fā)。
至此, 我們?cè)囍o數(shù)據(jù)智能做一個(gè)定義:
數(shù)據(jù)智能就是以數(shù)據(jù)作為生產(chǎn)資料,通過結(jié)合大規(guī)模數(shù)據(jù)處理、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、人機(jī)交互、可視化等多種技術(shù),從大量的數(shù)據(jù)中提煉、發(fā)掘、獲取知識(shí),為人們?cè)谥贫Q策時(shí)提供有效的數(shù)據(jù)智能支持,減少或者消除不確定性。
3. 數(shù)據(jù)智能的技術(shù)體系
數(shù)據(jù)智能首先需要有數(shù)據(jù)提供,而且數(shù)據(jù)在其中充當(dāng)著核心資產(chǎn)和生產(chǎn)資料的角色,那么對(duì)于數(shù)據(jù)的治理就顯得尤為重要。
什么是數(shù)據(jù)治理(Data Governance) 呢?
我們經(jīng)常聽到公司治理這個(gè)詞,公司治理在經(jīng)濟(jì)學(xué)上主要解決幾個(gè)問題:
- 所有權(quán)和經(jīng)營權(quán)如何分離?
- 公司所有者如何向職業(yè)經(jīng)理人進(jìn)行科學(xué)的授權(quán)及監(jiān)督?
那么對(duì)應(yīng)地,數(shù)據(jù)治理也要解決類似的幾個(gè)問題:
- 數(shù)據(jù)(資產(chǎn))有哪些?
- 如何讓數(shù)據(jù)所有權(quán)和使用權(quán)分離?
- 數(shù)據(jù)資產(chǎn)所有者如何向數(shù)據(jù)使用者進(jìn)行科學(xué)的授權(quán)及監(jiān)督?
數(shù)據(jù)智能的所有手段其實(shí)都是在解決上述的幾個(gè)問題。
關(guān)于數(shù)據(jù)治理方面的內(nèi)容我將在之后的文章中詳細(xì)描述。
同時(shí),我們知道窮人和富人之間的差別在于對(duì)待財(cái)富的態(tài)度,富人更多的是從資產(chǎn)增值的角度去對(duì)待財(cái)富,想的是如何創(chuàng)造更多資產(chǎn),并且讓資產(chǎn)不斷增值;窮人更偏向于從消費(fèi)的角度去看待財(cái)富,賺來的錢更多的是用于消費(fèi)。
那么在數(shù)據(jù)智能時(shí)代,如果我們想成為一個(gè)“富人”,就需要考慮如何讓數(shù)據(jù)發(fā)揮更大的價(jià)值,如何找到其他合作者去聯(lián)合創(chuàng)造價(jià)值,但是數(shù)據(jù)不同于別的資產(chǎn),其具有可復(fù)制性、難確權(quán)的性質(zhì),這就需要我們?nèi)ソ鉀Q數(shù)據(jù)安全問題,也就是目前行業(yè)內(nèi)比較關(guān)注的安全計(jì)算技術(shù)。
還有一個(gè)需要我們關(guān)注的點(diǎn)是:大數(shù)據(jù)由于其具備的 4V 特性,特別是量大、種類多,有時(shí)候會(huì)讓我們對(duì)于其聚合或者產(chǎn)生的結(jié)果存疑,雖然有一些可以通過常識(shí)或者直覺去判斷,但是總是有說不出的味道。這就需要有一個(gè)質(zhì)量保證體系來讓我們對(duì)于數(shù)據(jù)從產(chǎn)生到開始的各個(gè)環(huán)節(jié)有一個(gè)完整的檢驗(yàn)過程。
在這里小結(jié)一下,數(shù)據(jù)智能的技術(shù)體系至少需要包含三個(gè)方面:
- 數(shù)據(jù)治理系統(tǒng)
- 數(shù)據(jù)質(zhì)量保證系統(tǒng)
- 數(shù)據(jù)安全計(jì)算體系
結(jié)語
數(shù)據(jù)智能作為大數(shù)據(jù)時(shí)代一個(gè)重要且激動(dòng)人心的階段,機(jī)會(huì)與挑戰(zhàn)并存。
作為本系列開篇文章,本文對(duì)該主題內(nèi)容進(jìn)行了一個(gè)整體概述,后續(xù)會(huì)對(duì)具體內(nèi)容逐步展開,希望對(duì)大家有所幫助。
作者:葉新江,個(gè)推CTO
本文由 @個(gè)推 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自?Unsplash,基于 CC0 協(xié)議
- 目前還沒評(píng)論,等你發(fā)揮!