預測技術智能化,機器學習是第一功臣
歷史上,預測的主流分析方法是使用數據挖掘的一系列技術,而這其中被經常使用的是一種被稱為“回歸”的統計技術。但是回歸分析對于歷史數據的無偏差預測的渴求,并不能保證未來預測數據的準確度。而與回歸分析不同,機器學習的預測不追求平均值的準確性,允許偏差,但求減少方差。
趨勢
當下,人工智能已成為科技領域最熱門的技術。機器學習、深度學習、人臉識別、無人駕駛、NLP,各種名詞不絕于耳。
人工智能的應用一方面在不斷改變我們每個人的生活方式,另一方面也在逐漸改變著企業的經營模式、決策方式。越來越多的企業經營者、高級管理人員、決策者都在這場了解人工智能的競賽中感到焦慮,他們意識到:人工智能即將從根本上改變他們的行業。
在這場轟轟烈烈的人工智能浪潮中,我們發現:對于商業企業來說,人工智能并沒有給他們帶來太多所謂的智能,它帶來的是智能的一個關鍵組成部分——AI預測。
預測是:根據事物以往和現今的數據,通過一定的科學方法和邏輯推理,對事物未來發展的趨勢作出預計、推測和判斷,尋求事物的未來發展規律。
預測不僅研究事物的本身,而且還要研究它和環境之間的相互作用、相互影響。預測的過程就是在調查研究或科學試驗的基礎上的分析過程,簡稱為預測分析。預測實際上是一種填補缺失信息的過程。
比如:將非常規的信用卡交易歸類為盜刷,將醫學影像中的腫瘤分類為惡性,或是判斷當前拿著手機的人是否是真正的機主——即運用你現在掌握的信息(通常稱為數據),生成你尚未掌握的信息。
這既包含了對于未來數據的時序預測,也包含了對當前與歷史數據的分析判斷,是更廣義的預測。
在人工智能技術介入前,預測早已隨處可見,小到個人股票投資,大到企業經營決策、國家制訂國民經濟發展規劃,社會的方方面面無不體現著預測的重要性。
而人工智能的飛速發展,將為預測技術提供了更多可行的思路和方案,使得預測的準確度能夠得到有效提升,為各行各業提供超越傳統統計學分析的決策支持能力。
這當中,更為重要的是,AI預測更廉價。
“如果某樣東西的價格下降,那么我們會更多地使用它?!薄@是最簡單的經濟學,如今這種情況正出現在預測領域。
運算的成本變得足夠低,繼而幫助我們快速找到成千上萬種應用方式。預測成本的下降也將影響其他東西的價值——比如:提高互補品(數據、判斷和行動)的價值,以及降低替代品(人類預測)的價值。
智能
那么,預測技術發展到如今,何以稱得上智能呢?
回過頭來看,應該歸功于更好的數據、模型和計算能力,它們促使預測技術飛速發展,從而走上“智能”之路。機器學習便是功臣之一。
歷史上,預測的主流分析方法是使用數據挖掘的一系列技術,而這其中被經常使用的是一種被稱為“回歸”的統計技術。
回歸做的是什么?
它主要是根據過去發生時間的“平均值”來尋找一種預測。
當然,回歸也有很多種實現方式,有簡單的線性回歸,多項式回歸,也有多因素的Logistic回歸,本質上都是一種曲線的擬合,是不同模型的“條件均值”預測。
在機器學習之前,多元回歸分析提供了一種處理多樣條件的有效方法,可以嘗試找到一個預測數據失誤最小化,“擬合優度”最大化的結果。但是,回歸分析中,對于歷史數據的無偏差預測的渴求,并不能保證未來預測數據的準確度,這就是所謂的“過度擬合”。
與回歸分析不同,機器學習的預測不追求平均值的準確性,允許偏差,但求減少方差。
過去,由于數據和計算能力的匱乏,機器學習的表現不如回歸分析來得好。但如今,一切都不一樣了,隨著數據體量的不斷增長,計算能力的不斷提升,使用機器學習和(神經網絡)深度學習來做預測效果比其他所有方法表現得都要更好。這使得我們利用統計學進行預測的方法發生了徹底的轉變。把人工智能與機器學習的最新發展作為傳統統計學的延伸與加強這是非常誘人的想法!
那么,如果僅僅是預測,為什么能稱得上“智能”呢?
這是因為,某些情況下,我們預測的效果已經好到我們可以直接用來做決策,而無需再應用基于規則的邏輯。這其實也在改變著計算機編程的方式。
想象一下,原先復雜的業務場景下,基于“if…then…”以及傳統的統計學方法來實現的代碼邏輯,總是無法覆蓋所有的條件組合。
而近年來,支撐預測方法進步的一種黑科技叫做“深度學習”,它與人類大腦有著類似的工作方式,利用“反向傳播”的方法從數據中不斷訓練、反饋、學習,獲取“知識”。
就預測而言,隨著不斷的訓練、自我學習,預測模型會得到不斷優化,預測準確性也在隨著學習而改進,而越來越高的預測準確性為商業決策提供了可信賴的基礎。
預測支持決策
一個完整的預測支持決策的回路包括下圖所示8個組成部分。
這中間,數據在整個歷史數據輸入、模型訓練、數據預測、決策、執行、結果收集、數據反饋的完整回路中流轉。
數據清洗與特征工程是有效輸入的核心。
實際情況中,由于預測項目開始前對數據的統一管理不夠重視,對歷史數據進行清洗整理會占掉整個預測項目的近一半時間。
數據質量的優劣,其實是預測項目成敗極其重要因素。而有了優質的數據,提取恰當的特征也是預測成功與否的重中之重。足夠豐富的帶特征數據是預測模型得以訓練的基礎。預測是決策的核心輸入。依賴訓練得到的模型與未來有限的確定因素,來為決策提供數據預測支持。
而決策執行的結果又將反饋到訓練模型,優化預測。
小結:
本文主要給大家介紹了:
- AI發展的趨勢。
- AI預測的應用邏輯。
- 何為智能預測。
- “數據——預測——決策——反饋”完整鏈路。
下一篇我們會跟大家聊聊AI預測在零售業銷售場景的應用及效益,敬請關注!
本文由@觀遠數據 原創發布于人人都是產品經理,未經許可,禁止轉載
題圖來自Unsplash, 基于CC0協議
- 目前還沒評論,等你發揮!