AI時代的中層支柱:統(tǒng)計學

1 評論 9309 瀏覽 17 收藏 11 分鐘

本文筆者將通過對統(tǒng)計學和AI的關系進行分析,追溯他們的發(fā)展史,去探究:如何將對統(tǒng)計學如何應用到人工智能領域?

AI 不過是統(tǒng)計學

Thomas J. Sargent :人工智能只是統(tǒng)計學的延伸

2011年諾貝爾經(jīng)濟學獎取得者Thomas J. Sargent在題為“共享全球智慧 引領將來科技”的世界科技創(chuàng)新論壇上表示:

計算機是非常擅長計算,它們可以非??焖俚赝瓿捎嬎闳怂悴涣说臇|西,但最終必須由人來組織和分析這些計算。你可以看一些非常成功的人工智能應用,它不僅是機器在「思考」,也是科學家在思考。像 AlphaGo 的算法看上去是第一次出現(xiàn),但其實有很多非常聰明的數(shù)學,并且是由人設置教學內(nèi)容。人工智能是由機器和人分飾兩角的,非常有趣。

任正非:人工智能就是統(tǒng)計學

華為創(chuàng)始人兼CEO任正非在接受央視《面對面》采訪,當談到人工智能是,任正非表示:

中國沒有人工智能這門課,計算機與統(tǒng)計學,審計學與審計學,你說我們要進入大數(shù)據(jù)時代,大數(shù)據(jù)時代做啥?統(tǒng)計。說明我們國家在數(shù)學上重視不夠,第二個在數(shù)學中的統(tǒng)計學重視不夠。

金榕:統(tǒng)計學是人工智能若干重要基礎之一,但遠不是全部

阿里巴巴達摩院機器智能技術實驗室主任金榕:

除了統(tǒng)計,AI中的“學習”“推理”和“決策”中還使用了代數(shù)、邏輯、最優(yōu)化等許多其他學科知識與方法。此外,有了算法后如何有效實現(xiàn)也非常重要。所以,單純說AI就是統(tǒng)計學,或者說“所有的AI都是利用統(tǒng)計學來解決問題的”都是片面和不準確的。

關于AI與統(tǒng)計學的關系,盡管眾說紛紜,各位大佬持有不同意見,但是,我們?nèi)匀徊浑y發(fā)現(xiàn)統(tǒng)計學在AI發(fā)展中占有非常重要的位置。

統(tǒng)計學VS人工智能發(fā)展史

為了分析統(tǒng)計學和AI的關系,我們同時追溯他們的發(fā)展史,找出其中的交叉部分。

1. 統(tǒng)計學發(fā)展史

人類的統(tǒng)計實踐是隨著計數(shù)活動而產(chǎn)生的,統(tǒng)計發(fā)展史可以追溯到距今足有五千多年的原始社會,而使統(tǒng)計學開始成為一門系統(tǒng)的學科卻是距今三百余年的事情。

從統(tǒng)計學三個大的發(fā)展階段可以看出,統(tǒng)計學經(jīng)歷了實踐→理論→檢驗三個時期,當前統(tǒng)計學主要是通過對數(shù)據(jù)的描述與分析來進行對未來的推斷,這與AI的定義十分相似。

2. AI發(fā)展史

AI發(fā)展史可以追溯到計算機誕生時代。

在經(jīng)歷過二十年黃金時代的發(fā)展后,人們開始意識到計算類的功能可以被機器很好的完成。但是,對于感知類的功能卻很難達到模擬人類的要求。人們對人工智能的理解也從幻想中的智能轉(zhuǎn)變到重視人工技術。

Thomas J. Sargent :人工智能是由機器和人分飾兩角的,非常有趣。

現(xiàn)在人們對于人工智能的期待,不再像科幻電影里那樣不切實際。技術人員意識到當下可以實現(xiàn)的AI技術是基于人的“思考”,讓機器來實施,AI應該著眼于解放生產(chǎn)力而不是“完全替換人類”。

3. 統(tǒng)計學和AI的交叉點

1988年,美國科學家朱迪亞·皮爾將概率統(tǒng)計方法引入人工智能的推理過程中。

后來,IBM的沃森研究中心把概率統(tǒng)計方法引入到Candide項目——一個基于200多萬條語句實現(xiàn)了英語和法語之間的自動翻譯。

1992年,華人李開復使用統(tǒng)計學的方法設計開發(fā)了Siri最早的原型。從將統(tǒng)計學引入AI研究后,直至近期大家所熟知的阿爾法go,AI的側(cè)重之一就是機器學習?;谟扇祟惍a(chǎn)生的大量數(shù)據(jù),使用人類思維去分析標記,然后引入機器進行學習,最終讓機器掌握規(guī)則和規(guī)律進行工作。

我們不難發(fā)現(xiàn):統(tǒng)計學和AI有了一個共同的研究對象——數(shù)據(jù)。

統(tǒng)計學概念在AI中的應用

統(tǒng)計學作為交叉學科之一推動著人工智能的發(fā)展,在發(fā)展中逐漸被應用于各行各業(yè)。不論以后從事AI產(chǎn)品經(jīng)理,還是AI工程師,只有具備良好的統(tǒng)計學基礎才能對數(shù)據(jù)分析具有準確、深入的理解。

1. 應用于調(diào)查數(shù)據(jù)

以機器學習為例:其核心是“使用算法解析數(shù)據(jù),從中學習,然后對世界上的某件事情做出決定或預測”。

在學習之前就要進行數(shù)據(jù)分析,而機器學習需要龐大的數(shù)據(jù)集作為支撐才能保證其學習效果。

對于嬰兒來說,即使只有三歲,也觀看過數(shù)億張圖像,擁有龐大的數(shù)據(jù)庫。要想讓AI“靠譜”,就要有靠譜的數(shù)據(jù)。統(tǒng)計學的數(shù)據(jù)獲取方法與處理方法是機器學習建立數(shù)據(jù)集必需要使用的。

圖片來自:https://www.jianshu.com/p/0fed5efab3e5

統(tǒng)計學上的數(shù)據(jù)來源:

統(tǒng)計學常見數(shù)據(jù)的處理:

2. 應用于建造模型

面對沒有標準定義的數(shù)據(jù):

比如:電商平臺希望把數(shù)據(jù)中會惡意退貨的那些人給找出來,但數(shù)據(jù)并未指明哪些人惡意退貨。

對這個具體數(shù)據(jù),沒有教科書或文獻給出任何的方法。這就要有獨特的處理方法,你必須考慮基于什么樣的惡意退貨機理和背景來建立模型,不能單一的就把有過幾次退貨操作的用戶找出來,你就要了解用戶退貨方面的思維方式。

對于人類來講,這種推斷與判斷的行為并沒有復雜的數(shù)學運算。但對于機器來說,這一切都要基于數(shù)學運算。有效的運算模型是AI推斷的基礎。

面對沒有模型的統(tǒng)計需求:

比如:運營團隊希望可以預測一個新營銷活動可帶來的流量有多少,這并不能簡單靠一些公式、幾個模型解決。

現(xiàn)有的模型一般比較固定,例子也簡單,不符合復雜的實際數(shù)據(jù)。經(jīng)典統(tǒng)計上確定模型的優(yōu)劣方法嚴重依賴于對數(shù)據(jù)的無法證明的眾多數(shù)學假定。那么,如果想在眾多統(tǒng)計模型中要挑一個真正滿足實際需求的,就需要把數(shù)據(jù)拿過來做交叉驗證。交叉驗證,就是用一部分數(shù)據(jù)來建立一個模型,然后用另外一塊數(shù)據(jù)來驗證這個模型。交叉驗證是判斷AI是否能做出有效預測的重要手段。

統(tǒng)計學是AI發(fā)展的基礎之一

通過以上對于統(tǒng)計學在AI領域應用的簡短分析,我們不難看出統(tǒng)計學的確是AI不可缺少的一部分,但是僅有統(tǒng)計學并不能實現(xiàn)真正的AI。

Thomas J. Sargent與任正非對于統(tǒng)計學重要性的肯定是正確的,金榕對于多技術支持的觀點也是正確的。統(tǒng)計學作為傳統(tǒng)的經(jīng)典學科,支撐起了AI發(fā)展的基礎。但AI不應被定性為一門全新的技術,而應是已有技術的延伸與發(fā)展。沒有哪項新技術是憑空誕生的,未來將傳統(tǒng)學科應用于新領域是高等教育的一個轉(zhuǎn)折點。

本篇文章僅是作者在學習統(tǒng)計學時的做的一些思考,希望能拋磚引玉。隨著大數(shù)據(jù)時代的來臨,未來將有更多PM投身于數(shù)據(jù)分析,設計出優(yōu)秀的數(shù)據(jù)分析、預測工具。

#專欄作家#

無問西東,人人都是產(chǎn)品經(jīng)理專欄作家。工商管理碩士,貓奴一枚。主導過金融公司臺賬系統(tǒng)、多公司OA系統(tǒng);參與過二手車平臺、P2P平臺設計。

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來自 Unsplash ,基于 CC0 協(xié)議

更多精彩內(nèi)容,請關注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 優(yōu)秀的文章,講解得深入淺出

    來自上海 回復