從0開始搭建產(chǎn)品經(jīng)理AI知識框架:機器學習

5 評論 10261 瀏覽 106 收藏 16 分鐘

關于機器學習你了解多少,文章分享了相關知識,希望對你有所啟發(fā)。

?什么是機器學習(Machine Learning)

  • 定義:計算機程序可以在給定某種類別的任務 T 和性能度量 P 下學習經(jīng)驗 E ,如果其在任務 T 中的性能恰好可以用 P 度量,則隨著經(jīng)驗 E 而提高。
  • 簡單來說:機器學習是能通過經(jīng)驗自動改進的計算機方法研究
  • 通俗的理解:機器學習,是計算的反問題(逆運算) (@張江)

機器學習和人工智能以及深度學習的關系

用一張圖來表示:

  • 深度學習是機器學習的子集
  • 而機器學習是人工智能的核心

舉個簡單的例子來說明機器學習:

先說說什么是計算:

計算房屋售價,給定輸入,得到輸出,如:

  • 已知房屋售價的平米數(shù)(如下圖)
  • 已知計算公式:房屋價格 = 面積 * 每平米售價(5000)
  • 求房屋的售價

再來說計算的反問題(逆運算):

機器學習:有數(shù)據(jù)輸入和輸出,通過機器學習,得到模型

  • 已知房屋的基礎數(shù)據(jù)
  • 已知房屋的售價
  • 求房屋售價計算的模型

當房屋售價計算模型有了之后,就可以用戶新數(shù)據(jù)的預測,例如:

當然這只是一個簡單的例子,要真正預測房價,會涉及到的大量的參數(shù),比如:幾室?guī)讖d幾衛(wèi),地理位置,周邊環(huán)境,……等等,且機器學習得到模型也會更加復雜。

再舉一個古老經(jīng)典的例子

你去菜市場買芒果,印象中顏色靚麗的芒果,比暗淡的要好吃,于是你挑選了100個芒果,付款,開開心心回家了。

結果回家吃了之后,你發(fā)現(xiàn)其中25個芒果不好吃,覺得根據(jù)顏色來分辨太片面了,但是吃的過程中,你又發(fā)現(xiàn)了大個的50個芒果都好吃,小個的芒果只有25個是好吃,你總結出大個的比小個的芒果要好吃。

下次出門時,你要買更大個以及顏色更靚麗的芒果,結果發(fā)現(xiàn)常買的店鋪關門了,只能去別家買,結果兩家的產(chǎn)地不一樣,買回來100個芒果,反而是小個的顏色暗淡的好吃。

為了吸取教訓,買到更多更好吃的芒果,你采用了「機器學習」的方法,隨機在市場買了1000個芒果:

  • 列出芒果的屬性:顏色,大小,形狀,產(chǎn)地,經(jīng)銷商,等等,
  • 以及對應的:甜度,成熟度,是否多汁,等等

通過1000個芒果的數(shù)據(jù),得到了一個模型,在下次購買的時候,你只需要輸入相關的數(shù)據(jù),就可以判斷出芒果是否好吃概率,通過大量的篩選,你購買了一批「好吃」概率在95%以上的芒果,結果是個個非常好吃,你也成了眾人敬仰的「芒果吃貨(專家)」。

通過這兩個例子,是否對于機器學習有了初步的認知呢?

如上圖:機器學習對于數(shù)據(jù)運用,相當于人的大腦對于經(jīng)驗的運用

實際項目中機器學習工作方式

  • 選擇數(shù)據(jù):將你的數(shù)據(jù)分成三組:訓練數(shù)據(jù)、驗證數(shù)據(jù)和測試數(shù)據(jù)
  • 模型數(shù)據(jù):使用訓練數(shù)據(jù)來構建使用相關特征的模型
  • 驗證模型:使用你的驗證數(shù)據(jù)接入你的模型
  • 測試模型:使用你的測試數(shù)據(jù)檢查被驗證的模型的表現(xiàn)
  • 使用模型:使用完全訓練好的模型在新數(shù)據(jù)上做預測
  • 調(diào)優(yōu)模型:使用更多數(shù)據(jù)、不同的特征或調(diào)整過的參數(shù)來提升算法的性能表現(xiàn)

機器學習都有哪些學習方式?

涉及到機器學習相關知識:

  • 監(jiān)督學習:需要“標簽”當老師,明確要預測什么。
  • 無監(jiān)督學習:不告訴機器正確答案,讓機器自己學習,給出結果。
  • 半監(jiān)督學習:訓練的數(shù)據(jù),只有一小部分是標記過的,大部分是沒有標記。
  • 強化學習:通過反饋,邊實踐邊學習。
  • 遷移學習:在某個垂直領域訓練完成后,移致去其他相關領域調(diào)優(yōu)發(fā)揮作用。

以及這一波人工智能浪潮興起的主要原因之一:

  • 基于人工神經(jīng)網(wǎng)絡的深度學習。

接下來聊一下個人對于機器學習方式以及相關應用的理解。

監(jiān)督學習

什么是監(jiān)督學習

概念:監(jiān)督學習就是通過樣例給定輸入與輸出,讓程序?qū)W會一些通用的規(guī)則,這樣對于需要預測的數(shù)據(jù),得到輸出。

詮釋:有一個明確預測的目標,比如:預估房價,給予機器大量的有標簽的數(shù)據(jù),以及最終的銷售價,來訓練這個模型。

監(jiān)督學習主要解決的是兩類問題

回歸問題:

  • 概念:預測結果是連續(xù)的,意味著我們嘗試將輸入變量映射到一些連續(xù)函數(shù)。
  • 舉例:如預測房價的例子,通過大量輸入輸出數(shù)據(jù),以及各種房屋類型,環(huán)境等標簽,訓練模型后,輸入新的數(shù)據(jù),既可預測房價。

分類問題:

  • 概念:預測結果是離散的,意味著我們嘗試將輸入變量映射到離散類別。
  • 舉例:如芒果的例子,同樣通過大量輸入輸出數(shù)據(jù),包括芒果,顏色,大小,形狀,以及甜度,成熟度等標簽,當輸入新的數(shù)據(jù),機器計算出屬于這個芒果是在吃,還是在不好吃的分類里。

監(jiān)督學習主要涉及到的算法模型如下

  • 線性回歸模型(Linear Regression)
  • K-近鄰算法(k-Nearest Neighbors,KNN)
  • 決策樹(Decision Trees)
  • 樸素貝葉斯(Naive Bayesian)
  • 邏輯回歸(Logistic Regression)

對于算法,初期知道解決的是什么問題即可,不要從學習的視角去深入,而是實際遇到問題,遇到問題時候再研究。

無監(jiān)督學習

什么是無監(jiān)督學習

  • 詮釋:無監(jiān)督學習就是不給數(shù)據(jù)提供標簽,由程序自動對數(shù)據(jù)進行聚類、關聯(lián)、降維等工作。
  • 詮釋:我們擁有大量的數(shù)據(jù),但是不知道答案,需要用無監(jiān)督學習的方法,讓它們根據(jù)某些特征自動分成若干組,從而找到數(shù)據(jù)中存在的價值。

無監(jiān)督學習主要解決的三類問題

關聯(lián)

  • 概念:為了發(fā)現(xiàn)各種現(xiàn)象同時出現(xiàn)的概率。
  • 舉例:經(jīng)典例子,男人買啤酒和買尿布的關聯(lián)性非常高,超市把啤酒和尿布放在一起,從而提高業(yè)績。

聚類

  • 概念:把樣本分堆,使同一堆中的樣本之間很相似,而不同堆之間的樣本就有些差別。
  • 舉例:Google新聞,每天會搜集大量的新聞,然后把它們?nèi)烤垲?,就會自動分成幾十個不同的組(比如娛樂,科技,政治……),每個組內(nèi)新聞都具有相似的內(nèi)容結構。

降維

  • 概念:降維意味著減少數(shù)據(jù)集中變量的個數(shù),但是仍然保留重要的信息。主要作用是壓縮數(shù)據(jù)與提升機器學習其他算法的效率。
  • 舉例:房價包含房子的長、寬、面積與房間數(shù)量四個特征,也就是維度為4維的數(shù)據(jù)。而面積=長 × 寬,通過降維算法我們就可以去除冗余信息,即從4維的數(shù)據(jù)壓縮到2維

無監(jiān)督學習主要涉及到的算法模型如下

  • K 均值算法(K-means)
  • 自編碼(Autoencoding)
  • 主成分分析(Principal components analysis)
  • 隨機森林(Random forests)

同理,解決實際問題中,再深入到算法里提升自己的認知。

半監(jiān)督學習

什么是半監(jiān)督學習

  • 概念:使用大量的未標記數(shù)據(jù),以及同時使用標記數(shù)據(jù),來進行模式識別工作。
  • 詮釋:大概意思就是,監(jiān)督學習與無監(jiān)督學習相結合的一種學習方法,介于兩者之間。

半監(jiān)督學習解決問題

  • 相比監(jiān)督學習:節(jié)約人力成本,提高投入產(chǎn)出比。
  • 相比無監(jiān)督學習:可以得到分配更高精度的模型。

具體適用場景的舉例

  • 例如:視頻網(wǎng)站上有幾百萬的視頻,但其中只有幾十萬的視頻有標簽,如果把剩下幾百萬視頻都打上標簽,工作量和成本是巨大的,而用無監(jiān)督的方法,在很多情況下精度會很低,所以使用半監(jiān)督的方法,可以在節(jié)省人力的情況下,得到分類更高精度的模型。
  • 例如:垃圾信息過濾,一般的方法是監(jiān)督,需要大量的語料標注,告知系統(tǒng)哪些可能是垃圾信息。但用戶產(chǎn)會生了大量的信息,且垃圾信息的發(fā)布者也在調(diào)整策略,無法進行實時標注,這里可以用半監(jiān)督的方法,根據(jù)垃圾信息發(fā)布者的特殊行為,發(fā)布內(nèi)容等找到相似性,進行過濾。

強化學習

什么是強化學習

  • 概念:強化學習就是智能系統(tǒng)從環(huán)境到行為映射的學習,以使獎勵信號(強化信號)函數(shù)值最大。如果Agent的某個行為策略導致環(huán)境正的獎賞(強化信號),那么Agent以后產(chǎn)生這個行為策略的趨勢便會加強。
  • 詮釋:針對沒有標注數(shù)據(jù)集的情況而言,通過反饋來區(qū)分是否越來越接近目標。比如常見一個猜價格的游戲,你來猜這個東西值多少錢,別人告訴你猜的價格是高了還是低了。
  • 例如:阿爾法狗,自己跟自己下圍棋,通過一盤盤的勝負,自我學習、自我修煉、自我改正,然后一個一個迭代,自己跟自己下了1000萬盤之后,完全就是一個新的狗狗。

強化學習和監(jiān)督學習的區(qū)別

監(jiān)督學習總的來說是一個開環(huán)的學習。

  • 通常,監(jiān)督學習任務會從環(huán)境中收集一批數(shù)據(jù);
  • 接著我們用監(jiān)督學習算法從數(shù)據(jù)中產(chǎn)生模型;
  • 最后就可以用這個模型來做預測了。

但是對于強化學習來說,它面對的是一個閉環(huán)的學習。

  • 首先,也是從環(huán)境中產(chǎn)生數(shù)據(jù);
  • 用強化學習的算法從數(shù)據(jù)中產(chǎn)生模型;
  • 還要把模型放回到環(huán)境中運行,接著又會產(chǎn)生新的數(shù)據(jù)出來,再重復以上步驟。

強化學習的應用

  • 例如:訓練機器臂,把一個指的位置的物體,拿到另外一個指定的位置上,這里你不告訴它怎么做,讓他通過一遍遍的訓練,找到最佳的移動物體路徑。
  • 例如:個性化推薦,當推薦你某個分類內(nèi)容時候,你會點擊或查看,它就會根據(jù)你的行為,推薦給你更多該分類的內(nèi)容。
  • 例如:無人機操作,指定你的無人機進行某種動作飛行,通過強化學習來控制高度,速度,姿態(tài)等等,根據(jù)獎勵讓它自己學習策略,來達到目的

遷移學習

什么是遷移學習

  • 概念:一般就是指要將從源領域?qū)W習到的東西應用到目標領域上去。
  • 詮釋:比如你會騎自行車,你會控制車把,剎車,控訴,躲避,踩踏,平衡感等等,然后讓你騎摩托車時候,你也可以輕易上手,逐漸適應速度和動力上的特殊性。

遷移學習應用

  • 模擬中學習:不管是無人車,還是機械臂,在現(xiàn)實中學習耗時且昂貴。通過模擬的方法,在虛擬中完成部分的訓練,遷移到現(xiàn)實中,當然這種方法存在很多問題,畢竟虛擬世界無法做到跟現(xiàn)實一模一樣,比如物理引擎,但是作為初始訓練是可行的。
  • 適應新領域:在線推薦系統(tǒng)中利用遷移學習,例如影像資料領域做好一個推薦系統(tǒng),然后應用在稀疏的、新的垂直領域書籍資料里。
  • 跨語言傳播知識:從一種語言學習然后將所得知識應用于另一種語言,是遷移學習的另一個重要應用。比如英語訓練之后,遷移到印度本土語言上。

以上就是對于機器學習部分的一部分認知,而其中「深度學習」部分,會單獨完成一篇筆記來跟大家交流。

相關閱讀

從0開始搭建產(chǎn)品經(jīng)理的AI認知體系

產(chǎn)品經(jīng)理的AI知識框架:計算機視覺

產(chǎn)品經(jīng)理的AI知識框架:語音識別與合成

 

作者:蘭楓,微信公號:藍風GO @LanFengTalk,前騰訊游戲,新浪微博PM,Elex產(chǎn)品總監(jiān),8年的游戲,社交,O2O等產(chǎn)品相關經(jīng)驗,連續(xù)創(chuàng)業(yè)者。

本文由 @蘭楓 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自PEXELS,基于CC0協(xié)議

更多精彩內(nèi)容,請關注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 更理解在線廣告系統(tǒng)了

    回復
  2. 強化學習和遷移學習作者沒有提起對應的算法。是因為時間倉促直接發(fā)出來了,還是因為算法不好寫呢?對應的算法是否可以在評論區(qū)補充個大概的內(nèi)容。

    來自廣東 回復
  3. 很不錯

    回復
  4. 很不錯的文章
    計算機程序可以在給定某種類別的任務 T 和性能度量 P 下學習經(jīng)驗 E ,如果其在任務 T 中的性能恰好可以用 P 度量,則隨著經(jīng)驗 E 而提高。

    來自山東 回復
  5. “機器計算出屬于這個芒果是在吃,還是在不好吃的分類里。”這句話好像在“芒果是在吃”加上個“好”字更合理?

    來自香港 回復