機器學習中的判別式模型和生成式模型
如今已經進入2020年了,5G的時代已經到來,而機器人應用將更加的廣泛,下面就讓我們去了解機器人在學習中的兩類模型,這文章告訴兩種類型的區(qū)別,推薦給對機器人感興趣的朋友們閱讀!
在機器學習中,對于有監(jiān)督學習可以將其分為兩類模型:判別式模型和生成式模型。簡單地說,判別式模型是針對條件分布建模,而生成式模型則針對聯(lián)合分布進行建模。
01 基本概念
假設我們有訓練數據(X,Y),X是屬性集合,Y是類別標記。這時來了一個新的樣本樣本 x?,我們想要預測它的類別y。
我們最終的目的是求得最大的條件概率 P(y|x)作為新樣本的分類。
1.? 判別式模型這么做
根據訓練數據得到分類函數和分界面,比如說根據SVM模型得到一個分界面,然后直接計算條件概率 P(y|x),我們將最大的 P(y|x)。
作為新樣本的分類。判別式模型是對條件概率建模,學習不同類別之間的最優(yōu)邊界,無法反映訓練數據本身的特性,能力有限,其只能告訴我們分類的類別。
2. 生成式模型這么做
一般會對每一個類建立一個模型,有多少個類別,就建立多少個模型。比如說類別標簽有{貓,狗,豬},那首先根據貓的特征學習出一個貓的模型,再根據狗的特征學習出狗的模型,之后分別計算新樣本X跟三個類別的聯(lián)合概率 P(y|x),然后根據貝葉斯公式:
分別計算 P(y|x),選擇三類中最大的 P(y|x)作為樣本的分類。
3.兩個模型的小結
不管是生成式模型還是判別式模型,它們最終的判斷依據都是條件概率 P(y|x),但是生成式模型先計算了聯(lián)合概率P(x,y),再由貝葉斯公式計算得到條件概率。因此,生成式模型可以體現更多數據本身的分布信息,其普適性更廣。
02 用例子說明概念
1. 山羊綿羊的例子
判別式模型:要確定一個羊是山羊還是綿羊,用判別式模型的方法是從歷史數據中學習到模型,然后通過提取這只羊的特征來預測出這只羊是山羊的概率,是綿羊的概率。
生成式模型:是根據山羊的特征首先學習出一個山羊的模型,然后根據綿羊的特征學習出一個綿羊的模型,然后從這只羊中提取特征,放到山羊模型中看概率是多少,再放到綿羊模型中看概率是多少,哪個大就是哪個。
2. 模型范例
假設現在有一個分類問題,X是特征,Y是類標記。用判別式模型學習一個條件概率分布 P(y|x),用生成式模型學習一個聯(lián)合概率分布P(x,y)。
用一個簡單的例子來說明這個問題。假設X就是兩個特征(1或2),Y有兩類(0或1),有如下訓練樣本(1,0)、(1,0)、(1,1)、(2,1)。
則學習到的條件概率分布(判別式模型)如下:
而學習到的聯(lián)合概率分布(生成式模型)如下:
在實際分類問題中,判別式模型可以直接用來判斷特征的類別情況;而生成式模型需要加上貝葉斯公式,然后應用到分類中。但是,生成式模型的概率分布可以有其他應用,就是說生成式模型更一般更普適。不過判別式模型更直接,更簡單。兩種方法目前交叉較多。由生成式模型可以得到判別式模型,但由判別式模型得不到生成式模型。
03? 判別式模型和生成式模型的區(qū)別
1.?判別式模型和生成式模型的對比圖
上圖左邊為判別式模型而右邊為生成式模型,可以很清晰地看到差別,判別式模型是在尋找一個決策邊界,通過該邊界來將樣本劃分到對應類別。而生成式模型則不同,它學習了每個類別的邊界,它包含了更多信息,可以用來生成樣本。
2. 判別式模型和生成式模型的特點
判別式模型特點:
判別式模型直接學習決策函數Y=f(X),或者條件概率P(Y|X),不能反映訓練數據本身的特性,但它尋找不同類別之間的最優(yōu)分裂面,反映的是異類數據之間的差異,直接面對預測往往學習準確度更高。具體來說有以下特點:
- 對條件概率建模,學習不同類別之間的最優(yōu)邊界。
- 捕捉不同類別特征的差異信息,不學習本身分布信息,無法反應數據本身特性。
- 學習成本較低,需要的計算資源較少。
- 需要的樣本數可以較少,少樣本也能很好學習。
- 預測時擁有較好性能。
- 無法轉換成生成式。
生成式模型的特點:
生成式模型學習的是聯(lián)合概率密度分布P(X,Y),可以從統(tǒng)計的角度表示分布的情況,能夠反映同類數據本身的相似度,它不關心到底劃分不同類的邊界在哪里。生成式模型的學習收斂速度更快,當樣本容量增加時,學習到的模型可以更快的收斂到真實模型,當存在隱變量時,依舊可以用生成式模型,此時判別式方法就不行了。具體來說,有以下特點:
- 對聯(lián)合概率建模,學習所有分類數據的分布。
- 學習到的數據本身信息更多,能反應數據本身特性。
- 學習成本較高,需要更多的計算資源。
- 需要的樣本數更多,樣本較少時學習效果較差。
- 推斷時性能較差。
- 一定條件下能轉換成判別式。
總之,判別式模型和生成式模型都是使后驗概率最大化,判別式是直接對后驗概率建模,而生成式模型通過貝葉斯定理這一“橋梁”使問題轉化為求聯(lián)合概率。
03 二者所包含的算法
原文作者:Microstrong
原文鏈接:https://zhuanlan.zhihu.com/p/
本文由 @Microstrong 授權發(fā)布于人人都是產品經理,未經作者許可,禁止轉載。
題圖來自Unsplash,基于CC0協(xié)議
- 目前還沒評論,等你發(fā)揮!