如今已經(jīng)進(jìn)入2020年了,5G的時代已經(jīng)到來,而機(jī)器人應(yīng)用將更加的廣泛,下面就讓我們?nèi)チ私鈾C(jī)器人在學(xué)習(xí)中的兩類模型,這文章告訴兩種類型的區(qū)別,推薦給對機(jī)器人感興趣的朋友們閱讀!
在機(jī)器學(xué)習(xí)中,對于有監(jiān)督學(xué)習(xí)可以將其分為兩類模型:判別式模型和生成式模型。簡單地說,判別式模型是針對條件分布建模,而生成式模型則針對聯(lián)合分布進(jìn)行建模。
01 基本概念
假設(shè)我們有訓(xùn)練數(shù)據(jù)(X,Y),X是屬性集合,Y是類別標(biāo)記。這時來了一個新的樣本樣本 x ,我們想要預(yù)測它的類別y。
我們最終的目的是求得最大的條件概率 P(y|x)作為新樣本的分類。
1. 判別式模型這么做
根據(jù)訓(xùn)練數(shù)據(jù)得到分類函數(shù)和分界面,比如說根據(jù)SVM模型得到一個分界面,然后直接計算條件概率 P(y|x),我們將最大的 P(y|x)。
作為新樣本的分類。判別式模型是對條件概率建模,學(xué)習(xí)不同類別之間的最優(yōu)邊界,無法反映訓(xùn)練數(shù)據(jù)本身的特性,能力有限,其只能告訴我們分類的類別。
2. 生成式模型這么做
一般會對每一個類建立一個模型,有多少個類別,就建立多少個模型。比如說類別標(biāo)簽有{貓,狗,豬},那首先根據(jù)貓的特征學(xué)習(xí)出一個貓的模型,再根據(jù)狗的特征學(xué)習(xí)出狗的模型,之后分別計算新樣本X跟三個類別的聯(lián)合概率 P(y|x),然后根據(jù)貝葉斯公式:
分別計算 P(y|x),選擇三類中最大的 P(y|x)作為樣本的分類。
3.兩個模型的小結(jié)
不管是生成式模型還是判別式模型,它們最終的判斷依據(jù)都是條件概率 P(y|x),但是生成式模型先計算了聯(lián)合概率P(x,y),再由貝葉斯公式計算得到條件概率。因此,生成式模型可以體現(xiàn)更多數(shù)據(jù)本身的分布信息,其普適性更廣。
02 用例子說明概念
1. 山羊綿羊的例子
判別式模型:要確定一個羊是山羊還是綿羊,用判別式模型的方法是從歷史數(shù)據(jù)中學(xué)習(xí)到模型,然后通過提取這只羊的特征來預(yù)測出這只羊是山羊的概率,是綿羊的概率。
生成式模型:是根據(jù)山羊的特征首先學(xué)習(xí)出一個山羊的模型,然后根據(jù)綿羊的特征學(xué)習(xí)出一個綿羊的模型,然后從這只羊中提取特征,放到山羊模型中看概率是多少,再放到綿羊模型中看概率是多少,哪個大就是哪個。
2. 模型范例
假設(shè)現(xiàn)在有一個分類問題,X是特征,Y是類標(biāo)記。用判別式模型學(xué)習(xí)一個條件概率分布 P(y|x),用生成式模型學(xué)習(xí)一個聯(lián)合概率分布P(x,y)。
用一個簡單的例子來說明這個問題。假設(shè)X就是兩個特征(1或2),Y有兩類(0或1),有如下訓(xùn)練樣本(1,0)、(1,0)、(1,1)、(2,1)。
則學(xué)習(xí)到的條件概率分布(判別式模型)如下:
而學(xué)習(xí)到的聯(lián)合概率分布(生成式模型)如下:
在實際分類問題中,判別式模型可以直接用來判斷特征的類別情況;而生成式模型需要加上貝葉斯公式,然后應(yīng)用到分類中。但是,生成式模型的概率分布可以有其他應(yīng)用,就是說生成式模型更一般更普適。不過判別式模型更直接,更簡單。兩種方法目前交叉較多。由生成式模型可以得到判別式模型,但由判別式模型得不到生成式模型。
03 判別式模型和生成式模型的區(qū)別
1. 判別式模型和生成式模型的對比圖
上圖左邊為判別式模型而右邊為生成式模型,可以很清晰地看到差別,判別式模型是在尋找一個決策邊界,通過該邊界來將樣本劃分到對應(yīng)類別。而生成式模型則不同,它學(xué)習(xí)了每個類別的邊界,它包含了更多信息,可以用來生成樣本。
2. 判別式模型和生成式模型的特點
判別式模型特點:
判別式模型直接學(xué)習(xí)決策函數(shù)Y=f(X),或者條件概率P(Y|X),不能反映訓(xùn)練數(shù)據(jù)本身的特性,但它尋找不同類別之間的最優(yōu)分裂面,反映的是異類數(shù)據(jù)之間的差異,直接面對預(yù)測往往學(xué)習(xí)準(zhǔn)確度更高。具體來說有以下特點:
對條件概率建模,學(xué)習(xí)不同類別之間的最優(yōu)邊界。
捕捉不同類別特征的差異信息,不學(xué)習(xí)本身分布信息,無法反應(yīng)數(shù)據(jù)本身特性。
學(xué)習(xí)成本較低,需要的計算資源較少。
需要的樣本數(shù)可以較少,少樣本也能很好學(xué)習(xí)。
預(yù)測時擁有較好性能。
無法轉(zhuǎn)換成生成式。
生成式模型的特點:
生成式模型學(xué)習(xí)的是聯(lián)合概率密度分布P(X,Y),可以從統(tǒng)計的角度表示分布的情況,能夠反映同類數(shù)據(jù)本身的相似度,它不關(guān)心到底劃分不同類的邊界在哪里。生成式模型的學(xué)習(xí)收斂速度更快,當(dāng)樣本容量增加時,學(xué)習(xí)到的模型可以更快的收斂到真實模型,當(dāng)存在隱變量時,依舊可以用生成式模型,此時判別式方法就不行了。具體來說,有以下特點:
對聯(lián)合概率建模,學(xué)習(xí)所有分類數(shù)據(jù)的分布。
學(xué)習(xí)到的數(shù)據(jù)本身信息更多,能反應(yīng)數(shù)據(jù)本身特性。
學(xué)習(xí)成本較高,需要更多的計算資源。
需要的樣本數(shù)更多,樣本較少時學(xué)習(xí)效果較差。
推斷時性能較差。
一定條件下能轉(zhuǎn)換成判別式。
總之,判別式模型和生成式模型都是使后驗概率最大化,判別式是直接對后驗概率建模,而生成式模型通過貝葉斯定理這一“橋梁”使問題轉(zhuǎn)化為求聯(lián)合概率。
03 二者所包含的算法
-
機(jī)器人
+關(guān)注
關(guān)注
213文章
29756瀏覽量
213051 -
模型
+關(guān)注
關(guān)注
1文章
3522瀏覽量
50452 -
貝葉斯
+關(guān)注
關(guān)注
0文章
77瀏覽量
12770
發(fā)布評論請先 登錄
【「# ROS 2智能機(jī)器人開發(fā)實踐」閱讀體驗】視覺實現(xiàn)的基礎(chǔ)算法的應(yīng)用
【「# ROS 2智能機(jī)器人開發(fā)實踐」閱讀體驗】機(jī)器人入門的引路書
【「# ROS 2智能機(jī)器人開發(fā)實踐」閱讀體驗】+ROS2應(yīng)用案例
【「具身智能機(jī)器人系統(tǒng)」閱讀體驗】2.具身智能機(jī)器人的基礎(chǔ)模塊
【「具身智能機(jī)器人系統(tǒng)」閱讀體驗】+兩本互為支持的書
【「具身智能機(jī)器人系統(tǒng)」閱讀體驗】2.具身智能機(jī)器人大模型
【「具身智能機(jī)器人系統(tǒng)」閱讀體驗】1.全書概覽與第一章學(xué)習(xí)
《具身智能機(jī)器人系統(tǒng)》第7-9章閱讀心得之具身智能機(jī)器人與大模型
【「具身智能機(jī)器人系統(tǒng)」閱讀體驗】+數(shù)據(jù)在具身人工智能中的價值
【「具身智能機(jī)器人系統(tǒng)」閱讀體驗】+初品的體驗
復(fù)合機(jī)器人在3c電子行業(yè)的應(yīng)用

名單公布!【書籍評測活動NO.51】具身智能機(jī)器人系統(tǒng) | 了解AI的下一個浪潮!
構(gòu)建語音控制機(jī)器人 - 線性模型和機(jī)器學(xué)習(xí)

電路的兩類約束指的是哪兩類
簡述開關(guān)電源兩類漏電流的區(qū)別

評論