支持向量機(jī)（Support Vector Machine）是一種較知名的機(jī)器學(xué)習(xí)算法，該算法由俄羅斯數(shù)學(xué)家Vladimir Vapnik創(chuàng)立。

下文介紹支持向量機(jī)的基礎(chǔ)概念：線性可分的定義（二分類的線性可分定義）

一、基于二維特征空間感性認(rèn)識(shí)對(duì)線性可分

（1）線性可分（Linear Separable）

如果訓(xùn)練樣本集的特征空間如圖一所示，其中的圓圈和叉可被一條直線劃分，則該訓(xùn)練樣本集為線性可分。



圖一，圖片來源：中國慕課大學(xué)《機(jī)器學(xué)習(xí)概論》

（2）線性不可分（Nonlinear Separable）

如果訓(xùn)練樣本集的特征空間如圖二所示，其中的圓圈和叉不可被一條直線劃分，則該訓(xùn)練樣本集為線性不可分。



圖二，圖片來源：中國慕課大學(xué)《機(jī)器學(xué)習(xí)概論》

二、線性可分的定義

（1）二維特征空間下線性可分的定義 如圖三所示，二維特征空間的兩個(gè)維度分別為x1、x2，并假設(shè)該特征空間分布如圖三的訓(xùn)練樣本，訓(xùn)練樣本包括圓圈和叉，圓圈采用類別標(biāo)簽C1表示，叉采用類別標(biāo)簽C2表示。

基于以上假設(shè)，圖三特征空間中存在一條直線將訓(xùn)練樣本分類為C1和C2，并假設(shè)該直線的方程為： ω1x1+ω2x2+b=0 其中，ω1和ω2分別為x1和x2的權(quán)重，b為偏置。

再規(guī)定：C1側(cè)空間由ω1x1+ω2x2+b>0表示，C2側(cè)空間由ω1x1+ω2x2+b<0表示（也可規(guī)定C1側(cè)空間由ω1x1+ω2x2+b<0表示，C2側(cè)空間由ω1x1+ω2x2+b>0表示）。



圖三，圖片來源：中國慕課大學(xué)《機(jī)器學(xué)習(xí)概論》

再假設(shè)N個(gè)訓(xùn)練樣本的標(biāo)簽為：{(X1,y1),(X2,y2),…,(XN,yN)}，其中Xi=[xi1，xi2]T（二維特征空間每個(gè)訓(xùn)練樣本只包含xi1，xi2兩個(gè)分量），yi={+1，-1}，當(dāng)Xi的類別標(biāo)簽為C1時(shí)，yi的值為+1，當(dāng)Xi的類別標(biāo)簽為C2時(shí)，yi的值為-1（該規(guī)定可方便定義。也可規(guī)定當(dāng)Xi的類別標(biāo)簽為C1時(shí)，yi的值為-1，當(dāng)Xi的類別標(biāo)簽為C2時(shí)，yi的值為+1，±1也可被替換為絕對(duì)值不同的數(shù)字）。

基于以上假設(shè)和規(guī)定，二維特征空間的線性可分的定義如下： 一個(gè)訓(xùn)練樣本集{(X1,y1),(X2,y2),…,(XN,yN)}，在i=1~N線性可分是指存在（ω1，ω2，b），使得對(duì)i=1~N，有： 1）若yi=+1，則ω1x1+ω2x2+b>0 2）若yi=-1，則ω1x1+ω2x2+b<0 ?

二維特征空間線性可分向量形式的定義如下： 假設(shè)Xi=[xi1，xi2]，ω=[ω1，ω2]T，那么： 若yi=+1，則ωTXi+b>0；若yi=-1，則ωTXi+b<0，即yi(ωTXi+b)>0。

（2）n維特征空間線性可分的定義（含個(gè)人理解）

根據(jù)二維特征空間線性可分向量形式的定義，可推廣至n維特征空間線性可分向量形式的定義：即假設(shè)Xi=[xi1，xi2,…,xin]，ω=[ω1，ω2,…,ωn]T，那么一個(gè)n維訓(xùn)練樣本集 {(Xi,yi)}在i=1~N線性可分是指存在ω和b，使得對(duì) i=1~N，有yi(ωTXi+b)>0。

審核編輯：劉清