分類是機(jī)器學(xué)習(xí)最常見的應(yīng)用之一。 分類技術(shù)可預(yù)測(cè)離散的響應(yīng) — 例如，電子郵件是不是垃圾郵件，腫瘤是惡性還是良性的。 分類模型可將輸入數(shù)據(jù)劃分成不同類別。 典型的應(yīng)用包括醫(yī)學(xué)成像、語音識(shí)別和信用評(píng)估。

選擇最合適的分類模型，診斷和糾正過擬合是機(jī)器學(xué)習(xí)的基本技能。 那什么是過擬合? 我們又可以如何防止和避免過擬合呢?

什么是過擬合?

過擬合指當(dāng)模型與訓(xùn)練數(shù)據(jù)過于接近貼合，以至于不知道如何對(duì)新數(shù)據(jù)做出響應(yīng)時(shí)發(fā)生的一種機(jī)器學(xué)習(xí)行為。 過擬合的原因可能是：

機(jī)器學(xué)習(xí)模型太過復(fù)雜; 它記憶了訓(xùn)練數(shù)據(jù)中非常微妙的的模式，而這些模式無法很好地泛化。

訓(xùn)練數(shù)據(jù)的規(guī)模對(duì)于模型復(fù)雜度來說太小，和/或者包含大量不相關(guān)的信息。

您可以通過管理模型復(fù)雜度和改進(jìn)訓(xùn)練數(shù)據(jù)集來防止過擬合。

過擬合與欠擬合

欠擬合與過擬合正相反。 欠擬合指模型不能很好地與訓(xùn)練數(shù)據(jù)貼合，也無法很好地泛化到新數(shù)據(jù)。 在分類模型和回歸模型中都可能出現(xiàn)過擬合和欠擬合。 下圖說明了過擬合的模型的分類決策邊界和回歸線如何過于緊密地跟隨訓(xùn)練數(shù)據(jù)，而欠擬合的模型的分類決策邊界和回歸線又如何不夠緊密地跟隨訓(xùn)練數(shù)據(jù)。

與正確擬合的模型相比，過擬合的分類模型和回歸模型對(duì)訓(xùn)練數(shù)據(jù)的記憶太好。

當(dāng)只針對(duì)訓(xùn)練數(shù)據(jù)查看機(jī)器學(xué)習(xí)模型的計(jì)算誤差時(shí)，過擬合比欠擬合更難檢測(cè)。 因此，為了避免過擬合，在對(duì)測(cè)試數(shù)據(jù)使用機(jī)器學(xué)習(xí)模型之前對(duì)其進(jìn)行驗(yàn)證就很重要。

針對(duì)訓(xùn)練數(shù)據(jù)，過擬合模型的計(jì)算誤差低，而測(cè)試數(shù)據(jù)的誤差高。

將 MATLAB 與 Statistics and Machine Learning Toolbox 和 Deep Learning Toolbox 結(jié)合使用，可以防止機(jī)器學(xué)習(xí)模型和深度學(xué)習(xí)模型的過擬合。 MATLAB 提供了專為避免模型過擬合而設(shè)計(jì)的函數(shù)和方法。 您可以在訓(xùn)練或調(diào)整模型時(shí)使用這些工具來防止過擬合。

如何通過降低模型復(fù)雜度來避免過擬合

使用 MATLAB，您可以從頭開始訓(xùn)練機(jī)器學(xué)習(xí)模型和深度學(xué)習(xí)模型(如 CNN)，或利用預(yù)訓(xùn)練的深度學(xué)習(xí)模型。為了防止過擬合，請(qǐng)執(zhí)行模型驗(yàn)證，以確保為數(shù)據(jù)選擇具有合適復(fù)雜程度的模型，或使用正則化來降低模型的復(fù)雜度。

模型驗(yàn)證

當(dāng)對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行計(jì)算時(shí)，過擬合模型的誤差較低。因此，在引入新數(shù)據(jù)之前，最好在單獨(dú)的數(shù)據(jù)集(即驗(yàn)證數(shù)據(jù)集)上驗(yàn)證您的模型。對(duì)于 MATLAB 機(jī)器學(xué)習(xí)模型，您可以使用 cvpartition 函數(shù)將數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集和驗(yàn)證集。對(duì)于深度學(xué)習(xí)模型，您可以在訓(xùn)練過程中監(jiān)控驗(yàn)證準(zhǔn)確度。通過模型選擇和超參數(shù)調(diào)整來提高經(jīng)過正確驗(yàn)證的模型準(zhǔn)確度度量應(yīng)該能夠提高模型處理新數(shù)據(jù)的準(zhǔn)確度。

交叉驗(yàn)證是一種模型評(píng)估方法，用于評(píng)估機(jī)器學(xué)習(xí)算法對(duì)新數(shù)據(jù)集執(zhí)行預(yù)測(cè)的性能。交叉驗(yàn)證可以幫助您避免選擇過于復(fù)雜而導(dǎo)致過擬合的算法。使用 crossval 函數(shù)，通過使用常見的交叉驗(yàn)證方法來計(jì)算機(jī)器學(xué)習(xí)模型的交叉驗(yàn)證誤差估計(jì)值。這些常見方法包括如 k 折法(將數(shù)據(jù)劃分為 k 個(gè)隨機(jī)選擇的大小大致相等的子集)和留出法(將數(shù)據(jù)按照指定比率隨機(jī)劃分為兩個(gè)子集)等。

正則化

正則化是一種用于防止機(jī)器學(xué)習(xí)模型中的統(tǒng)計(jì)過擬合的方法。正則化算法通常通過對(duì)復(fù)雜度或粗糙度應(yīng)用罰分來實(shí)現(xiàn)。通過向模型中引入更多信息，正則化算法可以使模型更加簡約和準(zhǔn)確，從而處理多重共線性和冗余預(yù)測(cè)變量。

對(duì)于機(jī)器學(xué)習(xí)，您可以在三種流行的正則化方法之間進(jìn)行選擇：lasso(L1 范數(shù))、脊(L2 范數(shù))和彈性網(wǎng)，以用于幾種類型的線性機(jī)器學(xué)習(xí)模型。對(duì)于深度學(xué)習(xí)，您可以在指定的訓(xùn)練選項(xiàng)中增大 L2 正則化因子，或在您的網(wǎng)絡(luò)中使用丟棄層來避免過擬合。

示例和操作方法

正則化

深度學(xué)習(xí)提示和竅門

如何通過增強(qiáng)訓(xùn)練數(shù)據(jù)集來避免過擬合

交叉驗(yàn)證和正則化通過管理模型復(fù)雜度來防止過擬合。 另一種方法是改進(jìn)數(shù)據(jù)集。 深度學(xué)習(xí)模型比其他機(jī)器學(xué)習(xí)模型更需要大量的數(shù)據(jù)來避免過擬合。

數(shù)據(jù)增強(qiáng)

當(dāng)數(shù)據(jù)可用性受限時(shí)，可使用數(shù)據(jù)增強(qiáng)方法來向數(shù)據(jù)集添加現(xiàn)有數(shù)據(jù)的隨機(jī)版本從而人為擴(kuò)展訓(xùn)練數(shù)據(jù)集的數(shù)據(jù)點(diǎn)。 使用 MATLAB，您可以增強(qiáng)圖像、音頻和其他類型的數(shù)據(jù)。 例如，通過隨機(jī)化現(xiàn)有圖像的縮放比例和旋轉(zhuǎn)來增強(qiáng)圖像數(shù)據(jù)。

數(shù)據(jù)生成

合成數(shù)據(jù)生成是擴(kuò)展數(shù)據(jù)集的另一種方法。 使用 MATLAB，您可以使用生成對(duì)抗網(wǎng)絡(luò) (GAN) 或數(shù)字孿生(通過仿真生成數(shù)據(jù))來生成合成數(shù)據(jù)。

數(shù)據(jù)清洗

數(shù)據(jù)噪聲會(huì)導(dǎo)致過擬合。 減少不想要的數(shù)據(jù)點(diǎn)的一種常見方法是使用 rmoutliers 函數(shù)從數(shù)據(jù)中刪除離群值。

示例和操作方法

使用增強(qiáng)的圖像訓(xùn)練網(wǎng)絡(luò)

增強(qiáng)深度學(xué)習(xí)的點(diǎn)云數(shù)據(jù)

使用條款 GAN 生成的合成信號(hào)

設(shè)置參數(shù)并訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)

審核編輯：湯梓紅