導(dǎo)讀

最基礎(chǔ)的半監(jiān)督學(xué)習(xí)的概念，給大家一個感性的認識。

半監(jiān)督學(xué)習(xí)(SSL)是一種機器學(xué)習(xí)技術(shù)，其中任務(wù)是從一個小的帶標簽的數(shù)據(jù)集和相對較大的未帶標簽的數(shù)據(jù)中學(xué)習(xí)得到的。SSL的目標是要比單獨使用有標記數(shù)據(jù)訓(xùn)練的監(jiān)督學(xué)習(xí)技術(shù)得到更好的結(jié)果。這是半監(jiān)督學(xué)習(xí)系列文章的第1部分，對這個機器學(xué)習(xí)的重要子領(lǐng)域進行了簡要的介紹。

區(qū)分半監(jiān)督學(xué)習(xí)，監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)

整個數(shù)據(jù)集中可用于訓(xùn)練的有標記數(shù)據(jù)的范圍區(qū)分了機器學(xué)習(xí)的這三個相關(guān)領(lǐng)域。

監(jiān)督學(xué)習(xí)是機器學(xué)習(xí)中最流行的模式，在這種模式中，可以通過標簽的形式獲得完整的監(jiān)督。整個數(shù)據(jù)集都有標記，即一個標簽與訓(xùn)練數(shù)據(jù)集中的每個樣本相關(guān)聯(lián)。機器學(xué)習(xí)模型使用這個標簽數(shù)據(jù)集訓(xùn)練，并期望對新的樣本預(yù)測一個標簽。監(jiān)督學(xué)習(xí)主要包括兩類任務(wù)：分類和回歸。分類問題要求算法預(yù)測一個離散值，而回歸任務(wù)是需要從輸入變量(X)逼近一個映射函數(shù)(f)到連續(xù)輸出變量(y)。

手寫數(shù)字識別使用(MNIST)數(shù)據(jù)集。每個樣本都有一個圖像和對應(yīng)的數(shù)字作為標簽。任務(wù)是學(xué)習(xí)從圖像中預(yù)測標簽(即數(shù)字)。

另一個例子是情感分類，使用IMDB數(shù)據(jù)集。每條記錄都包含一個評論和一個相應(yīng)的標簽(正面的或負面的)。這里的任務(wù)是預(yù)測給定評論的情緒。

房價預(yù)測是一個回歸任務(wù)，其中標簽(房價)是一個連續(xù)變量。

在無監(jiān)督學(xué)習(xí)中，沒有標記數(shù)據(jù)可用。訓(xùn)練數(shù)據(jù)集包含樣本，但沒有特定的期望結(jié)果或標簽。機器學(xué)習(xí)模型試圖通過提取有用的特征并對其進行分析來自動地在數(shù)據(jù)中找到結(jié)構(gòu)。像聚類、異常檢測、關(guān)聯(lián)等任務(wù)屬于無監(jiān)督學(xué)習(xí)。

聚類是將數(shù)據(jù)集劃分為多個簇，使同一簇中的數(shù)據(jù)點與同一簇中的其他數(shù)據(jù)點更相似，與其他簇中的數(shù)據(jù)點不相似。例如，下圖(左)中的數(shù)據(jù)點可以分成3個簇，如圖(右)所示。注意，簇可以是任何形狀。

半監(jiān)督式學(xué)習(xí)(SSL)，正如其名稱所示，介于兩個極端之間(監(jiān)督式是指整個數(shù)據(jù)集被標記，而非監(jiān)督式是指沒有標記)。半監(jiān)督學(xué)習(xí)任務(wù)具有一個標記和一個未標記的數(shù)據(jù)集。它使用未標記的數(shù)據(jù)來獲得對數(shù)據(jù)結(jié)構(gòu)的更多理解。通常，SSL使用小的帶標簽數(shù)據(jù)集和較大的未帶標簽數(shù)據(jù)集來進行學(xué)習(xí)。

我們的目標是學(xué)習(xí)一個預(yù)測器來預(yù)測未來的測試數(shù)據(jù)，這個預(yù)測器比單獨從有標記的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)的預(yù)測器更好。

監(jiān)督學(xué)習(xí)，半監(jiān)督學(xué)習(xí)，無監(jiān)督學(xué)習(xí)在標記數(shù)據(jù)上的差別可視化

為什么要關(guān)注半監(jiān)督學(xué)習(xí)

在許多實際應(yīng)用中，收集大的有標簽數(shù)據(jù)集太昂貴或者不可行，但是有大量的無標簽數(shù)據(jù)可用。對于這種情況，半監(jiān)督學(xué)習(xí)是一個完美的方案。SSL技術(shù)可以利用帶標簽的數(shù)據(jù)，也可以從未帶標簽的數(shù)據(jù)派生結(jié)構(gòu)，從而更好地解決總體任務(wù)。

典型的監(jiān)督學(xué)習(xí)算法在標記數(shù)據(jù)集較小的情況下，容易出現(xiàn)過擬合問題。SSL通過在訓(xùn)練過程中理解未標記數(shù)據(jù)的結(jié)構(gòu)來緩解這個問題。

此外，這種學(xué)習(xí)技術(shù)減輕了構(gòu)建大量標記數(shù)據(jù)集來學(xué)習(xí)任務(wù)的負擔(dān)。SSL方法更接近我們?nèi)祟惖膶W(xué)習(xí)方式。

讓我們舉個例子來直觀地看看半監(jiān)督學(xué)習(xí)的效果。在下面的圖中，當只對標記數(shù)據(jù)(大的黑點和白點)進行訓(xùn)練(即對標記數(shù)據(jù)進行監(jiān)督學(xué)習(xí))時，決策邊界(虛線)并不遵循數(shù)據(jù)“流形”的輪廓，這可以由額外的未標記數(shù)據(jù)(小灰點)來表示。

因此，SSL的目標是利用未標記數(shù)據(jù)來生成決策邊界，從而更好地反映數(shù)據(jù)的底層結(jié)構(gòu)。

由不同的半監(jiān)督學(xué)習(xí)方法生成的決策邊界

半監(jiān)督學(xué)習(xí)的任務(wù)舉例

CIFAR-10— 它是由10個類的32×32像素的RGB圖像組成的數(shù)據(jù)集，任務(wù)是圖像分類。通常使用Tiny Images數(shù)據(jù)集中的隨機圖像來形成未標記數(shù)據(jù)集。

SVHN— 街景門牌號數(shù)據(jù)集由真實門牌號的32×32像素的RGB圖像組成，任務(wù)是分類最中間的數(shù)字。它附帶一個“SVHN-extra”數(shù)據(jù)集，該數(shù)據(jù)集由531,131個額外的數(shù)字圖像組成，可以用作未標記數(shù)據(jù)。

Text-Classification Tasks— 亞馬遜評論數(shù)據(jù)庫，Yelp評論數(shù)據(jù)集。

總結(jié)

半監(jiān)督學(xué)習(xí)是一種有趣的方法，用于解決機器學(xué)習(xí)中缺乏標記數(shù)據(jù)的問題。SSL算法還利用未標記數(shù)據(jù)來提高監(jiān)督學(xué)習(xí)算法的性能。SSL算法通常提供了一種從無標簽示例中了解數(shù)據(jù)結(jié)構(gòu)的方法，減輕了對標簽的需求。

本系列的第2部分會介紹了一些具體的SSL技術(shù)，未完待續(xù)。

責(zé)任編輯：xj

原文標題：半監(jiān)督學(xué)習(xí)入門基礎(chǔ)（一）

文章出處：【微信公眾號：深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。