大規(guī)模帶標(biāo)注的數(shù)據(jù)集的出現(xiàn)是深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域取得巨大成功的關(guān)鍵因素之一。然而，監(jiān)督式學(xué)習(xí)存在一個(gè)主要問題：過于依賴大規(guī)模數(shù)據(jù)集，而數(shù)據(jù)集的收集和手動數(shù)據(jù)標(biāo)注需要耗費(fèi)大量的人力成本。

作為替代方案，自監(jiān)督學(xué)習(xí)旨在通過設(shè)計(jì)輔助任務(wù)來學(xué)習(xí)可區(qū)別性的視覺特征，如此，目標(biāo)標(biāo)簽就能夠自由獲取。這些標(biāo)簽?zāi)軌蛑苯訌挠?xùn)練數(shù)據(jù)或圖像中獲得，并為計(jì)算機(jī)視覺模型的訓(xùn)練提供監(jiān)督信息，這與監(jiān)督式學(xué)習(xí)的原理是相同的。但是不同于監(jiān)督式學(xué)習(xí)的是，自監(jiān)督學(xué)習(xí)方法通過挖掘數(shù)據(jù)的性質(zhì)，從中學(xué)習(xí)并生成視覺特征的語義標(biāo)簽信息。還有一類方法是弱監(jiān)督學(xué)習(xí)，這種學(xué)習(xí)方式能夠利用低水平的注釋信息來解決更復(fù)雜的計(jì)算機(jī)視覺任務(wù)，如利用自然場景下每張圖像的類別標(biāo)簽進(jìn)行目標(biāo)檢測任務(wù)。

我們的目標(biāo)是探索一種自監(jiān)督的解決方案，利用圖像和圖像之間的相關(guān)性來替代完全監(jiān)督式的 CNN訓(xùn)練。此外，我們還將探索非結(jié)構(gòu)化語言語義信息的強(qiáng)弱，并將其作為文本監(jiān)督信號來學(xué)習(xí)視覺特征。

我們擴(kuò)展了之前提出的方法并展示了以自監(jiān)督的方式進(jìn)行插圖文章的學(xué)習(xí)，這能夠進(jìn)一步擴(kuò)展到更大的訓(xùn)練數(shù)據(jù)集(如整個(gè)英語維基百科)。

通過實(shí)驗(yàn)，我們驗(yàn)證了 TextTopicNet的表現(xiàn)優(yōu)于其他基準(zhǔn)評估中的自監(jiān)督或自然監(jiān)督的方法。此外，我們還在更具挑戰(zhàn)性的 SUN397數(shù)據(jù)集上測試了我們的方法，結(jié)果表明 TextTopicNet能夠減少自監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)之間的性能差距。

我們展示了將上下文的文本表征用于模型的訓(xùn)練，這能夠有助于網(wǎng)絡(luò)自動學(xué)習(xí)多模態(tài)的語義檢索。在圖像——文本的檢索任務(wù)中，TextTopicNet的表現(xiàn)超過了無監(jiān)督學(xué)習(xí)的方法，而與監(jiān)督學(xué)習(xí)的方法相比，我們的方法能夠在無需任何特定類別信息的情況下還能表現(xiàn)出有競爭力的性能。

在自監(jiān)督學(xué)習(xí)設(shè)置下，我們對不同的文本嵌入方法進(jìn)行了對比分析，如word2vec，GloVe，F(xiàn)astText，doc2vec等。

此外，我們還公開發(fā)布了我們所收集的數(shù)據(jù)集，該數(shù)據(jù)集采自整個(gè)英語維基百科，由 420 萬個(gè)圖像組成，每張圖像都有對應(yīng)的文字描述信息。

維基圖像——文本數(shù)據(jù)集

我們以維基百科作為數(shù)據(jù)的來源，這是一個(gè)基于網(wǎng)絡(luò)的多語言的百科全書項(xiàng)目，目前有 4000 多萬篇文章，含 299 種不同語言。維基百科文章通常由文字及其他多媒體類型的對象(如圖像，音頻或視頻文件)組成，因此可以將其視為多模態(tài)的文檔數(shù)據(jù)。對于我們的實(shí)驗(yàn)，我們使用兩個(gè)不同的維基百科文章集合：(a) ImageCLEF 2010維基百科數(shù)據(jù)集；(b)我們所收集的英語維基百科圖像——文本數(shù)據(jù)集，包含 420 萬圖像文本對組成的數(shù)據(jù)，下圖1展示了 11 種類別的文章分布情況。

圖1英語維基百科種11種類別的文章分布情況

TextTopicNet

我們提出了一種 TextTopicNet的方法，通過挖掘大規(guī)模多模態(tài)網(wǎng)絡(luò)文檔的大規(guī)模語料庫(如維基百科文章)，以自監(jiān)督的方式來學(xué)習(xí)視覺特征。在自監(jiān)督學(xué)習(xí)設(shè)置下，TextTopicNet能夠使用免費(fèi)可用的非結(jié)構(gòu)化、多模態(tài)的內(nèi)容來學(xué)習(xí)可區(qū)別的視覺特征，并在給定圖像的下，通過訓(xùn)練 CNN來預(yù)測可能插圖的語義環(huán)境。我們的方法示意圖如下圖 2 所示，該方法采用一個(gè)文本嵌入算法來獲取文本部分的向量表征，然后將該表征作為 CNN視覺特征學(xué)習(xí)的一種監(jiān)督信號。我們進(jìn)一步使用多種類別的文檔以及詞級(word-level)的文本嵌入方法，發(fā)現(xiàn)通過 LDA主題模型框架發(fā)現(xiàn)的隱藏語義結(jié)構(gòu)，能夠在主題層面最佳地展現(xiàn)文本信息。

圖2 方法概覽。維基百科文章包含一個(gè)主題的文本描述，這些文章同時(shí)也附有支持文本的插圖。文本嵌入框架能夠與文本信息相關(guān)的全局上下文表征。而整篇文章的這種文本表征向量被用于為 CNN的訓(xùn)練提供自監(jiān)督信號

如圖 3 所示，作為主題層面的語義描述器，需要大量可用的關(guān)于特定類別或細(xì)粒度類別的視覺數(shù)據(jù)。雖然在我們收集的數(shù)據(jù)中，這類數(shù)據(jù)非常有限，但是這很容易在更廣泛的目標(biāo)類別(如哺乳動物)中找到足夠多的、有代表性的圖像。因此，在給定的目標(biāo)主題情況下，我們的方法能夠?qū)W習(xí)到期望的視覺特征，這種特征是通用的，即同樣適用于其他特定的計(jì)算機(jī)視覺任務(wù)。

圖 3 描述特定實(shí)體的維基百科文章。如 (a) 中“羚羊”或 (b) 中的“馬”，每個(gè)實(shí)體通常包含五張圖像。對于一些特定實(shí)體，如 (c)中的“食草哺乳動物”，相關(guān)的圖像很容易就達(dá)到數(shù)百或成千上萬張。

我們還訓(xùn)練一個(gè) CNN模型，它能夠直接將圖像投影到文本的語義空間，而 TextTopicNet不僅能夠在無需任何標(biāo)注信息的情況下從頭開始學(xué)習(xí)數(shù)據(jù)的視覺特征，還可以以自然的方式進(jìn)行多模態(tài)的檢索，而無需額外的注釋或?qū)W習(xí)成本。

實(shí)驗(yàn)

我們通過大量的實(shí)驗(yàn)來展示 TextTopicNet模型所學(xué)習(xí)到的視覺特征質(zhì)量。衡量的標(biāo)準(zhǔn)是所習(xí)得的視覺特征具有足夠好的可區(qū)別性和魯棒性，并能進(jìn)一步適用于那些未見過的類別數(shù)據(jù)。

首先，為了驗(yàn)證圖像—文本對的自監(jiān)督學(xué)習(xí)，我們比較了各種文本嵌入方法。其次，我們在 PASCAL VOC 2007 數(shù)據(jù)集的圖像分類任務(wù)中對 TextTopicNet模型每層的特征進(jìn)行基準(zhǔn)分析，以找到了 LDA模型的最佳主題數(shù)量。然后，我們分別在 PASCAL、SUN397和 STL-10數(shù)據(jù)集的圖像分類和檢測任務(wù)中進(jìn)一步與當(dāng)前最佳的自監(jiān)督方法和無監(jiān)督方法進(jìn)行了比較。最后，我們利用維基百科檢索數(shù)據(jù)集對我們的方法進(jìn)行了圖像檢索和文本查詢實(shí)驗(yàn)。

自監(jiān)督視覺特征學(xué)習(xí)的文本嵌入算法比較

在自監(jiān)督視覺特征學(xué)習(xí)的設(shè)置下，我們對 word2vec，GloVe，F(xiàn)astText，doc2vec及 LDA算法進(jìn)行了比較分析。對于每種文本嵌入方法，我們都將訓(xùn)練一個(gè) CNN模型并利用網(wǎng)絡(luò)不同層獲得的特征信息去學(xué)習(xí)一個(gè)一對多的SVM (one-vs-all SVM)。下表1顯示了在 PASCAL VOC2007數(shù)據(jù)集中，使用不同文本嵌入方法，模型所展現(xiàn)的分類性能。我們觀察到在自監(jiān)督的視覺特征學(xué)習(xí)任務(wù)中，基于嵌入的 LDA方法展現(xiàn)了最佳全局表現(xiàn)。

表1：使用不同文本嵌入方法的 TextTopicNet模型在 PASCAL VOC2007數(shù)據(jù)集圖像分類任務(wù)上的性能表現(xiàn)(%mAP)

LDA模型的超參數(shù)設(shè)置

我們用 ImageCLEF Wikipedia數(shù)據(jù)集上 35582 篇文章訓(xùn)練了一個(gè) LDA 模型，以確定 LDA模型的主題數(shù)量。下圖4展示了實(shí)驗(yàn)結(jié)果，我們可以看到擁有 40 個(gè)主題數(shù)的 LDA模型能夠獲得最佳的 SVM驗(yàn)證準(zhǔn)確性。

圖4隨著 LDA主題數(shù)量的變化，PASCAL VOC2007數(shù)據(jù)集上 One vs. Rest線性 SVM所取得的驗(yàn)證準(zhǔn)確性(％mAP)

圖像分類和圖像檢測

我們分別在 PASCAL、SUN397和 STL-10數(shù)據(jù)集進(jìn)行圖像分類和檢測任務(wù)，比較并分析 TextTopicNet以及當(dāng)前最佳的自監(jiān)督和無監(jiān)督模型的表現(xiàn)。下表 2、3和4 分別展示各模型在 PASCAL VOC 2007、SUN397和 STL-10數(shù)據(jù)集上的分類表現(xiàn)，表 5 展示了在 PASCAL VOC 2007數(shù)據(jù)集上模型的檢測性能。

表 2 PASCAL VOC2007數(shù)據(jù)集上各模型的分類表現(xiàn)(％mAP)

表 3 SUN397數(shù)據(jù)集上各模型的分類表現(xiàn)(％mAP)

表 4 STL-10數(shù)據(jù)集上各模型的分類表現(xiàn)(％mAP)

表 5 PASCAL VOC 2007數(shù)據(jù)集上各模型的檢測表現(xiàn)(％mAP)

圖像檢索和文本查詢

我們還在多模態(tài)檢索任務(wù)中評估所習(xí)得的自監(jiān)督視覺特征：(1)圖像查詢與文本數(shù)據(jù)庫; (2)文本查詢與圖像數(shù)據(jù)庫。我們使用維基百科檢索數(shù)據(jù)集，由2,866 個(gè)圖像文檔對組成，包含 2173 和 693 對訓(xùn)練和測試數(shù)據(jù)。每個(gè)圖像--文本對數(shù)據(jù)都帶有其語義標(biāo)簽。下表 6 展示了監(jiān)督和無監(jiān)督學(xué)習(xí)方法在多模態(tài)檢索任務(wù)中的表現(xiàn)，其中監(jiān)督學(xué)習(xí)的方法能夠利用與類別相關(guān)的每個(gè)圖像--文本對信息，而無監(jiān)督學(xué)習(xí)方法則不能。

表 8維基數(shù)據(jù)集上各監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)方法的表現(xiàn)(%mAP)

圖 4 顯示了與給定查詢圖像(最左側(cè))最接近的 4 張圖像，其中每行使用的是 TextTopicNet模型不同層次獲得的特征，從上到下：prob，fc7，fc6，pool5層。這些查詢圖像是從 PASCAL VOC 2007中隨機(jī)選擇的，且從未在訓(xùn)練時(shí)出現(xiàn)過。

圖4與查詢圖像(最左側(cè))最相近的4張圖像

圖 5顯示了在 TextTopicNet主題空間中，與給定查詢文本最接近的 12 個(gè)查詢內(nèi)容?？梢钥吹剑瑢τ诘谝粭l查詢文本(“飛機(jī)”)，所檢索到的圖像列表幾乎是其相同的同義詞，如“flight”，“airway”或“aircraft”。利用文本的語義信息，我們的方法能夠?qū)W習(xí)多義詞的圖像表示。此外，TextTopicNet模型還能夠處理語義文本查詢，如檢索(“飛機(jī)”+ “戰(zhàn)斗機(jī)”或“飛行”+“天空”)等。

圖 5與不同文本查詢最接近的12個(gè)查詢內(nèi)容

結(jié)論

在本文中，我們提出了一種自監(jiān)督學(xué)習(xí)方法，用于學(xué)習(xí) LDA模型的文本主題空間。該方法 TextTopicNet能夠在無監(jiān)督設(shè)置下，利用多模態(tài)數(shù)據(jù)的優(yōu)勢，學(xué)習(xí)并訓(xùn)練計(jì)算機(jī)視覺算法。將文章插圖中的文字視為噪聲圖像標(biāo)注信息，我們的方法能夠通過視覺特征的學(xué)習(xí)，訓(xùn)練 CNN模型并預(yù)測在特定的上下文語義中最可能出現(xiàn)的插圖。

我們通過實(shí)驗(yàn)證明我們方法的有效性，并可以擴(kuò)展到更大、更多樣化的訓(xùn)練數(shù)據(jù)集。此外，TextTopicNet模型學(xué)到了視覺特征不僅適用于廣泛的主題，而且還能將其應(yīng)用到更具體、復(fù)雜的計(jì)算機(jī)視覺任務(wù)，如圖像分類，物體檢測和多模態(tài)檢索。與現(xiàn)有的自監(jiān)督或無監(jiān)督方法相比，我們方法的表現(xiàn)更優(yōu)。