為了解決視覺模型依賴有監(jiān)督預(yù)訓(xùn)練、難以遷移的問題，F(xiàn)acebook何愷明等多名研究者發(fā)表了一項(xiàng)獨(dú)特的遷移學(xué)習(xí)研究，無需數(shù)據(jù)清洗和手工標(biāo)記數(shù)據(jù)，通過訓(xùn)練大型卷積網(wǎng)絡(luò)可以預(yù)測(cè)數(shù)十億社交媒體圖像的hashtag，在圖像分類和目標(biāo)檢測(cè)任務(wù)上都得到了迄今最高的精度。

用于各種任務(wù)的最先進(jìn)的視覺感知模型都依賴于有監(jiān)督的預(yù)訓(xùn)練。ImageNet分類實(shí)際上是這些模型的預(yù)訓(xùn)練任務(wù)。然而，ImageNet現(xiàn)在已有近十年的歷史，并且按現(xiàn)代標(biāo)準(zhǔn)而言，它的規(guī)模相當(dāng)“小”。

即便如此，對(duì)于要用多個(gè)數(shù)量級(jí)更大的數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練的行為，我們所知甚少。原因很明顯：這些數(shù)據(jù)集很難收集，也很難注釋。

為了解決這個(gè)問題，來自Facebook的包括何愷明在內(nèi)的多名研究者發(fā)表了一項(xiàng)獨(dú)特的遷移學(xué)習(xí)研究，通過訓(xùn)練大型卷積網(wǎng)絡(luò)，可以預(yù)測(cè)數(shù)十億社交媒體圖像的hashtag。

這一研究再次引起熱議，吳恩達(dá)也在推特上盛贊：

“當(dāng)你在前所未有的35億張（真的很大?。┯袠?biāo)記圖像上訓(xùn)練，然后遷移到新的任務(wù)，神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練能不斷改進(jìn)。在我看來，我們還遠(yuǎn)遠(yuǎn)沒有接近預(yù)訓(xùn)練/遷移學(xué)習(xí)的極限。”

該研究的實(shí)驗(yàn)表明，對(duì)大規(guī)模 hashtag 預(yù)測(cè)進(jìn)行訓(xùn)練可以得到很好的結(jié)果。研究展示了幾項(xiàng)在圖像分類和目標(biāo)檢測(cè)任務(wù)上的改進(jìn)，并報(bào)告了迄今為止最高的ImageNet-1k single-crop，top-1 精度：85.4％（top-5 精度是97.6％）。大量實(shí)驗(yàn)還提供了關(guān)于大規(guī)模預(yù)訓(xùn)練和遷移學(xué)習(xí)效果之間關(guān)系的新的經(jīng)驗(yàn)數(shù)據(jù)。

無需數(shù)據(jù)清洗和人工標(biāo)記，得到優(yōu)異遷移性能

幾乎所有最先進(jìn)的視覺感知算法都依賴于同一個(gè)方案：（1）在一個(gè)大型、手動(dòng)注釋的圖像分類數(shù)據(jù)集上預(yù)訓(xùn)練卷積網(wǎng)絡(luò)；（2）在一個(gè)較小的、特定于任務(wù)的數(shù)據(jù)集上微調(diào)網(wǎng)絡(luò)。這個(gè)方案已經(jīng)廣泛使用多年，并在許多任務(wù)上取得了令人印象深刻的改進(jìn)，包括物體檢測(cè)、語義分割、人體姿勢(shì)估計(jì)、視頻識(shí)別、單目深度估計(jì)等。事實(shí)上，它是如此有效，以至于現(xiàn)在不使用有監(jiān)督的預(yù)訓(xùn)練被認(rèn)為是蠻干。

ImageNet數(shù)據(jù)集實(shí)際上是一個(gè)預(yù)訓(xùn)練數(shù)據(jù)集。雖然有研究分析了各種ImageNet預(yù)訓(xùn)練因素對(duì)遷移學(xué)習(xí)的影響，或使用與ImageNet規(guī)模一致的其他數(shù)據(jù)集，但對(duì)于在大幾個(gè)數(shù)量級(jí)的數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練的了解相對(duì)較少。

原因有很多：這樣大的數(shù)據(jù)集很少，因?yàn)闃?gòu)建新的數(shù)據(jù)集需要大量人力，并且需要大量的計(jì)算資源來進(jìn)行實(shí)驗(yàn)。然而，鑒于預(yù)訓(xùn)練的核心作用，擴(kuò)展在這一領(lǐng)域的科學(xué)了解非常重要。

本文試圖通過研究一個(gè)未被探索的數(shù)據(jù)體系來解決這個(gè)復(fù)雜的問題：數(shù)十億張帶有社交媒體“標(biāo)簽”（hashtags）的真實(shí)圖片。這個(gè)數(shù)據(jù)源的優(yōu)點(diǎn)是：它很大，并且在不斷增長，以及從注釋角度來說它是“免費(fèi)”的，因?yàn)椴恍枰謩?dòng)標(biāo)記。但是，這個(gè)數(shù)據(jù)源也有潛在的缺點(diǎn)：hashtag可能噪音太多而不能用作有效的監(jiān)督信號(hào)，并且圖像分布可能存在偏差，從而損害遷移學(xué)習(xí)。因此，在這些數(shù)據(jù)上進(jìn)行訓(xùn)練不一定能產(chǎn)生良好的遷移學(xué)習(xí)結(jié)果。

本研究的主要結(jié)果是，在沒有人工數(shù)據(jù)集管理或復(fù)雜的數(shù)據(jù)清洗的情況下，使用數(shù)千個(gè)不同的hashtag作為標(biāo)簽，在數(shù)十億Instagram圖像上訓(xùn)練的模型表現(xiàn)出了優(yōu)異的遷移學(xué)習(xí)性能。例如，我們觀察到在圖像分類和物體檢測(cè)任務(wù)上相比state-of-the-art的技術(shù)有所改進(jìn)，我們?cè)贗mageNet-1k圖像分類數(shù)據(jù)集 single-crop，top-1的準(zhǔn)確率為85.4%，相比此前最優(yōu)的79.8%要高；在COCO物體檢測(cè)數(shù)據(jù)集獲得45.2% AP，高于此前最優(yōu)的43.7%。

但是，我們的主要目標(biāo)是提供關(guān)于這個(gè)先前未被探索的體系的新實(shí)驗(yàn)數(shù)據(jù)。為此，我們進(jìn)行了大量實(shí)驗(yàn)，揭示出一些有趣的趨勢(shì)。例如，我們發(fā)現(xiàn)“hashtag engineering”（即收集以特定hashtag子集標(biāo)記的圖像）是改善遷移學(xué)習(xí)結(jié)果的一個(gè)有前景的新方向。在大規(guī)模hashtag數(shù)據(jù)上訓(xùn)練對(duì)label noise意外的robust，所學(xué)的特征允許簡單的線性分類器實(shí)現(xiàn)最優(yōu)的ImageNet-1k top-1 準(zhǔn)確率，即83.6％，沒有任何微調(diào)（微調(diào)的情況下達(dá)到84.2％）。

擴(kuò)大有監(jiān)督預(yù)訓(xùn)練

在實(shí)驗(yàn)中，我們訓(xùn)練了標(biāo)準(zhǔn)的卷積網(wǎng)絡(luò)架構(gòu)來預(yù)測(cè)多達(dá)35億張Instagram公開圖像的hashtag。

Instagram 數(shù)據(jù)集

表1：用于圖像分類任務(wù)的數(shù)據(jù)集

ImageNet 數(shù)據(jù)集

除了標(biāo)準(zhǔn)IN-1k數(shù)據(jù)集之外，我們還嘗試了完整ImageNet 2011版本的更大子集，包含14.2M圖像和22k標(biāo)簽。我們構(gòu)建包含5k和9k標(biāo)簽的訓(xùn)練集和驗(yàn)證集。在所有情況下，每個(gè)類都使用50張圖像進(jìn)行驗(yàn)證。

模型

我們使用具有分組卷積層的殘差網(wǎng)絡(luò)ResNeXt[15]，實(shí)驗(yàn)使用ResNeXt-101 32×Cd，它有101層，32組，組寬為C。

實(shí)驗(yàn)和結(jié)果

在實(shí)驗(yàn)中，我們預(yù)訓(xùn)練了卷積網(wǎng)絡(luò)來進(jìn)行標(biāo)簽預(yù)測(cè)，然后將這些網(wǎng)絡(luò)遷移到各種任務(wù)中。

圖像分類實(shí)驗(yàn)

我們通過三個(gè)分類目標(biāo)任務(wù)（ImageNet [30]， CUB2011 [21]， Places365[14]）的分類精度來評(píng)估Instagram預(yù)處理。我們對(duì)224×224中心裁剪的圖像進(jìn)行推理，并研究（1） hashtag詞匯量大小,（2）訓(xùn)練集大小,（3） hashtag 目標(biāo)中的噪聲的數(shù)量，以及（4） hashtag的采樣策略對(duì)結(jié)果的影響。

1、Instagram hashtag集對(duì)準(zhǔn)確度的影響如何？

圖1顯示，對(duì)hashtag預(yù)測(cè)進(jìn)行預(yù)訓(xùn)練可以顯著提高目標(biāo)任務(wù)的準(zhǔn)確性：在標(biāo)準(zhǔn)的IN-1k基準(zhǔn)測(cè)試集中，一個(gè)在約1B、具有1.5k標(biāo)簽的Instagram圖像集上預(yù)訓(xùn)練的網(wǎng)絡(luò)，最高精度達(dá)到84.2％——與僅使用IN-1k訓(xùn)練的相同模型架構(gòu)相比，提高了4.6％；與使用優(yōu)化網(wǎng)絡(luò)架構(gòu)的先前技術(shù)相比，提高了1.5％。

圖1：用 IG-1B 數(shù)據(jù)集訓(xùn)練ResNeXt-101 的分類精度，包含不同詞匯量大小的hashtag（紫色條）?；疑珬l表示基線模型。

Instagram預(yù)訓(xùn)練得到的性能改進(jìn)因ImageNet任務(wù)而異。在CUB2011和Places365目標(biāo)任務(wù)中，使用最大 hashtag 集訓(xùn)練的源模型可能表現(xiàn)最佳，因?yàn)?7k hashtags跨越了更多對(duì)象、場景和細(xì)粒度類別。這些模式非常直觀，表明源標(biāo)簽集和目標(biāo)標(biāo)簽集之間的對(duì)齊是一個(gè)重要因素。

我們還使用具有17k hashtags（深紫色條）的更大的3.5B圖像集，結(jié)果如圖1所示。它在所有目標(biāo)任務(wù)中都表現(xiàn)最佳。雖然IN-1M-1k模型在val-IN-1k上獲得了87.5％的rectified top-1 精度，但我們的IG-3.5B-17k預(yù)訓(xùn)練模型精度達(dá)到了90.4％。

2、預(yù)訓(xùn)練圖像集大小對(duì)準(zhǔn)確度的影響如何？

圖2：在IN- {1k，5k，9k}和CUB2011的分類精度。橫軸表示源任務(wù)的訓(xùn)練圖像數(shù)量。

圖2顯示了ImageNet驗(yàn)證集的分類精度（y軸），它是Instagram訓(xùn)練圖像數(shù)量（x軸）的函數(shù)，數(shù)量范圍從3.5M到3.5B。該圖顯示了預(yù)訓(xùn)練的模型的結(jié)果，用于預(yù)測(cè)具有三種不同容量（由不同顏色表示）的ResNeXt-101模型的1.5k標(biāo)簽（虛線）或17k標(biāo)簽（實(shí)線）。

3、hashtag標(biāo)簽的噪聲對(duì)模型精度有什么影響？

圖3：在IG-1B-17k上預(yù)訓(xùn)練的ResNeXt-101 32×16d的分類精度

圖3的結(jié)果表明，網(wǎng)絡(luò)對(duì)標(biāo)簽噪聲具有顯著的彈性：p = 10％的噪聲水平導(dǎo)致分類精度損失小于1％，而標(biāo)簽噪聲p = 25％，精度降低約2％。這些結(jié)果表明，如果在數(shù)十億圖像上訓(xùn)練網(wǎng)絡(luò)，標(biāo)簽噪聲可能問題不大。

4、預(yù)訓(xùn)練數(shù)據(jù)的采樣如何影響準(zhǔn)確性？

圖4：ResInXt-101 32×4d的分類精度，在IG-1B-17k上預(yù)訓(xùn)練，在val-IN- {1k，5k，9k}上用三種不同的標(biāo)簽采樣策略：自然采樣，均勻采樣和平方根采樣。

結(jié)果表明重新采樣標(biāo)簽分布對(duì)于獲得良好的ImageNet圖像分類結(jié)果非常重要：使用均勻采樣或平方根采樣可以提高5到6％的準(zhǔn)確度，無論ImageNet類的數(shù)量是多少。該圖還表明，隨著目標(biāo)類數(shù)量的增長，更大的hashtag詞匯量可以提高準(zhǔn)確度。

探索監(jiān)督預(yù)訓(xùn)練的極限

我們?cè)噲D探索監(jiān)督預(yù)訓(xùn)練（supervised pretraining）的極限。除了在ImageNet-1k基準(zhǔn)任務(wù)（85.4％single-crop， top-1 精度; 97.6％single-crop， top-5 精度）和其他幾項(xiàng)視覺任務(wù)上產(chǎn)生最先進(jìn)的結(jié)果，我們的研究還得到四個(gè)重要的觀察：

1、我們的結(jié)果表明，雖然增加預(yù)訓(xùn)練數(shù)據(jù)集的大小是值得的，但為源任務(wù)選擇標(biāo)簽空間以匹配目標(biāo)任務(wù)的標(biāo)簽空間至少同等重要。我們發(fā)現(xiàn)，在設(shè)計(jì)用于匹配ImageNet-1k數(shù)據(jù)集中類的標(biāo)簽詞匯表上訓(xùn)練的網(wǎng)絡(luò)優(yōu)于那些訓(xùn)練了兩倍數(shù)量的圖像、而沒有仔細(xì)選擇hashtag標(biāo)簽的網(wǎng)絡(luò)（圖2左上）。

這一發(fā)現(xiàn)為“l(fā)abel-space engineering”方法的設(shè)計(jì)鋪平了道路，該方法旨在為特定目標(biāo)任務(wù)選擇最佳的（弱監(jiān)督）標(biāo)簽集。這種標(biāo)簽空間工程可能比進(jìn)一步增加訓(xùn)練模型的數(shù)據(jù)規(guī)模更有成效。

2、與先前的工作[16,17]一致，我們觀察到在訓(xùn)練數(shù)十億圖像時(shí)，當(dāng)前的網(wǎng)絡(luò)架構(gòu)是欠擬合（underfitting）的。雖然這種underfitting的確導(dǎo)致對(duì)hashtag的噪聲具有很高的魯棒性，但我們的結(jié)果表明，通過進(jìn)一步提高網(wǎng)絡(luò)容量可以提高目標(biāo)任務(wù)準(zhǔn)確性。例如，通過增加現(xiàn)有架構(gòu)的層數(shù)和每層的過濾器數(shù)量，或者通過專家混合（使用跨GPU的模型并行化），可以增加容量。

3、實(shí)驗(yàn)結(jié)果還強(qiáng)調(diào)了在基準(zhǔn)測(cè)試任務(wù)中更多地考慮視覺多樣性的重要性。結(jié)果表明，如果在具有更大視覺變化的任務(wù)上評(píng)估這些特征，則視覺特征質(zhì)量的差異變得更加明顯。 例如，我們發(fā)現(xiàn)使用兩個(gè)不同詞匯表預(yù)訓(xùn)練的模型之間的準(zhǔn)確度差異隨著目標(biāo)類數(shù)量的增加而增加。 我們相信對(duì)更多ImageNet類進(jìn)行評(píng)估有助于更全面地評(píng)估視覺識(shí)別模型。

4、將模型轉(zhuǎn)換為目標(biāo)檢測(cè)、實(shí)例分割和關(guān)鍵點(diǎn)檢測(cè)任務(wù)的結(jié)果表明，大規(guī)模標(biāo)簽預(yù)測(cè)的訓(xùn)練可以改善分類，同時(shí)可能會(huì)損害定位（localization）的性能。這為改進(jìn)大規(guī)模、弱監(jiān)督的預(yù)訓(xùn)練任務(wù)，以更好地適應(yīng)目標(biāo)任務(wù)（如檢測(cè)、姿態(tài)估計(jì)等）的定位需求開辟了新的方向。

最后，我們反思了一個(gè)值得注意的事實(shí)，即hashtag prediction的訓(xùn)練根本不需要額外的手動(dòng)注釋或數(shù)據(jù)清理。我們認(rèn)為，與傳統(tǒng)的人工設(shè)計(jì)和注釋數(shù)據(jù)集的方法相比，我們的研究表明了自然數(shù)據(jù)或“wild”數(shù)據(jù)的潛力。