Google 最新的研究成果 BERT 的熱度還沒褪去，大家都還在討論是否 ImageNet 帶來的預(yù)訓(xùn)練模型之風(fēng)真的要進(jìn)入 NLP 領(lǐng)域了。如今，F(xiàn)acebook AI Research 的何愷明、Ross Girshick 及 Piotr Dollar 三位大佬共同完成的最新研究論文 Rethinking ImageNet Pre-training，卻引起了大家對 CV 領(lǐng)域預(yù)訓(xùn)練必要性的熱議。

有人說大神的研究直接終結(jié)了“train from scratch”問題，激發(fā)了深度學(xué)習(xí)領(lǐng)域的活力；有人認(rèn)為在某些情況下 ImageNet 預(yù)訓(xùn)練模型也不再能提升最終的效果；有人發(fā)出感慨“是時(shí)候需要重新思考了”，也有人表示“ImageNet 時(shí)代或?qū)⒑芸爝^去”。而在這篇 Paper 中，大神們也在最后寫到“希望這篇文章給大家在重新思考計(jì)算機(jī)視覺領(lǐng)域中像 ImageNet 預(yù)訓(xùn)練模型類似的方法時(shí)，提供新的實(shí)驗(yàn)證據(jù)和討論觀點(diǎn)。預(yù)訓(xùn)練加微調(diào)的方法是否真的是萬能的？”

下面AI科技大本營就先為大家分析一下這篇 paper 的方法、實(shí)驗(yàn)及主要貢獻(xiàn)，也歡迎大家留言討論~

摘要

在目標(biāo)檢測和實(shí)例分割兩個(gè)領(lǐng)域，我們使用隨機(jī)初始化方法訓(xùn)練的模型，在 COCO 數(shù)據(jù)集上取得了非常魯棒的結(jié)果。其結(jié)果并不比使用了 ImageNet 預(yù)訓(xùn)練的方法差，即使那些方法使用了 MaskR-CNN 系列基準(zhǔn)的超參數(shù)。在以下三種情況，得到的結(jié)果仍然沒有降低：（1）僅使用 10％ 的訓(xùn)練數(shù)據(jù)；（2）使用更深和更寬的模型以及（3）使用多個(gè)任務(wù)和指標(biāo)。

實(shí)驗(yàn)表明，使用 ImageNet 的預(yù)訓(xùn)練模型可以在訓(xùn)練早期加快收斂速度，但不一定能帶來正則化的效果或最終提高目標(biāo)任務(wù)的準(zhǔn)確率。文中闡述了在不使用任何額外數(shù)據(jù)的情況下，COCO 數(shù)據(jù)集上物體檢測結(jié)果為 50.9 AP 的方法，而這一結(jié)果與使用 ImageNet 預(yù)訓(xùn)練的 COCO 2017 競賽方法結(jié)果相同。根據(jù)這些觀察還發(fā)現(xiàn)，使用 ImageNet 預(yù)訓(xùn)練這一方法并不能帶來最終效果的提升。

引言

深度卷積神經(jīng)網(wǎng)絡(luò)方法為計(jì)算機(jī)視覺領(lǐng)域帶來了新的活力，換言之，是因?yàn)榘l(fā)現(xiàn)使用預(yù)訓(xùn)練任務(wù)中學(xué)到的特征表示，能夠?qū)⑵渲杏杏玫男畔鬟f給另一目標(biāo)任務(wù)。近年來，一個(gè)通用的方法（模式）是使用大規(guī)模數(shù)據(jù)（例如 ImageNet ）對模型進(jìn)行預(yù)訓(xùn)練，然后在具有較少訓(xùn)練數(shù)據(jù)的目標(biāo)任務(wù)上對模型進(jìn)行微調(diào)。預(yù)訓(xùn)練模型已經(jīng)在許多任務(wù)上實(shí)現(xiàn)了最先進(jìn)（state of the art）的結(jié)果，包括物體檢測，圖像分割和動(dòng)作識(shí)別等任務(wù)。但這種方法（預(yù)訓(xùn)練加微調(diào)）真的能解決計(jì)算機(jī)視覺領(lǐng)域的問題嗎？我們提出了質(zhì)疑。因此，通過實(shí)驗(yàn)展示了在 COCO 數(shù)據(jù)集上，我們使用隨機(jī)初始化方法訓(xùn)練取得了和使用 ImageNet 預(yù)訓(xùn)練方法相媲美的結(jié)果，而且我們還發(fā)現(xiàn)僅使用 10% 的COCO 數(shù)據(jù)也能訓(xùn)練到差不多的結(jié)果。

另外，我們還發(fā)現(xiàn)可以從零開始訓(xùn)練一個(gè)大型模型，即使這個(gè)模型比 ResNet101 還大 4 倍，也不會(huì)過擬合?；谶@些實(shí)驗(yàn)，得出以下三個(gè)結(jié)論：

使用 ImageNet 預(yù)訓(xùn)練能夠加快收斂速度，特別是在訓(xùn)練初期。但是隨機(jī)初始化的訓(xùn)練方法可以在訓(xùn)練了一段時(shí)間后趕上，該時(shí)間大致相當(dāng)于 ImageNet 預(yù)訓(xùn)練加上微調(diào)的時(shí)間之和。 由于在研究目標(biāo)任務(wù)時(shí)經(jīng)常忽略 ImageNet 預(yù)訓(xùn)練的成本，因此會(huì)有使用預(yù)訓(xùn)練能縮短時(shí)間成本的假象，相反也忽略了隨機(jī)初始化訓(xùn)練方法的真正作用。

使用 ImageNet 預(yù)訓(xùn)練的方法并不能自動(dòng)提供更好的正則化效果。 當(dāng)用較少的圖像（低至 COCO 數(shù)據(jù)集的 10％）進(jìn)行訓(xùn)練時(shí)，我們發(fā)現(xiàn)必須選擇新的超參數(shù)來進(jìn)行微調(diào)（微調(diào)初始參數(shù)來自預(yù)訓(xùn)練）以避免過擬合。 但是，當(dāng)使用這些初始超參數(shù)進(jìn)行隨機(jī)初始化訓(xùn)練時(shí)，該模型可以達(dá)到使用預(yù)訓(xùn)練方法的精度并且不需要額外的正則化，即使僅使用 10％ 的 COCO 數(shù)據(jù)。

當(dāng)目標(biāo)任務(wù)/指標(biāo)是需要更多使用局部空間信息來進(jìn)行預(yù)測的任務(wù)時(shí)，ImageNet 預(yù)訓(xùn)練方法并沒有展現(xiàn)出更強(qiáng)大的地方。我們觀察到，當(dāng)從頭開始訓(xùn)練時(shí)，高重疊區(qū)域的 AP 會(huì)明顯改善;我們還發(fā)現(xiàn)了需要精準(zhǔn)空間定位的關(guān)鍵點(diǎn) AP，從頭開始收斂速度相對較快。直觀地說，基于分類的，類似 ImageNet 圖片集的預(yù)訓(xùn)練任務(wù)和對局部敏感的目標(biāo)任務(wù)，三者之間的差異可能會(huì)限制預(yù)訓(xùn)練方法發(fā)揮其功能。

方法

我們的目標(biāo)是通過控制實(shí)驗(yàn)（有無ImageNet預(yù)訓(xùn)練）來探究ImageNet預(yù)訓(xùn)練對模型性能的影響。考慮到這個(gè)問題，模型結(jié)構(gòu)的改進(jìn)并不是我們這項(xiàng)研究的目的;實(shí)際上，為了能夠更好地理解ImageNet預(yù)訓(xùn)練的作用，我們將基于當(dāng)前最典型的模型結(jié)構(gòu)，以最少的微調(diào)操作來探究預(yù)訓(xùn)練操作對模型性能的影響。下面，我們具體闡述在此研究中兩個(gè)必要修改。

▌?wù)齽t化

在圖像分類任務(wù)中，正則化的引入能夠輔助模型的優(yōu)化過程。在以往的研究中，有效的正則化策略包括標(biāo)準(zhǔn)的參數(shù)初始（normalized parameter initialization）和激活正則化層（activation normalization layers）。對于目標(biāo)檢測任務(wù)，在不采用預(yù)訓(xùn)練模型而從頭開始訓(xùn)練一個(gè)檢測器時(shí)，往往會(huì)面臨與從頭訓(xùn)練一個(gè)分類器相似的問題。

批標(biāo)準(zhǔn)化（BN）是當(dāng)前最流行的正則化方法，但在從頭開始訓(xùn)練一個(gè)模型時(shí)，它的作用也變得微乎其微。特別地，不同于圖像分類任務(wù)中的輸入，目標(biāo)檢測器通常使用高分辨率的圖像輸入進(jìn)行訓(xùn)練，BN策略的引入雖然可以減少批量大小內(nèi)存，但是小批量的輸入會(huì)嚴(yán)重降低模型的準(zhǔn)確性。

在這項(xiàng)研究中，我們應(yīng)用最近提出的兩種正則化策略，它們能夠有助于緩解小批量輸入的問題：

Group Normalization (GN)：這是我們最近提出的，作為BN的一種替代策略。GN方法的計(jì)算與輸入的批量維度無關(guān)，因此引用該正則化方法時(shí)，模型準(zhǔn)確性對輸入的批量大小并不敏感。

Synchronized Batch Normalization (SyncBN):這是BN的一種跨設(shè)備(GPU)實(shí)現(xiàn)，能夠統(tǒng)計(jì)多個(gè)設(shè)備的批量大小情況。當(dāng)使用多個(gè)GPU時(shí)，該正則化方法能夠增加BN的有效批量大小，從而避免小批量輸入的問題。

我們的實(shí)驗(yàn)表明，當(dāng)從頭開始訓(xùn)練一個(gè)檢測器時(shí)，GN和SyncBN的正則化策略都是有效的。此外，我們還進(jìn)一步探索了，使用合適的隨機(jī)正則初始化策略，基于VGG架構(gòu)的目標(biāo)檢測器能夠在沒有BN或GN方法的情況進(jìn)行訓(xùn)練。

▌收斂性

顯然，通過隨機(jī)初始化過程的模型收斂速度與經(jīng)ImageNet預(yù)訓(xùn)練初始化的收斂速度是相去甚遠(yuǎn)的。因?yàn)榻?jīng)預(yù)訓(xùn)練后，模型可能直接利用已學(xué)習(xí)的低級(jí)特征(邊緣、紋理等)而無需重新學(xué)習(xí)。此外，從頭開始訓(xùn)練的模型需要學(xué)習(xí)目標(biāo)的低級(jí)和高級(jí)語義，這可能需要更多的迭代過程才能更好地收斂。因此，在這項(xiàng)研究中我們考慮三種不同的sample定義：分別是圖像和實(shí)例數(shù)量，以及在所有訓(xùn)練迭代過程中的像素?cái)?shù)量。下圖2顯示了在COCO數(shù)據(jù)集上，一個(gè)從頭開始訓(xùn)練的模型相比于預(yù)訓(xùn)練的模型，需要超過3倍的迭代數(shù)才能達(dá)到收斂狀態(tài)。

圖2：在所有訓(xùn)練迭代過程中模型所見到的圖像、實(shí)例和像素的總數(shù)。其中綠條表示經(jīng)預(yù)訓(xùn)練微調(diào)的模型，而紫色條表示隨機(jī)初始化的模型。

我們的實(shí)驗(yàn)結(jié)果表明，從頭開始訓(xùn)練的檢測器，在總樣本數(shù)量足夠大(像素目標(biāo)而言)的情況下，以隨機(jī)初始化開始訓(xùn)練也能很好地收斂，其性能也能夠匹配上經(jīng)預(yù)訓(xùn)練微調(diào)的模型。

實(shí)驗(yàn)設(shè)置

我們對基準(zhǔn)模型進(jìn)行了微小的改變，總的來說，我們的基準(zhǔn)設(shè)置和超參數(shù)都遵循 Mask R-CNN模型，你可以在開源的 Detectron項(xiàng)目中找到。此外，我們額外添加了正則化策略，并改變了模型迭代的步數(shù)，具體如下：

模型結(jié)構(gòu)：我們采用 Mask R-CNN，ResNet或 ResNeXt，并采用特征金字塔網(wǎng)絡(luò)（FPN）作為我們模型的主體結(jié)構(gòu)，并采用端到端的方式（end-to-end）來訓(xùn)練 RPN和 Mask R-CNN。此外，GN/SyncBN代替所有 frozen BN層（逐通道的仿射變換）。為了公平比較，在研究過程中我們對預(yù)訓(xùn)練模型同樣采用 GN或 SyncBN正則化策略進(jìn)行微調(diào)。

學(xué)習(xí)率方案：Detectron中原始版本的 Mask R-CNN模型進(jìn)行了 90k步的微調(diào)迭代過程（1×schedule）或 180k步的迭代（2×schedule）。對于本文中的模型，我們采用相似的術(shù)語，探究更長的訓(xùn)練過程。例如，所謂的 6×schedule是帶 540k步迭代的微調(diào)過程。不論最終的迭代步數(shù)是多少，我們都遵循 2×schedule策略，在最后的 60k和 20k時(shí)將學(xué)習(xí)率降低 10倍（即總是在運(yùn)行相同的迭代步數(shù)后降低學(xué)習(xí)率）。在實(shí)驗(yàn)中，我們發(fā)現(xiàn)對于第一個(gè)（大）學(xué)習(xí)率，訓(xùn)練更長的時(shí)間是有用的，但對于較小的學(xué)習(xí)率，訓(xùn)練太久往往會(huì)導(dǎo)致過擬合現(xiàn)象的發(fā)生。

超參數(shù)：其他所有的超參數(shù)都遵循 Detectron中的設(shè)置。特別是，初始學(xué)習(xí)率設(shè)置為 0.02，并采用 linear warm-up策略，權(quán)重衰減率為 0.0001，動(dòng)量參數(shù)設(shè)定為 0.9。我們在 8 個(gè) GPU上，采用 synchronized SGD，每個(gè) GPU上 mini-batch大小為 2，來訓(xùn)練所有模型。

默認(rèn)情況下，Detectron中的 Mask R-CNN在測試過程不使用數(shù)據(jù)擴(kuò)充操作，在訓(xùn)練過程也只引入水平翻轉(zhuǎn)的增強(qiáng)操作。在此，我們使用相同的設(shè)置，在無特別說明的情況下，圖像較短邊的像素值是 800。

實(shí)驗(yàn)結(jié)果與分析

▌從頭開始訓(xùn)練以匹配準(zhǔn)確性

實(shí)驗(yàn)中，我們發(fā)現(xiàn)當(dāng)只使用 COCO數(shù)據(jù)集時(shí)，從頭開始訓(xùn)練的模型性能是能夠匹配預(yù)訓(xùn)練模型的性能。我們在 COCO train2017上訓(xùn)練模型，并在 COCO val2017上驗(yàn)證模型的性能。訓(xùn)練數(shù)據(jù)集共有 118k張圖片，而驗(yàn)證集包含 5k張圖片。對于檢測任務(wù)，我們評估了 bbox和 AP（Aversage Precision）指標(biāo)；對于實(shí)例分割，我們以 mask AP作為評價(jià)標(biāo)準(zhǔn)。

Baselines with GN and SyncBN

下圖 3，圖 4和圖 5分別展示了 ResNet50+GN，ResNet101+GN 以及 ResNet50+SynaBN 在驗(yàn)證集上的 bbox和 AP性能曲線。每張圖上我們的偶可以對比隨機(jī)初始化訓(xùn)練的模型和經(jīng)預(yù)訓(xùn)練微調(diào)的模型之間的性能差異?？梢钥吹剑跇?biāo)準(zhǔn)的 COCO數(shù)據(jù)集上，從頭開始訓(xùn)練的模型在 bbox和 AP上的表現(xiàn)，完全可以匹配經(jīng)預(yù)訓(xùn)練微調(diào)的模型性能。而 ImageNet數(shù)據(jù)集的預(yù)訓(xùn)練主要能夠加速模型的收斂速度，并不會(huì)或很少提高模型最終的檢測性能。

圖 3在 COCO val2017數(shù)據(jù)集上，以 ResNet50+GN為主體結(jié)構(gòu)的 Mask R-CNN模型的 bbox和 AP性能曲線。

圖 4 在 COCO val2017數(shù)據(jù)集上，以 ResNet101+GN為主體結(jié)構(gòu)的 Mask R-CNN模型的 bbox和 AP性能曲線。

圖 5 在 COCO val2017數(shù)據(jù)集上，以 ResNet50+SyncBN為主體結(jié)構(gòu)的 Mask R-CNN模型的 bbox和 AP性能曲線。

Multiple detection metric

下圖 6我們進(jìn)一步比較了兩種情況下模型在多種檢測指標(biāo)上的性能，包括分別在 IoU閾值為 0.5和 0.75的情況下，Mask R-CNN模型的 box-level AP，segmentation-level AP。

圖 6 從頭開始訓(xùn)練 Mask R-CNN+FPN+GN為結(jié)構(gòu)的模型與經(jīng)預(yù)訓(xùn)練的模型之間在多種檢測指標(biāo)上的性能對比

Models without BN/GN--VGG nets

為了研究模型性能的泛化能力，我們以 VGG-16作為主體結(jié)構(gòu)，參考先前 Faster R-CNN模型的實(shí)現(xiàn)過程，沒有引入 FPN架構(gòu)，并采用標(biāo)準(zhǔn)的超參數(shù)方案，從頭開始訓(xùn)練模型，并將其與在 ImageNet上預(yù)訓(xùn)練的模型性能進(jìn)行比較分析。我們發(fā)現(xiàn)，即使經(jīng) ImageNet預(yù)訓(xùn)練的模型，其收斂的速度也很緩慢，而從頭開始訓(xùn)練的模型最終也能達(dá)到與之相匹配的檢測性能。

▌?dòng)酶俚臄?shù)據(jù)從頭開始訓(xùn)練

實(shí)驗(yàn)過程中，我們還發(fā)現(xiàn)，隨著數(shù)據(jù)量的減少，從頭開始訓(xùn)練的模型性能并不會(huì)隨之下降，仍然還能取得與預(yù)訓(xùn)練模型相匹配的性能。

35k COCO training samples vs 10k COCO training samples

我們分別從 COCO數(shù)據(jù)集中隨機(jī)選擇 35k和 10k張訓(xùn)練數(shù)據(jù)，用于從頭開始訓(xùn)練或基于預(yù)訓(xùn)練模型進(jìn)行微調(diào)操作。下圖 7展示了二者在更少的訓(xùn)練數(shù)據(jù)上的 bbox和 AP性能對比?？梢钥吹剑M管用更少的數(shù)據(jù)，從頭開始訓(xùn)練的模型最終也能趕上預(yù)訓(xùn)練模型的性能。此外，經(jīng) ImageNet預(yù)訓(xùn)練并不會(huì)有助于防止過擬合現(xiàn)象的發(fā)生。

圖 7 以更少的 COCO樣本訓(xùn)練的 Mask R-CNN+ResNet50-FPN+GN模型在 val2017上的 bbox和 AP性能。左圖：以 35k COCO樣本訓(xùn)練，采用默認(rèn)的超參數(shù)設(shè)置，模型在改變學(xué)習(xí)率的過程中發(fā)生了過擬合現(xiàn)象。中圖：以 35k COCO樣本訓(xùn)練，采用與隨機(jī)初始化模型相同的超參數(shù)設(shè)置。右圖：以 10k COCO樣本訓(xùn)練，采用與隨機(jī)初始化模型相同的超參數(shù)設(shè)置。

此外，我們還在 COCO和PASCAL VOC數(shù)據(jù)集上進(jìn)行了 breakdown regime實(shí)驗(yàn)，詳細(xì)的內(nèi)容可以查閱我們的論文。

結(jié)論與討論

在這項(xiàng)研究中，我們主要研究了 ImageNet預(yù)訓(xùn)練對模型性能的作用，并通過消融控制實(shí)驗(yàn)來分析不同正則化方法對模型性能及收斂速度的影響，總結(jié)如下：

在不需要對模型結(jié)構(gòu)進(jìn)行大幅度修改的情況下，可以在一個(gè)新的任務(wù)中從頭開始訓(xùn)練一個(gè)模型。

從頭開始訓(xùn)練一個(gè)模型通常需要更多的迭代步數(shù)才能獲得充分的收斂。

從頭開始訓(xùn)練的模型性能能夠匹配的上經(jīng)預(yù)訓(xùn)練的模型性能，即使是在只有 10k COCO 訓(xùn)練數(shù)據(jù)的情況下。

經(jīng) ImageNet預(yù)訓(xùn)練的模型，在一個(gè)新的任務(wù)中能夠加快收斂速度。

經(jīng) ImageNet預(yù)訓(xùn)練的模型并不一定有助于減少過擬合現(xiàn)象的發(fā)生，除非我們采用非常小的數(shù)據(jù)。

如果我們的目標(biāo)是比定位和分類更敏感的任務(wù)，那么 ImageNet預(yù)訓(xùn)練對于模型的幫助將變得更小。

基于這些觀察，我們嘗試回答如下幾個(gè)關(guān)鍵性的問題，希望能夠鼓勵(lì)研究者重新審視并思考ImageNet預(yù)訓(xùn)練的作用：

ImageNet預(yù)訓(xùn)練是否有必要？事實(shí)并非如此，如果我們有足夠的目標(biāo)數(shù)據(jù)和計(jì)算資源的話，也許我們可以不依賴 ImageNet的預(yù)訓(xùn)練。我們的實(shí)驗(yàn)結(jié)果表明，ImageNet預(yù)訓(xùn)練可以幫助模型加速收斂過程，但是并不一定能提高最終的準(zhǔn)確性，除非數(shù)據(jù)集特別?。ɡ纾?10k COCO images）。這表明，在未來的研究中，收集目標(biāo)數(shù)據(jù)的標(biāo)注信息（而不是預(yù)訓(xùn)練數(shù)據(jù)）對于改善目標(biāo)任務(wù)的表現(xiàn)是更有幫助的。

ImageNet有用嗎？確實(shí)是有用的。ImageNet預(yù)訓(xùn)練一直以來是計(jì)算機(jī)視覺領(lǐng)域許多任務(wù)性能輔助工具。它能夠減少了訓(xùn)練的周期，更容易獲得有前途的結(jié)果，經(jīng)預(yù)訓(xùn)練的模型能夠多次使用，訓(xùn)練成本很低。此外，經(jīng)預(yù)訓(xùn)練的模型能夠有更快的收斂速度。我們相信 ImageNet預(yù)訓(xùn)練仍然有助于計(jì)算機(jī)視覺研究。

我們需要大數(shù)據(jù)嗎？的確需要。但如果我們考慮數(shù)據(jù)收集和清理的成本的話，一個(gè)通用的大規(guī)模分類的數(shù)據(jù)集并不是理想的選擇。因?yàn)槭占T如 ImageNet這樣大數(shù)據(jù)集的成本被忽略掉了，而在數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練步驟的成本也是龐大的。如果在大規(guī)模的分類數(shù)據(jù)集上預(yù)訓(xùn)練的收益呈指數(shù)型下降減少，那么在目標(biāo)域上收集數(shù)據(jù)將會(huì)是更有效的做法。

我們應(yīng)該追求通用的模型性能嗎？毫無疑問，我們的目標(biāo)是模型能夠?qū)W習(xí)到通用的特征表征。我們所取得的結(jié)果也沒有偏離這一目標(biāo)。其實(shí)，我們的研究表明在計(jì)算機(jī)視覺領(lǐng)域，我們應(yīng)該更加注意評估預(yù)訓(xùn)練的特征（例如對于自監(jiān)督過程的特征學(xué)習(xí)），就像現(xiàn)在我們學(xué)到的那樣，即使是隨機(jī)初始化過程也能得到出色的結(jié)果表現(xiàn)。