去年，AI科技大本營為大家報道過南開大學媒體計算實驗室在邊緣檢測和圖像過分割的工作成果，不僅刷新了精度記錄，算法也已經(jīng)開源。今天要為大家再介紹該實驗室的最新工作——Res2Net，一種在目標檢測任務(wù)中新的 Backbone 網(wǎng)絡(luò)模塊。

ResNet 大家都很熟悉了，由何愷明等人于 2015 年提出，其強大的表征能力，讓很多計算機視覺任務(wù)的性能得到了極大的提升。而南開大學的這項工作提出的新卷積網(wǎng)絡(luò)構(gòu)造方式，在多個視覺任務(wù)的基準數(shù)據(jù)集上（CIFAR10，ImageNet），與 baseline 模型進行了對比，優(yōu)于現(xiàn)有的 SOTA 方法，更多的消融實驗結(jié)果中也證明了作者方法的優(yōu)勢之處。此外，鑒于 Res2Net 已經(jīng)在幾個具有代表性的計算機視覺任務(wù)體現(xiàn)出了優(yōu)越性，作者認為網(wǎng)絡(luò)的多尺度表征能力是非常重要的。

下面，AI科技大本營就為大家介紹一下這項工作，大家可以深入研讀后進行嘗試~

摘要

在許多視覺任務(wù)中，多尺度的表示特征是非常重要的。最新的研究在不斷的提升著 backbone 網(wǎng)絡(luò)的多尺度表達能力，在多個任務(wù)上提高了算法性能。然而，大多數(shù)現(xiàn)有的深度學習方法是通過不同層的方式來表達多尺度特征。作者提出了一種新的卷積網(wǎng)絡(luò)構(gòu)造方式 Res2Net，通過在單個殘差塊里面構(gòu)建層次化的連接實現(xiàn)。Res2Net 是在粒度級別上來表示多尺度特征并且增加了每層網(wǎng)絡(luò)的感受野范圍。它可以無縫插入現(xiàn)有的ResNet,ResNeXt等網(wǎng)絡(luò)結(jié)構(gòu)。并且在多個視覺任務(wù)的基準數(shù)據(jù)集上，與 baseline 模型進行了對比，發(fā)現(xiàn)它優(yōu)于現(xiàn)有的 SOTA 方法。更多的消融實驗結(jié)果證明了作者方法的優(yōu)勢之處。

引言

在多個視覺任務(wù)中，如圖像分類，目標檢測，動作識別，語義分割等，設(shè)計一個好的多尺度特征是非常重要的。有以下三點原因，第一，如上圖所示，在一張圖片里面，同一目標可能有不同的大小，比如圖上的沙發(fā)。第二，待檢測目標的上下文信息可能比它本身占的區(qū)域更多，例如，我們需要使用大桌子作為上下文信息來判斷放在上面的是杯子還是筆筒。第三，從不同尺度的感知信息來理解如細粒度分類和語義分割的任務(wù)是非常重要的。

因此，多尺度的特征在傳統(tǒng)方法和深度學習里面都得到了廣泛應(yīng)用。通常我們需要采用一個大感受野的特征提取器來獲得不同尺度的特征描述，而卷積神經(jīng)網(wǎng)絡(luò)通過一堆卷積層可以很自然的由粗到細多尺度的提取特征。如何設(shè)計更高效的網(wǎng)絡(luò)結(jié)構(gòu)是提升卷積神經(jīng)網(wǎng)絡(luò)性能的關(guān)鍵。

作者提出了一種簡單有效的多尺度提取方法。與現(xiàn)有的增強單層網(wǎng)絡(luò)多尺度表達能力的 CNNs 方法不同，它是在更細的粒度上提升了多尺度表征能力。

接下來我們再來看看 Res2Net 的架構(gòu)與體系結(jié)構(gòu)等內(nèi)容：

Res2Net

已有的許多工作都是采用的上圖（a）作為其 basic block，因此作者希望找到一種能保持計算量不增加，卻有更強多尺度特征提取能力的結(jié)構(gòu)來替代它。如上圖（b）所示，作者采用了更小的卷積組來替代 bottleneck block 里面的 3x3 卷積。具體操作如下，首先將 1x1 卷積后的特征圖均分為 s 個特征圖子集。每個特征圖子集的大小相同，但是通道數(shù)是輸入特征圖的 1/s。對每一個特征圖子集 X_i，有一個對應(yīng)的 3x3 卷積K_i(), 假設(shè) K_i() 的輸出是 y_i。接下來每個特征圖子集 X_i 會加上 K_i-1() 的輸出，然后一起輸入進 K_i()。為了在增大 s 的值時減少參數(shù)量，作者省去了 X_1 的 3x3 網(wǎng)絡(luò)。因此，輸出 y_i 可以用如下公式表示：

根據(jù)圖（b），可以發(fā)現(xiàn)每一個 X_j(j<=i) 下的 3x3 卷積可以利用之前所有的特性信息，它的輸出會有比 X_j 更大的感受野。因此這樣的組合可以使 Res2Net 的輸出有更多樣的感受野信息。為了更好的融合不同尺度的信息，作者將它們的輸出拼接起來，然后再送入 1x1 卷積，如上圖（b）所示。

實驗

作者提出的這個模塊可以融合到現(xiàn)有的 CNNs 方法里面，如 ResNet, ResNeXt和DLA，為了公平的實驗，作者僅僅將里面的模塊替換為 Res2Net，并在基準數(shù)據(jù)集（CIFAR10，ImageNet）上對 Res2Net 進行了評估。

以ImageNet 為例，作者進行了多個對比實驗，包括淺層和深層網(wǎng)絡(luò)的對比，實驗結(jié)果都顯示基于 Res2Net 模塊的網(wǎng)絡(luò)性能更好。作者還探索了尺度大小對性能的影響，如表格 3 所示，其中 w 代表濾波器的寬度，s 代表尺度。

在 ImageNet 數(shù)據(jù)集上，淺層和深層網(wǎng)絡(luò)的實驗結(jié)果：

尺度大小對性能的影響：

在更多視覺任務(wù)上的實驗結(jié)果均顯示 Res2Net 模塊可以顯著的提升現(xiàn)有算法的指標。

下圖是ResNet-50 和Res2Net-50 在類激活映射的結(jié)果對比：

下圖是 ResNet-101 和Res2Net-101 在語義分割任務(wù)上的（可視化的）結(jié)果對比：

下圖是 ResNet-50 和Res2Net-50 在目標檢測任務(wù)上的結(jié)果對比：

下圖是ResNet-50 和Res2Net-50 在實例分割任務(wù)，COCO 數(shù)據(jù)集上的 AP 和 AR 兩結(jié)果的對比：

結(jié)論

Res2Net 是一種簡潔有效的模塊，探索了 CNN 在更細粒度級別的多尺度表達能力。它揭示了 CNN 網(wǎng)絡(luò)里面除了深度，寬度等現(xiàn)有維度之外，還可以有新的維度“尺度”。Res2Net 模塊可以很容易地融合進 SOTA 的方法。在 CIFAR10 和 ImageNet 上圖像分類的結(jié)果表明，使用 Res2Net 模塊的網(wǎng)絡(luò)比 ResNet，ResNeXt，DLA 等網(wǎng)絡(luò)效果更好。鑒于Res2Net已經(jīng)在幾個具有代表性的計算機視覺任務(wù)體現(xiàn)出了優(yōu)越性，作者認為網(wǎng)絡(luò)的多尺度表征能力是非常重要的。