引言

本文重新思考了 MobileNetv2 中高效的倒殘差模塊 Inverted Residual Block 和 ViT 中的有效 Transformer 的本質(zhì)統(tǒng)一，歸納抽象了 MetaMobile Block 的一般概念。受這種現(xiàn)象的啟發(fā)，作者設(shè)計(jì)了一種面向移動(dòng)端應(yīng)用的簡單而高效的現(xiàn)代反向殘差移動(dòng)模塊 (InvertedResidualMobileBlock,iRMB)，它吸收了類似 CNN 的效率來模擬短距離依賴和類似 Transformer 的動(dòng)態(tài)建模能力來學(xué)習(xí)長距離交互。所提出的高效模型 (EfficientMOdel,EMO) 在 ImageNet-1K、COCO2017 和 ADE20K 基準(zhǔn)上獲取了優(yōu)異的綜合性能，超過了同等算力量級(jí)下基于 CNN/Transformer 的 SOTA 模型，同時(shí)很好地權(quán)衡模型的準(zhǔn)確性和效率。

動(dòng)機(jī)

近年來，隨著對(duì)存儲(chǔ)和計(jì)算資源受限的移動(dòng)應(yīng)用程序需求的增加，涌現(xiàn)了非常多參數(shù)少、FLOPs 低的輕量級(jí)模型，例如Inceptionv3時(shí)期便提出了使用非對(duì)稱卷積代替標(biāo)準(zhǔn)卷積。后來MobileNet提出了深度可分離卷積 depth-wise separable convolution 以顯著減少計(jì)算量和參數(shù)，一度成為了輕量化網(wǎng)絡(luò)的經(jīng)典之作。在此基礎(chǔ)上，MobileNetv2 提出了一種基于 Depth-Wise Convolution (DW-Conv) 的高效倒置殘差塊(IRB)，更是成為標(biāo)準(zhǔn)的高效模塊代表作之一。然而，受限于靜態(tài) CNN 的歸納偏差影響，純 CNN 模型的準(zhǔn)確性仍然保持較低水平，以致于后續(xù)的輕量化之路并沒有涌現(xiàn)出真正意義上的突破性工作。

Swin

PVT

Eatformer

EAT

隨著 Transformer 在 CV 領(lǐng)域的崛起，一時(shí)間涌現(xiàn)了許多性能性能超群的網(wǎng)絡(luò)，如 Swin transformer、PVT、Eatformer、EAT等。得益于其動(dòng)態(tài)建模和不受歸納偏置的影響，這些方法都取得了相對(duì) CNN 的顯著改進(jìn)。然而，受多頭自注意（MHSA）參數(shù)和計(jì)算量的二次方限制，基于 Transformer 的模型往往具有大量資源消耗，因此也一直被吐槽落地很雞肋。

針對(duì) Transformer 的這個(gè)弊端，當(dāng)然也提出了一些解決方案：

設(shè)計(jì)具有線性復(fù)雜性的變體，如FAVOR+和Reformer等；

降低查詢/值特征的空間分辨率，如Next-vit、PVT、Cvt等；

重新排列通道比率來降低 MHSA 的復(fù)雜性，如Delight；

不過這種小修小改還是難成氣候，以致于后續(xù)也出現(xiàn)了許多結(jié)合輕量級(jí) CNN 設(shè)計(jì)高效的混合模型，并在準(zhǔn)確性、參數(shù)和 FLOPs 方面獲得比基于 CNN 的模型更好的性能，例如Mobilevit、MobileViTv2和Mobilevitv3等。然而，這些方法通常也會(huì)引入復(fù)雜的結(jié)構(gòu)，或者更甚者直接采用多個(gè)混合的模塊如Edgenext和Edgevits，這其實(shí)是不利于優(yōu)化的。

總而言之，目前沒有任何基于 Transformer 或混合的高效塊像基于 CNN 的 IRB 那樣流行。因此，受此啟發(fā)，作者重新考慮了 MobileNetv2 中的 Inverted Residual Block 和 Transformer 中的 MHSA/FFN 模塊，歸納抽象出一個(gè)通用的 Meta Mobile Block，它采用參數(shù)擴(kuò)展比 λ 和高效算子 F 來實(shí)例化不同的模塊，即 IRB、MHSA 和前饋網(wǎng)絡(luò) (FFN)。

基于此，本文提出了一種簡單高效的模塊——反向殘差移動(dòng)塊（iRMB），通過堆疊不同層級(jí)的 iRMB，進(jìn)而設(shè)計(jì)了一個(gè)面向移動(dòng)端的輕量化網(wǎng)絡(luò)模型——EMO，它能夠以相對(duì)較低的參數(shù)和 FLOPs 超越了基于 CNN/Transformer 的 SOTA 模型，如下圖所示：

方法

EMO

上圖是整體框架圖，左邊是 iRMB 模塊的示例圖。下面讓我們進(jìn)一步拆解下這個(gè)網(wǎng)絡(luò)結(jié)構(gòu)圖。

Meta Mobile Block

Meta Mobile Block

如上所述，通過對(duì) MobileNetv2 中的 Inverted Residual Block 以及 Transformer 中的核心 MHSA 和 FFN 模塊進(jìn)行抽象，作者提出了一種統(tǒng)一的 Meta Mobile (M2) Block 對(duì)上述結(jié)構(gòu)進(jìn)行統(tǒng)一的表示，通過采用參數(shù)擴(kuò)展率 λ 和高效算子 F 來實(shí)例化不同的模塊。

Inverted Residual Mobile Block

基于歸納的 M2 塊，本文設(shè)計(jì)了一個(gè)反向殘差移動(dòng)塊 (iRMB)，它吸收了 CNN 架構(gòu)的效率來建模局部特征和 Transformer 架構(gòu)動(dòng)態(tài)建模的能力來學(xué)習(xí)長距離交互。

具體實(shí)現(xiàn)中，iRMB 中的 F 被建模為級(jí)聯(lián)的 MHSA 和卷積運(yùn)算，公式可以抽象為 。這里需要考慮的問題主要有兩個(gè)：

通常大于中間維度將是輸入維度的倍數(shù)，導(dǎo)致參數(shù)和計(jì)算的二次增加。

MHSA 的 FLOPs 與總圖像像素的二次方成正比。

具體的參數(shù)比對(duì)大家可以簡單看下這個(gè)表格：

因此，作者很自然的考慮結(jié)合 W-MHSA 和 DW-Conv 并結(jié)合殘差機(jī)制設(shè)計(jì)了一種新的模塊。此外，通過這種級(jí)聯(lián)方式可以提高感受野的擴(kuò)展率，同時(shí)有效的將模型的 MPL 降低到 。

為了評(píng)估 iRMB 性能，作者將 λ 設(shè)置為 4 并替換 DeiT 和 PVT 中標(biāo)準(zhǔn)的 Transformer 結(jié)構(gòu)。如下述表格所述，我們可以發(fā)現(xiàn) iRMB 可以在相同的訓(xùn)練設(shè)置下以更少的參數(shù)和計(jì)算提高性能。

EMO

為了更好的衡量移動(dòng)端輕量化模型的性能，作者定義了以下4個(gè)標(biāo)準(zhǔn)：

可用性。即不使用復(fù)雜運(yùn)算符的簡單實(shí)現(xiàn)，易于針對(duì)應(yīng)用程序進(jìn)行優(yōu)化。

簡約性。即使用盡可能少的核心模塊以降低模型復(fù)雜度。

有效性。即良好的分類和密集預(yù)測(cè)性能。

高效性。即更少的參數(shù)和計(jì)算精度權(quán)衡。

下面的表格總結(jié)了本文方法與其它幾個(gè)主流的輕量化模型區(qū)別：

可以觀察到以下幾點(diǎn)現(xiàn)象：

基于 CNN 的 MobileNet 系列的性能現(xiàn)在看起來略低，而且其參數(shù)略高于同行；

近期剛提出的 MobileViT 系列雖然取得了更優(yōu)異的性能，但它們的 FLOPs 較高，效率方面欠佳；

EdgeNeXt 和 EdgeViT 的主要問題是設(shè)計(jì)不夠優(yōu)雅，模塊較為復(fù)雜；

基于上述標(biāo)準(zhǔn)，作者設(shè)計(jì)了一個(gè)由多個(gè) iRMB 模塊堆疊而成的類似于 ResNet 的高效模型——EMO，主要體現(xiàn)在以下幾個(gè)優(yōu)勢(shì)：

1）對(duì)于整體框架，EMO 僅由 iRMB 組成，沒有多樣化的模塊，這在設(shè)計(jì)思想上可稱得上大道至簡；

2）對(duì)于特定模塊，iRMB 僅由標(biāo)準(zhǔn)卷積和多頭自注意力組成，沒有其他復(fù)雜的運(yùn)算符。此外，受益于 DW-Conv，iRMB 還可以通過步長適應(yīng)下采樣操作，并且不需要任何位置嵌入來向 MHSA 引入位置偏差；

3）對(duì)于網(wǎng)絡(luò)的變體設(shè)置，作者采用逐漸增加的擴(kuò)展率和通道數(shù)，詳細(xì)配置如下表所示。

由于 MHSA 更適合為更深層的語義特征建模，因此 EMO 僅在第3和第4個(gè)stage采用它。為了進(jìn)一步提高 EMO 的穩(wěn)定性和效率，作者還在第1和第2個(gè)stage引入 BN 和 SiLU 的組合，而在第3和第4個(gè)stage替換成 LN 和 GeLU 的組合，這也是大部分 CNN 和 Transformer 模型的優(yōu)先配置。

實(shí)驗(yàn)

參數(shù)比對(duì)

先來看下 EMO 和其他輕量化網(wǎng)絡(luò)的相關(guān)超參比對(duì)：

可以看到，EMO 并沒有使用大量的強(qiáng) DataAug 和 Tricks，這也充分體現(xiàn)了其模塊設(shè)計(jì)的有效性。

性能指標(biāo)

圖像分類

目標(biāo)檢測(cè)

語義分割

整體來看，EMO 在圖像分類、目標(biāo)檢測(cè)和語義分割 CV 三大基礎(chǔ)任務(wù)都表現(xiàn)強(qiáng)勁，可以以較少的計(jì)算量和參數(shù)量取得更加有競(jìng)爭力的結(jié)果。

可視化效果

Qualitative comparisons with MobileNetv2 on two main downstream tasks

從上面的可視化結(jié)果可以明顯的觀察到，本文提出的方法在分割的細(xì)節(jié)上表現(xiàn)更優(yōu)異。

Attention Visualizations by Grad-CAM

為了更好地說明本文方法的有效性，作者進(jìn)一步采用 Grad-CAM 方法突出顯示不同模型的相關(guān)區(qū)域。如上圖所示，基于 CNN 的 ResNet 傾向于關(guān)注特定對(duì)象，而基于 Transformer 的 MPViT 更關(guān)注全局特征。相比之下，EMO 可以更準(zhǔn)確地關(guān)注顯著物體，同時(shí)保持感知全局區(qū)域的能力。這在一定程度上也解釋了為什么 EMO 在各類任務(wù)中能獲得更好的結(jié)果。

Feature Similarity Visualizations

上面我們提到過，通過級(jí)聯(lián) Convolution 和 MHSA 操作可以有效提高感受野的擴(kuò)展速度。為了驗(yàn)證此設(shè)計(jì)的有效性，這里將第3個(gè)Stage中具有不同組成的對(duì)角線像素的相似性進(jìn)行可視化，即可視化 DW-Conv 和 EW-MHSA 以及同時(shí)結(jié)合兩個(gè)模塊。

可以看出，無論從定量或定性的實(shí)驗(yàn)結(jié)果看來，當(dāng)僅使用 DW-Conv 時(shí)，特征往往具有短距離相關(guān)性，而 EW-MHSA 帶來更多的長距離相關(guān)性。相比之下，當(dāng)同時(shí)采用這兩者時(shí)，網(wǎng)絡(luò)具有更大感受野的模塊，即更好的建模遠(yuǎn)距離的上下文信息。

Ablation studies on ImageNet-1K with EMO-5M

最后展示的是本文的消融實(shí)驗(yàn)，整體來說實(shí)驗(yàn)部分還是挺充實(shí)的，感興趣的小伙伴去看下原文，時(shí)間有限，今天我們就分析到這里。

結(jié)論

本文探討了面向移動(dòng)端的高效架構(gòu)設(shè)計(jì)，通過重新思考 MobileNetv2 中高效的 Inverted Residual Block 和 ViT 中的有效 Transformer 的本質(zhì)統(tǒng)一，作者引入了一個(gè)稱為 Meta Mobile Block 的通用概念，進(jìn)而推導(dǎo)出一個(gè)簡單而高效的現(xiàn)代 iRMB 模塊。具體地，該模塊包含兩個(gè)核心組件，即 DW-Conv 和 EW-MHSA，這兩個(gè)組件可以充分利用 CNN 的效率來建模短距離依賴同時(shí)結(jié)合 Transformer 的動(dòng)態(tài)建模能力來學(xué)習(xí)長距離交互。最后，通過以不同的規(guī)模堆疊 iRMB 模塊搭建了一個(gè)高效的類 ResNet 架構(gòu)——EMO，最終在 ImageNet-1K、COCO2017 和 ADE20K 三個(gè)基準(zhǔn)測(cè)試的大量實(shí)驗(yàn)證明了 EMO 優(yōu)于其它基于 CNN 或 Transformer 的 SoTA 方法。

審核編輯 ：李倩