本文提出了一種基于MAE的跨模態(tài)交互式自編碼器PiMAE，PiMAE同時具有強大的3D點云和RGB圖像特征提取能力。作者通過三個方面的獨特設(shè)計來促進(jìn)多模態(tài)學(xué)習(xí)過程中的交互效果。并對提出的PiMAE進(jìn)行了廣泛的實驗，該框架在多個下游任務(wù)上都展示出了非常出色的性能提升效果，這也側(cè)面表明MAE模式在基礎(chǔ)視覺感知任務(wù)上仍然不過時，具有進(jìn)一步研究的價值。

論文鏈接： https://arxiv.org/abs/2303.08129 代碼鏈接： https://github.com/BLVLab/PiMAE

從2021年kaiming大佬首次提出MAE（Masked Autoencoders）以來，計算機視覺社區(qū)已經(jīng)出現(xiàn)了很多基于MAE的工作，例如將MAE建模拓展到視頻序列中，或者直接對MAE原始結(jié)構(gòu)進(jìn)行改進(jìn)，將MAE嵌入到層次的Transformer結(jié)構(gòu)中等等。截止到現(xiàn)在，MAE原文在谷歌學(xué)術(shù)的引用量已經(jīng)達(dá)到1613。

MAE以其簡單的實現(xiàn)方式、強大的視覺表示能力，可以在很多基礎(chǔ)視覺任務(wù)中展現(xiàn)出良好的性能。但是目前的工作大多是在單一視覺模態(tài)中進(jìn)行，那MAE在多模態(tài)數(shù)據(jù)融合方面表現(xiàn)如何呢？本文為大家介紹一項剛剛被視覺頂會CVPR2023接收的工作，在這項工作中，作者重點探索了點云數(shù)據(jù)和RGB圖像數(shù)據(jù)，并且提出了一種基于MAE的自監(jiān)督擴(kuò)模態(tài)協(xié)同感知框架PiMAE。具體來說，PiMAE可以從三個方面來提升模型對3D點云和2D圖像數(shù)據(jù)的交互性能：

1. PiMAE設(shè)計了一個多模態(tài)映射模塊來對兩個不同模態(tài)的masked和可見的tokens進(jìn)行對齊，這一設(shè)計強調(diào)了mask策略在兩個不同模態(tài)中的重要性。

2. 隨后，作者為PiMAE設(shè)計了兩個MAE支路和一個共享的解碼器來實現(xiàn)masked tokens之間的跨模態(tài)交互。

3. 最后PiMAE通過一個新型的跨模態(tài)重建模塊來進(jìn)一步提升兩個模態(tài)的表征學(xué)習(xí)效果。

作者在兩個大規(guī)模多模態(tài)RGB-D場景理解基準(zhǔn)（SUN RGB-D和ScannetV2）上對PiMAE進(jìn)行了大量評估，PiMAE在3D目標(biāo)檢測、2D目標(biāo)檢測以及小樣本圖像分類任務(wù)上都展現(xiàn)出了優(yōu)越的性能。

一、介紹

深度學(xué)習(xí)技術(shù)目前已經(jīng)成為很多自動化裝備的基礎(chǔ)感知手段，例如工業(yè)機器人和自動駕駛。在這些實際場景中，機器可以通過攝像頭和眾多傳感器獲得大量的3D或2D點云數(shù)據(jù)以及RGB圖像數(shù)據(jù)。由于成對的2D像素和3D點云可以更全面的呈現(xiàn)同一場景的不同視角，將這些多模態(tài)信息高效的結(jié)合起來可以提高模型決策的準(zhǔn)確性。在本文中，作者旨在探索這樣一個問題：如何設(shè)計一個高效的多模態(tài)（3D點云和RGB模態(tài)）無監(jiān)督交互學(xué)習(xí)框架，來實現(xiàn)更好的表征學(xué)習(xí)？為此，作者選用kaiming提出的MAE作為基礎(chǔ)架構(gòu)，MAE可以通過一種簡單的自監(jiān)督任務(wù)實現(xiàn)一個強大的ViT預(yù)訓(xùn)練框架。但是MAE在多種模態(tài)交互的情況下表現(xiàn)如何，仍然是未知的。

為了探索多模態(tài)3D點云和RGB圖像數(shù)據(jù)交互融合性能，本文提出了PiMAE，這是一種簡單而有效的多模態(tài)MAE框架，PiMAE可以通過交互機制來學(xué)習(xí)更魯棒的3D和2D特征。PiMAE的整體框架如上圖所示，具體來說，PiMAE將成對的3D點云和圖像數(shù)據(jù)作為輸入，并對兩種輸入做一種互補的mask操作。然后對其進(jìn)行編碼得到tokens，將3D點云token投影到RGB圖像塊中，明確對齊兩種模態(tài)之間的Mask關(guān)系。作者認(rèn)為通過這種mask策略可以幫助點云token從圖像嵌入中獲得互補信息，反之亦然。隨后作者設(shè)計了一種對稱的自動編碼器結(jié)構(gòu)來進(jìn)行模態(tài)特征融合，自編碼器由模態(tài)特定編碼器（Specific Encoders）的獨立分支和共享編解碼器構(gòu)成，PiMAE通過多模態(tài)重構(gòu)任務(wù)（即點云重構(gòu)和圖像重構(gòu)）來完成兩種模態(tài)的交互和表征學(xué)習(xí)。

二、方法介紹

給定3D點云和RGB多模態(tài)數(shù)據(jù)后，PiMAE通過一種聯(lián)合嵌入的方式來學(xué)習(xí)跨模態(tài)特征。在具體操作中，作者首先對點云數(shù)據(jù)進(jìn)行采樣并執(zhí)行聚類算法將點云數(shù)據(jù)嵌入到token中，然后對點云token進(jìn)行隨機mask。mask后的token隨后被轉(zhuǎn)換到2D平面中，同時RGB圖像塊以互補mask的形式也嵌入到RGB token中。隨后兩個模態(tài)的token數(shù)據(jù)通過PiMAE的聯(lián)合編解碼器進(jìn)行特征建模和融合。

PiMAE中的編碼器-解碼器架構(gòu)同時整合了模態(tài)獨立分支和模態(tài)共享分支，其中前者用來保持模型對特定模態(tài)的學(xué)習(xí)，后者鼓勵模型通過跨模態(tài)的特征交互來實現(xiàn)模態(tài)之間的高效對齊。

2.1 token投影和對齊

在對點云和RGB圖像進(jìn)行處理時，作者遵循MAE和Point-M2AE[1]中的做法，對于RGB圖像，作者將圖像先分成不重疊的圖像塊，并且為每個塊添加位置編碼嵌入和模態(tài)嵌入，隨后將他們送入到投影層。對于點云數(shù)據(jù)，先通過最遠(yuǎn)點采樣（Farthest Point Sampling，F(xiàn)PS）和KNN算法提取聚類中心token，然后同樣為每個中心token添加編碼嵌入和模態(tài)嵌入，并送入到線性投影層。

2.1.1 投影

為了實現(xiàn)多模態(tài)token之間的對齊，作者通過將點云token投影到相機的2D圖像平面上來建立 3D點云和RGB圖像像素之間的嵌入聯(lián)系。對于3D點云，可以使用下面定義的投影函數(shù)?Proj?計算出相應(yīng)的2D坐標(biāo):

其中 K∈3×4，Rt∈4×4是相機的內(nèi)在和外置參數(shù)矩陣。(x,y,z),(u,v)是點 P 的原始3D坐標(biāo)和投影得到的2D坐標(biāo)。

2.1.2 Mask對齊方式

由于點云token是由一系列聚類中心構(gòu)成，作者隨機從中選擇一部分中心點作為采樣區(qū)域。對于可見點云標(biāo)記Tp，將它們的中心點投影到相應(yīng)的2D相機平面并獲得其2D坐標(biāo)??它可以自然地落入形狀為?H×W（即圖像形狀）的區(qū)域內(nèi)，可以通過以下方式來獲得其相對應(yīng)圖像塊的索引

其中 u 和 v表示二維坐標(biāo) p 的 x 軸值和 y 軸值，S 是圖像塊大小。

在對每個可見點云token進(jìn)行投影和索引后，就可以獲得它們對應(yīng)的圖像塊，如上圖所示。隨后作者使用了一種顯示的mask策略來實現(xiàn)token對齊，具體來說，一個隨機采樣的點云區(qū)域（上圖黑色圓圈處）被投影到圖像塊（藍(lán)色方塊）上，其他點云區(qū)域以類似的方式進(jìn)行采樣和投影（黃色方塊），來構(gòu)成正向Mask模式（Uniform）。相反，上圖右下區(qū)域是相應(yīng)的互補Mask模式（Complement）。

2.2 編碼器和解碼器

2.2.1 編碼器

PiMAE的編碼器遵循AIST++[2]的設(shè)計，由兩個模塊構(gòu)成：模態(tài)特定編碼器和跨模態(tài)編碼器。前者用于更好地提取特定于當(dāng)前模態(tài)的特征，后者用于進(jìn)行跨模態(tài)特征之間的交互。在這一過程中，編碼器側(cè)重于保持不同模態(tài)特征的完整性，可以形式化表示為：

其中和?是特定于圖像和特定于點云的編碼器，?和??是可見圖像和點云token，?和?是圖像和點云相應(yīng)的嵌入空間。

2.2.2 解碼器

原始MAE框架中的解碼器是建立在一個具有統(tǒng)一表征能力的編碼基礎(chǔ)之上，但是本文的設(shè)定是編碼器同時捕獲圖像和點云數(shù)據(jù)的特征表示。由于兩種模態(tài)之間的差異，需要使用專門的解碼器將這些特征解碼為各自的模態(tài)。形式上，作者將PiMAE的共享解碼器的輸入表示為，其中包括編碼的可見特征和兩種模態(tài)的mask tokens。隨后共享解碼器會對這些特征執(zhí)行跨模態(tài)交互：。然后，在單獨模態(tài)的解碼器階段，解碼器將特征重構(gòu)回原始圖像和點云空間?

。其中?和?是圖像特定和點云特定解碼器，?和?

是可見圖像和點云區(qū)域，??和?是圖像和點云嵌入空間，重構(gòu)過程的損失函數(shù)如下：

其中?是Chamfer Distance函數(shù)（倒角距離），表示解碼器重構(gòu)函數(shù)，?是點云嵌入表示，?是點云ground-truth（即點云輸入）。

2.3 跨模態(tài)重構(gòu)

本文使用三種不同的損失聯(lián)合訓(xùn)練PiMAE：點云重建損失、圖像重建損失和跨模式重建損失。在最后的重建階段，作者利用先前對齊的關(guān)系來獲得mask點云區(qū)域相應(yīng)的二維坐標(biāo)。然后，對重建的圖像特征進(jìn)行上采樣，這樣每個具有2D坐標(biāo)的mask點云都可以與重建的圖像特征相關(guān)聯(lián)。最后，mask點云token通過一個跨模態(tài)預(yù)測頭來恢復(fù)相應(yīng)的可見圖像特征。形式上，跨模式重建損失定義為:

其中?表示均方誤差損失函數(shù)，?是解碼器的跨模態(tài)重建函數(shù)，是點云表示，?是圖像表示。PiMAE通過聯(lián)合以上損失來進(jìn)行訓(xùn)練，通過這樣的設(shè)計，PiMAE可以分別學(xué)習(xí)3D和2D特征，同時保持兩種模態(tài)之間的強交互性。

三、實驗效果

本文的實驗在兩個大規(guī)模多模態(tài)RGB-D場景理解基準(zhǔn)（SUN RGB-D和ScannetV2）上進(jìn)行，作者先在SUN RGB-D訓(xùn)練集對PiMAE進(jìn)行預(yù)訓(xùn)練，并在多個下游任務(wù)上對PiMAE進(jìn)行評估，包括3D目標(biāo)檢測、3D單目目標(biāo)檢測、2D目標(biāo)檢測和小樣本圖像分類。

3.1 室內(nèi)3D目標(biāo)檢測

對于室內(nèi)的3D目標(biāo)檢測任務(wù)，作者將PiMAE的3D特征編碼器加入到不同的backbone網(wǎng)絡(luò)中來提高特征提取的能力，從而實現(xiàn)3D目標(biāo)檢測的能力。作者以兩個SOTA模型3DETR和GroupFree3D來作為baseline模型，如下表所示，本文的PiMAE為兩個模型都帶來了顯著的性能提升，在所有數(shù)據(jù)集上都超過了之前的基線方法。

3.2 室外單目3D目標(biāo)檢測

除了室內(nèi)環(huán)境，作者也展示了更具挑戰(zhàn)性的室外場景效果。與室內(nèi)預(yù)訓(xùn)練數(shù)據(jù)相比，室外場景的數(shù)據(jù)具有很大的數(shù)據(jù)分布差距。如下圖所示，本文方法對MonoDETR方法實現(xiàn)了實質(zhì)性的改進(jìn)，這證明，PiMAE預(yù)訓(xùn)練對室內(nèi)和室外場景都具有很強的泛化能力。

3.3 2D目標(biāo)檢測

對于2D目標(biāo)檢測任務(wù)，作者直接將PiMAE中的2D分支特征提取器部署在DETR上，并在ScanNetV2 2D檢測數(shù)據(jù)集上進(jìn)行評估。效果如下表所示，PiMAE預(yù)訓(xùn)練可以顯著提高DETR的檢測性能。

3.4 小樣本圖像分類

對于few-shot圖像分類任務(wù)，作者選取了三個不同的基準(zhǔn)來探索PiMAE圖像編碼器的特征提取能力。為了驗證PiMAE的有效性，作者沒有改動原有模型的分類器，僅在特征編碼器中添加一個線性層，并基于[CLS] token作為輸入來預(yù)測類別。下表展示了PiMAE在小樣本圖像分類任務(wù)上的結(jié)果。與從頭開始訓(xùn)練的模型相比，經(jīng)過PiMAE預(yù)訓(xùn)練的模型具有顯著的性能提升。

此外，為了驗證PiMAE跨模態(tài)交互設(shè)計的有效性，作者在下圖中可視化了共享編碼器中的注意力圖?？梢钥吹?，PiMAE更專注于具有更高注意力值的更多前景目標(biāo)，顯示出較強的跨模態(tài)理解能力。

四、總結(jié)

本文提出了一種基于MAE的跨模態(tài)交互式自編碼器PiMAE，PiMAE同時具有強大的3D點云和RGB圖像特征提取能力。作者通過三個方面的獨特設(shè)計來促進(jìn)多模態(tài)學(xué)習(xí)過程中的交互效果。首先，通過一種顯示的點云圖像對齊mask策略可以實現(xiàn)更好的特征融合。接下來，設(shè)計了一個共享解碼器來同時對兩種模態(tài)中的token進(jìn)行處理。最后，跨模態(tài)重建機制可以高效的對整體框架進(jìn)行優(yōu)化。作者對提出的PiMAE進(jìn)行了廣泛的實驗，PiMAE在多個下游任務(wù)上都展示出了非常出色的性能提升效果，這也側(cè)面表明MAE模式在基礎(chǔ)視覺感知任務(wù)上仍然不過時，具有進(jìn)一步研究的價值。

審核編輯 ：李倩