本文提出了 VISTA，一種新穎的即插即用多視角融合策略，用于準(zhǔn)確的 3D 對(duì)象檢測(cè)。為了使 VISTA 能夠關(guān)注特定目標(biāo)而不是一般點(diǎn)，研究者提出限制學(xué)習(xí)的注意力權(quán)重的方差。將分類(lèi)和回歸任務(wù)解耦以處理不平衡訓(xùn)練問(wèn)題。在 nuScenes 和 Waymo 數(shù)據(jù)集的基準(zhǔn)測(cè)試證明了 VISTA 方法的有效性和泛化能力。該論文已被CVPR 2022接收。

第一章 簡(jiǎn)介 LiDAR (激光雷達(dá))是一種重要的傳感器，被廣泛用于自動(dòng)駕駛場(chǎng)景中，以提供物體的精確 3D 信息。因此，基于 LiDAR 的 3D 目標(biāo)檢測(cè)引起了廣泛關(guān)注。許多 3D 目標(biāo)檢測(cè)算法通過(guò)將無(wú)序和不規(guī)則的點(diǎn)云進(jìn)行體素化，隨后利用卷積神經(jīng)網(wǎng)絡(luò)處理體素?cái)?shù)據(jù)。然而，3D 卷積算子在計(jì)算上效率低下且容易消耗大量?jī)?nèi)存。為了緩解這些問(wèn)題，一系列工作利用稀疏 3D 卷積網(wǎng)絡(luò)作為 3D 骨干網(wǎng)絡(luò)來(lái)提取特征。如圖 1 所示，這些工作將 3D 特征圖投影到鳥(niǎo)瞰圖 (BEV) 或正視圖 (RV) 中，并且使用各種方法從這些 2D 特征圖生成對(duì)象候選 (Object Proposals)。

圖 1：?jiǎn)我暯菣z測(cè)和文章提出的基于 VISTA 的多視角融合檢測(cè)的對(duì)比 不同的視角有各自的優(yōu)缺點(diǎn)需要考慮。在 BEV 中，對(duì)象不相互重疊，每個(gè)對(duì)象的大小與距自我車(chē)輛 (ego-vehicle) 的距離無(wú)關(guān)。RV 是 LiDAR 點(diǎn)云的原生表征，因此，它可以產(chǎn)生緊湊和密集的特征。然而，無(wú)論是選擇 BEV 還是 RV，投影都會(huì)不可避免地?fù)p害 3D 空間中傳遞的空間信息的完整性。例如，由于 LiDAR 數(shù)據(jù)生成過(guò)程自身的特性和自遮擋效應(yīng)，BEV 表征非常稀疏，并且它壓縮了 3D 點(diǎn)云的高度信息，在 RV 中，由于丟失了深度信息，遮擋和對(duì)象大小的變化會(huì)更加嚴(yán)重。顯然，從多個(gè)視角進(jìn)行聯(lián)合學(xué)習(xí)，也就是多視角融合，為我們提供了準(zhǔn)確的 3D 目標(biāo)檢測(cè)的解決方案。先前的一些多視角融合算法從單個(gè)視角生成候選目標(biāo)，并利用多視角特征來(lái)細(xì)化候選目標(biāo)。此類(lèi)算法的性能高度依賴(lài)于生成的候選的質(zhì)量；但是，從單一視角生成的候選沒(méi)有使用所有可用信息，可能導(dǎo)致次優(yōu)解的產(chǎn)生。其他工作根據(jù)不同視角之間的坐標(biāo)投影關(guān)系融合多視角特征。這種融合方法的準(zhǔn)確性依賴(lài)于另一個(gè)視角的相應(yīng)區(qū)域中可提供的補(bǔ)充信息；然而遮擋效應(yīng)是不可避免的，這會(huì)導(dǎo)致低質(zhì)量的多視角特征融合產(chǎn)生。 為了提高 3D 目標(biāo)檢測(cè)的性能，在本文中，給定從 BEV 和 RV 學(xué)習(xí)到的 3D 特征圖，我們提出通過(guò)雙跨視角空間注意力機(jī)制 (VISTA) 從全局空間上下文中生成高質(zhì)量的融合多視角特征用于預(yù)測(cè)候選目標(biāo)，如圖 1 所示。所提出的 VISTA 利用源自Transformer 的注意機(jī)制，其中 Transformer 已經(jīng)被成功應(yīng)用于各種研究環(huán)境（例如自然語(yǔ)言處理、2D 計(jì)算機(jī)視覺(jué)）中。與通過(guò)坐標(biāo)投影直接融合相比，VISTA 中內(nèi)置的注意力機(jī)制利用全局信息，通過(guò)將單個(gè)視角的特征視為特征元素序列，自適應(yīng)地對(duì)視角間的所有成對(duì)相關(guān)性進(jìn)行建模。為了全面建?？缫暯窍嚓P(guān)性，必須考慮兩個(gè)視角中的局部信息，因此我們用卷積算子替換傳統(tǒng)注意力模塊中的 MLP，我們?cè)趯?shí)驗(yàn)部分展示了這樣做的有效性。盡管如此，如實(shí)驗(yàn)部分所示，學(xué)習(xí)視角之間的相關(guān)性仍然具有挑戰(zhàn)性。直接采用注意力機(jī)制進(jìn)行多視角融合帶來(lái)的收益很小，我們認(rèn)為這主要是由于 3D 目標(biāo)檢測(cè)任務(wù)本身的特性導(dǎo)致的。 一般來(lái)說(shuō)，3D 目標(biāo)檢測(cè)任務(wù)可以分為兩個(gè)子任務(wù)：分類(lèi)和回歸。正如先前一些工作(LaserNet, CVCNet) 中所闡述的，3D 目標(biāo)檢測(cè)器在檢測(cè)整個(gè) 3D 場(chǎng)景中的物體時(shí)面臨許多挑戰(zhàn)，例如遮擋、背景噪聲和點(diǎn)云缺乏紋理信息。因此，注意力機(jī)制很難學(xué)習(xí)到相關(guān)性，導(dǎo)致注意力機(jī)制傾向于取整個(gè)場(chǎng)景的均值，這是出乎意料的，因?yàn)樽⒁饬δK是為關(guān)注感興趣的區(qū)域而設(shè)計(jì)的。因此，我們顯式地限制了注意力機(jī)制學(xué)習(xí)到的注意力圖 (Attention Map) 的方差，從而引導(dǎo)注意力模塊理解復(fù)雜的 3D 戶(hù)外場(chǎng)景中的有意義區(qū)域。此外，分類(lèi)和回歸的不同學(xué)習(xí)目標(biāo)決定了注意力模塊中學(xué)習(xí)的 queries 和 keys 的不同期望。不同物體各自的回歸目標(biāo)（例如尺度、位移）期望 queries 和 keys 了解物體的特性。相反，分類(lèi)任務(wù)推動(dòng)網(wǎng)絡(luò)了解物體類(lèi)的共性。不可避免地，共享相同的注意力建模會(huì)給這兩個(gè)任務(wù)的訓(xùn)練帶來(lái)沖突。此外，一方面，由于紋理信息的丟失，神經(jīng)網(wǎng)絡(luò)難以從點(diǎn)云中提取語(yǔ)義特征。另一方面，神經(jīng)網(wǎng)絡(luò)可以很容易地從點(diǎn)云中學(xué)習(xí)物體的幾何特性。這帶來(lái)的結(jié)果就是，在訓(xùn)練過(guò)程中，產(chǎn)生了以回歸為主導(dǎo)的困境。為了應(yīng)對(duì)這些挑戰(zhàn)，我們?cè)谔岢龅?VISTA 中將這兩個(gè)任務(wù)解耦，以學(xué)習(xí)根據(jù)不同任務(wù)整合不同的線(xiàn)索。 我們提出的 VISTA 是一個(gè)即插即用的模塊，可以被用于近期的先進(jìn)的目標(biāo)分配 (Target Assignment) 策略中。我們?cè)?nuScenes 和 Waymo 兩個(gè)基準(zhǔn)數(shù)據(jù)集上測(cè)試了提出的基于 VISTA 的多視角融合算法。在驗(yàn)證集上的消融實(shí)驗(yàn)證實(shí)了我們的猜想。提出的 VISTA 可以產(chǎn)生高質(zhì)量的融合特征，因此，我們提出的方法優(yōu)于所有已公布開(kāi)源的算法。在提交時(shí)，我們的最終結(jié)果在 nuScenes 排行榜上的 mAP 和 NDS 達(dá)到 63.0% 和 69.8%。在 Waymo 上，我們?cè)谲?chē)輛、行人和騎自行車(chē)人上分別達(dá)到了 74.0%、72.5% 和 71.6% 的 2 級(jí) mAPH。我們將我們的主要貢獻(xiàn)總結(jié)如下：

我們提出了一種新穎的即插即用融合模塊：雙跨視角空間注意力機(jī)制 (VISTA)，以產(chǎn)生融合良好的多視角特征，以提高 3D 目標(biāo)檢測(cè)器的性能。我們提出的 VISTA 用卷積算子代替了 MLP，這能夠更好地處理注意力建模的局部線(xiàn)索。

我們將 VISTA 中的回歸和分類(lèi)任務(wù)解耦，以利用單獨(dú)的注意力建模來(lái)平衡這兩個(gè)任務(wù)的學(xué)習(xí)。我們?cè)谟?xùn)練階段將注意力方差約束應(yīng)用于 VISTA，這有助于注意力的學(xué)習(xí)并使網(wǎng)絡(luò)能夠關(guān)注感興趣的區(qū)域。

我們?cè)?nuScenes 和 Waymo 兩個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行了徹底的實(shí)驗(yàn)。我們提出的基于 VISTA 的多視角融合可用于各種先進(jìn)的目標(biāo)分配策略，輕松提升原始算法并在基準(zhǔn)數(shù)據(jù)集上實(shí)現(xiàn)最先進(jìn)的性能。具體來(lái)說(shuō)，我們提出的方法在整體性能上比第二好的方法高出 4.5%，在騎自行車(chē)的人等安全關(guān)鍵對(duì)象類(lèi)別上高出 24%。

論文鏈接：https://arxiv.org/abs/2203.09704

代碼鏈接：https://github.com/Gorilla-Lab-SCUT/VISTA

第二章 雙跨視角空間注意力機(jī)制 對(duì)于大多數(shù)基于體素的 3D 目標(biāo)檢測(cè)器，它們密集地產(chǎn)生逐 pillar 的目標(biāo)候選，經(jīng)驗(yàn)上講，生成信息豐富的特征圖可以保證檢測(cè)質(zhì)量。在多視角 3D 目標(biāo)檢測(cè)的情況下，目標(biāo)候選來(lái)自融合的特征圖，因此需要在融合期間全面考慮全局空間上下文。為此，我們尋求利用注意力模塊捕獲全局依賴(lài)關(guān)系的能力進(jìn)行多視角融合，即跨視角空間注意力。在考慮全局上下文之前，跨視角空間注意力模塊需要聚合局部線(xiàn)索以構(gòu)建不同視角之間的相關(guān)性。因此，我們提出 VISTA，其中基于多層感知器 (MLP) 的標(biāo)準(zhǔn)注意力模塊被卷積層取代。然而，在復(fù)雜的 3D 場(chǎng)景中學(xué)習(xí)注意力是很困難的。為了采用跨視角注意力進(jìn)行多視角融合，我們進(jìn)一步解耦了 VISTA 中的分類(lèi)和回歸任務(wù)，并應(yīng)用提出的注意力約束來(lái)促進(jìn)注意力機(jī)制的學(xué)習(xí)過(guò)程。 在本節(jié)中，我們將首先詳細(xì)介紹所提出的雙跨視角空間注意力機(jī)制（VISTA）的整體架構(gòu)，然后詳細(xì)闡述所提出的 VISTA 的解耦設(shè)計(jì)和注意力約束。 2.1 整體架構(gòu)

圖 2：VISTA 整體架構(gòu) 如圖 2 所示，VISTA 將來(lái)自?xún)蓚€(gè)不同視角的特征序列作為輸入，并對(duì)多視角特征之間的跨視角相關(guān)性進(jìn)行建模。與使用線(xiàn)性投影轉(zhuǎn)換輸入特征序列的普通注意力模塊不同，VISTA 通過(guò) 3x3 卷積操作子將輸入特征序列投影到 queries和中。為了將分類(lèi)和回歸解耦開(kāi)，Q和K通過(guò)單獨(dú)的 MLP 投影到。為了計(jì)算V的加權(quán)和作為跨視角輸出F，我們應(yīng)用縮放的點(diǎn)積來(lái)獲得跨視角注意力權(quán)重： ?

并且輸出將是。輸出F_i將被饋送到單個(gè)前饋網(wǎng)絡(luò)以FFN_i獲得最終結(jié)果。我們采用先前工作中廣泛使用的架構(gòu)作為我們的 FFN，以確保非線(xiàn)性和多樣性。我們提出的 VISTA 是一種單階段方法，可根據(jù)跨視角融合的特征直接生成候選目標(biāo)；這樣的設(shè)計(jì)可以利用更多信息進(jìn)行準(zhǔn)確高效的 3D 目標(biāo)檢測(cè)。 ?2.2 解耦分類(lèi)和回歸任務(wù)? VISTA 將分類(lèi)和回歸任務(wù)解耦。在共享卷積算子之后，queries 和 keys 通過(guò)單獨(dú)的線(xiàn)性投影進(jìn)一步處理產(chǎn)生Q_i和K_i，然后它們將根據(jù)語(yǔ)義信息或幾何信息參與不同的注意力建模。這種解耦的動(dòng)機(jī)是分類(lèi)和回歸的監(jiān)督信號(hào)對(duì)訓(xùn)練造成的不同影響。 ? 給定場(chǎng)景中的 query 目標(biāo)，為了分類(lèi)，注意力模塊需要從全局上下文中的對(duì)象中聚合語(yǔ)義線(xiàn)索，以豐富融合特征中傳達(dá)的語(yǔ)義信息。這樣的目標(biāo)要求學(xué)習(xí)的 queries 和 keys 知道同一類(lèi)別的不同對(duì)象之間的共性，以使同一類(lèi)別的對(duì)象在語(yǔ)義上應(yīng)該相互匹配。然而，回歸任務(wù)不能采用相同的 queries 和 keys，因?yàn)椴煌膶?duì)象有自己的幾何特征（例如位移、尺度、速度等），回歸特征應(yīng)該在不同的對(duì)象上是多樣的。因此，在分類(lèi)和回歸的聯(lián)合訓(xùn)練過(guò)程中，共享相同的 queries 和 keys 會(huì)導(dǎo)致注意力學(xué)習(xí)發(fā)生沖突。 ? 此外，無(wú)論是單視角還是多視角，分類(lèi)和回歸結(jié)果都是從傳統(tǒng)的基于體素的 3D 目標(biāo)檢測(cè)器中的相同特征圖預(yù)測(cè)的。然而，由于 3D 場(chǎng)景的固有屬性，3D 點(diǎn)云中不可避免地存在遮擋和紋理信息丟失，3D 檢測(cè)器難以提取語(yǔ)義特征，給分類(lèi)學(xué)習(xí)帶來(lái)很大挑戰(zhàn)。相反，3D 點(diǎn)云傳達(dá)的豐富幾何信息減輕了網(wǎng)絡(luò)理解物體幾何屬性的負(fù)擔(dān)，這是學(xué)習(xí)回歸任務(wù)的基礎(chǔ)。結(jié)果，在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，出現(xiàn)了分類(lèi)和回歸之間學(xué)習(xí)的不平衡現(xiàn)象，其中分類(lèi)的學(xué)習(xí)被回歸主導(dǎo)。這種不平衡的學(xué)習(xí)是基于 3D 點(diǎn)云的，包含分類(lèi)和回歸任務(wù)的 3D 目標(biāo)檢測(cè)中的常見(jiàn)問(wèn)題，這將對(duì)檢測(cè)性能產(chǎn)生負(fù)面影響。具體來(lái)說(shuō)，3D 檢測(cè)器在具有相似幾何特征的不同對(duì)象類(lèi)別（例如卡車(chē)和公共汽車(chē)）上不會(huì)很魯棒。 ? 為了緩解上述問(wèn)題，我們分別為語(yǔ)義和幾何信息分別建立注意力模型。注意力模塊的輸出是基于構(gòu)建的語(yǔ)義和幾何注意力權(quán)重的。分類(lèi)和回歸的監(jiān)督分別應(yīng)用于，保證了相應(yīng)任務(wù)的有效學(xué)習(xí)。 ?2.3 注意力約束? 當(dāng)學(xué)習(xí)從全局上下文中對(duì)跨視角相關(guān)性進(jìn)行建模時(shí)，所提出的 VISTA 面臨著許多挑戰(zhàn)。3D 場(chǎng)景包含大量背景點(diǎn)（大約高達(dá) 95%），只有一小部分是有助于檢測(cè)結(jié)果的興趣點(diǎn)。在跨視角注意力的訓(xùn)練過(guò)程中，海量的背景點(diǎn)會(huì)給注意力模塊帶來(lái)意想不到的噪音。此外，復(fù)雜 3D 場(chǎng)景中的遮擋效應(yīng)給注意力學(xué)習(xí)帶來(lái)了不可避免的失真。因此，注意力模塊傾向于關(guān)注不相關(guān)的區(qū)域。注意力學(xué)習(xí)不佳的極端情況是全局平均池化（GAP）操作，正如我們?cè)趯?shí)驗(yàn)部分中所展示的，沒(méi)有任何明確的監(jiān)督，直接采用注意力模塊進(jìn)行多視角融合會(huì)產(chǎn)生類(lèi)似于 GAP 的性能，這表明注意力模塊不能很好地對(duì)跨視角相關(guān)性建模。 ? 為了使注意力模塊能夠?qū)Ｗ⒂谔囟繕?biāo)而不是一般的點(diǎn)，我們提出對(duì)學(xué)習(xí)的注意力權(quán)重的方差施加約束。利用提出的約束，我們使網(wǎng)絡(luò)能夠?qū)W習(xí)注意到特定目標(biāo)。通過(guò)將注意力方差約束與傳統(tǒng)的分類(lèi)回歸監(jiān)督信號(hào)相結(jié)合，注意力模塊專(zhuān)注于場(chǎng)景中有意義的目標(biāo)，從而產(chǎn)生高質(zhì)量的融合特征。我們將提出的約束設(shè)定為訓(xùn)練期間的輔助損失函數(shù)。為簡(jiǎn)單起見(jiàn)，我們忽略 batch 維度，給定學(xué)習(xí)的注意力權(quán)重分別是 BEV 和 RV 中的 pillar 數(shù)量，xy 平面中 GT 框的尺度和中心位置的集合，其中是場(chǎng)景中的框數(shù)量。對(duì)于 BEV 中的每個(gè) pillar，我們根據(jù)體素大小計(jì)算其中心的真實(shí)坐標(biāo)，并得到集合。每個(gè) GT 框的注意力權(quán)重通過(guò)以下方式獲得： ?

然后我們?yōu)樗?GT 框制定方差約束如下：

其中N_q是b_q由包圍的 pillar 的數(shù)量，計(jì)算給定向量的方差。 ?第三章 實(shí)現(xiàn)?3.1 體素化? 我們根據(jù) x,y,z 軸對(duì)點(diǎn)云進(jìn)行體素化。對(duì)于 nuScenes 數(shù)據(jù)集，體素化的范圍是[-51.2, 51.2]m, [-51.2,51.2]m 和[-5.0,3]m，以 x,y,z 表示。對(duì)于 Waymo 數(shù)據(jù)集，范圍為[-75.2,75.2]m、[-75.2,75.2]m 和[-2,4]m。除非特別提及，否則我們所有的實(shí)驗(yàn)都是在 x、y、z 軸的[0.1,0.1,0.1]m 的低體素化分辨率下進(jìn)行的。 ?3.2 數(shù)據(jù)增廣? 點(diǎn)云根據(jù) x,y 軸隨機(jī)翻轉(zhuǎn)，圍繞 z 軸旋轉(zhuǎn)，范圍為[-0.3925,0.3925]rad，縮放系數(shù)范圍為 0.95 到 1.05，平移范圍為[ 0.2,0.2,0.2]m 在 x,y,z 軸上。采用類(lèi)別平衡分組采樣和數(shù)據(jù)庫(kù)采樣來(lái)提高訓(xùn)練時(shí)正樣本的比例。 ?3.3 聯(lián)合訓(xùn)練? 我們?cè)诟鞣N目標(biāo)分配策略 (CBGS, OHS, CenterPoint) 上訓(xùn)練 VISTA。為了訓(xùn)練網(wǎng)絡(luò)，我們計(jì)算不同目標(biāo)分配策略的原始損失函數(shù)，我們建議讀者參考他們的論文以了解更多關(guān)于損失函數(shù)的細(xì)節(jié)。簡(jiǎn)而言之，我們將分類(lèi)和回歸考慮在內(nèi)： ?

其中λ_1和λ_2是損失函數(shù)權(quán)重，是 GT 標(biāo)簽y和預(yù)測(cè)之間的分類(lèi)損失函數(shù),是 GT 框b和預(yù)測(cè)框的回歸損失函數(shù)。 ? 總損失函數(shù)L是的加權(quán)和：。我們將λ_1、λ_2和λ_3設(shè)置為 1.0、0.25、1.0。我們將 Focal loss 作為，并將 L1 損失作為。 ?第四章 實(shí)驗(yàn)

表一：nuScenes 測(cè)試集上的 3D 檢測(cè)結(jié)果

表二：Waymo 測(cè)試集上的 3D 檢測(cè)結(jié)果 我們?cè)?nuScenes 數(shù)據(jù)集和 Waymo 數(shù)據(jù)集上評(píng)估 VISTA。我們?cè)谌N具有不同目標(biāo)分配策略的最先進(jìn)方法上測(cè)試 VISTA 的功效：CBGS、OHS 和 CenterPoint。 4.1 數(shù)據(jù)集和技術(shù)細(xì)節(jié) nuScenes 數(shù)據(jù)集包含 700 個(gè)訓(xùn)練場(chǎng)景、150 個(gè)驗(yàn)證場(chǎng)景和 150 個(gè)測(cè)試場(chǎng)景。數(shù)據(jù)集以 2Hz 進(jìn)行標(biāo)注，總共 40000 個(gè)關(guān)鍵幀被標(biāo)注了 10 個(gè)對(duì)象類(lèi)別。我們?yōu)槊總€(gè)帶標(biāo)注的關(guān)鍵幀組合 10 幀掃描點(diǎn)云以增加點(diǎn)數(shù)。平均精度 (mAP) 和 nuScenes 檢測(cè)分?jǐn)?shù) (NDS) 被應(yīng)用于我們的性能評(píng)估。NDS 是 mAP 和其他屬性度量的加權(quán)平均值，包括位移、尺度、方向、速度和其他框的屬性。在訓(xùn)練過(guò)程中，我們遵循 CBGS 通過(guò) Adam 優(yōu)化器和單周期學(xué)習(xí)率策略 (one-cycle) 優(yōu)化模型。 Waymo 數(shù)據(jù)集包含 798 個(gè)用于訓(xùn)練的序列，202 個(gè)用于驗(yàn)證的序列。每個(gè)序列的持續(xù)時(shí)間為 20 秒，并以 10Hz 的頻率采樣，使用 64 通道的激光雷達(dá)，包含 610 萬(wàn)車(chē)輛、280 萬(wàn)行人和 6.7 萬(wàn)個(gè)騎自行車(chē)的人。我們根據(jù)標(biāo)準(zhǔn) mAP 和由航向精度 (mAPH) 加權(quán)的 mAP 指標(biāo)來(lái)評(píng)估我們的網(wǎng)絡(luò)，這些指標(biāo)基于車(chē)輛的 IoU 閾值為 0.7，行人和騎自行車(chē)的人為 0.5。官方評(píng)估協(xié)議以?xún)蓚€(gè)難度級(jí)別評(píng)估方法：LEVEL_1 用于具有超過(guò) 5 個(gè) LiDAR 點(diǎn)的框，LEVEL_2 用于具有至少一個(gè) LiDAR 點(diǎn)的框。 4.2 與其他方法的比較 我們將提出的基于 VISTA 的 OHS 的測(cè)試結(jié)果提交給 nuScenes 測(cè)試服務(wù)器。為了對(duì)結(jié)果進(jìn)行基準(zhǔn)測(cè)試，我們遵循 CenterPoint 來(lái)調(diào)整訓(xùn)練分辨率并利用雙翻轉(zhuǎn)測(cè)試增強(qiáng)。由于我們的結(jié)果基于單一模型，因此我們的比較中不包括使用集成模型和額外數(shù)據(jù)的方法，測(cè)試性能見(jiàn)表一。我們提出的 VISTA 在 nuScenes 測(cè)試集上實(shí)現(xiàn)了最先進(jìn)的性能，在整體 mAP 和 NDS 中都大大優(yōu)于所有已發(fā)布的方法。特別是在摩托車(chē)和自行車(chē)上的表現(xiàn)，mAP 上超過(guò)了第二好的方法 CenterPoint 高達(dá) 48%。具體來(lái)說(shuō)，幾何相似類(lèi)別（例如卡車(chē)、工程車(chē)輛）的性能提升證實(shí)了我們提出的解耦設(shè)計(jì)的有效性。 為了進(jìn)一步驗(yàn)證我們提出的 VISTA 的有效性，我們將提出的 VISTA 應(yīng)用在 CenterPoint 上，并將測(cè)試結(jié)果提交到 Waymo 測(cè)試服務(wù)器。在訓(xùn)練和測(cè)試期間，我們遵循與 CenterPoint 完全相同的規(guī)則，測(cè)試性能見(jiàn)表二。VISTA 在所有級(jí)別的所有類(lèi)別中為 CenterPoint 帶來(lái)了顯著改進(jìn)，優(yōu)于所有已發(fā)布的結(jié)果。 4.3 消融學(xué)習(xí)

表三：多視角融合消融學(xué)習(xí)，實(shí)驗(yàn)在 nuScenes 驗(yàn)證集上進(jìn)行

表四：基于 VISTA 的先進(jìn)方法的性能提升，實(shí)驗(yàn)在 nuScenes 驗(yàn)證集上進(jìn)行 如表三所示，為了證明所提出的 VISTA 的優(yōu)越性，我們以 OHS 作為我們的基線(xiàn) (a) 在 nuScenes 數(shù)據(jù)集的驗(yàn)證集上進(jìn)行了消融研究。正如前文所述，如果沒(méi)有注意力約束，注意力權(quán)重學(xué)習(xí)的極端情況將是全局平均池化（GAP）。為了澄清，我們通過(guò) GAP 手動(dòng)獲取 RV 特征，并將它們添加到所有 BEV 特征上實(shí)現(xiàn)融合。這種基于 GAP 的融合方法 (b) 將基線(xiàn)的性能 mAP 降低到 59.2%，表明自適應(yīng)融合來(lái)自全局空間上下文的多視角特征的必要性。直接采用 VISTA 進(jìn)行多視角融合 (d)，mAP 為 60.0%。當(dāng)將卷積注意力模塊替換為傳統(tǒng)的線(xiàn)性注意力模塊(c) 時(shí)，整體 mAP 下降到 58.7%，這反映了聚合局部線(xiàn)索對(duì)于構(gòu)建跨視角注意力的重要性。在添加提出的注意力方差約束后，如 (e) 所示，整體 mAP 的性能提高到 60.4%。從 (d) 到(e)行的性能提升表明注意力機(jī)制可以通過(guò)注意力約束得到很好的引導(dǎo)，使得注意力模塊能夠關(guān)注整個(gè)場(chǎng)景的興趣區(qū)域。然而，共享注意力建模會(huì)帶來(lái)分類(lèi)學(xué)習(xí)和回歸任務(wù)之間的沖突，在 3D 目標(biāo)檢測(cè)中，分類(lèi)任務(wù)將被回歸任務(wù)占主導(dǎo)地位。如（f）所示，在解耦注意力模型后，整體 mAP 的性能從 60.4% 提高到 60.8%，進(jìn)一步驗(yàn)證了我們的假設(shè)。 所提出的 VISTA 是一種即插即用的多視角融合方法，只需稍作修改即可用于各種最近提出的先進(jìn)目標(biāo)分配策略。為了證明所提出的 VISTA 的有效性和泛化能力，我們?cè)?CenterPoint、OHS 和 CBGS 上實(shí)現(xiàn)了 VISTA，它們是最近的先進(jìn)方法。這些方法代表基于 anchor 或 anchor-free 的不同主流目標(biāo)分配。我們?cè)?nuScenes 數(shù)據(jù)集的驗(yàn)證集上評(píng)估結(jié)果，所有方法都是基于他們的官方代碼庫(kù)。如表四所示，所有三個(gè)目標(biāo)分配策略在 mAP 和 NDS 分?jǐn)?shù)中都實(shí)現(xiàn)了很大的性能提升（在 mAP 和 NDS 中分別約為 1.3% 和 1.4%），表明所提出的 VISTA 可以通過(guò)跨視角空間注意力機(jī)制融合普遍高質(zhì)量的多視角特征。 我們?cè)诒砣姓故玖颂岢龅?VISTA 在一個(gè) RTX3090 GPU 上的運(yùn)行時(shí)間。未經(jīng)任何修改，基線(xiàn) (a) 以每幀 60 毫秒運(yùn)行。在基線(xiàn)中采用卷積注意力模塊 (d) 后，運(yùn)行時(shí)間增加到 64 毫秒。我們可以從 (e) 和(f)中觀察到，雖然應(yīng)用所提出的注意力方差約束不會(huì)影響推理速度，但解耦設(shè)計(jì)花費(fèi)了 5ms，但額外的延遲仍然可以忽略不計(jì)。以這樣的效率運(yùn)行，我們認(rèn)為所提出的 VISTA 完全符合實(shí)際應(yīng)用的要求。 4.4 VISTA 分析

圖 3：具有（（a）和（c））和沒(méi)有（（b）和（d））注意方差約束的 VISTA 學(xué)習(xí)到的注意力權(quán)重的可視化。每行呈現(xiàn)一個(gè)場(chǎng)景，Query 框以紅色顯示，點(diǎn)的顏色越亮，點(diǎn)的注意力權(quán)重越高。

圖 4：在有和沒(méi)有解耦設(shè)計(jì)的情況下的檢測(cè)結(jié)果的可視化。每行代表一個(gè)場(chǎng)景。淺色表示的框指的是 GT 框，深色表示的框表示正確的預(yù)測(cè)結(jié)果，不同強(qiáng)調(diào)色表示的框表示錯(cuò)誤的預(yù)測(cè)。 我們認(rèn)為，通過(guò)所提出的注意力約束訓(xùn)練的 VISTA 可以捕捉 BEV 和 RV 之間的全局和局部相關(guān)性，從而可以有效地執(zhí)行多視角融合以進(jìn)行準(zhǔn)確的框預(yù)測(cè)。為了生動(dòng)地展示注意力方差約束在訓(xùn)練 VISTA 中的有效性，我們?cè)趫D 3 中可視化了網(wǎng)絡(luò)在有和沒(méi)有注意力方差約束情況下構(gòu)建的的跨視角相關(guān)性。給定包含目標(biāo)視角（BEV）的框的區(qū)域以 query 源視角（RV），我們得到上述區(qū)域中每個(gè) pillar 的相應(yīng)跨視角注意力權(quán)重，并將權(quán)重映射回原點(diǎn)云以可視化。我們觀察到，在沒(méi)有注意力方差約束的情況下，學(xué)習(xí)到的注意力權(quán)重對(duì)于 RV 中的幾乎每個(gè) pillar 都保持較小的值，從而導(dǎo)致近似的全局平均池化操作。在圖 3(b)和 (d) 中，注意力模塊關(guān)注遠(yuǎn)離 query 汽車(chē)和行人的背景點(diǎn)，每個(gè)聚焦區(qū)域的注意力權(quán)重相對(duì)較低。相反，用注意力方差約束訓(xùn)練的注意力模塊突出顯示具有相同 query 類(lèi)別的物體，如圖 3(a)和 (c) 所示。特別是對(duì)于 query 汽車(chē)，通過(guò)注意力方差約束訓(xùn)練的注意力模塊成功地關(guān)注了場(chǎng)景中的其他汽車(chē)。 我們提出的 VISTA 的另一個(gè)關(guān)鍵設(shè)計(jì)是分類(lèi)和回歸任務(wù)的解耦。這兩個(gè)任務(wù)的各自的注意力建模緩解了學(xué)習(xí)的不平衡問(wèn)題，因此檢測(cè)結(jié)果更加準(zhǔn)確和可靠。為了展示我們?cè)O(shè)計(jì)的意義，我們?cè)趫D中展示了解耦前后的檢測(cè)結(jié)果。每行代表一個(gè)場(chǎng)景，左列顯示解耦后的結(jié)果，另一列顯示未解耦的結(jié)果。如圖 4(b)和 (d) 所示，沒(méi)有解耦設(shè)計(jì)的 3D 目標(biāo)檢測(cè)器很容易將物體 A 誤認(rèn)為具有相似幾何特性的另一個(gè)物體 B，我們將這種現(xiàn)象稱(chēng)為 A-to-B，例如公共汽車(chē)（紫色）到卡車(chē)（黃色）、公共汽車(chē)（紫色）到拖車(chē)（紅色）和自行車(chē)（白色）到摩托車(chē)（橙色），證明了分類(lèi)和回歸任務(wù)之間存在不平衡訓(xùn)練。此外，當(dāng)將右列與左列進(jìn)行比較時(shí)，混淆的預(yù)測(cè)并不準(zhǔn)確。相反，具有解耦設(shè)計(jì)的 VISTA 成功區(qū)分了對(duì)象的類(lèi)別，并預(yù)測(cè)了緊密的框，如圖 4(a)和 (c) 所示，證明了所提出的解耦設(shè)計(jì)的功效。 第五章 總結(jié) 在本文中，我們提出了 VISTA，一種新穎的即插即用多視角融合策略，用于準(zhǔn)確的 3D 對(duì)象檢測(cè)。為了使 VISTA 能夠關(guān)注特定目標(biāo)而不是一般點(diǎn)，我們提出限制學(xué)習(xí)的注意力權(quán)重的方差。我們將分類(lèi)和回歸任務(wù)解耦以處理不平衡訓(xùn)練問(wèn)題。我們提出的即插即用 VISTA 能夠產(chǎn)生高質(zhì)量的融合特征來(lái)預(yù)測(cè)目標(biāo)候選，并且可以應(yīng)用于各種目標(biāo)分配策略方法。nuScenes 和 Waymo 數(shù)據(jù)集的基準(zhǔn)測(cè)試證明了我們提出的方法的有效性和泛化能力。

審核編輯 ：李倩