該方法將激光雷達(dá)投影的BEV和前向視角、與攝像頭視角圖像作為檢測(cè)輸入，在特征融合中，提出attentive pointwise fusion (APF) 模塊。設(shè)計(jì)attentive pointwise weighting (APW) 模塊學(xué)習(xí)，附加另外兩個(gè)任務(wù)foreground分類和中心回歸。

如圖是架構(gòu)圖：整個(gè)MVAF-Net包括三個(gè)部分

1）單視圖特征提取（SVFE），

2）多視圖特征融合（MVFF）

3）融合特征檢測(cè)（FFD）。

在SVFE部分，原始的RGB圖像和點(diǎn)云由3-stream CNN主干（CV，BEV和RV）處理，生成多視圖特征圖，在BEV和RV做點(diǎn)云體素化。在MVFF部分，多視圖特征與attentive pointwise fusion模塊逐點(diǎn)自適應(yīng)融合。融合的點(diǎn)特征通過attentive pointwise weighting模塊進(jìn)一步處理，對(duì)點(diǎn)特征進(jìn)行加權(quán)并學(xué)習(xí)結(jié)構(gòu)信息。在FFD部分，對(duì)融合和重加權(quán)的點(diǎn)特征再次體素化，并作融合主干輸入給最終的3D檢測(cè)。

RV投影表示為柱面坐標(biāo)系統(tǒng)：

attentive pointwise fusion模塊架構(gòu)如下：

而attentive pointwise weighting模塊架構(gòu)如下：

MVAF-Net的主干網(wǎng)絡(luò)細(xì)節(jié)如下圖：

檢測(cè)頭包括：分類（focal loss）、框回歸（SmoothL1 loss）和方向分類（softMax loss）。其總loss函數(shù)為

最后兩個(gè)是前景分類項(xiàng)（focal loss）和中心回歸項(xiàng)（SmoothL1 loss）。

結(jié)果如下：

結(jié)論

我們提出了一種端到端的單階段多視圖融合3D檢測(cè)方法MVAF-Net，它由三部分組成：?jiǎn)我晥D特征提取（SVFE），多視圖特征融合（MVFF）和融合特征檢測(cè)（FFD）。在SVFE部分，三流CNN主干（CV，BEV和RV主干）使用LiDAR點(diǎn)云和RGB圖像來生成多視圖特征圖。在MVFF部分，使用我們提出的注意點(diǎn)向融合（APF）模塊實(shí)現(xiàn)了多視圖特征的自適應(yīng)融合，該模塊可以使用注意力機(jī)制自適應(yīng)地確定從多視圖輸入中引入了多少信息。此外，我們通過提出的注意點(diǎn)加權(quán)（APW）模塊進(jìn)一步改善了網(wǎng)絡(luò)的性能，該模塊可以對(duì)點(diǎn)特征進(jìn)行加權(quán)并通過兩個(gè)額外的任務(wù)來學(xué)習(xí)結(jié)構(gòu)信息：前景分類和中心回歸。大量實(shí)驗(yàn)驗(yàn)證了所提出的APF和APW模塊的有效性。此外，所提出的MVAF-Net產(chǎn)生了競(jìng)爭(zhēng)性結(jié)果，并且在所有單階段融合方法中均達(dá)到了最佳性能。此外，我們的MVAF-Net勝過大多數(shù)兩階段融合方法，在KITTI基準(zhǔn)上實(shí)現(xiàn)了速度和精度之間的最佳平衡。

責(zé)任編輯：lq