1. 基本概念

相比于視覺間接地獲取3D信息，激光雷達(dá)可以直接獲取目標(biāo)及場景的3D信息，但是激光雷達(dá)不能獲取紋理、顏色等特征，因此激光雷達(dá)和相機(jī)是互補(bǔ)的

調(diào)頻連續(xù)波是毫米波雷達(dá)測距的原理。

隨著自動(dòng)駕駛級(jí)別的提高，對(duì)于激光雷達(dá)的需求也逐漸提高。

激光雷達(dá)不僅可以做到多視圖融合，還能進(jìn)行多傳感器融合(此時(shí)是一個(gè)狀態(tài)估計(jì)問題，將不同傳感器的感知結(jié)果看成是觀測)。

2. 點(diǎn)云數(shù)據(jù)庫

隨著工業(yè)界落地需求的增加，數(shù)據(jù)集的規(guī)模也越來越大。

3. 物體檢測算法

3.1點(diǎn)視圖

PointNet直接處理無序點(diǎn)云，因此在最后需要借助一個(gè)操作(例如max_poolingaverage_pooling)來消除最終的結(jié)果與點(diǎn)云輸入順序間的關(guān)聯(lián)

PointNet++逐層提取特征擴(kuò)大感受野。PointNet++可以將聚類結(jié)果作為候選框生成的依據(jù)：對(duì)聚類結(jié)果中的每個(gè)點(diǎn)關(guān)聯(lián)一組錨框，并且進(jìn)行分類與回歸的操作(類似RPN網(wǎng)絡(luò))

Point-RCNN通過前景分割的方式來避免耗時(shí)的聚類過程，但是也會(huì)存在較為耗時(shí)的全局搜索過程。

3D-SSD通過改進(jìn)聚類的質(zhì)量，直接在聚類結(jié)果上生成候選框。

3.2俯視圖

VoxelNet通過將三維空間劃分成體素，并在每個(gè)體素內(nèi)進(jìn)行特征提取，形成四維張量(D, H, W, C)。

利用3D-CNN對(duì)四維張量進(jìn)行特征提取，并將高度方向上壓縮為1D，得到三維張量(H', W', C')。最后，利用2D視覺感知算法進(jìn)行檢測任務(wù)。

VoxelNet在劃分體素時(shí)，由于點(diǎn)云是稀疏的，會(huì)導(dǎo)致大量體素是空白的，這樣在進(jìn)行3D卷積時(shí)會(huì)造成很多無效計(jì)算。

SECOND采用稀疏卷積避免空白體素區(qū)域的無效計(jì)算

PIXOR將高度方向劃分為H個(gè)等級(jí)，如果有點(diǎn)云落在某個(gè)格子里，此處的Occupancy為1，且Intensity為格子里點(diǎn)云強(qiáng)度的均值。

AFDet經(jīng)過輕量級(jí)的點(diǎn)云特征提取，首先將點(diǎn)云體素化，并且每個(gè)體素的特征為點(diǎn)云反射強(qiáng)度的均值，再用稀疏3D卷積進(jìn)行特征提取。這樣，可以將四維張量變?yōu)閭螆D像的三維張量。

AFDet中的自校準(zhǔn)卷積其實(shí)就是對(duì)三維張量施加了注意力機(jī)制。

AFDet與CenterNet比較類似：先預(yù)測中心點(diǎn)的objectiveness，然后結(jié)合z軸方向的預(yù)測，可以得到物體在三維坐標(biāo)系中的位置；接著預(yù)測物體框的大小和朝向，以及物體中心點(diǎn)的偏移；同時(shí)，會(huì)加入物體框的IOU置信度預(yù)測(衡量框的質(zhì)量好壞，因?yàn)橹行狞c(diǎn)objectiveness不包含框質(zhì)量的信息)和關(guān)鍵點(diǎn)預(yù)測

點(diǎn)視圖的精度一般較高，因?yàn)闆]有量化損失

俯視圖可以并行優(yōu)化，一般速度較快

3.3 前視圖

前視圖雖然是網(wǎng)格結(jié)構(gòu)，但是編碼了三維空間信息，因此需要設(shè)計(jì)額外的操作來提取空間信息。

采用普通卷積提取特征，會(huì)損失空間信息

Meta-Kernel是動(dòng)態(tài)變化的：1）對(duì)于同一樣本的不同位置是不同的；2）對(duì)于不同樣本相同位置也是不同的。普通卷積對(duì)于不同樣本的相同位置都是一樣的。因此，Meta-Kernel可以看作是對(duì)樣本和位置的一種注意力機(jī)制。

3.4 多視圖融合

Voxel特征可看作粗粒度的特征，而點(diǎn)特征可看作細(xì)粒度特征

每個(gè)Pillar內(nèi)部采用PointNet進(jìn)行特征提取，并采用MaxPooling將同一個(gè)Pillar內(nèi)部多個(gè)點(diǎn)的特征壓縮成一個(gè)全局特征，從而形成偽圖像

當(dāng)預(yù)測的角度與真實(shí)的角度相差180°時(shí)，Δθ的損失值一樣，因此加入L_dir彌補(bǔ)這一缺點(diǎn)，但是權(quán)重要小一點(diǎn)。

粗粒度與細(xì)粒度特征的融合

對(duì)候選框中的稀疏點(diǎn)集進(jìn)行擴(kuò)展

將3D proposal分別向bevfront viewimage上投影

在俯視圖上通過自車運(yùn)動(dòng)的補(bǔ)償，融合多幀信息進(jìn)行檢測(可以將多幀圖像拼接在一起送入檢測網(wǎng)絡(luò)提取特征，并進(jìn)行檢測)