激光雷達(dá)攝像機(jī)標(biāo)定作為數(shù)據(jù)融合的重要步驟，對(duì)自主車(chē)輛和機(jī)器人導(dǎo)航具有重要意義。大多數(shù)校準(zhǔn)方法依賴(lài)手工制作的特征，需要大量提取的特征或特定的校準(zhǔn)目標(biāo)。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，一些人嘗試?yán)镁矸e神經(jīng)網(wǎng)絡(luò)來(lái)回歸6個(gè)自由度（DOF）的外部參數(shù)。然而，據(jù)報(bào)道，這些基于深度學(xué)習(xí)的方法的性能比非深度學(xué)習(xí)的方法更差。本文提出了一種結(jié)合深度學(xué)習(xí)和幾何方法的激光雷達(dá)相機(jī)外部標(biāo)定在線算法。通過(guò)定義一個(gè)雙通道圖像命名為校準(zhǔn)流，以說(shuō)明從初始投影到地面真值的偏差。采用隨機(jī)樣本一致性（RANSAC）方案中的EPnP算法，利用校準(zhǔn)流構(gòu)建的二維-三維對(duì)應(yīng)關(guān)系估計(jì)外部參數(shù)。在KITTI數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文提出的方法優(yōu)于目前最先進(jìn)的方法。在此基礎(chǔ)上，提出了一種引入實(shí)例質(zhì)心的語(yǔ)義初始化算法。

　　引言

　　場(chǎng)景感知是自動(dòng)駕駛和機(jī)器人導(dǎo)航的一個(gè)重要方面。對(duì)周?chē)h(huán)境中物體的魯棒感知依賴(lài)于安裝在移動(dòng)平臺(tái)上的各種機(jī)載傳感器。光探測(cè)與測(cè)距（LiDAR）傳感器可以獲得大范圍、高精度的場(chǎng)景空間測(cè)量。但激光雷達(dá)傳感器的分辨率較低，特別是在水平方向上，缺乏顏色和紋理信息。相機(jī)傳感器可以提供高分辨率的RGB圖像，但對(duì)光照變化敏感，沒(méi)有距離信息。激光雷達(dá)和相機(jī)傳感器的結(jié)合可以彌補(bǔ)彼此的不足。這兩個(gè)傳感器的有效融合對(duì)于三維目標(biāo)檢測(cè)以及語(yǔ)義映射任務(wù)至關(guān)重要。外部標(biāo)定是激光雷達(dá)與相機(jī)融合的一個(gè)重要過(guò)程，需要通過(guò)外部標(biāo)定來(lái)準(zhǔn)確估計(jì)激光雷達(dá)與相機(jī)之間的剛體變換。

　　早期的激光雷達(dá)相機(jī)校準(zhǔn)方法依賴(lài)于特定的校準(zhǔn)目標(biāo)，如棋盤(pán)或自制物體。通過(guò)手工標(biāo)注或自動(dòng)標(biāo)注獲得二維特征點(diǎn)（攝像機(jī)圖像）與三維特征點(diǎn)（激光雷達(dá)點(diǎn)云）之間的匹配關(guān)系，然后利用該匹配關(guān)系計(jì)算外部參數(shù)。自動(dòng)駕駛汽車(chē)在運(yùn)行過(guò)程中，由于運(yùn)行環(huán)境的變化（如振動(dòng)等），會(huì)對(duì)外部參數(shù)產(chǎn)生不可控的偏差。針對(duì)這一問(wèn)題，提出了一系列無(wú)目標(biāo)在線自校正算法，有效地提高了自適應(yīng)能力。這些在線定標(biāo)方法主要利用圖像和點(diǎn)云的強(qiáng)度以及邊緣相關(guān)性來(lái)計(jì)算外部定標(biāo)參數(shù)。這種技術(shù)依賴(lài)于準(zhǔn)確的初始外部參數(shù)或附加的運(yùn)動(dòng)信息（手眼標(biāo)定初始化）。此外，用于構(gòu)建標(biāo)定參數(shù)懲罰函數(shù)的特征通常是手工設(shè)置的，高度依賴(lài)于場(chǎng)景，在沒(méi)有特征的情況下無(wú)法工作。

　　近年來(lái)，有一些方法嘗試?yán)蒙疃葘W(xué)習(xí)來(lái)預(yù)測(cè)激光雷達(dá)與相機(jī)之間的相對(duì)變換。與傳統(tǒng)方法相比，這些方法的標(biāo)定誤差仍然較大。因此，這些基于學(xué)習(xí)的標(biāo)定方法不能滿(mǎn)足標(biāo)定要求。此外，在實(shí)際應(yīng)用中，當(dāng)傳感器參數(shù)發(fā)生變化時(shí)，需要大量的訓(xùn)練數(shù)據(jù)來(lái)對(duì)網(wǎng)絡(luò)模型進(jìn)行微調(diào)，這極大地限制了算法的泛化能力。

　　本文提出了一種自動(dòng)在線激光雷達(dá)相機(jī)自標(biāo)定方法CFNet。CFNet是全自動(dòng)的，不需要特定的校準(zhǔn)場(chǎng)景、校準(zhǔn)目標(biāo)和初始校準(zhǔn)參數(shù)。我們定義一個(gè)校準(zhǔn)流來(lái)表示初始投影點(diǎn)的位置與地面真值之間的偏差。利用預(yù)測(cè)的校準(zhǔn)流對(duì)初始投影點(diǎn)進(jìn)行校正，以建立精確的2D-3D對(duì)應(yīng)關(guān)系。采用EPnP算法計(jì)算RANSAC方案的最終外部參數(shù)。為了使CFNet完全自動(dòng)化，我們還提出了一種語(yǔ)義初始化算法。更具體地說(shuō)，CFNet的貢獻(xiàn)如下：

　?。?）據(jù)我們所知，CFNet是第一種結(jié)合了深度學(xué)習(xí)和幾何方法的激光成像相機(jī)外部標(biāo)定方法。與直接預(yù)測(cè)標(biāo)定參數(shù)相比，CFNet具有較強(qiáng)的泛化能力。

　?。?）定義校準(zhǔn)流來(lái)預(yù)測(cè)初始投影點(diǎn)位置與地面真值之間的偏差。校準(zhǔn)流可以將初始投影移到正確的位置，構(gòu)建精確的2D-3D對(duì)應(yīng)。

　?。?）引入二維/三維實(shí)例質(zhì)心（IC）來(lái)估計(jì)初始外部參數(shù)。利用該語(yǔ)義初始化過(guò)程，CFNet可以自動(dòng)執(zhí)行激光雷達(dá)攝像機(jī)標(biāo)定。

　　總結(jié)：（1）早期的雷達(dá)相機(jī)標(biāo)定方法：依賴(lài)于特定的目標(biāo)，手動(dòng)或自動(dòng)標(biāo)注二三維對(duì)應(yīng)關(guān)系；無(wú)特定目標(biāo)時(shí)利用圖像和點(diǎn)云的強(qiáng)度以及邊緣相關(guān)性來(lái)計(jì)算外部參數(shù)，依賴(lài)于準(zhǔn)確的初始外部參數(shù)或附加的運(yùn)動(dòng)信息（手眼標(biāo)定初始化）。

　　（2）深度學(xué)習(xí)方法的弊端：標(biāo)定誤差不能滿(mǎn)足要求；當(dāng)傳感器參數(shù)發(fā)生變化時(shí)，需要大量的訓(xùn)練數(shù)據(jù)對(duì)網(wǎng)絡(luò)模型進(jìn)行微調(diào)，限制了算法的泛化能力。

　　（3）引入二維-三維實(shí)例質(zhì)心估計(jì)初始外部參數(shù)。

　　方法

　　在本節(jié)中，我們首先描述校準(zhǔn)流的定義。然后提出了校準(zhǔn)方法CFNet，包括網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)、語(yǔ)義初始化和訓(xùn)練細(xì)節(jié)。如下圖所示為本文提出的CFNet方法，是一種估計(jì)三維激光雷達(dá)與二維相機(jī)之間轉(zhuǎn)換參數(shù)的自動(dòng)在線外部校準(zhǔn)方法。

　　實(shí)驗(yàn)與結(jié)果

　　對(duì)KITTI數(shù)據(jù)集的評(píng)價(jià)結(jié)果如表1所示。

　　可以看出，在所有這些測(cè)試序列中，平均平移誤差小于2cm，平均旋轉(zhuǎn)誤差小于0.13度。圖5顯示了兩個(gè)CFNet預(yù)測(cè)的例子。我們可以看到，重新校準(zhǔn)后的投影深度圖像和RGB圖像中的參考對(duì)象對(duì)齊準(zhǔn)確。在所有的測(cè)試序列中，序列01的校準(zhǔn)誤差最大。主要原因是這個(gè)序列是從高速公路場(chǎng)景中收集的，而高速公路場(chǎng)景不包括在訓(xùn)練數(shù)據(jù)集中。

　　與隨機(jī)初始標(biāo)定參數(shù)相比，使用語(yǔ)義初始化的校準(zhǔn)結(jié)果能提供更好的初始標(biāo)定參數(shù)。因此，最終的校準(zhǔn)誤差要小得多。此外，語(yǔ)義初始化過(guò)程是自動(dòng)的，基本要求是場(chǎng)景中有效實(shí)例對(duì)應(yīng)的數(shù)量≥3。由結(jié)果可知，語(yǔ)義初始化的平移誤差遠(yuǎn)大于旋轉(zhuǎn)誤差。即使語(yǔ)義初始化提供的初始參數(shù)與真值偏差較大，我們提出的CFNet也可以預(yù)測(cè)準(zhǔn)確的校準(zhǔn)參數(shù)。圖6顯示了一些帶有語(yǔ)義初始化的CFNet預(yù)測(cè)示例。第一列檢測(cè)實(shí)例之間存在較多遮擋，導(dǎo)致2D-3D實(shí)例匹配不準(zhǔn)確，預(yù)測(cè)的初始標(biāo)定參數(shù)偏差較大。第二列圖像中的實(shí)例遮擋比第一列圖像中的要好，因此初始誤差要小得多。在第三列中檢測(cè)到的二維和三維實(shí)例是完整的，沒(méi)有任何遮擋，因此初始校準(zhǔn)參數(shù)非常準(zhǔn)確，與地面真實(shí)值的偏差很小。在最后一列中，我們發(fā)現(xiàn)了2D和3D實(shí)例之間的不匹配（用箭頭表示），但我們?nèi)匀豢梢缘玫揭粋€(gè)很好的初始校準(zhǔn)值。通過(guò)語(yǔ)義初始化，無(wú)論初始校準(zhǔn)誤差大小，CFNet都能準(zhǔn)確地重新校準(zhǔn)。

　　由KITTI原始記錄的校準(zhǔn)結(jié)果可知，CFNet的平均平移誤差為0.995cm （X， Y， Z： 1.025cm， 0.919cm， 1.042cm），平均角度誤差為0.087度（Roll， Pitch， Yaw： 0.059度，0.110度，0.092度）。很明顯，CFNet遠(yuǎn)遠(yuǎn)優(yōu)于RegNet和CalibNet。雖然CalibNet的誤校準(zhǔn)范圍（±0.2m，±20度）小于CFNet（±1.5m，±20度），但CFNet的校準(zhǔn)性能遠(yuǎn)優(yōu)于CalibNet。

　　我們還在KITTI360基準(zhǔn)數(shù)據(jù)集上測(cè)試了CFNet的性能。結(jié)果如圖7所示。盡管在一個(gè)周期的數(shù)據(jù)集上重新訓(xùn)練，但在測(cè)試序列中獲得了很好的結(jié)果。因此，當(dāng)傳感器參數(shù)（如相機(jī)焦距或LiDAR-Camera的外在參數(shù)）發(fā)生變化時(shí)，都具有優(yōu)異的性能。

　　結(jié)論

　　本文提出了一種新的激光雷達(dá)相機(jī)在線外部標(biāo)定算法。為了表示激光雷達(dá)點(diǎn)云的初始投影與地面真值的偏差，我們定義了一個(gè)稱(chēng)為校準(zhǔn)流的圖像。受光流網(wǎng)絡(luò)的啟發(fā)，設(shè)計(jì)了一個(gè)深度校準(zhǔn)流網(wǎng)絡(luò)CFNet。通過(guò)CFNet的預(yù)測(cè)對(duì)初始投影點(diǎn)進(jìn)行校正，以構(gòu)建精確的2D-3D對(duì)應(yīng)關(guān)系。利用RANSAC方案中的EPnP算法，通過(guò)迭代細(xì)化估計(jì)外部參數(shù)。實(shí)驗(yàn)證明了CFNet的優(yōu)越性。在KITTI360數(shù)據(jù)集上的附加實(shí)驗(yàn)說(shuō)明了我們的方法的泛化。 編輯：黃飛