作者：Raphael Voges and Bernardo Wagner

來源：IROS 2020

大家好，今天為大家?guī)淼奈恼率恰?集員法對3D激光雷達和相機的外部校準（Set-Membership Extrinsic Calibration of a 3D LiDAR and a Camera）。

這篇文章與傳感器的融合相關(guān)，主要介紹了3D激光雷達和相機校準時候是如何考慮不同傳感器之間的誤差的；

為了融合來自3D激光雷達和相機的信息，需要知道傳感器坐標系之間的外部校準。

傳統(tǒng)的外部校準方案有三個缺點：

傳統(tǒng)的校準方法忽略了傳感器誤差，導致了校準失真；

傳統(tǒng)的校準方法假設(shè)了初始平均誤差為0，默認傳感器每次測量接近真實值，這種假設(shè)常常失效。例如，激光雷達入射角和反射率帶來的誤差，可能會導致激光雷達偏移的情形；

傳統(tǒng)的校準方法不能評估提取特征的準確性，因此不能在外部校準的時候不能通過調(diào)整特征的權(quán)重提高準確性。

本文創(chuàng)新點：

提出了一種基于圖像的檢測方法，該方法將YOLOv3架構(gòu)擴展為具有3D質(zhì)心損失和中級特征融合，以利用這兩種方式的互補信息；

介紹基于間距的方法（interval-based approaches）來提取圖像和激光點云的相應(yīng)特征；

利用間距的特征設(shè)定約束滿足問題（Constraint Satisfaction Problem， CSP），在仿真和實驗中驗證了準確性。

貢獻

提出了一種基于圖像的檢測方法，該方法將YOLOv3架構(gòu)擴展為具有3D質(zhì)心損失和中級特征融合，以利用這兩種方式的互補信息；

介紹基于間距的方法（interval-based approaches）來提取圖像和激光點云的相應(yīng)特征；

利用間距的特征設(shè)定約束滿足問題（Constraint Satisfaction Problem， CSP），在仿真和實驗中驗證了準確性。

方法介紹

如圖1所示，間隔向量（interval vectors）形成了一個框（scan box），包圍了實際測量的一些點集。通過使用掃描框，可以得到平面的垂直矢量（plane normal vector）、邊界線的矢量（line direction vectors）、標定棋盤的四個角上的點（corner boxes）。

圖1：本文的方法概述。為了找到外部校準，如旋轉(zhuǎn)矩陣R和轉(zhuǎn)換向量t，在間距不確定的情況下，相機和3D激光雷達之間尋找點、線、面特征。

傳感器誤差模型

A.相機模型：

我們采用OpenCV庫中包含的方法，用于檢測相機圖像中的棋盤角。因此，我們使用的原始測量是圖像中的像素點。然后，針孔相機模型用于找到指向棋盤角的方向的3D向量。

不能完全檢測到角的原因：

相機具有有限的分辨率，因此必須將模擬信號（即實際場景）離散地分為像素；

圖像模糊，例如檢測對象未處于適當?shù)木劢梗?/p>

圖像傳感器受到損壞，每個像素的各個顏色通道產(chǎn)生了噪聲，從而在角檢測期間再次導致誤差。

圖2：檢測到棋盤角（綠色點）的棋盤的示例圖。各種誤差源導致檢測不準確（紅色點）。因此，我們應(yīng)用了我們的界限誤差模型，來包裹真實特征的藍色邊框。

B.激光雷達模型：

由于激光雷達的激光光束和表面入射角受到傳感器的環(huán)境（溫度，濕度等）的影響，實際測量通常產(chǎn)生誤差。由于無法預測此系統(tǒng)錯誤，因此無法使用已建立的隨機誤差模型進行建模。測量點的實際位置是不確定的，并且可以是激光光束掃描的任何位置。因此，選擇基于間距的模型來考慮這種不確定性。

圖3：3D盒［P］的可視化由未知但是界面的誤差為球形坐標R，θ和φ產(chǎn)生的誤差。3D盒可以保證覆蓋實際測量的點P *和原始測量的點P。

主要結(jié)果

我們使用Gazebo 和實際數(shù)據(jù)生成的模擬數(shù)據(jù)來評估我們的方法。此外，將我們的方法與最先進算法進行了比較。然而，直接比較是不合適的，因為他們的方法的目標是找到最好的點值結(jié)果（point-valued result），而我們的方法旨在封閉真實的解決方案并同時表明計算的不確定性。

A.仿真數(shù)據(jù)

選擇尺寸為100×76厘米的標定棋盤，其中，棋盤距離多傳感器系統(tǒng)大約2.5米。模擬相機的像素誤差遵循高斯分布，平均值為0，標準偏差為0.01。這導致相機校準期間0.3 px的最大角度檢測誤差。模擬3D激光雷達的型號是Velodyne VLP16。球形坐標的誤差遵循均勻的分布，無需任何異常值。

首先，我們顯示從一個標定棋盤姿態(tài)計算的轉(zhuǎn)換參數(shù)的結(jié)果。如圖所示，我們選擇六種不同的棋盤姿態(tài)，以顯示對不同外部校準參數(shù)的影響。

圖4：六種不同棋盤姿態(tài)的模擬圖像。

對于所有六個姿態(tài)，我們的方法包含真實的轉(zhuǎn)換參數(shù)。然而，轉(zhuǎn)換參數(shù)的準確性隨著表I中的參數(shù)變化。這可以通過標定棋盤的相應(yīng)姿態(tài)來解釋。例如，Pose1和Pose5可以通過沿Z軸旋轉(zhuǎn)和平移實現(xiàn)。

表I：圖3中的姿勢的間距半徑

表II顯示了相機和激光掃描儀的不同模擬誤差的結(jié)果。顯然，相應(yīng)地調(diào)整傳感器誤差界限。例如，第二行示出了用于［Δpx］ = ［-0.4，0.4］ px的間隔半徑，而其他傳感器誤差界限保持不變。作為參考，第一行顯示出了上面引入和評估的錯誤界限的結(jié)果。表格可以說明我們的方法可以在增加不確定性的情況下處理相機和激光掃描數(shù)據(jù)的不同誤差。

表2：不同模擬誤差參數(shù)的影響

接下來，展示了系統(tǒng)誤差對我們方法的影響。我們使用總共27個棋盤姿態(tài)，包括上面所示的六個姿態(tài)，在傳感器設(shè)置周圍的旋轉(zhuǎn)空間中均勻分布。

表3：結(jié)果顯示偏誤差測量對我們和最先進的方法的比較

B.真實數(shù)據(jù)

如圖4所示，實驗設(shè)備包括Velodyne VLP-16 LIDAR，FLIR Grasshopper3相機和100×76cm標定棋盤。相機的分辨率為1920×1200 px。激光雷達LiDAR的垂直角分辨率為2°。此外，LiDAR的旋轉(zhuǎn)速率設(shè)定為5Hz，導致水平角分辨率為0.1?。

我們收集了26個不同的棋盤姿勢的數(shù)據(jù)。表IV顯示結(jié)果。得到的間距結(jié)果和仿真結(jié)果類似。因此，我們的方法不僅可以使用外在校準并評估其準確性，還可以驗證隨機方法的結(jié)果。

表4：我們和最先進方法的數(shù)據(jù)結(jié)果比較

原文標題：3D激光雷達和相機的外部校準

文章出處：【微信公眾號：新機器視覺】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責任編輯：haq