針對(duì)具有挑戰(zhàn)性的光照條件和惡劣環(huán)境，本文提出了LIR-LIVO，這是一種輕量級(jí)且穩(wěn)健的激光雷達(dá)-慣性-視覺里程計(jì)系統(tǒng)。通過采用諸如利用深度與激光雷達(dá)點(diǎn)云關(guān)聯(lián)實(shí)現(xiàn)特征的均勻深度分布等先進(jìn)技術(shù)，以及利用Superpoint和LightGlue實(shí)現(xiàn)的自適應(yīng)特征匹配，LIR-LIVO實(shí)現(xiàn)了低計(jì)算成本下的最先進(jìn)的（SOTA）精度和魯棒性。

? 文章：

LIR-LIVO: A Lightweight,Robust LiDAR/Vision/Inertial Odometry with Illumination-Resilient Deep Features

? 作者：

Shujie Zhou, Zihao Wang, Xinye Dai, Weiwei Song, Shengfeng Gu

? 論文鏈接：

https://arxiv.org/abs/2502.08676

? 編譯：

INDEMIND

01本文核心內(nèi)容

我們提出了一種輕量級(jí)、魯棒且抗光照變化的激光雷達(dá)-慣性-視覺里程計(jì)系統(tǒng)（LIR-LIVO），該系統(tǒng)利用基于深度學(xué)習(xí)的抗光照變化特征點(diǎn)和激光雷達(dá)-視覺深度關(guān)聯(lián)，實(shí)現(xiàn)了低計(jì)算成本和高魯棒性。

我們提出的方法繼承了FAST-LIO2的直接法來進(jìn)行激光雷達(dá)慣性里程計(jì)，通過優(yōu)化點(diǎn)到平面的距離來實(shí)現(xiàn)狀態(tài)估計(jì)。為了更有效地利用激光雷達(dá)點(diǎn)云來輔助視覺特征點(diǎn)的深度，我們采用掃描重組將高頻、連續(xù)采樣的激光雷達(dá)點(diǎn)云分割成與相機(jī)采樣時(shí)間戳對(duì)應(yīng)的獨(dú)立激光雷達(dá)掃描，確保激光雷達(dá)和相機(jī)的頻率一致。隨后，我們應(yīng)用順序更新算法，聯(lián)合使用LIO和VIO系統(tǒng)來更新狀態(tài)。

通過將激光雷達(dá)點(diǎn)與視覺特征點(diǎn)關(guān)聯(lián)起來，可以直接獲得視覺特征在空間中的精確3D位置，從而無需進(jìn)行視覺三角測量以及更新和維護(hù)視覺特征3D點(diǎn)。這種方法提高了VIO系統(tǒng)的效率和視覺3D點(diǎn)的精度。此外，所提出算法的一個(gè)關(guān)鍵創(chuàng)新在于整合了使用卷積神經(jīng)網(wǎng)絡(luò)提取的深度視覺特征，并利用了輕量級(jí)、高效且基于深度學(xué)習(xí)的特征匹配算法。這種方法在光照變化顯著和快速移動(dòng)的場景中表現(xiàn)出色，從而顯著增強(qiáng)了在諸如激光雷達(dá)和光照條件均不佳的環(huán)境中激光雷達(dá)-慣性-視覺里程計(jì)的魯棒性。

本文的貢獻(xiàn)可概括為：

? 提出了一種穩(wěn)健、輕量級(jí)、抗光照變化的激光雷達(dá)-慣性-視覺里程計(jì)系統(tǒng)，適用于激光雷達(dá)和視覺條件惡劣的環(huán)境。通過迭代卡爾曼濾波器在測量層面緊密融合激光雷達(dá)、視覺和慣性傳感器，其中激光雷達(dá)掃描點(diǎn)云為視覺特征提供精確的深度信息。

? 該系統(tǒng)利用基于深度學(xué)習(xí)的Super-Point算法進(jìn)行自適應(yīng)視覺特征提取，以及LightGlue算法進(jìn)行高效特征匹配。它們在顯著光照變化下的卓越魯棒性極大地增強(qiáng)了視覺慣性里程計(jì)子系統(tǒng)的抗干擾能力，確保在視覺條件不佳的環(huán)境中也能可靠運(yùn)行。

? 視覺慣性里程計(jì)子系統(tǒng)設(shè)計(jì)為輕量級(jí)組件，并借助激光雷達(dá)深度關(guān)聯(lián)，消除了維護(hù)和更新視覺3D地標(biāo)和子地圖的必要性。它僅在滑動(dòng)窗口內(nèi)保留有限數(shù)量的歷史關(guān)鍵幀，以構(gòu)建用于優(yōu)化的重投影誤差。還應(yīng)用了優(yōu)化的特征點(diǎn)深度分布來增強(qiáng)姿態(tài)估計(jì)。

所提出系統(tǒng)已在GitHub上開源。

02方法架構(gòu)

圖2展示了我們系統(tǒng)的概覽，該系統(tǒng)由兩個(gè)主要組件構(gòu)成：基于直接法的激光雷達(dá)模塊，其與相機(jī)幀的時(shí)間同步，以及具有深度學(xué)習(xí)前端的輕量級(jí)視覺模塊。

利用Sweep重組來同步激光雷達(dá)幀和相機(jī)幀的時(shí)間戳。因此，ESIKF過程通過順序更新執(zhí)行，使激光雷達(dá)更新的姿態(tài)能夠作為視覺處理的高精度先驗(yàn)。Super-Point和LightGlue用于構(gòu)建視覺前端，特征點(diǎn)深度直接與激光雷達(dá)點(diǎn)云相關(guān)聯(lián)。在此過程中，對(duì)特征點(diǎn)的深度進(jìn)行濾波，以確保深度分布均勻。對(duì)于激光雷達(dá)點(diǎn)云管理，我們采用與FAST-LIO2相同的策略，使用ikd-Tree。我們不是直接維護(hù)用于視覺的3D地標(biāo)地圖，而是將每一幀的特征點(diǎn)及其對(duì)應(yīng)的深度存儲(chǔ)在相應(yīng)相機(jī)幀的數(shù)據(jù)結(jié)構(gòu)中，同時(shí)維護(hù)一個(gè)使用滑動(dòng)窗口固定相機(jī)幀數(shù)。在激光雷達(dá)和視覺中，點(diǎn)到平面誤差和重投影誤差分別用于姿態(tài)估計(jì)。

03實(shí)驗(yàn)結(jié)果

A.評(píng)估數(shù)據(jù)集

用于性能評(píng)估和分析的數(shù)據(jù)集，包括FAST-LIVO-Dataset、R3LIVE-Dataset、NTU-VIRAL以及Hilti'22。這些數(shù)據(jù)集分為兩類：第一類包含有參考地面真實(shí)值的數(shù)據(jù)集，如NTU-VIRAL和Hilti'22；第二類則沒有參考地面真實(shí)值，但其軌跡的起始點(diǎn)和終點(diǎn)之間存在一致的重疊，例如FAST-LIVO-Dataset和R3LIVE-Dataset。NTU-VIRAL數(shù)據(jù)集是通過無人機(jī)采集的，而其余三個(gè)數(shù)據(jù)集則是手持采集的。

所有實(shí)驗(yàn)均在一臺(tái)配備英特爾酷睿i7-14700K處理器、32GB內(nèi)存和NVIDIA GeForceRTX 4080Super圖形處理器的消費(fèi)級(jí)計(jì)算機(jī)上進(jìn)行。

B.基準(zhǔn)實(shí)驗(yàn)

在本次實(shí)驗(yàn)中，我們對(duì)來自NTU-VIRAL、Hilti'22、R3LIVE-Dataset和FAST-LIVO-Dataset的20個(gè)序列進(jìn)行了廣泛的評(píng)估。

除了我們提出的LIR-LIVO方法外，還使用了幾個(gè)最先進(jìn)的（SOTA）開源算法進(jìn)行比較，包括R3LIVE，一種密集直接激光雷達(dá)-慣性-視覺里程計(jì)系統(tǒng)；FAST-LIO2，一種直接激光雷達(dá)-慣性里程計(jì)系統(tǒng)；FAST-LIVO，一種快速直接激光雷達(dá)-慣性-視覺里程計(jì)系統(tǒng)；SR-LIVO，一種基于R3LIVE的基于掃掠重建的激光雷達(dá)-慣性-視覺里程計(jì)系統(tǒng)。

我們直接從各自的GitHub存儲(chǔ)庫下載了SOTA算法，并使用了它們推薦的室內(nèi)和室外激光雷達(dá)配置。對(duì)于SR-LIVE和FAST-LIVO，我們通過引入魚眼相機(jī)模型和新的激光雷達(dá)數(shù)據(jù)格式擴(kuò)展了原始實(shí)現(xiàn)。此外，在R3LIVE中，我們禁用了相機(jī)內(nèi)參和外參的實(shí)時(shí)在線估計(jì)，以確保所有估計(jì)策略的一致性。除了這些修改之外，所有參數(shù)，如提取的特征點(diǎn)數(shù)量、光流跟蹤中的金字塔層級(jí)以及視覺觀測的協(xié)方差保持為作者在其源代碼中提供的默認(rèn)配置。所有算法的結(jié)果分別在表II和表III中給出。

如表II所示，LIR-LIVO算法在大多數(shù)序列中實(shí)現(xiàn)了最低的均方根（RootMeanSquare，RMS）絕對(duì)平移誤差，突顯了其相較于其他先進(jìn)方法的卓越精度。對(duì)于NTU-VIRAL數(shù)據(jù)集，LIR-LIVO一直優(yōu)于FAST-LIO2、R3LIVE和FAST-LIVO等競爭對(duì)手。例如，在“eee01”序列中，LIR-LIVO的誤差為0.139米，顯著低于FAST-LIO2和FAST-LIVO。在Hilti'22數(shù)據(jù)集上，LIR-LIVO表現(xiàn)卓越，在“Exp06”序列中實(shí)現(xiàn)了0.038米的誤差，顯著優(yōu)于SR-LIVO和FAST-LIVO。

這些結(jié)果表明LIR-LIVO在處理NTU-VIRAL和Hilti'22序列時(shí)具有強(qiáng)大的穩(wěn)健性和準(zhǔn)確性，在各種環(huán)境中始終超越現(xiàn)有方法。在Hilti數(shù)據(jù)集的比較中，由于缺少外部IMU配置，R3LIVE被排除在測試之外。“Exp14”、“Exp16”和“Exp18”序列是在室內(nèi)環(huán)境中記錄的。如圖5所示，Hilti'22數(shù)據(jù)集存在光照條件差的問題，這進(jìn)一步加大了視覺前端和位姿估計(jì)的難度，導(dǎo)致FAST-LIVO和SR-LIVO表現(xiàn)不佳，在具有挑戰(zhàn)性的序列上出現(xiàn)失敗。

表格III部分總結(jié)了不同序列中的3D端到端誤差（米）。SR-LIVO在“hku校園序列00”中誤差最低，而LIR-LIVO在“hku校園序列02”中表現(xiàn)更優(yōu)，誤差為0.051米，并且在“退化序列00”中表現(xiàn)出色。FAST-LIVO在“退化序列00”中表現(xiàn)不佳。R3LIVE在“hku公園00”等較簡單的情況下表現(xiàn)良好，但總體上不夠穩(wěn)定。LIR-LIVO在大多數(shù)場景中都表現(xiàn)出較強(qiáng)的魯棒性，尤其是在具有挑戰(zhàn)性的條件下。

C.時(shí)間消耗分析

如表IV所示，LIR-LIVO在各數(shù)據(jù)集上均表現(xiàn)出高效的時(shí)間消耗，其中VIO子系統(tǒng)對(duì)計(jì)算時(shí)間的貢獻(xiàn)最大，而LIO子系統(tǒng)則保持高效。盡管前端采用了基于深度學(xué)習(xí)的方法，但表IV顯示，在速度方面借助GPU加速后，其效率高于諸如Shi-Tomasi角點(diǎn)檢測和暴力匹配器等傳統(tǒng)方法。在VIO子系統(tǒng)中，視覺前端幾乎占了總計(jì)算時(shí)間的三分之二。大部分時(shí)間都消耗在滑動(dòng)窗口中的幀與新幀之間的特征匹配上，這主要取決于滑動(dòng)窗口的大小。表IV中的時(shí)間消耗是使用大小為5的滑動(dòng)窗口測量得出的。

D.深度分布影響

在NTU-VIRAL數(shù)據(jù)集上進(jìn)行了消融研究，以評(píng)估強(qiáng)制視覺特征點(diǎn)具有均勻深度分布的影響。具體而言，對(duì)每一幀中與深度相關(guān)的特征點(diǎn)進(jìn)行排序，并均勻下采樣至50個(gè)點(diǎn)。這種策略顯著降低了ESIKF更新中涉及的矩陣維度，從而提高了計(jì)算效率。實(shí)驗(yàn)結(jié)果如表V-C所總結(jié)，表明該方法優(yōu)于原始方法，在七個(gè)序列上均有改進(jìn)。

04總結(jié)

本文提出了LIR-LIVO，這是一種新型的激光雷達(dá)-慣性-視覺里程計(jì)系統(tǒng)，旨在解決激光雷達(dá)信號(hào)退化和復(fù)雜光照條件下的環(huán)境挑戰(zhàn)。所提出的系統(tǒng)結(jié)合了具有均勻深度分布的激光雷達(dá)深度關(guān)聯(lián)、基于深度學(xué)習(xí)的視覺特征以及輕量級(jí)視覺子系統(tǒng)，以實(shí)現(xiàn)高效且穩(wěn)健的狀態(tài)估計(jì)。在基準(zhǔn)數(shù)據(jù)集上的全面評(píng)估表明，LIR-LIVO在激光雷達(dá)退化環(huán)境中表現(xiàn)更優(yōu)。