近年來，使用機器學習技術(shù)進行特征提取的基于調(diào)制解調(diào)器特征的SLAM越來越受到關(guān)注，并有望在幾乎所有機器人工作環(huán)境中超越傳統(tǒng)方法。這種方法利用經(jīng)過訓練的網(wǎng)絡來學習關(guān)鍵點，從而增強可視化SLAM數(shù)據(jù)關(guān)聯(lián)的魯棒性。現(xiàn)代基于特征的SLAM也有望為實時映射生成可靠的感知圖，因為基于學習的特征點更具可重復性和均勻分布性。此外，這些局部特征可以用作神經(jīng)對應網(wǎng)絡的輸入，以消除異常值，從而使姿態(tài)估計變得更加準確。另一方面，由于資源有限，無人機上的SLAM經(jīng)常對計算構(gòu)成限制。在這種情況下，基于特征的SLAM更相關(guān)，因為提取的興趣點可以稍后用于與分割和對象檢測相關(guān)的任務。

因此，提取特征點的方法在SLAM中起著關(guān)鍵作用。我們引入了一種名為SupSLAM的視覺慣性SLAM方法，該方法基于一種稱為超級點的新特征點的使用。這些特征點通過深度神經(jīng)網(wǎng)絡從SLAM前端的輸入圖像中提取的。我們的SLAM前端只需要一個帶有IMU作為輸入的立體攝像頭。姿態(tài)估計由多狀態(tài)約束卡爾曼濾波器（MSCKF）進行，而軌跡可靠性則由后端運行的圖形優(yōu)化過程維護。

系統(tǒng)架構(gòu)

圖1 中顯示了表示我們的SLAM系統(tǒng)的圖表。該系統(tǒng)使用立體攝像頭作為輸入來提取環(huán)境特征。該相機配有IMU，用于測量線性加速度和角速度。然后通過前端和后端模塊處理來自輸入設備的數(shù)據(jù)。

圖1系統(tǒng)概述

前端從輸入數(shù)據(jù)中提取特征點，然后在左右攝像頭之間匹配它們以獲取深度信息。然后將這些信息提供給多態(tài)約束MSCKF，以估計無人機的3D姿態(tài)。另一方面，后端跟蹤關(guān)鍵幀中的要素，以執(zhí)行映射一致性和軌跡估計的循環(huán)閉包過程。因此，前端表現(xiàn)為視覺慣性里程計（VIO），以提供無人機姿勢的實時估計，而后端則跟蹤并隨時間調(diào)整姿勢。

SLAM 中數(shù)據(jù)關(guān)聯(lián)的超級點

SuperPoint是一個完全卷積的神經(jīng)網(wǎng)絡，它在單個正向傳遞和運行中計算2D特征點位置和描述符。在我們的工作中，我們只考慮特征點，以降低計算成本并保持匹配結(jié)果的一致性。所用超級點的體系結(jié)構(gòu)如圖 2所示。

圖2超級點的模型架構(gòu)

實驗設置

實驗數(shù)據(jù)是從框架尺寸為40cm x40cm的四軸飛行器中收集的。IMU更新速率為200 Hz。立體相機的基線為7厘米，分辨率為752x480，速度為每秒20幀。SLAM系統(tǒng)在C++中使用OpenVINS框架實現(xiàn)。OpenCV和庫用于圖像處理。為了實時性能，要跟蹤的視覺特征數(shù)限制為400個，當活動點數(shù)降至300以下時，將添加新的特征點。預訓練的深度神經(jīng)網(wǎng)絡用于以752x480的分辨率從輸入圖像中提取特征。MSCKF中的時間窗口設置為3秒。在后端，每隔1.2米向姿勢圖添加新的關(guān)鍵幀。

數(shù)據(jù)準備

真實數(shù)據(jù)和合成數(shù)據(jù)都用于實驗。真實數(shù)據(jù)包括EuRoC數(shù)據(jù)集中名為MH3，MH4和MH5的三個最復雜的序列，其中無人機沿著機房飛行。合成數(shù)據(jù)包括兩個場景，分別代表一個農(nóng)村農(nóng)場和一個城市地區(qū)，這些場景是由我們從AirSim開發(fā)的工具集生成的，如圖3所示。

圖3用于實驗的農(nóng)村農(nóng)場和城市地區(qū)的綜合場景

評價指標

我們使用兩個指標進行性能評估，包括絕對軌跡誤差（ATE）和相對軌跡誤差（RTE）。計算ATE的方法是首先將估計的軌跡與地面實況對齊，然后測量它們之間的差異，如圖4a所示。RTE的計算方法是將估計的軌跡劃分為段dk然后將每個線段與地面實況軌跡對齊，以計算誤差，如圖4b所示。

圖4評估指標的圖示（a） 絕對軌跡誤差和（b） 相對軌跡誤差

SLAM結(jié)果

圖5 顯示了SuperPoint在三個場景中檢測到的特征點，包括城市地區(qū)、農(nóng)村農(nóng)場和機房，具有兩種不同的設置，即100個和400個特征點?？梢钥闯?，角落，邊緣，顏色變化等特征被很好地檢測到。此外，檢測到的特征分布在圖像中，因此算法對某些對象的依賴性較小。

圖5超級點檢測到的特征點圖6顯示了檢測到的特征點在左右圖像之間的對應關(guān)系?？梢钥闯觯蠖鄶?shù)特征點都正確匹配，這意味著提取的深度信息是可靠的。

圖6超級點檢測到的特征點

在不同時間捕獲的兩個圖像幀之間的特征點的跟蹤Δt=0.3s如圖7a 所示。由于檢測到的特征點分布在圖像中，因此幀之間的共同特征點的數(shù)量得到了很好的維護，這對于穩(wěn)定的SLAM非常重要。

圖7使用時差捕獲（a） FAST和（b）兩幀中的超級點的跟蹤結(jié)果Δt=0.3s

圖 8 顯示了LoopF數(shù)據(jù)集的SLAM結(jié)果，其中無人機在農(nóng)村農(nóng)場上空飛行兩輪。可以看出，最終估計的軌跡（紅線）即使在近500米的長距離上也能很好地跟蹤地面實況軌跡（黃線）。

圖8LoopF數(shù)據(jù)集的無人機軌跡包括地面實況軌跡（黃線）、前端估計（綠線）和后端估計（紅線）

結(jié)果比較

為了進一步評估我們方法的性能，我們與OpenVINS 進行了比較，OpenVINS是一種最先進的SLAM系統(tǒng)，使用FAST進行特征提取。圖9顯示了FAST檢測到的特征點。與SuperPoint不同，這些特征點集中在某些對象（如植物、房屋或機器）周圍。因此，當物體移出場景時，不同時間拍攝的圖像幀之間的共同特征點數(shù)量顯著減少，如圖7b所示。這個問題反過來又會影響SLAM的結(jié)果。

圖9FAST檢測到的特征點

為了評估SupSLAM的性能，我們進行了許多實驗，并與真實和合成數(shù)據(jù)集進行了比較。結(jié)果驗證了我們提出的無人機系統(tǒng)的有效性和有效性。

審核編輯：郭婷