魯棒數(shù)據(jù)關(guān)聯(lián)是視覺里程計的核心問題，圖像間的對應(yīng)關(guān)系為攝像機(jī)姿態(tài)和地圖估計提供了約束條件。目前最先進(jìn)的直接和間接方法使用短期跟蹤來獲得連續(xù)的幀到幀約束，而長期約束則使用循環(huán)閉包來建立。在這篇論文中，我們提出一個新的視覺語義里程計（VSO）架構(gòu)，使中期連續(xù)追蹤點使用語義。我們提出的框架可以很容易地集成到現(xiàn)有的直接和間接視覺里程計管道中。挑戰(zhàn)真實世界數(shù)據(jù)集的實驗表明，在自主駕駛環(huán)境下，通過整合我們的語義約束，相對于最先進(jìn)的基線有了顯著的改進(jìn)。

　　視覺里程計（VO）算法使用視覺測量來跟蹤一個或多個攝像頭的運動。它們基于攝像機(jī)饋送確定當(dāng)前位置的能力構(gòu)成任何類型的人工智能（例如，自動駕駛汽車或其他自主機(jī)器人）和任何類型的智能增強系統(tǒng)（例如，增強或混合現(xiàn)實設(shè)備）的關(guān)鍵組件。VO的核心是數(shù)據(jù)關(guān)聯(lián)問題，因為它在圖像之間建立像素級的關(guān)聯(lián)。這些對應(yīng)同時用于構(gòu)建場景的三維貼圖，并跟蹤當(dāng)前攝影機(jī)幀相對于貼圖的姿勢。當(dāng)然，這種局部跟蹤和映射方法會在每一幀中引入小誤差。隨著時間的推移積累這些誤差會導(dǎo)致姿勢和地圖估計值的漂移。為了減少這種漂移，利用相應(yīng)圖像觀測值之間的約束來聯(lián)合優(yōu)化姿態(tài)和地圖，例如使用擴(kuò)展Kalman濾波器〔33〕或光束平差〔26，46〕，通常有兩種正交方法來減小VO中的漂移。第一種方法使用圖像之間的短期對應(yīng)，通過在后續(xù)相機(jī)幀之間過渡地建立約束來實現(xiàn)時間漂移校正。這在汽車場景中特別有用，即汽車沿直線行駛很長時間。第二種方法使用循環(huán)閉合檢測在時間上遙遠(yuǎn)的幀之間建立長期約束。后者只有在相機(jī)多次與先前的軌跡相交或在與預(yù)先建立的地圖定位的情況下才有效〔30〕。本文提出了一種利用語義對第一種漂移校正策略進(jìn)行改進(jìn)的方法，用于中期連續(xù)跟蹤點。在這種情況下，現(xiàn)有技術(shù)的主要限制是缺乏不變性表示：基于特征的方法（例如ORB-SLAM）［34，35］和基于最小化光度誤差的直接方法（例如LSDSLAM［13］或DSO［12］）都無法在長距離內(nèi)連續(xù)跟蹤一個點因為這兩種表示都不是完全不變的觀點和照明變化。這種情況的一個例子如圖1所示，其中，當(dāng)汽車行駛在道路上時，面片表示對尺度變化的不變性使得我們無法建立中期對應(yīng)關(guān)系。本文的主要思想是將語義作為一種不變的場景表示。潛在的直覺是，視點、尺度、光照等的變化只影響物體的低級外觀，而不影響其語義。如圖1所示，場景語義使我們能夠建立長期的約束，使我們能夠顯著地減少VO系統(tǒng)中的漂移?；谶@一思想，本文提出了一種新的視覺語義里程計（VSO）方法，將語義約束整合到姿態(tài)和地圖優(yōu)化中。具體來說，本文的主要貢獻(xiàn)如下：1）我們推導(dǎo)了一種新的最小化語義重投影錯誤的代價函數(shù)，并證明了使用期望最大化（EM）方案可以使其最小化。我們的方法是靈活的，因為它可以與任何語義分割算法相結(jié)合。2） 我們證明，在自主駕駛的情況下，將語義代價項包含到VO算法中可以顯著減少平移漂移。我們的方法可以很容易地集成到現(xiàn)有的VO方法中，獨立于它們依賴于數(shù)據(jù)的直接或間接方法作為關(guān)聯(lián)。3） 我們實驗性地分析了我們的方法的行為，解釋了它在哪些條件下提供了改進(jìn)，并討論了當(dāng)前的限制。

?