摘要

大家好，今天為大家?guī)?lái)的文章:Deep Patch VisualOdometry 我們提出了一種新的單目視覺(jué)里程計(jì)深度學(xué)習(xí)系統(tǒng)(Deep Patch Visual Odometry, DPVO)。DPVO在一個(gè)RTX-3090 GPU上僅使用4GB內(nèi)存，以2 -5倍的實(shí)時(shí)速度運(yùn)行時(shí)是準(zhǔn)確和健壯的。我們?cè)跇?biāo)準(zhǔn)基準(zhǔn)上進(jìn)行評(píng)估，并在準(zhǔn)確性和速度上超越所有之前的工作(經(jīng)典的或?qū)W習(xí)過(guò)的)。




圖1 深度斑塊視覺(jué)里程計(jì)(DPVO)。相機(jī)姿態(tài)和稀疏三維重建(上)是通過(guò)迭代修正補(bǔ)丁軌跡隨著時(shí)間

主要工作與貢獻(xiàn)

與之前的深度學(xué)習(xí)系統(tǒng)相比，我們的方法的新穎之處在于在單一體系結(jié)構(gòu)中緊密集成了三個(gè)關(guān)鍵成分:(1)基于補(bǔ)丁關(guān)聯(lián)，(2)循環(huán)迭代更新，(3)可微束調(diào)整?；谘a(bǔ)丁的關(guān)聯(lián)提高了密集流的效率和魯棒性。循環(huán)迭代更新和可區(qū)分的bundle調(diào)整允許端到端學(xué)習(xí)可靠的特征匹配。 DPVO準(zhǔn)確、高效、實(shí)現(xiàn)簡(jiǎn)單。

在顯卡(RTX-3090)上，它只需要4GB內(nèi)存就能運(yùn)行2倍實(shí)時(shí)。我們還提供了一個(gè)在EuRoC數(shù)據(jù)集[2]上以100fps運(yùn)行的模型，同時(shí)仍然優(yōu)于之前的工作。對(duì)于每一幀，運(yùn)行時(shí)間是恒定的，不依賴(lài)于相機(jī)運(yùn)動(dòng)的程度。該系統(tǒng)的實(shí)現(xiàn)非常簡(jiǎn)單，代碼量非常少。無(wú)需對(duì)底層VO實(shí)現(xiàn)或邏輯進(jìn)行任何必要的更改，就可以輕松地交換新的網(wǎng)絡(luò)架構(gòu)。我們希望DPVO可以作為未來(lái)深度VO和SLAM系統(tǒng)發(fā)展的試驗(yàn)臺(tái)。

算法流程

我們的網(wǎng)絡(luò)是在線訓(xùn)練和評(píng)估的。一個(gè)接一個(gè)地添加新的幀，并在關(guān)鍵幀的局部窗口中進(jìn)行優(yōu)化。我們的方法有兩個(gè)主要模塊:patch提取器(3.1)和更新模塊(3.2)。補(bǔ)丁提取器從傳入幀中提取稀疏的圖像補(bǔ)丁集合。更新模塊試圖通過(guò)使用循環(huán)神經(jīng)網(wǎng)絡(luò)跟蹤這些補(bǔ)丁與包調(diào)整交替迭代更新。



圖2 更新操作符的原理圖。從補(bǔ)丁圖的邊緣提取相關(guān)特征，并與上下文特征一起注入到隱藏狀態(tài)中。我們應(yīng)用了卷積、消息傳遞和轉(zhuǎn)換塊。因子頭產(chǎn)生軌跡修正，由束調(diào)整層用于更新相機(jī)姿勢(shì)和補(bǔ)丁深度。

2. 方法

我們介紹了DPVO，一種新的基于補(bǔ)丁的深度VO系統(tǒng)，它克服了這些限制。我們方法的核心部分是深度補(bǔ)丁表示(圖1)。我們使用神經(jīng)網(wǎng)絡(luò)從傳入幀中提取補(bǔ)丁集合。然后使用循環(huán)神經(jīng)網(wǎng)絡(luò)跟蹤每個(gè)補(bǔ)丁通過(guò)時(shí)間交替補(bǔ)丁軌跡更新與可微束調(diào)整層。我們?cè)诤铣蓴?shù)據(jù)上對(duì)整個(gè)系統(tǒng)進(jìn)行端到端訓(xùn)練，但在真實(shí)視頻上表現(xiàn)出很強(qiáng)的泛化能力。

2.1 特征和補(bǔ)丁提取

我們使用一對(duì)殘差網(wǎng)絡(luò)從輸入圖像中提取特征。一個(gè)網(wǎng)絡(luò)提取匹配特征，另一個(gè)網(wǎng)絡(luò)提取上下文特征。每個(gè)網(wǎng)絡(luò)的第一層是一個(gè)跨步2的7 × 7卷積，后面是兩個(gè)1/2分辨率的剩余塊(維64)和兩個(gè)1/4分辨率的剩余塊(維128)，這樣最終的特征映射是輸入分辨率的1/4。匹配網(wǎng)絡(luò)和上下文網(wǎng)絡(luò)的結(jié)構(gòu)是相同的，除了匹配網(wǎng)絡(luò)使用實(shí)例規(guī)格化，而上下文網(wǎng)絡(luò)不使用規(guī)格化。

我們用一個(gè)四乘四步濾波器對(duì)匹配特征進(jìn)行平均池化，構(gòu)建了一個(gè)兩級(jí)特征金字塔。我們?yōu)槊恳粠鎯?chǔ)匹配的特征。此外，我們還從匹配和上下文特征映射中提取補(bǔ)丁。在隨機(jī)抽取斑塊質(zhì)心的基礎(chǔ)上，采用雙線性插值方法進(jìn)行特征提取。 與DROID-SLAM不同的是，我們從未顯式地構(gòu)建相關(guān)卷。相反，我們同時(shí)存儲(chǔ)幀和補(bǔ)丁特征映射，這樣相關(guān)特征就可以實(shí)時(shí)計(jì)算

2.2 更新操作

更新操作符的目的是更新姿勢(shì)和補(bǔ)丁。這是通過(guò)修改patch軌跡來(lái)實(shí)現(xiàn)的，如圖1所示。我們?cè)趫D2中提供了操作符的概覽示意圖，并詳細(xì)介紹了下面的各個(gè)組件。圖中的每個(gè)“+”操作都是一個(gè)殘留連接，然后是層歸一化。更新操作符作用于補(bǔ)丁圖，補(bǔ)丁圖中的每條邊都用一個(gè)隱藏狀態(tài)(維度為384)進(jìn)行擴(kuò)充。當(dāng)添加一條新邊時(shí)，隱藏狀態(tài)初始化為0。

2.2.1 關(guān)聯(lián)操作

對(duì)于補(bǔ)丁圖中的每條邊(i, j)，我們計(jì)算相關(guān)特征。我們首先使用Eqn. 2對(duì)幀j中的patch i進(jìn)行重投影:xij = ωij(T, P)。給定patch特征g∈Rp×p×D，幀特征f∈RH×W ×D，對(duì)于patch i中的每個(gè)像素(u, v)，我們計(jì)算其與幀j中像素(u, v)重投影為中心的像素網(wǎng)格的相關(guān)性，使用內(nèi)積:



2.2.2 可微的束調(diào)整

圖2中的這一層在補(bǔ)丁圖上全局運(yùn)行，并輸出深度和相機(jī)姿勢(shì)的更新。預(yù)測(cè)因子(δ， Σ)用于定義優(yōu)化目標(biāo)

2.2 訓(xùn)練與監(jiān)督

DPVO是使用PyTorch實(shí)現(xiàn)的。我們用TartanAir數(shù)據(jù)集訓(xùn)練我們的網(wǎng)絡(luò)。在每個(gè)訓(xùn)練序列上，我們使用地面真值姿態(tài)和深度來(lái)預(yù)計(jì)算所有幀對(duì)之間的光流大小。在訓(xùn)練過(guò)程中，我們對(duì)幀對(duì)幀光流大小在16px到72px之間的軌跡進(jìn)行采樣。這確保了訓(xùn)練實(shí)例通常是困難的，但不是不可能的。 我們對(duì)姿態(tài)和光流(即軌跡更新)進(jìn)行監(jiān)督，監(jiān)督更新操作符的每個(gè)中間輸出，并在每次更新之前從梯度帶中分離姿態(tài)和補(bǔ)丁。

2.2.2 pose監(jiān)督

我們使用Umeyama對(duì)齊算法[30]縮放預(yù)測(cè)軌跡以匹配地面真相。然后對(duì)每一對(duì)姿態(tài)(i, j)進(jìn)行誤差監(jiān)督




2.2.3 Flow監(jiān)督

此外，我們還監(jiān)測(cè)了每個(gè)補(bǔ)丁和幀之間的誘導(dǎo)光流和地真光流之間的距離，從每個(gè)補(bǔ)丁被提取的幀的兩個(gè)時(shí)間戳。每個(gè)補(bǔ)丁誘導(dǎo)一個(gè)p×p流場(chǎng)。我們?nèi)∷衟 × p誤差中的最小值。

2.2.4訓(xùn)練

我們訓(xùn)練長(zhǎng)度為15的序列。前8幀用于初始化，后7幀每次添加一幀。我們?cè)谟?xùn)練期間展開(kāi)更新操作符的18次迭代。對(duì)于前1k的訓(xùn)練步驟，我們用地面真相固定姿勢(shì)，只要求網(wǎng)絡(luò)估計(jì)補(bǔ)丁的深度。然后，該網(wǎng)絡(luò)被要求估計(jì)姿勢(shì)和深度。

圖3 VO系統(tǒng)概述。

2.3 VO System

在本節(jié)中，我們將介紹將我們的網(wǎng)絡(luò)變成一個(gè)完整的可視化里程表系統(tǒng)所必需的幾個(gè)關(guān)鍵實(shí)現(xiàn)細(xì)節(jié)。系統(tǒng)的邏輯主要用Python實(shí)現(xiàn)，瓶頸操作如包調(diào)整和可視化用c++和CUDA實(shí)現(xiàn)。與其他VO系統(tǒng)相比，DPVO非常簡(jiǎn)單，需要最少的設(shè)計(jì)選擇

初始化:我們使用8幀進(jìn)行初始化。我們添加新的補(bǔ)丁和幀，直到累積了8幀，然后運(yùn)行更新操作符的12次迭代。需要一些相機(jī)運(yùn)動(dòng)進(jìn)行初始化;因此，我們只在前一幀中積累平均流量大小至少為8像素的幀。

擴(kuò)展:當(dāng)添加一個(gè)新框架時(shí)，我們提取特征和補(bǔ)丁。新框架的姿態(tài)初始化使用恒速運(yùn)動(dòng)模型。補(bǔ)丁的深度初始化為從前3幀中提取的所有補(bǔ)丁的中值深度。

優(yōu)化:在添加邊緣之后，我們運(yùn)行更新操作符的一次迭代，然后是兩次包調(diào)整迭代。除了最后10個(gè)關(guān)鍵幀，我們修復(fù)了所有的姿勢(shì)。所有補(bǔ)丁的逆深度都是自由參數(shù)。一旦補(bǔ)丁落在優(yōu)化窗口之外，將從優(yōu)化中刪除。

關(guān)鍵幀:最近的3幀總是被作為關(guān)鍵幀。在每次更新之后，我們計(jì)算關(guān)鍵幀t?5和t?3之間的光流大小。如果小于64px，我們刪除t?4處的關(guān)鍵幀。當(dāng)一個(gè)關(guān)鍵幀被移除時(shí)，我們?cè)谒泥従又g存儲(chǔ)相對(duì)的姿態(tài)，這樣完整的姿態(tài)軌跡可以被恢復(fù)以進(jìn)行評(píng)估

可視化:使用單獨(dú)的可視化線程交互式地可視化重構(gòu)。我們的可視化工具是使用穿山甲庫(kù)實(shí)現(xiàn)的。它直接從PyTorch張量中讀取，避免了所有不必要的內(nèi)存拷貝從CPU到GPU。這意味著可視化工具的開(kāi)銷(xiāo)非常小——僅僅使整個(gè)系統(tǒng)的速度降低了大約10%。

實(shí)驗(yàn)結(jié)果

?

圖4 示例重建:TartanAir(左)和ETH3D(右)



圖5 TartanAir[34]驗(yàn)證分離的結(jié)果。我們的方法的AUC為0.80，而DROID-SLAM的AUC為0.71，運(yùn)行速度是DROID-SLAM的4倍

?





審核編輯：劉清