摘要

本文提出了一種新的直接視覺里程計算法，利用360度相機實現(xiàn)魯棒的定位和建圖。本系統(tǒng)使用球面相機模型來處理無需校正的等距柱狀圖像，擴展稀疏直接法視覺里程計（DSO，direct sparse odometry），從而實現(xiàn)全方位感知。將建圖和優(yōu)化算法應(yīng)用用于新模型后，可以在局部窗口中對含內(nèi)、外參在內(nèi)的相機參數(shù)以及三維建圖進行聯(lián)合優(yōu)化。此外，我們在真實世界和大規(guī)模模擬場景中對所提出的算法進行了定性和定量的評估。大量實驗表明，我們的系統(tǒng)達到了SOTA的結(jié)果。

圖1 左上方圖中是僅由兩個超寬視場鏡頭組成的典型全景相機。右上角是該360相機成像的例圖。隨著透鏡制造行業(yè)的成熟，超寬視野透鏡變得更便宜，成像質(zhì)量也更高。下方的圖是由本文中360VO系統(tǒng)重建的地圖。

圖2 360VO系統(tǒng)概覽。該系統(tǒng)的輸入是一串等距柱狀的幀序列。初始化后，系統(tǒng)在局部窗口中跟蹤并優(yōu)化相關(guān)模型參數(shù)。

圖3 上圖顯示的是360VO的坐標系，它利用了球面模型的優(yōu)點來表示相機投影。此外，2D圖像是等距柱狀投影。

圖4 極線約束。當成功追蹤時需要創(chuàng)建新的激活點，并通過三角化來細化它們的逆深度。主幀Ci的高對應(yīng)點位于極線曲線上，而非位于目標幀Cj中的直線上。

圖5 合成數(shù)據(jù)集中部分序列的代表幀。該合成數(shù)據(jù)集是在真實的城市模型中渲染得到的，由10個大型視頻序列組成。

圖6 基于序列3的軌跡比較。圖中黑色曲線表示Ground-truth，藍色曲線表示OpenVSLAM得到的軌跡，紅色曲線表示本文提出的360VO得到的軌跡。結(jié)果顯示360VO的軌跡更接近于真值。

圖7 上圖是合成數(shù)據(jù)集得到的的結(jié)果。每個序列運行10次，得到軌跡的均方根誤差（RMSE，Root Mean Square Error）。圖中每個柱形頂部的數(shù)字是均方根誤差的平均值。與OpenVSLAM相比，我們的360VO取得了可觀的結(jié)果。此外，我們將360°的圖像校正并裁剪為90°視場的透視圖像，并將其作為運行ORB-SLAM和DSO的輸入。顯然，利用360相機的方法通常更魯棒、精度更高。

圖8 360VO在室外環(huán)境中測試的定性結(jié)果

圖9 圖中藍色線表示局部優(yōu)化窗口中激活關(guān)鍵幀間的約束，品紅色曲線表示相機軌跡?；疑那蝮w表示當前幀的位置，而黑色的點表示3D地圖。由于同一個地標可以被長時間地觀測到，本文中算法得到的結(jié)果具有較好的一致性和較低的漂移。

圖10 即使在有著無紋理地板、白色墻壁和動態(tài)物體的狹窄的室內(nèi)環(huán)境中，360相機也能在空間上捕捉到足夠的特征。這種固有的優(yōu)勢使得360VO能夠成功地跟蹤和建圖，而使用透視圖像的系統(tǒng)則容易產(chǎn)生漂移。注：圖像上的顏色表示點的估計深度，近（紅色）→遠（藍色）

審核編輯 ：李倩