導語

目前國內(nèi)外都在致力于針對無人機的GNSS拒止條件下的定位導航研究。其中視覺導航（Vision-Based Navigation，VBN）因抗干擾能力強、功耗低、成本低、體積小、設備結構簡單、被動式、定位精度高等優(yōu)點得到了廣泛關注。近幾年隨著AI在計算機視覺領域的爆發(fā)，不僅突破了之前很多難以解決的視覺難題，更極大提升了對圖像認知的水平，因此VBN迅速成為導航領域的研究熱點。但是目前的技術還存在哪些問題需要解決呢？

1

引言

目前的組合導航系統(tǒng)基本上是以INS為主GNSS等為輔的導航方式。INS存在誤差積累，因此需要GNSS進行修正，但GNSS衛(wèi)星信號落地功率僅-130dbm，頻段公開，極易被干擾，當GNSS信號被干擾時，一般情況下可以利用IMU進行航位推算，但隨著時間的推移，誤差累計嚴重，無人機無法完成預定任務，甚至難以返航。因此在GPS拒止區(qū)域（如室內(nèi)、水下、叢林、城市樓群間、高山峽谷、作戰(zhàn)敵方干擾區(qū)等）如何完成無人機在自主飛行、定位、執(zhí)行任務是一個迫切的挑戰(zhàn)。

美國于2014年開始發(fā)展5項不依賴于GPS的導航技術，包括Micro-PNT、ANS等項目。美國的諾斯羅普?格魯曼公司提出的Assured PNT（ASSURED POSITIONING, NAVIGATION AND TIMING）系統(tǒng)中，包含了對GPS拒止條件下的各類輔助導航方式，包括天文導航、地形匹配、激光測距/激光雷達、磁力計、里程計等方式。

圖1 諾格公司的Assured PNT系統(tǒng)

視覺導航主要是指通過飛行器機載的視覺成像設備（可見光、紅外、SAR 等）對地拍照的圖像進行各種導航參數(shù)的測量。視覺導航定位技術是通過圖像匹配算法結合含有地理位置信息的基準圖實現(xiàn)的。

目前視覺導航按照是否需要導航地圖（即數(shù)字景象基準數(shù)據(jù)庫）可分為地圖型導航和無地圖導航。地圖型導航需要使用預先存儲包含精確地理信息的導航地圖，利用一幀實拍圖像與導航地圖匹配即可實現(xiàn)飛行器的絕對定位。當導航地圖采用景象圖或地形圖時，地圖導航可分為景象匹配導航和地形匹配導航。由于景象匹配制導的精度比地形匹配制導的精度高一個數(shù)量級，因此地形匹配制導一般用于中制導，景象匹配制導一般用于末制導。

2

國內(nèi)外研究現(xiàn)狀以及存在的問題

景象匹配系統(tǒng)

國外對景象匹配系統(tǒng)的研究始于巡航導彈的制導。景象匹配制導利用目標區(qū)的圖像信息進行制導，主要攻擊目標為機場、交通樞紐、軍事基地等等。導彈的制導精度取決于實時圖質(zhì)量、基準圖精度和匹配方法性能等。該方法實質(zhì)上是一種基于模板匹配的目標定位方法。

景象匹配輔助導航系統(tǒng)具有自主性和高精度的突出優(yōu)點，然而該技術仍未達到完全成熟的程度。景象匹配一般結合衛(wèi)星導航、慣性導航和地形匹配導航使用，其作用區(qū)域一般為數(shù)百平方米或數(shù)平方公里且存在以下問題：

(1) 嚴重依賴于離線基準圖，是否能夠獲得高精度地圖也是景象匹配問題的關鍵因素之一，目前其制圖難度較大；

(2) 對于低空飛行、大起伏地形情況下時造成的視角變化，目前的算法效果較差；

(3) 由于基準圖的制作往往較機載圖像傳感提前很長時間，地圖和機載圖像信息往往可能是在不同日期、不同傳感器、不同觀測點/角度、不同氣象條件下獲得的，因此需要景象匹配算法具備很強的光照、季節(jié)、角度不變性，而目前的傳統(tǒng)算法基本無法應對不同傳感器、時間、季節(jié)、角度差下地理面貌發(fā)生的改變；

(4) 景象匹配技術可以為無人機提供實時的位置信息，因此應具備高精度、實時計算等特性。而高精度和實時性受景象的特征點集合大小、匹配算法、搜索范圍、地圖大小等多方面的制約，因此基本只適用于小范圍內(nèi)定位導航。

地形匹配導航

地形匹配導航技術需要飛行路線上的地形數(shù)據(jù)作為基礎，在飛行器飛行過程中，將實際飛行過程中測量到的地形高程數(shù)據(jù)與基準地形數(shù)據(jù)進行不斷比較來實現(xiàn)匹配定位，并對飛行器進行導航修正。地形匹配主要利用雷達高度表和氣壓高度表等設備測量沿航線的地形高程數(shù)據(jù)，按最佳匹配確定飛行器的地理位置。

地形匹配一般用于巡航導彈飛越特定地區(qū)，可以修正INS的導航信息，消除INS的累計誤差，提高導航精度，但存在以下問題：

(1) 需要地形數(shù)據(jù)作為基礎，對地形要求嚴格，使用中盡量回避地形特征貧乏的平坦地區(qū)和地形高程變劇烈的山區(qū)；

(2) 需要高度表連續(xù)獲取地形高程序列，算法處理屬于后驗證估計，實時性差，一般用于修正導航誤差；

(3) 對航向誤差敏感，定位過程中無法機動。

視覺SLAM技術

視覺SLAM為代表的技術在視覺導航領域主要以回環(huán)檢測(Loop Detection)、視覺重定位(Visual Re-localization)、視覺場景識(Visual Place Recognition)、視覺相對地形導航(visual terrain relative navigation)或地理配準、圖像檢索為代表，近年隨著SLAM、深度學習和計算機視覺技術的發(fā)展有極大進步，尤其以眾多海內(nèi)外高校、無人機/自動駕駛公司為主。

視覺的導航因采集信息豐富、成本低廉，在針對商用和工業(yè)無人機的自主降落、避障和跟飛應用等特定條件下的研究取得了較大進展。在商業(yè)無人機領域，美國的Skydio 2使用NVIDIA Jetson TX2的嵌入式AI計算設備，計算6個4K攝像頭采集到的圖像信息，實現(xiàn)了全自動避障功能。大疆無人機提出的Flight Autonomy是依靠由6個視覺傳感器、主相機、2組紅外傳感器、1組超聲波傳感器、GPS/GLONASS雙模衛(wèi)星定位系統(tǒng)、IMU和指南針雙冗余傳感器等實現(xiàn)的。當GPS信號丟失時，無人機利用視覺傳感器與其他傳感器融合，可具備一定的全局定位和導航能力。

雖然目前商用和工業(yè)無人機、自動駕駛領域，暫時還沒有完全依賴視覺導航的產(chǎn)品，但已有不少高校和公司正在開展了基于視覺的全局定位導航系統(tǒng)，如特斯拉的FSD（Full Self-Driving），目前發(fā)布的10.1版本拋棄了高精地圖和激光雷達，主要依靠純視覺和AI可實現(xiàn)部分復雜場景下的自動駕駛能力，其路測結果顯示了視覺的巨大潛力。

定位地圖通常是使用Structure-from-Motion (SfM) 從一組數(shù)據(jù)庫圖像預先構建3D場景點組成的，每個3D地標可以與一組局部圖像描述符對應。當無人機獲取一張新的觀測即圖像后，系統(tǒng)可以利用從圖像特征和地標之間2D-3D匹配中計算出相對或絕對位置。但是在無人機SLAM這類應用中，因為地標描述符的高內(nèi)存要求，將完整場景模型保留在設備上的定位方法通常僅限于較小的探索空間，如200m*200m。

在大場景（Large Scale）中，一般會將圖像回傳至地面服務器去執(zhí)行大規(guī)模的實時地圖重建、姿態(tài)估計、定位和跟蹤，并將結果回傳至無人機。但一般情況下如果GPS被干擾時，鏈路的可靠性也難以保證。

SeqSLAM利用連續(xù)幀序列圖像的相似度判斷地點匹配，是目前最成功的閉環(huán)檢測算法之一，能夠處理重大的環(huán)境條件變化，包括由于照明、天氣和一天中不同的時段等。但此方法多用于路邊駕駛等情況，對無人機在不同高度、角度飛行，且存在空中自由機動的情況還需要繼續(xù)補充研究。

另一方面，當場景擴大后，環(huán)境的復雜性會急劇增加，容易造成感知混淆。感知混淆是一種在不同的地方中產(chǎn)生相似的視覺區(qū)域現(xiàn)象，這通常會導致錯誤的定位，如圖2所示，同一個場景可能會檢索定位到地圖中不同的位置，從而造成定位錯誤。

圖2 大規(guī)模場景下的（城市級別）感知混淆

典型無人機自主視覺感知定位算法多見于地面無人車、機器人和小型商業(yè)無人機，一般適用于小尺度規(guī)模場景。而傳統(tǒng)的景象匹配算法一般結合其他導航方式應用于末制導等場合，使用條件受限。

GNSS拒止條件下當無人機進行長航程自主飛行時，需要研究解決長航時導航地圖的壓縮、存儲瓶頸問題，提升不同季節(jié)、光照、視角下的特征的穩(wěn)健性，提高圖像檢索和匹配算法的泛化性、準確性，解決大規(guī)模地圖下的實時快速的搜索問題等。近年來AI技術的興起為VBN問題的解決提供了新的方式。

3

GNSS拒止環(huán)境下

VBN待解決的問題和措施

在GNSS信號受到干擾時可靠的視覺輔助導航應具備高度的條件（季節(jié)、結構、光照、異源傳感器等）和視角（不同視角、飛行高度）不變性，能夠部署在無人機的邊緣終端。

視角和外觀不變性的穩(wěn)健圖像/地圖表征

視覺導航某種程度上可以被視為一個圖像檢索任務，必須使用相同的特征類型進行模型構建和匹配。當無人機達到一定飛行高度，可以假設平面單應性，但對地形變化較大的地區(qū)依然具備一定透視效果。機載圖像與地圖基準圖像的成像時間、成像條件不同，即使經(jīng)過預處理校正后，依然可能會存在不同程度的光照差別、旋轉(zhuǎn)與角度變化、季節(jié)變化、植被變化等，如果地圖表征不當，極易導致錯誤匹配，需要提取穩(wěn)健的成像條件不變性和視角、尺度不變性的地圖場景表征。同時，考慮到機載計算平臺有限的存儲資源和計算資源，因此地圖場景表征同時也要具備高效、低冗余描述等特點。

場景和地圖的描述通常分為局部特征描述子（例如SIFT和SURF特征）以及全局描述子（如Gist等）。局部特征描述在像素級別上使用固定的局部空間鄰域進行優(yōu)化描述，具備視角旋轉(zhuǎn)不變性且可實現(xiàn)高精度的定位；而全局描述子對位置進行了優(yōu)化，通常在直接對外觀和光照變化方面魯棒性更強，但增加視角不變性將不可避免地降低一定程度的外觀不變性。

因此需要采用基于深度學習將核心的局部特征納入全局描述符形成新的表征，學習過程采用基于注意力機制，例如Transformers和圖神經(jīng)網(wǎng)絡（Graph Neural Networks）。這其中，網(wǎng)絡的底層輸出對外觀變化更具備穩(wěn)健性，而高層輸出對視角變換更具備穩(wěn)健性，因此學習到的特征能夠有效地應對環(huán)境以及視角的變化。比如SuperPoint、D2、R2D2等深度學習特征代替?zhèn)鹘y(tǒng)SIFT、SURF等局部特征，具備更好的視角不變性；采用如NetVLAD、CALC等用神經(jīng)網(wǎng)絡模擬傳統(tǒng)特征提取策略，可獲得更好的魯棒性。

實時可靠的高精度視覺導航匹配

當GNSS信號丟失時間較長時，慣導的定位誤差累積，需要視覺導航在較大范圍內(nèi)進行搜索，這樣會極大增加匹配算法的計算量。雖然利用語義和傳統(tǒng)圖像檢索技術，可以粗篩出一組與當前機載圖像相似的地圖圖像，供后續(xù)精細搜索，但隨著地圖和搜索規(guī)模的擴大，視覺導航的感知混疊現(xiàn)象越來越嚴重，粗篩的結果會含有越來越多的不相關。因此需要研究快速的圖像檢索和圖像匹配技術。

視覺輔助導航系統(tǒng)的核心是圖像匹配算法的選擇，該算法要解決的關鍵問題是異源圖像之間的實時可靠匹配。大多數(shù)最先進的圖像描述和表征都是高維的（維度從512到70,000不等）。隨著無人機飛行時間的增加，視覺導航搜索的空間急劇變大，而且當無人機長期自主時，通常必須使用多個地圖參考集。若匹配算法過于復雜，搜索效率將會降低，會導致整個匹配過程耗時過長，影響導航效果。

因此，設計分層的實時可靠視覺導航匹配技術。首先利用，對高維的描述符空間進行投影、量化和聚類，以最小的精度損失提高了最近鄰 (NN)搜索的效率采，用反向索引加速圖像檢索速度，選擇出最佳的候選地點集合（如排名前20個地點）。然后在候選地圖集合中，利用航拍成像條件和地圖信息，利用幾何信息，實時解算出飛機的絕對位置和姿態(tài)。

此外，場景的語義線索不像像素強度那樣容易受到條件變化的影響，因此可以采用基于深度學習的物體檢測和語義信息分割技術，對場景進行識別、跟蹤和語義的標記，可以剔除部分場景中的無效區(qū)域（如空中云彩等），重點利用外觀不變的對象如標志性建筑形成穩(wěn)定的圖像描述符，可加速地圖匹配和搜索的過程。同時利用環(huán)境的動/靜分割加強無人機對地圖場景的理解，可以適應地圖一定程度的動態(tài)變化。

視覺導航在有限計算資源機載平臺的部署

傳統(tǒng)的視覺輔助導航技術難以突破在不同場景下的可靠定位瓶頸，基于深度學學習的技術在場景光照變化大，相機視野變化大等方面對傳統(tǒng)方法形成碾壓性優(yōu)勢，是未來基于視覺無人機導航發(fā)展的必然趨勢。但是深度學習技術計算量大，參數(shù)動輒百萬級，現(xiàn)有的CPU、FPGA等傳統(tǒng)機載計算平臺難以滿足實時性的計算要求。隨著低成本低功耗的AI加速芯片的推出，可將深度學習模型部署到無人機平臺，利用AI芯片的異構加速技術，降低視覺導航流程的時延，不僅可以實現(xiàn)態(tài)勢感知、目標識別跟蹤等任務，更可以利用圖像語義分析的信息，無人機視覺導航定位，使其更適用與動態(tài)環(huán)境下的自主飛行。

·

總結

視覺導航但因成像時存在不同季節(jié)、光照、視角、傳感器等原因，其使用收到較大限制。同時，如何處理大規(guī)模地圖的建圖和搜索也是部署到無人機終端一個亟待解決的問題。近年來，隨著AI技術的發(fā)展，國內(nèi)外各研究機構陸續(xù)開展了VBN問題的研究，并進行了各種實際數(shù)據(jù)采集和應用挑戰(zhàn)賽，如近年來ICCV等會議陸續(xù)推出場景識別比賽等。后續(xù)可充分借鑒自動駕駛、商用無人機、機器人等先進技術，結合長航程自主飛行的傳感器特點、使用需求、計算資源等進行研究和測試。

審核編輯 ：李倩