上篇

近年來動(dòng)態(tài)地圖和語義地圖好像在SLAM領(lǐng)域比較熱，動(dòng)態(tài)物體一直是個(gè)敏感的問題。當(dāng)年計(jì)算機(jī)視覺唯一的工業(yè)落地場(chǎng)景“視覺監(jiān)控”也在這個(gè)問題費(fèi)了腦筋，比如我搬個(gè)凳子到新位置，然后就走了，系統(tǒng)是不是要自動(dòng)更新背景呢？

以前說過SFM和SLAM的稱呼，計(jì)算機(jī)視覺的同行多半說SFM，而機(jī)器人的行業(yè)流行說SLAM，到底區(qū)別在哪里？有說SFM是假設(shè)背景不動(dòng)，那么outlier是什么？當(dāng)年做IBR（image-based rendering）的時(shí)候，以panorama view為例，也是假設(shè)場(chǎng)景物體不動(dòng)，可總是有不靜止的物體，比如水，比如樹葉，甚至不配合的人們走動(dòng)，會(huì)產(chǎn)生鬼影嗎？結(jié)果也提出了一堆的解決方法。SFM和MVG（multiple view geometry）緊密相關(guān)吧，都面臨計(jì)算機(jī)視覺的共同問題，動(dòng)態(tài)環(huán)境是回避不了的。

景物動(dòng)態(tài)部分不一定是object，或者不一定能得到object，所以不一定是語義的。語義地圖不一定就是動(dòng)態(tài)的，所以語義地圖和動(dòng)態(tài)地圖是有重疊的，不過最近深度學(xué)習(xí)的發(fā)展比如語義分割，目標(biāo)檢測(cè)和跟蹤等等的確使二者漸漸走在了一起。在人的眼中，一切都是語義的存在，盡管對(duì)某些部分認(rèn)識(shí)不夠。

這里我還是把SLAM動(dòng)態(tài)地圖和語義SLAM分開，主要是文章太多。

先列個(gè)題目，動(dòng)態(tài)地圖放在上部分，而語義地圖放下部分。

先推薦一篇ACM Computing Survey發(fā)表于2018年2月的綜述文章“Visual SLAM and Structure from Motion in Dynamic Environments: A Survey“，它對(duì)動(dòng)態(tài)環(huán)境的分析可以參考一下。

討論的方法基本分三大類：一定位和重建為主，二動(dòng)態(tài)目標(biāo)分割和跟蹤為主，三運(yùn)動(dòng)分割與重建聯(lián)合估計(jì)的方法。

下圖給出了各種方法之間的聯(lián)系：

第一類 “A）Robust Visual SLAM”，下圖給出框圖結(jié)構(gòu)：

第二類 “B）Dynamic Object Segmentation and 3D Tracking“ ，同樣的，其框架圖如下：

第三類 “C）Joint Motion Segmentation and Reconstruction“，其特性見下圖：

在這三類方法中都有深度學(xué)習(xí)的部分。

下面選一些論文作為參考（注：次序沒有按時(shí)間排列）。

1.Simultaneous Localization and Mapping with Detection and Tracking of Moving Objects

看上面的系統(tǒng)流程圖，典型的方法：運(yùn)動(dòng)分割，運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤，靜態(tài)目標(biāo)和靜態(tài)地圖。

2.Simultaneous Localization and Mapping with Moving Object Tracking in 3D Range Data

如上面框圖所示，特點(diǎn)：采用occupancy grid maps，因?yàn)?a target="_blank">傳感器是激光雷達(dá)，可以采用ICP算法定位，地面估計(jì)去除在先，Mean Shift做聚類得到目標(biāo)檢測(cè)，Probability Hypothesis Density (PHD) 做多目標(biāo)跟蹤。

3.Online Localization and Mapping with Moving Object Tracking in Dynamic Outdoor Environments

采用激光雷達(dá)數(shù)據(jù)，基于incremental scan matching方法定位，不受環(huán)境小運(yùn)動(dòng)的影響。

跟上一個(gè)文章一樣采用occupancy map，環(huán)境地圖步進(jìn)更新，基于此檢測(cè)運(yùn)動(dòng)目標(biāo)，而目標(biāo)跟蹤基于Global NN算法。

4.SLAM method: reconstruction and modeling of environ. with moving objects using an RGBD camera

采用Kinect深度傳感器，見上圖，和一般SLAM比較，比較容易檢測(cè)出運(yùn)動(dòng)目標(biāo)（室內(nèi)深度層次少）。

5.Generic NDT mapping in dynamic environments and its application for lifelong SLAM

首先，采用Hybrid Normal Distribution Transform (NDT) occupancy maps，如上圖。

其次，系統(tǒng)可以檢測(cè)跟蹤運(yùn)動(dòng)目標(biāo)，而graph-based SLAM能夠?qū)崿F(xiàn)lifelong SLAM。

6 RGB-D SLAM in Dynamic Environments using Static Point Weighting

如圖介紹，其特點(diǎn)：還是RGB image加深度數(shù)據(jù)，提出depth edge 做visual odometry， 而static weighting 是為了對(duì)付運(yùn)動(dòng)物體。Intensity Assisted ICP (IAICP) 是改進(jìn)ICP做定位的算法。

7.EVO: A Geometric Approach to Event-Based 6-DOF Parallel Tracking and Mapping in Real-time

上圖為算法流程圖。EVO = Event-based Visual Odometry，就是用event cameras （類似Dynamic Vision Sensor）做運(yùn)動(dòng)跟蹤，上圖框架像PTAM。下面兩個(gè)圖是介紹Mapping方法EMVS：

注：參考方法 EMVS = Event-based Multi-View Stereo，DSI = Disparity Space Image。

8.SLAM in a Dynamic Large Outdoor Environment using a Laser Scanner

上圖SLAM，其中模塊A的細(xì)節(jié)在紅色圓圈里。其特點(diǎn)：還是運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤；采用GPS診斷pose誤差，實(shí)現(xiàn)全局精準(zhǔn)。

9.Realtime Multibody Visual SLAM with a Smoothly Moving Monocular Camera

簡(jiǎn)單示意圖如上，其特點(diǎn)：Bearing only Tracking (BOT) 基于particle filter，運(yùn)動(dòng)相機(jī)做motion segmentation保證靜態(tài)景物3-D重建。

10.Localization in highly dynamic environments using dual-timescale NDT-MCL

Normal Distributions Transform (NDT)

Monte Carlo Localization (MCL)

MCL是基于particle filter的方法，地圖采用Occupancy maps模式，這樣NDT做定位。

MCL分三步：

1. prediction

2. update

3. resampling.

下面是整個(gè)算法的偽代碼：

11.SLAM With Dynamic Targets via Single-Cluster PHD Filtering

算法核心是particle/Gaussian mixture，single- cluster process是指feature-based SLAM，其中車輛運(yùn)動(dòng)是主，而特征運(yùn)動(dòng)為附。下面是四個(gè)算法的概略：

12.Exploiting Rigid Body Motion for SLAM in Dynamic Environments

基于factor graph處理SLAM的動(dòng)態(tài)物體的運(yùn)動(dòng)干擾。下面三個(gè)圖都是SLAM的factor graph。

下圖是特征提取和跟蹤的結(jié)果例子：

13.Histogram of Oriented Cameras - A New Descriptor for Visual SLAM in Dynamic Environments

提出一個(gè)3-D描述子Histogram of Oriented Cameras (HOC) ，如下圖：

下圖是SLAM框架：雙目視覺，關(guān)鍵在地圖更新環(huán)部分。

14.Event-based 3D SLAM with a depth-augmented dynamic vision sensor

采用event camera，即DVS（dynamic vision sensor）處理動(dòng)態(tài)環(huán)境。系統(tǒng)展示圖如下：

這里DVS和RGB-D深度傳感器進(jìn)行融合做定位。

15.Simultaneous Localisation and Mapping in Dynamic Environments (SLAMIDE) with Reversible Data Association

采用廣義EM（expectation maximisation）算法處理動(dòng)態(tài)環(huán)境下的SLAM，求解的問題定義在一個(gè)Bayesian Network框架，如下圖：采用sliding window SLAM而不是EKF方法。

加了Reversible Data Association處理動(dòng)態(tài)目標(biāo)，如下圖：實(shí)現(xiàn)Data Association可以通過NN或者joint compatibility branch and bound (JCBB) 算法。

其中的Bayesian Network就是HMM實(shí)現(xiàn)，如下圖SLAMIDE：

16.CoSLAM: Collaborative Visual SLAM in Dynamic Environments

采用多個(gè)獨(dú)立攝像頭協(xié)同工作的SLAM系統(tǒng)，如下圖：

關(guān)于地圖中的point classification，分類類型即‘static’, ‘dynamic’, ‘false’ 或者 ‘uncertain‘，判別流程見下圖：

這里顯示各個(gè)camera如何協(xié)同估計(jì)自身的pose：

17.IMU-Assisted 2D SLAM Method for Low-Texture and Dynamic Environments

前端部分，在卡爾曼濾波extended Kalman Filter (EKF)下融合IMU傳感器和2D LiDAR的2-DSLAM處理低紋理動(dòng)態(tài)環(huán)境，scan matching通過LM（Levenberg–Marquardt ）算法優(yōu)化。在后端，做sparse pose adjustment (SPA) 。如下圖：

18.Dynamic pose graph SLAM: Long-term mapping in low dynamic environments

討論如何維護(hù)室內(nèi)激光雷達(dá)掃描的地圖，其中Dynamic Pose Graph SLAM (DPG-SLAM)做這種動(dòng)態(tài)環(huán)境下的定位。DPG定義如下：

DPG的例子：

DPG的一個(gè)節(jié)點(diǎn)：

采用的SLAM方法是iSAM。所謂Low-dynamic objects就是那些容易加上/移動(dòng)/去除的物體。 關(guān)鍵是如何檢測(cè)變化和更新地圖。下面是三個(gè)相關(guān)算法圖：

19. Semantic Monocular SLAM for Highly Dynamic Environments

擴(kuò)展了ORB-SLAM，特征提取和匹配可以直接用于姿態(tài)估計(jì)，采用一個(gè)outlier概率模型處理地圖的變化，系統(tǒng)概略如下圖：

下面的結(jié)果來自一個(gè)demo視頻截圖：

20. Robust Monocular SLAM in Dynamic Environments

該Monocular SLAM可以處理緩慢變化的動(dòng)態(tài)環(huán)境，是一種在線keyframe方法，能夠檢測(cè)變化并及時(shí)更新地圖。另外，提出一個(gè)prior-based adaptive RANSAC (PARSAC) 算法去除outlier。系統(tǒng)框架如下圖：

特別的，處理遮擋問題，及時(shí)檢測(cè)，下圖有它的算法框架，其中appearance變化測(cè)度如下：

下篇

這里把語義SLAM放在這個(gè)題目的下部分。

談到語義地圖，還是要讀讀2016年的那篇綜述文章 "Past, Present, and Future of Simultaneous Localization and Mapping: Toward the Robust-Perception Age"，其中第七章主要討論語義地圖的問題。

放個(gè)SLAM的標(biāo)準(zhǔn)圖：前端+后端

SLAM問題是一個(gè)factor graph：

基本上，語義地圖可以分為三種方法來加注語義概念：

SLAM幫助語義概念；

語義概念幫助SLAM；

語義概念和SLAM聯(lián)合求解。

最后還提出了四個(gè)未解決的問題（open problems）：

Consistent Semantic-Metric Fusion：和尺度地圖融合;

Semantic mapping is much more than a categorization problem：語義的概念是人定義的;

Ignorance, awareness, and adaptation：缺乏自我學(xué)習(xí)知識(shí)能力;

Semantic based reasoning：不會(huì)做推理。

下面還是選了一些論文供參考（次序不按照時(shí)間）。

1.DA-RNN: Semantic Mapping with Data Associated Recurrent Neural Networks

Data Associated Recurrent Neural Networks (DA-RNNs)是產(chǎn)生語義標(biāo)記的，采用RGB-D傳感器，SLAM是一個(gè)如KinectFusion的平臺(tái)。算法框架如下圖：

做semantic labeling的RNN模型有三個(gè)：

其中負(fù)責(zé)數(shù)據(jù)相關(guān)的Data Associated Recurrent Unit (DA-RU)，結(jié)構(gòu)如下：

2.Probabilistic Data Association for Semantic SLAM

實(shí)現(xiàn)目標(biāo)識(shí)別才能做到真正的語義SLAM，文章給出了定義：

語義SLAM的問題求解表示為下面的優(yōu)化過程：

求解的算法EM如下：

更細(xì)化的EM框架如下：

3.Long-term Visual Localization using Semantically Segmented Images

討論無人車的定位問題，主要基于最近的語義分割成果。

基于以上的公式，可以給出基于SIFT特征的定位算法如下：

而語義類的定位方法不同。

基于上述公式，推導(dǎo)的語義類新定位算法如下：

4.Stereo Vision-based Semantic 3D Object and Ego-motion Tracking for Autonomous Driving

文章討論如何從2D檢測(cè)推斷3-D檢測(cè)的方法，本身采用雙目視覺，這樣做的原因是計(jì)算量小。提出在目標(biāo)基礎(chǔ)上的攝像頭姿態(tài)跟蹤估計(jì)，還有動(dòng)態(tài)目標(biāo) bundle adjustment (BA)方法，依此融合語義觀測(cè)模型和稀疏的特征匹配結(jié)合以獲取3-D目標(biāo)的姿態(tài)，速度和結(jié)構(gòu)信息。

上圖是一個(gè)例子，上半部分是攝像頭和目標(biāo)的運(yùn)動(dòng)軌跡，下半部分從左到右依此是雙目匹配，一個(gè)被截?cái)嘬嚨母櫍珺A恢復(fù)的稀疏特征點(diǎn)，和姿態(tài)估計(jì)。

整個(gè)語義意義上的跟蹤框架如下圖：左邊是CNN模型實(shí)現(xiàn)的視點(diǎn)分類和3-D檢測(cè)，中間是ORB特征提取和匹配，而右邊是目標(biāo)跟蹤和攝像頭運(yùn)動(dòng)估計(jì)。

5.VSO: Visual Semantic Odometry

建立語義信息作為中層的VO約束，下圖就是想解釋為什么底層特征跟蹤失敗的情況下帶語義信息的跟蹤仍然工作很好。

VO解決的目標(biāo)是：

而其中特征點(diǎn)和語義部分分別定義為：

observation likelihood model 如下

其中DT是距離變換。而semantic cost計(jì)算如下：

關(guān)于語義的觀測(cè)似然函數(shù)，下圖給出一些直觀展示：

其中σ = 10 (c)，σ = 40 (d)，而 (b)是二值圖像。

6.DS-SLAM: A Semantic Visual SLAM towards Dynamic Environments

清華大學(xué)基于ORB-SLAM2給出的語義SLAM方案，如圖所示：

語義分割用SegNet，有深度圖的數(shù)據(jù)可以生成最終Semantic octo-tree map。語義信息和ORB特征檢測(cè)跟蹤結(jié)合可以消除運(yùn)動(dòng)物體。

上圖看出，在ORB-SLAM2基礎(chǔ)上，加了語義分割這部分。

7.Robust Dense Mapping for Large-Scale Dynamic Environments

雙目視覺輸入，做深度圖估計(jì)和物體分割，結(jié)合sparse scene flow，對(duì)場(chǎng)景進(jìn)行重建。下圖是系統(tǒng)框圖：

8.Meaningful Maps With Object-Oriented Semantic Mapping

結(jié)合了RGB-D SLAM，語義層次上借助深度學(xué)習(xí)的目標(biāo)檢測(cè)和3-D分割。

下圖是一個(gè)示意圖：上面從左到右，是SSD的region proposal和非監(jiān)督3-D分割，而下面是帶語義的地圖。

如下是語義地圖的框架：在ORB-SLAM2基礎(chǔ)上改的。

9.6-DoF Object Pose from Semantic Keypoints

主要是基于CNN提出semantic keypoints，和deformable shape model結(jié)合。下圖是對(duì)算法的直觀介紹：

其中CNN模型如下結(jié)構(gòu)：兩個(gè)沙漏模型的疊加，輸出特征點(diǎn)的熱圖（heatmap）。

10.A Unifying View of Geometry, Semantics, and Data Association in SLAM

如題目所示，將幾何，語義和數(shù)據(jù)相關(guān)幾個(gè)部分結(jié)合起來的SLAM。

上圖展示的是：測(cè)量數(shù)據(jù)包括慣導(dǎo)，幾何和語義 (左上角)，重建傳感器軌跡（藍(lán)色），檢測(cè)的目標(biāo)（車），還有估計(jì)的車部件 (綠色點(diǎn)，即門和輪子）。

上圖有特征和語義特征的比較，帶有約束的結(jié)構(gòu)化目標(biāo)模型和被傳感器觀測(cè)數(shù)據(jù)（landmarks的IMU和語義）的狀態(tài)向量factor graph表示。

11.DeLS-3D: Deep Localization and Segmentation with a 3D Semantic Map

傳感器融合的擴(kuò)展，將GPS/IMU，攝像頭和語義地圖結(jié)合的定位。利用pose CNN做姿態(tài)估計(jì)，加上multi-layer RNN 做姿態(tài)修正。最后和segment CNN 輸出的分割結(jié)合產(chǎn)生地圖信息。

系統(tǒng)示意圖如下：

其中關(guān)鍵的segment CNN 結(jié)構(gòu)如下：

12.Vision-based Semantic Mapping and Localization for Autonomous Indoor Parking

室內(nèi)自動(dòng)泊車采用語義地圖的應(yīng)用。系統(tǒng)流水線如下圖：

系統(tǒng)前端做VO，后端做地圖優(yōu)化，優(yōu)化算法是基于圖論的思想，如圖所示：

13.Integrating Metric and Semantic Maps for Vision-Only Automated Parking

另外一個(gè)自動(dòng)泊車的語義地圖應(yīng)用，結(jié)合了Metric map和Semantic Maps。另外，不同于上一篇論文的是，只有camera傳感器。系統(tǒng)流程圖如下：

語義信息如下圖：停車位線。

作者提出一種Base Map + Multi-Session Mapping的結(jié)構(gòu)，便于地圖更新。其中語義地圖包括三部分：靜態(tài)地圖，動(dòng)態(tài)地圖和道路網(wǎng)絡(luò)。

14. SemanticFusion: Dense 3D Semantic Mapping with Convolutional Neural Networks

借助CNN的工作，對(duì)RGB-D的SLAM平臺(tái)ElasticFusion做擴(kuò)展。流程圖如圖所示：

下圖是一個(gè)結(jié)果例子：

15. Semi-Dense 3D Semantic Mapping from Monocular SLAM

在單目semi-dense SLAM加入深度學(xué)習(xí)的成果，構(gòu)成語義地圖，系統(tǒng)框圖如下：其中2D-3D label transfer是將2D分割投射回3-D特征點(diǎn)云空間。

下面是一個(gè)算法流程圖，包括三個(gè)進(jìn)程：Keyframe selection, 2D semantic segmentation, 和3D reconstruction with semantic optimization。

語義分割采用DeepLab-v2，SLAM是以前的LSD-SLAM，而Dense Conditional Random Fields（CRFs）負(fù)責(zé)3-D的融合。下圖是一個(gè)結(jié)果例子：

16. CubeSLAM: Monocular 3D Object Detection and SLAM without Prior Models

以前在3D目標(biāo)檢測(cè)中介紹過。這里重點(diǎn)是，作為一個(gè)multi-view object SLAM系統(tǒng)，3-D cuboid proposals在Multi-view bundle adjustment （BA）得到優(yōu)化。

系統(tǒng)工作示意圖如下：

下圖(a) 是目標(biāo)SLAM 流水線，而(b)是BA中攝像頭，目標(biāo)和點(diǎn)之間的測(cè)量誤差。

17. Structure Aware SLAM using Quadrics and Planes

還是在ORB-SLAM2加入深度學(xué)習(xí)元素，如下圖：faster RCNN用于目標(biāo)檢測(cè)，目標(biāo)跟蹤結(jié)果和feature matching融合。

18. SegMap: 3D Segment Mapping using Data-Driven Descriptors

如下圖包括5部分：segment extraction, description, localization, map reconstruction, 和 semantics extraction。

下圖的FCN是附加在SegMap descriptor提取語義信息的：

下圖是從KITTI dataset提取出來的segments：vehicles, buildings, other。

19. Place Categorization and Semantic Mapping on a Mobile Robot

還是基于CNN的工作，因?yàn)橛?xùn)練的是one-vs-all的分離器，系統(tǒng)可以在線學(xué)習(xí)新類目標(biāo)，而domain knowledge加入Bayesian filter framework可實(shí)現(xiàn)temporal coherence。下圖是產(chǎn)生的語義圖例子：

如下是語義圖的結(jié)構(gòu)：為繪制metric map和Semantic Map，采用occupancy grid mapping算法，每個(gè)語義層建立一個(gè)地圖層。

20. Multi-View Deep Learning for Consistent Semantic Mapping with RGB-D Cameras

基于CNN做圖像的語義分割，特別是采用CNN學(xué)習(xí)多幀連續(xù)的語義性。之后和深度圖融合。

CNN模型如圖所示：

下圖是經(jīng)典的CNN encoder-decoder architecture：

21. Co-Fusion: Real-time Segmentation, Tracking and Fusion of Multiple Objects

一個(gè)輸入RGB-D的dense SLAM系統(tǒng)，其中目標(biāo)的模型包括兩種：active 和 inactive。下圖是其數(shù)據(jù)流：

起初系統(tǒng)只有一個(gè)目標(biāo)模型：active的背景模型。跟蹤（pose tracking），分割（包括運(yùn)動(dòng)分割和圖像分割），然后是融合得到新模型。運(yùn)動(dòng)分割基于CRF方法，圖像分割基于深度學(xué)習(xí)模型SharpMask，而融合基于surfel模型（ElasticFusion）。

下圖是一個(gè)結(jié)果例子：

22. MaskFusion: Real-Time Recognition, Tracking and Reconstruction of Multiple Moving Objects

還是CNN的成果介入，提出一個(gè)MaskFusion，即RGB-D SLAM的平臺(tái)。下圖展示的MaskFusion后端的數(shù)據(jù)流：

下圖是分割方法的拆解：(a) RGB (b) depth, (c)-(g) 各個(gè)步驟時(shí)候的結(jié)果.

而這里是分割的流程圖：

23. Semantic Visual Localization

本文是一個(gè)實(shí)現(xiàn)定位的generative model，基于descriptor learning，訓(xùn)練的時(shí)候加上semantic scene completion作為附加任務(wù)。

一個(gè)語義定位的例子如下圖：夏天拍攝的圖像放入數(shù)據(jù)庫，在季節(jié)變化后從不同的視角拍攝的圖像仍然可以成功定位。

下圖是descriptor learning采用的VED模型結(jié)構(gòu)：

24.Joint Detection, Tracking and Mapping by Semantic Bundle Adjustment

本文給出一個(gè)Semantic Bundle Adjustment framework，在跟蹤攝像頭運(yùn)動(dòng)和環(huán)境建圖同時(shí)，靜態(tài)目標(biāo)被檢測(cè)出來，而檢測(cè)的目標(biāo)可以參與全局語義優(yōu)化中。模型數(shù)據(jù)庫保存了檢測(cè)的目標(biāo)，有2-D和3-D特征點(diǎn)信息。BA最后優(yōu)化的是攝像頭的姿態(tài)和各個(gè)目標(biāo)的姿態(tài)。

下圖是展示SBA和傳統(tǒng)SLAM的不同，將目標(biāo)檢測(cè)加入pose graph可以改進(jìn)SLAM。

下圖展示SLAM的結(jié)果：(a) 誤差累計(jì)后不能做閉環(huán); (b) 集成目標(biāo)檢測(cè)和語義分割可以做隱形的閉環(huán)，改進(jìn)重建結(jié)果。

25. X-View: Graph-Based Semantic Multi-View Localization

X-View還是基于深度學(xué)習(xí)語義分割結(jié)果幫助定位。下面是一個(gè)能清楚展示系統(tǒng)工作原理的示意圖：

X-View是基于圖的多視角定位，其中語義圖描述子，vertex descriptor，是定位的關(guān)鍵。每個(gè)圖的節(jié)點(diǎn)，會(huì)提取random walk描述子，在下一步匹配定位時(shí)候用。下面就是它的系統(tǒng)框圖：

下圖告訴我們?nèi)绾螐膱D像輸入中提取語義圖：