原提問：

請問有做視覺SLAM基于深度學習閉環(huán)檢測的嗎？

TurtleZhong:

相比現(xiàn)在基本都是用深度學習做的吧，只要涉及到場景光照變化大，相機視野變化大等等，傳統(tǒng)的DBoW，VLAD方法確實能力有限，那想必現(xiàn)在大多數(shù)都用的是基于深度學習來做閉環(huán)檢測的，具體的方法可以參考我前段時間寫的總結(jié)：

https://github.com/TurtleZhong/Map-based-Visual-Localization

其實里面列舉了傳統(tǒng)方法和深度學習的方法，當然可能不全，但是歡迎補充，另外覺得有用的話點個關(guān)注。

九歌:

俺就是在做深度學習與閉環(huán)檢測結(jié)合的工作的呀

目前將深度學習應用到閉環(huán)檢測中已經(jīng)很普遍了吧。直接的想法是在bow框架下利用如superpoint、d2、r2d2等深度學習特征代替?zhèn)鹘y(tǒng)orb、sift等特征。也有如NetVLAD、CALC等用神經(jīng)網(wǎng)絡模擬傳統(tǒng)特征提取策略，以獲得更好魯棒性的。也有加入語義信息，如X-view、LoST、CALC2.0等利用圖像語義信息，實現(xiàn)閉環(huán)檢測的。

總的來說，如果只是關(guān)注閉環(huán)檢測中圖像檢索的部分，與深度學習相關(guān)的工作還是很多很好的。難點在于要應對閉環(huán)檢測中的一些實際挑戰(zhàn)，比如cross-view乃至opposite-view，appearance changes，perceptual aliasing，dynamics，textless這些問題。

害，其實dbow和fabmap從效果和實時性的平衡上來說，不已經(jīng)超好了嘛

劉斯坦:

搜deep learning feature points matching，文章非常多。

具體結(jié)合SLAM的工作，今年剛出的這篇清華的就很不錯，還有代碼：
ivipsourcecode/dxslamgithub.com

基本是一個純工程的工作，很直觀，把各種成熟的深度學習特征點提取和匹配網(wǎng)絡（SuperPoint, D2-Net, HF-Net）的預訓練模型直接拿來用，替換掉ORB-SLAM2里面的相關(guān)部分：

王小二:

1、不知道其它大佬的情況，現(xiàn)階段我做的方向就是深度學習和SLAM的結(jié)合方向，所以SLAM各個比較關(guān)鍵的環(huán)節(jié)如何使用深度學習來完成，我倒是看過部分文章，比如特征提取，回環(huán)檢測，優(yōu)化等等。但是實際操作過的目前只有特征提取和描述子生成部分。詳情見：https://zhuanlan.zhihu.com/p/214158164zhuanlan.zhihu.com

2、說回到回環(huán)檢測這個問題，其實從直觀上來說和圖像檢測，重識別等領域應該是有共通之處的，所以我之前的考慮也是利用圖像檢索的方式來實現(xiàn)回環(huán)檢測。

3、說到具體的操作，當時考慮過的方向有：A、使用完整的圖像來完成特征提??；B、圖像切塊或者提前感興趣區(qū)域提取特征；C、整體+興趣區(qū)域共同提取特征->企圖在查詢速度和精度做平衡

4、提取特征的方法考慮過：A、使用傳統(tǒng)的特征來監(jiān)督CNN，比如ORB，SIFT，HOG等；B、學習人臉識別，重識別等使用triple loss，margin loss等使用圖片對或者圖片組來訓練

5、說起來，也許可以看看小樣本分類識別的部分思路；細粒度識別分類的一些方案

6、現(xiàn)在已經(jīng)有的搜圖定位不妨也看看7、步子不要太大，是不是可以考慮CNN+傳統(tǒng)的詞袋模型一起使用？

Howie:

閉環(huán)過程使用深度學習中的圖像檢索，能有效的減少由于環(huán)境光照 季節(jié)更替，視角變化引起的匹配問題。但是需要采集大量的樣本進行訓練，同時考慮網(wǎng)絡的大小和推理速度，以及自身的硬件平臺性能。在一些嵌入式應用中，由深度學習帶來的性能提升 可能需要消耗巨大的資源，此時仍需以傳統(tǒng)算法為主。

實際使用中，若環(huán)境可布置如室內(nèi)環(huán)境，建議使用二維碼等人為標志進行回環(huán)檢測，兼顧精度和速度。若是室外可變環(huán)境，則需要考慮自身的硬件性能，進行傳統(tǒng)算法與深度學習方法的選擇，對于純粹的深度方向，應考慮模型設計優(yōu)化，通過壓縮量化等手段提升模型速度。

責任編輯：lq