0. 筆者個人體會

最近3D GS已經(jīng)徹底殺入了SLAM領(lǐng)域，光這一個月看見了好幾篇GS SLAM的工作。例如上海AI Lab的GS-SLAM、帝國理工戴森機(jī)器人實(shí)驗(yàn)室的Gaussian Splatting SLAM、CMU的SplaTAM。

今天筆者將為大家再分享一篇GS SLAM的最新開源工作Gaussian-SLAM，同樣實(shí)現(xiàn)了照片級渲染的實(shí)時SLAM。不過大家都說自己是第一個GS SLAM，但具體哪個SLAM更強(qiáng)，讀者可以運(yùn)行代碼對比一下~

下面一起來閱讀一下這項(xiàng)工作，文末附論文和代碼鏈接~

1. 效果展示

Gaussian-SLAM的渲染結(jié)果對比，Gaussian Splatting本身非?？?，所以可以只看一下渲染精度。對比其他NeRF SLAM精度有明顯提升，但是沒有對比其他GS SLAM。

更多渲染結(jié)果的對比，但還是挺想看看和Gaussian Splatting SLAM等工作的對比效果的。

2. 具體原理是什么？

Gaussian-SLAM提出了用于seeding和優(yōu)化Gaussian splats的新策略，以將其從多視圖離線場景擴(kuò)展到RGBD序列。還擴(kuò)展了Gaussian splats來編碼幾何圖形并嘗試跟蹤場景表示。這里也推薦工坊推出的新課程《徹底剖析室內(nèi)、室外激光SLAM關(guān)鍵算法和實(shí)戰(zhàn)(cartographer+LOAM+LIO-SAM)》。

當(dāng)輸入RGBD關(guān)鍵幀時，考慮到顏色梯度，首先對其進(jìn)行下采樣。然后將采樣點(diǎn)投影到3D空間，在這些采樣位置上用它們的均值初始化新的高斯。這些新的3D高斯被添加到稀疏區(qū)域的全局地圖的當(dāng)前活動段中。輸入的RGBD關(guān)鍵幀與其他對活動子圖有貢獻(xiàn)的關(guān)鍵幀一起臨時存儲。一旦新的高斯被整合到活動子圖中，所有對活動子圖有貢獻(xiàn)的關(guān)鍵幀都被渲染出來。隨后，對子圖輸入的關(guān)鍵幀計(jì)算深度和顏色損失。接著更新活動子圖中3D高斯的參數(shù)。這個過程重復(fù)固定的迭代次數(shù)。

3. 和其他SOTA方法對比如何？

ScanNet數(shù)據(jù)集上的渲染效果對比，相比NeRF SLAM有了明顯提升，但同時是沒有對比其他GS SLAM。

對更多實(shí)驗(yàn)結(jié)果和文章細(xì)節(jié)感興趣的讀者，可以閱讀一下論文原文~