一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

基于高斯的稠密視覺SLAM研究

INDEMIND ? 來源:INDEMIND ? 2025-05-15 10:36 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

基于高斯的場景表示在新視角下會出現(xiàn)幾何失真,這大大降低了基于高斯的跟蹤方法的準確性。這些幾何不一致主要源于高斯基元的深度建模以及在深度融合過程中表面之間的相互干擾。為了解決這些問題,我們提出了一種基于二維高斯的增量重建策略,并結(jié)合了表面感知深度渲染機制,這顯著提高了幾何精度和多視角一致性。此外,所提出的局部地圖設(shè)計在跟蹤過程中動態(tài)隔離可見表面,減輕了全局地圖中被遮擋區(qū)域引起的錯位,同時隨著高斯密度的增加保持了計算效率。

? 文章:

GauS-SLAM: Dense RGB-D SLAM with Gaussian Surfels

? 作者:

Yongxin Su, Lin Chen, Kaiting Zhang, Zhongliang Zhao, Chenfeng Hou, Ziping Yu*

? 論文鏈接:

https://arxiv.org/abs/2505.01934

? 編譯:

INDEMIND

01本文核心內(nèi)容

wKgZO2glUy-AYxA2AAWErPST8bQ464.png

在過去的十年里,稠密視覺SLAM一直是計算機視覺領(lǐng)域的一個基礎(chǔ)研究方向。近期在地圖表示方面的進展越來越多地聚焦于將神經(jīng)模型與傳統(tǒng)3D特征(如點、體素和表面元素)相結(jié)合,從而實現(xiàn)更靈活和精確的地圖構(gòu)建。盡管有這些創(chuàng)新,當(dāng)前的方法在諸如姿態(tài)優(yōu)化、收斂困難以及持續(xù)學(xué)習(xí)過程中的災(zāi)難性遺忘等方面仍面臨重大挑戰(zhàn)。

基于三維高斯?jié)姙R(3D Gaussian Splatting, 3DGS) 的顯式表示方法在三維重建和稠密SLAM任務(wù)中展現(xiàn)了潛力。

過去的研究提出了基于高斯模型的跟蹤和建圖流程。然而,這些基于高斯的跟蹤方法常常會因姿態(tài)估計不準確和收斂問題而受到影響。相比之下,一些研究通過將跟蹤與高斯模型分離,并利用成熟的里程計方法來解決這些問題。盡管這種分離式設(shè)計提高了實時性能,但它本質(zhì)上缺乏耦合系統(tǒng)所能提供的重建與定位之間的相互強化。

在本文中,我們重點關(guān)注在基于高斯的耦合SLAM框架中遇到的兩個關(guān)鍵挑戰(zhàn),如圖2所示。

wKgZO2glUy-AOwwwAAFbuuFpHYg910.png

幾何失真問題

在大多數(shù)基于高斯的跟蹤方法中,相機變換是通過將觀測結(jié)果與當(dāng)前視角的渲染結(jié)果對齊來估計的。在此過程中,透視引起的幾何失真會導(dǎo)致幀與高斯模型之間的錯位,從而降低跟蹤精度。

問題原因在于。首先,基于高斯的深度表示模型存在固有的不一致性,其中中心深度模型三維高斯基元的多視圖深度估計不一致(如圖2(a1)所示),而二維高斯曲面元素通過相交深度模型有效解決了這種不一致性。第二個原因源于不同表面在深度融合過程中的相互干擾。如圖2(a2)所示,在重建椅子靠背時,遠處深度較大的地板導(dǎo)致深度融合效果不佳。為解決深度融合的模糊性,我們提出了一種基于高斯曲面元素的增量重建策略,并結(jié)合表面感知深度渲染方案,顯著提高了高斯場景的幾何精度和視圖一致性。

幀與高斯模型對齊過程中的異常值剔除

正如SplaTAM所展示的,異常值消除至關(guān)重要,他們的方法通過遮蔽累積不透明度低的區(qū)域來實現(xiàn)。然而,如圖2(b)所示,累積不透明度高的干擾區(qū)域仍然難以遮蔽,尤其是在相機圍繞物體移動時。我們的方法限制了相機的移動范圍通過跟蹤到一張小的局部地圖,從而將這些干擾區(qū)域與全局地圖隔離開來。此外,通過定期重置局部地圖,我們確保相機跟蹤始終在高斯原語的子集內(nèi)運行,避免隨著高斯數(shù)量的增加而導(dǎo)致跟蹤效率下降。

為此,我們提出了GauS-SLAM,這是一種稠密SLAM系統(tǒng),它在緊密耦合的前端/后端框架中利用二維高斯基元和局部地圖架構(gòu),成功解決了多視角幾何失真與異常值干擾難題,在RGB-D數(shù)據(jù)集上實現(xiàn)了優(yōu)異的定位精度和視圖合成質(zhì)量。

02方法架構(gòu)

GauS-SLAM概述。該框架由前端和后端組成,前端使用單個局部地圖進行跟蹤和建圖,后端負責(zé)將局部地圖合并到全局地圖中,并進行基于子地圖的全局優(yōu)化。

wKgZPGglUy-AdzyNAAOyP5dSCME117.png

前端

在前端,所有的優(yōu)化過程都在本地地圖中進行。本地地圖的第一幀作為參考關(guān)鍵幀(RKF)。在處理新幀時,前端首先執(zhí)行相機跟蹤以估計其相對于RKF的位姿。然后根據(jù)新觀測到的場景比例是否超過預(yù)定義閾值,用來評估該幀是否符合關(guān)鍵幀(KF)的條件。增量式地圖構(gòu)建在KF上進行。如果本地地圖中的高斯基元數(shù)量超過指定閾值,前端將幀和本地高斯地圖發(fā)送到后端,并重新初始化一個新的本地地圖以繼續(xù)跟蹤和構(gòu)建地圖。此時,當(dāng)前幀在新的本地地圖中被標(biāo)記為新的RKF。

后端

系統(tǒng)的后端主要負責(zé)合并本地地圖并優(yōu)化全局地圖。在接收到本地地圖后,后端將本地地圖中的幀作為子地圖存儲在數(shù)據(jù)庫中,并將本地高斯地圖整合到全局地圖中。具體來說,首先將本地地圖中的高斯基元的不透明度重置為0.01,然后根據(jù)其RKF位姿添加到全局地圖中。隨后,當(dāng)前子地圖及其共視子地圖將被共同選中用于本地映射。為了確定子地圖之間的共視性,我們使用NetVLAD從每個子地圖的第一幀和最后一幀中提取的視覺特征。映射過程完成后,不透明度低于0.05的高斯基元將被修剪。這一步有效地消除了本地地圖和全局地圖之間的重疊部分,從而防止了高斯基元的持續(xù)累積。

為了減少軌跡誤差的累積,將應(yīng)用束調(diào)整(BA)來優(yōu)化共視子地圖中涉及的的位姿及全局地圖。在BA過程中,幀將從共視子地圖中隨機選取,并通過最小化以下公式來進行優(yōu)化。

wKgZPGglUy-AX1peAAAU9XmwFW4845.png

當(dāng)后端不繁忙時,會從數(shù)據(jù)庫中的子地圖中隨機選擇一幀來優(yōu)化全局地圖,我們將其稱為隨機優(yōu)化。這一過程有效地緩解了遺忘問題,并增強了高斯場景的全局一致性。在前端和后端完成重建后,隨機優(yōu)化會繼續(xù)運行一段時間以減少漂浮的高斯,確保全局地圖得到均勻優(yōu)化。我們將此過程稱為最終細化,實驗表明這顯著提高了渲染質(zhì)量。

03實驗結(jié)果

與SOTA基線的比較

1.跟蹤性能

在四個數(shù)據(jù)集上所選序列的跟蹤性能比較分別在表1和表2中給出。我們提出的GauS-SLAM實現(xiàn)了毫米級定位精度,在Replica和ScanNet++數(shù)據(jù)集上建立了新的SOTA性能。具體而言,在Replica數(shù)據(jù)集上,我們的方法表現(xiàn)出色,ATE-RMSE為0.06厘米,比之前的SOTA方法GSICP提高了62.5%,比我們的基線SplaTAM提升了83%。盡管在TUM RGB-D和ScanNet數(shù)據(jù)集中存在曝光變化和運動模糊等挑戰(zhàn)因素,GauS-SLAM仍保持了競爭力。值得注意的是,在ScanNet的某些序列中,它甚至超過了具有閉環(huán)校正的SLAM方法。

wKgZO2glUy-AeInbAAIUMN7eIr0313.png

2.渲染和重建性能

在表1展示了GauS-SLAM在Replica數(shù)據(jù)集上的渲染和重建性能。盡管2DGS的渲染質(zhì)量已被實驗證明不如3DGS,但GauS-SLAM卻超越了大多數(shù)基于3D高斯的方法。值得注意的是,它在峰值信噪比(PSNR)上比我們的基線算法SplaTAM高出6分貝。這一改進歸功于我們新穎的基于局部地圖的設(shè)計,這使得高斯基元的初始化更加準確。更詳細的比較見圖4。通過采用表面感知深度渲染方法,我們的方法在深度L1和F1分數(shù)方面均優(yōu)于其他基于高斯的算法。值得注意的是,各向同性高斯基元往往會產(chǎn)生不均勻的網(wǎng)格表面,如圖5所示,而2D高斯點則能產(chǎn)生明顯更平滑的結(jié)果。

wKgZPGglUy-AXf9jAAbbOBRzp6k055.png

wKgZO2glUy-Aa-wVAATSYrU29Us370.png

3.幾何一致性

為了評估渲染方法的幾何一致性,我們設(shè)計了以下實驗。首先,我們在ReplicaRoom0數(shù)據(jù)集的前四幀上使用真實姿態(tài)對模型進行完全訓(xùn)練。然后,我們計算前60個視角下渲染深度圖的平均L1誤差,將其作為幾何一致性評估的指標(biāo),該指標(biāo)用于消融研究。我們在圖6中展示了第40幀和第55幀的誤差圖。雖然2DGS展示了更高的視圖一致性,但在物體邊界區(qū)域也觀察到了顯著的深度誤差。這種現(xiàn)象的發(fā)生是因為來自不同表面的深度值共同影響最終的渲染深度。我們提出的表面感知深度渲染策略有效地減輕了被遮擋表面對渲染結(jié)果的影響,從而增強了幾何一致性。

wKgZPGglUy-AYpyoAAIDdq3tGuw812.png

4.運行時間比較

表3展示了GauS在Room0序列(分辨率為1200×680)上跟蹤和建圖過程的平均每幀時間。與我們的基線SplaTAM相比,GauS-SLAM我們不僅在渲染質(zhì)量和跟蹤精度方面取得了顯著改進,而且在時間效率上提高了三倍多。具體而言,我們開發(fā)了一個更高效的模型GauS-SLAM-S,將跟蹤迭代次數(shù)從40次減少到25次,并減少了建圖次數(shù)。迭代次數(shù)從40次減少到30次,同時將關(guān)鍵幀閾值降低至5%。

wKgZPGglUzCAA6ENAAEpX-NLPyg082.png

04總結(jié)

在本文中,我們探討了高斯表示法中相機跟蹤的兩個關(guān)鍵挑戰(zhàn):多視圖場景中的幾何失真以及幀對模型對齊過程中的異常值剔除。為了解決這些問題,我們基于2DGS提出了一種表面感知深度渲染策略,并設(shè)計了一個融合關(guān)鍵幀和局部地圖的SLAM系統(tǒng)。我們的實驗結(jié)果表明,所提出的GauS-SLAM在四個基準數(shù)據(jù)集上的跟蹤和渲染性能均優(yōu)于基線方法。特別是在Replica和ScanNet++數(shù)據(jù)集上,它實現(xiàn)了最先進的跟蹤性能,突顯了2D高斯在相機跟蹤任務(wù)中的有效性。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 計算機
    +關(guān)注

    關(guān)注

    19

    文章

    7663

    瀏覽量

    90797
  • SLAM
    +關(guān)注

    關(guān)注

    24

    文章

    441

    瀏覽量

    32504
  • 三維重建
    +關(guān)注

    關(guān)注

    0

    文章

    27

    瀏覽量

    10086

原文標(biāo)題:精度與效率的雙重突破!基于高斯的稠密視覺SLAM

文章出處:【微信號:gh_c87a2bc99401,微信公眾號:INDEMIND】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    解讀多傳感器融合SLAM技術(shù)的發(fā)展趨勢

    相較于激光雷達SLAM系統(tǒng),視覺SLAM系統(tǒng)具有不主動發(fā)出信號的優(yōu)點。此外,視覺是對環(huán)境的稠密感知,可以利用
    發(fā)表于 12-21 16:18 ?3852次閱讀

    什么是SLAM?視覺SLAM怎么實現(xiàn)?

    上周的組會上,我給研一的萌新們講解什么是SLAM,為了能讓他們在沒有任何基礎(chǔ)的情況下大致聽懂,PPT只能多圖少字沒公式,這里我就把上周的組會匯報總結(jié)一下。 這次匯報的題目我定為“視覺SLAM:一直在
    的頭像 發(fā)表于 08-21 10:02 ?1.3w次閱讀
    什么是<b class='flag-5'>SLAM</b>?<b class='flag-5'>視覺</b><b class='flag-5'>SLAM</b>怎么實現(xiàn)?

    視覺SLAM筆記總結(jié)

    【總結(jié)】視覺SLAM筆記整理
    發(fā)表于 07-17 14:05

    激光SLAM視覺SLAM有什么區(qū)別?

    機器人定位導(dǎo)航中,目前主要涉及到激光SLAM視覺SLAM,激光SLAM在理論、技術(shù)和產(chǎn)品落地上都較為成熟,因而成為現(xiàn)下最為主流的定位導(dǎo)航方式,在家用掃地機器人及商用送餐機器人等服務(wù)機
    發(fā)表于 07-05 06:41

    基于視覺slam自動駕駛

    基于視覺slam自動駕駛,這是我們測試的視頻《基于slam算法的智能機器人》調(diào)研分析報告項目背景分析機器人曾經(jīng)是科幻電影中的形象,可目前已經(jīng)漸漸走入我們的生活。機器人技術(shù)以包含機械、電子、自動控制
    發(fā)表于 08-09 09:37

    激光SLAM視覺VSLAM的分析比較

    什么是激光SLAM視覺VSLAM又是什么?激光SLAM視覺VSLAM有哪些不同之處?
    發(fā)表于 11-10 07:16

    單目視覺SLAM仿真系統(tǒng)的設(shè)計與實現(xiàn)

    實現(xiàn)單目視覺同時定位與建圖(SLAM)仿真系統(tǒng),描述其設(shè)計過程。該系統(tǒng)工作性能良好,其SLAM算法可擴展性強,可以精確逼近真實單目視覺SLAM
    發(fā)表于 04-15 08:50 ?82次下載

    視覺SLAM的技術(shù)資料總結(jié)

    隨著傳感器種類和安裝方式的不同,SLAM的實現(xiàn)方式和難度會有很大差異。按傳感器來分,SLAM主要分為激光、視覺兩大類。其中,激光SLAM研究
    的頭像 發(fā)表于 05-12 10:31 ?5724次閱讀

    基于深度學(xué)習(xí)的視覺SLAM綜述

    SLAM本質(zhì)上是一個狀態(tài)估計問題,根據(jù)傳感器做劃分,主要是激光、視覺兩大類。激光SLAM研究在理論和工程上都比較成熟,現(xiàn)有的很多行業(yè)已經(jīng)開始使用激光
    的頭像 發(fā)表于 12-02 15:00 ?2637次閱讀

    一種基于直接法的動態(tài)稠密SLAM方案

    基于特征點法的視覺SLAM系統(tǒng)很難應(yīng)用于稠密建圖,且容易丟失動態(tài)對象。而基于直接法的SLAM系統(tǒng)會跟蹤圖像幀之間的所有像素,因此在動態(tài)稠密
    的頭像 發(fā)表于 03-13 09:38 ?1636次閱讀

    視覺SLAM開源方案匯總 視覺SLAM設(shè)備選型

    SLAM至今已歷經(jīng)三十多年的研究,這里給出經(jīng)典視覺SLAM框架,這個框架本身及其包含的算法已經(jīng)基本定型,并且已經(jīng)在許多視覺程序庫和機器人程序
    發(fā)表于 08-10 14:15 ?1507次閱讀
    <b class='flag-5'>視覺</b><b class='flag-5'>SLAM</b>開源方案匯總 <b class='flag-5'>視覺</b><b class='flag-5'>SLAM</b>設(shè)備選型

    視覺SLAM是什么?視覺SLAM的工作原理 視覺SLAM框架解讀

    近年來,SLAM技術(shù)取得了驚人的發(fā)展,領(lǐng)先一步的激光SLAM已成熟的應(yīng)用于各大場景中,視覺SLAM雖在落地應(yīng)用上不及激光SLAM,但也是目前
    的頭像 發(fā)表于 09-05 09:31 ?4972次閱讀
    <b class='flag-5'>視覺</b><b class='flag-5'>SLAM</b>是什么?<b class='flag-5'>視覺</b><b class='flag-5'>SLAM</b>的工作原理 <b class='flag-5'>視覺</b><b class='flag-5'>SLAM</b>框架解讀

    什么是SLAM?基于3D高斯輻射場的SLAM優(yōu)勢分析

    基于NeRF的SLAM算法采用全局地圖和圖像重建損失函數(shù),通過可微分渲染捕獲稠密的光度信息,具有高保真度。
    的頭像 發(fā)表于 04-01 12:44 ?1272次閱讀

    MG-SLAM:融合結(jié)構(gòu)化線特征優(yōu)化高斯SLAM算法

    同步定位與地圖構(gòu)建 (SLAM) 是計算機視覺中的一個基本問題,旨在在同時跟蹤相機姿勢的同時對環(huán)境進行地圖構(gòu)建?;趯W(xué)習(xí)的密集 SLAM 方法,尤其是神經(jīng)輻射場 (NeRF) 方法,在捕獲密集光度
    的頭像 發(fā)表于 11-11 16:17 ?875次閱讀
    MG-<b class='flag-5'>SLAM</b>:融合結(jié)構(gòu)化線特征優(yōu)化<b class='flag-5'>高斯</b><b class='flag-5'>SLAM</b>算法

    三維高斯潑濺大規(guī)模視覺SLAM系統(tǒng)解析

    近期興起的神經(jīng)輻射場(NeRF)與三維高斯潑濺(3DGS)技術(shù)在視覺SLAM中展現(xiàn)出令人鼓舞的突破性成果。然而,當(dāng)前主流方法多依賴RGBD傳感器,并且僅適用于室內(nèi)環(huán)境。在大規(guī)模室外場景中的重建魯棒性
    的頭像 發(fā)表于 05-27 14:13 ?340次閱讀
    三維<b class='flag-5'>高斯</b>潑濺大規(guī)模<b class='flag-5'>視覺</b><b class='flag-5'>SLAM</b>系統(tǒng)解析