來(lái)源：3D視覺(jué)工坊

1. 導(dǎo)讀

運(yùn)動(dòng)重建(SfM)是一項(xiàng)在給定一組圖像的情況下聯(lián)合恢復(fù)相機(jī)姿態(tài)和場(chǎng)景三維幾何的任務(wù)，盡管取得了幾十年的重大進(jìn)展，但仍然是一個(gè)具有許多開(kāi)放挑戰(zhàn)的難題。SfM的傳統(tǒng)解決方案由復(fù)雜的最小解算器流水線組成，當(dāng)圖像沒(méi)有充分重疊、運(yùn)動(dòng)過(guò)少等時(shí)，該流水線容易傳播錯(cuò)誤并失敗。最近的方法試圖重新審視這一范式，但我們的經(jīng)驗(yàn)表明，他們沒(méi)有解決這些核心問(wèn)題。在本文中，我們提出在最近發(fā)布的3D視覺(jué)基礎(chǔ)模型上構(gòu)建，該模型可以魯棒地產(chǎn)生局部3D重建和精確匹配。我們引入了一種低內(nèi)存的方法來(lái)精確地對(duì)齊全局坐標(biāo)系中的這些局部重建。我們進(jìn)一步表明，這種基礎(chǔ)模型可以作為有效的圖像檢索器，而沒(méi)有任何開(kāi)銷，將整體復(fù)雜性從二次降低到線性?？偟膩?lái)說(shuō)，我們的新型SfM流水線是簡(jiǎn)單的、可擴(kuò)展的、快速的和真正不受約束的，也就是說(shuō)，它可以處理任何有序或不有序的圖像集合。在多個(gè)基準(zhǔn)上的大量實(shí)驗(yàn)表明，我們的方法在不同的設(shè)置上提供了穩(wěn)定的性能，特別是在中小規(guī)模的設(shè)置上優(yōu)于現(xiàn)有的方法。

2. 引言

運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（SfM）是計(jì)算機(jī)視覺(jué)領(lǐng)域一個(gè)長(zhǎng)期存在的問(wèn)題，旨在根據(jù)每個(gè)相機(jī)拍攝的圖像來(lái)估計(jì)場(chǎng)景的3D幾何結(jié)構(gòu)以及觀測(cè)該場(chǎng)景的相機(jī)的參數(shù)。由于它方便地同時(shí)為相機(jī)和地圖提供信息，因此構(gòu)成了許多實(shí)用計(jì)算機(jī)視覺(jué)應(yīng)用的重要組成部分，如導(dǎo)航（包括地圖繪制和視覺(jué)定位）、密集多視圖立體重建（MVS）、新視角合成、自校準(zhǔn)甚至考古學(xué)。

實(shí)際上，SfM是一個(gè)“大海撈針”式的問(wèn)題，通常涉及高度非凸的目標(biāo)函數(shù)，存在許多局部最小值。由于在這種情況下找到全局最小值直接實(shí)現(xiàn)起來(lái)過(guò)于困難，因此傳統(tǒng)的SfM方法，如COLMAP，將問(wèn)題分解為一系列（或流程）最小問(wèn)題，例如關(guān)鍵點(diǎn)提取與匹配、相對(duì)姿態(tài)估計(jì)以及通過(guò)三角測(cè)量和捆綁調(diào)整實(shí)現(xiàn)的增量重建。異常值（如錯(cuò)誤的像素匹配）的存在帶來(lái)了額外的挑戰(zhàn)，迫使現(xiàn)有方法在流程中的多個(gè)環(huán)節(jié)反復(fù)進(jìn)行假設(shè)的提出和驗(yàn)證，通常使用隨機(jī)抽樣一致算法（RANSAC）或其多種變體。這種方法幾十年來(lái)一直是標(biāo)準(zhǔn)做法，但它仍然很脆弱，當(dāng)輸入圖像重疊不足或視點(diǎn)之間的運(yùn)動(dòng)（即平移）不足時(shí)，就會(huì)失效。

最近，一系列創(chuàng)新方法提出重新審視SfM，以減輕傳統(tǒng)流程的復(fù)雜性和解決其缺點(diǎn)。例如，VGGSfM引入了一種端到端的可微版本流程，簡(jiǎn)化了其中的一些組件。同樣，無(wú)檢測(cè)器SfM用學(xué)習(xí)到的組件替換了經(jīng)典流程中的關(guān)鍵點(diǎn)提取和匹配步驟。然而，這些變化必須放在適當(dāng)?shù)谋尘跋驴紤]，因?yàn)樗鼈儾](méi)有從根本上挑戰(zhàn)傳統(tǒng)流程的整體結(jié)構(gòu)。相比之下，F(xiàn)lowMap和Ace-Zero分別提出了一種全新的解決SfM問(wèn)題的方法，該方法基于全局損失函數(shù)的簡(jiǎn)單一階梯度下降。它們的訣竅是在場(chǎng)景優(yōu)化過(guò)程中訓(xùn)練一個(gè)幾何回歸網(wǎng)絡(luò)，作為重新參數(shù)化和正則化場(chǎng)景幾何結(jié)構(gòu)的一種方式。不幸的是，這種方法僅在特定配置下有效，即對(duì)于重疊度高且光照變化小的輸入圖像。最后，DUSt3R證明，單個(gè)Transformer架構(gòu)的前向傳遞就可以很好地估計(jì)出一個(gè)小型雙圖像場(chǎng)景的幾何結(jié)構(gòu)和相機(jī)參數(shù)。這些特別穩(wěn)健的估計(jì)然后可以使用簡(jiǎn)單的梯度下降再次拼接在一起，從而放寬了前面提到的許多約束。然而，它產(chǎn)生的全局SfM重建結(jié)果相當(dāng)不準(zhǔn)確，且擴(kuò)展性不好。

在本文中，我們提出了MASt3R-SfM，這是一個(gè)完全集成的SfM流程，能夠處理完全不受約束的輸入圖像集合，即從單個(gè)視圖到大規(guī)模場(chǎng)景，甚至可能沒(méi)有相機(jī)運(yùn)動(dòng)，如圖1所示。我們?cè)谧罱l(fā)布的DUSt3R（一個(gè)3D視覺(jué)的基礎(chǔ)模型）的基礎(chǔ)上構(gòu)建，特別是其最近的擴(kuò)展MASt3R，它能夠在單個(gè)前向傳遞中執(zhí)行局部3D重建和匹配。由于MASt3R從根本上僅限于處理圖像對(duì)，因此它在大規(guī)模圖像集合上的擴(kuò)展性很差。為了解決這個(gè)問(wèn)題，我們利用其凍結(jié)的編碼器進(jìn)行快速圖像檢索，計(jì)算開(kāi)銷可忽略不計(jì)，從而得到了一種具有圖像數(shù)量準(zhǔn)線性復(fù)雜度的可擴(kuò)展SfM方法。由于MASt3R對(duì)異常值具有魯棒性，因此所提出的方法能夠完全擺脫RANSAC。SfM優(yōu)化基于MASt3R輸出的凍結(jié)局部重建結(jié)果，通過(guò)兩次連續(xù)的梯度下降進(jìn)行：首先，使用3D空間中的匹配損失；然后使用2D重投影損失來(lái)細(xì)化先前的估計(jì)。

3. 效果展示

有趣的是，我們的方法超越了運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)，因?yàn)樗跊](méi)有運(yùn)動(dòng)（即純旋轉(zhuǎn)情況）時(shí)也能工作，如圖1所示。

上圖:使用隨機(jī)子采樣改變輸入視圖數(shù)量時(shí)CO3Dv2數(shù)據(jù)集的相對(duì)旋轉(zhuǎn)(RRA)和平移(RTA)精度(視圖越多，重疊越大)。與我們的競(jìng)爭(zhēng)對(duì)手相比，MASt3R-SfM在整個(gè)范圍內(nèi)提供了幾乎恒定的性能，即使是很少的視圖。下圖:MASt3R-SfM也可以在沒(méi)有運(yùn)動(dòng)的情況下工作，即在純旋轉(zhuǎn)設(shè)置下工作。我們?cè)谶@里展示了共享同一個(gè)光學(xué)中心的6個(gè)視圖的重建。推薦課程：為什么說(shuō)colmap仍然是三維重建的核心？

4. 主要貢獻(xiàn)

我們做出了三項(xiàng)主要貢獻(xiàn)。首先，我們提出了MASt3R-SfM，這是一個(gè)功能完備的SfM流程，能夠處理不受約束的圖像集合。其次，為了實(shí)現(xiàn)圖像數(shù)量的線性復(fù)雜度，我們展示了如何利用MASt3R的編碼器進(jìn)行大規(guī)模圖像檢索，這是我們的第二項(xiàng)貢獻(xiàn)。請(qǐng)注意，只要提供現(xiàn)成的MASt3R檢查點(diǎn)，我們的整個(gè)SfM流程就無(wú)需訓(xùn)練。最后，我們?cè)谝幌盗胁煌臄?shù)據(jù)集上進(jìn)行了廣泛的基準(zhǔn)測(cè)試，結(jié)果表明，盡管取得了顯著進(jìn)展，但現(xiàn)有方法在小規(guī)模設(shè)置中仍然容易失敗。相比之下，如圖1所示，MASt3R-SfM在多種條件下均表現(xiàn)出最先進(jìn)的性能。

5. 方法

我們提出了一種新穎的大規(guī)模3D重建方法，該方法包括圖2中概述的四個(gè)步驟。首先，我們使用高效且可擴(kuò)展的圖像檢索技術(shù)構(gòu)建共視圖。該圖的邊連接可能重疊的圖像對(duì)。其次，我們使用MASt3R對(duì)該圖的每條邊進(jìn)行成對(duì)局部3D重建和匹配。第三，我們使用3D空間中的匹配損失和梯度下降，將所有局部點(diǎn)圖粗略對(duì)齊到同一世界坐標(biāo)系中。這作為第四步的初始化，在這一步中，我們執(zhí)行第二階段的全局優(yōu)化，這次是最小化2D像素重投影誤差。下面我們將詳細(xì)介紹每個(gè)步驟。

6. 實(shí)驗(yàn)結(jié)果

7. 總結(jié) & 未來(lái)工作

我們引入了MASt3R-SfM，這是一種針對(duì)無(wú)約束結(jié)構(gòu)從運(yùn)動(dòng)恢復(fù)（Structure from Motion, SfM）的相對(duì)簡(jiǎn)單且完全集成的解決方案。

與當(dāng)前存在的SfM流程相比，MASt3R-SfM能夠處理非常小的圖像集合，而不會(huì)出現(xiàn)明顯的問(wèn)題。得益于我們方法所依賴的底層MASt3R基礎(chǔ)模型中編碼的強(qiáng)先驗(yàn)知識(shí)，它甚至可以處理無(wú)運(yùn)動(dòng)的情況，并且完全不依賴于隨機(jī)抽樣一致性算法（RANSAC），這兩項(xiàng)特性通常在使用標(biāo)準(zhǔn)基于三角測(cè)量的SfM方法中無(wú)法實(shí)現(xiàn)。