隨著計算機(jī)視覺的發(fā)展，2D目標(biāo)檢測在精度和速度方面已經(jīng)得到了巨大的提升，并在各個領(lǐng)域取得了令人矚目的成績。但2D檢測卻忽視了物體的三維信息。目前的3D形狀預(yù)測研究主要基于合成數(shù)據(jù)集和當(dāng)個目標(biāo)的預(yù)測。

為了解決這一問題，來自Facebook的研究人員提出了Mesh R-CNN模型，可以從單張輸入圖像中檢測不同物體，并預(yù)測出每個物體對應(yīng)的三角網(wǎng)格，將二維目標(biāo)檢測的能力成功地拓展到了三維目標(biāo)檢測和形狀預(yù)測。

三維目標(biāo)檢測與形狀預(yù)測

近年來深度學(xué)習(xí)在三維形狀理解領(lǐng)域有了很大的提升，研究人員們利用神經(jīng)網(wǎng)絡(luò)對體素、點云、網(wǎng)格等三維表示進(jìn)行學(xué)習(xí)，推進(jìn)了三維世界表示和理解的發(fā)展。但這些技術(shù)主要基于合成數(shù)據(jù)集進(jìn)行開發(fā)和研究，缺乏復(fù)雜的形狀和條件，相比二維圖像的大型數(shù)據(jù)集還遠(yuǎn)遠(yuǎn)不夠。研究人員認(rèn)為三維研究領(lǐng)域需要開發(fā)新的識別與理解系統(tǒng)，可以在非限制環(huán)境、復(fù)雜形狀、多物體以及光照條件變化的情境下穩(wěn)定運行。

為了實現(xiàn)這一目標(biāo)，研究人員開發(fā)了2D感知和3D形狀預(yù)測的方法，可以在單張RGB輸入的情況下實現(xiàn)目標(biāo)檢測、實例分割以及目標(biāo)3D三角網(wǎng)格預(yù)測的功能。這一方法基于Mask R-CNN改進(jìn)而來，增加了網(wǎng)格預(yù)測分支來輸出高分辨的目標(biāo)三角網(wǎng)格。這種方法預(yù)測出的網(wǎng)格不僅能夠捕捉不同的3D結(jié)構(gòu)中，同時可以適用于不同的幾何復(fù)雜度。Mesh R-CNN克服了先前固定網(wǎng)格模板的形態(tài)預(yù)測方法，利用多種三維表示方法完成預(yù)測。

Mesh R-CNN首先預(yù)測出目標(biāo)粗糙的體素、隨后轉(zhuǎn)換為網(wǎng)格并利用精確的網(wǎng)格預(yù)測分支進(jìn)行優(yōu)化，最后實現(xiàn)了對于任意幾何結(jié)構(gòu)的精細(xì)預(yù)測。

Mesh R-CNN

這一研究的目標(biāo)是通過單張圖像輸入，對圖像中的物體進(jìn)行檢測、獲取不同物體的類別、掩膜和對應(yīng)的三維網(wǎng)格，并對真實世界中的復(fù)雜模型進(jìn)行有效處理。在2D深度網(wǎng)絡(luò)的基礎(chǔ)上，研究人員改進(jìn)并提出了新的架構(gòu)。

這一模型主要分為三個部分，包括了預(yù)測box和mask的檢測分支、預(yù)測體素的分支和mesh優(yōu)化分支。受到RoIAlign的啟發(fā)，研究人員在網(wǎng)格預(yù)測中加入了VertAlign將輸入圖像與特征進(jìn)行對應(yīng)。

體素預(yù)測分支與box/mask預(yù)測分支的輸入相同，都使用了與圖像對齊的特征。模型最后將目標(biāo)檢測、語義分割損失與網(wǎng)格預(yù)測損失結(jié)合起一同對網(wǎng)絡(luò)進(jìn)行端到端的訓(xùn)練和優(yōu)化。Mesh R-CNN的核心是網(wǎng)格預(yù)測器，它將對齊的圖像特征進(jìn)行輸入，并輸出目標(biāo)的三維網(wǎng)格。與二維圖像的處理相似，研究人員同時也維護(hù)了特征在不同階段的對齊，包括區(qū)域和體素對應(yīng)的對齊操作(RoIAlign和VertAlign)，并捕捉圖像中所有實例的3D形狀。

這意味著每一個預(yù)測出的網(wǎng)格都具有自己的拓?fù)浣Y(jié)構(gòu)(包括網(wǎng)格種類、一定數(shù)量的頂點、邊和面)以及幾何形狀。這一模型可以預(yù)測不同形狀和拓?fù)浣Y(jié)構(gòu)的網(wǎng)格。

模型的體素分支將針對每一個檢測到的物體預(yù)測柵格在空間中的占據(jù)概率，并得到三維模型最終的形狀結(jié)果?？梢詫⑵湟暈?D版的Mask R-CNN，利用GxGxG的柵格在三維空間中預(yù)測出目標(biāo)的外形。

同樣和Mask R-CNN類似的是，對于體素的預(yù)測同樣適用了來自RoIAlign的特征，并得到G個通道特征，其中的體素表示了輸入位置的占據(jù)分?jǐn)?shù)，在實驗中研究人員使用了24x24x24大小的體素表示。

隨后立方體化方法(Cubify)將3D體素的占據(jù)概率轉(zhuǎn)換為三角網(wǎng)格模型。它將輸入的占據(jù)概率二進(jìn)制輸出，每一個體素占據(jù)點被一個立方體的三角網(wǎng)格代替，包含了8個頂點、18條邊和12個面。相鄰立方體共享邊，緊鄰的面被消除，最終得到與體素形態(tài)學(xué)相同的網(wǎng)格表示。

最后需要將得到的網(wǎng)格進(jìn)一步優(yōu)化以獲取更為精確的結(jié)果。與很多體素/網(wǎng)格的優(yōu)化方法相同，首先需要將頂點與圖像特征對齊，隨后利用圖網(wǎng)絡(luò)卷積的方法在每一條mesh邊上對信息進(jìn)行傳播，最后將得到的結(jié)果用于更新每一個頂點的位置。

上面三個步驟在優(yōu)化過程中不斷進(jìn)行。最后為了給mesh優(yōu)化分支建立損失，研究人員在網(wǎng)格表面進(jìn)行稠密的采樣得到點云來計算網(wǎng)格優(yōu)化分支的損失。

結(jié)果

最終研究人員在ShapeNet 數(shù)據(jù)集和Pix3D數(shù)據(jù)集上驗證了這種方法的有效性?？梢钥吹叫绿岢龅姆椒梢杂行У仡A(yù)測帶有孔洞的物體。

同時對于復(fù)雜環(huán)境中的三維物體也有良好的預(yù)測效果：

文章附錄里給出了包括立方體化、網(wǎng)格采樣、消融性分析以及與各種方法的比較，如果想要了解更多的實現(xiàn)細(xì)節(jié)，請參看：

https://arxiv.org/pdf/1906.02739.pdf

ref:

paper:https://arxiv.org/pdf/1906.02739.pdf

logopicture：https://dribbble.com/shots/1143435-Pikachu-Polymon