1. 文章摘要與主要貢獻(xiàn)

從一張圖片中推斷出具有合理形狀和外觀的物體是一個具有挑戰(zhàn)性的問題?，F(xiàn)有的研究往往更多地關(guān)注點云生成網(wǎng)絡(luò)的結(jié)構(gòu)，而忽略了二維圖像的特征提取，減少了網(wǎng)絡(luò)中特征傳播過程中的損失。本文提出了一種單級單視圖三維點云重建網(wǎng)絡(luò)3D SSRecNet。所提出的3D SSRecNet是一個簡單的單級網(wǎng)絡(luò)，由2D圖像特征提取網(wǎng)絡(luò)和點云預(yù)測網(wǎng)絡(luò)組成。單級網(wǎng)絡(luò)結(jié)構(gòu)可以減少提取的2D圖像特征的丟失。二維圖像特征提取網(wǎng)絡(luò)以DetNet為骨干。DetNet可以從2D圖像中提取更多細(xì)節(jié)。

為了生成形狀和外觀更好的點云，在點云預(yù)測網(wǎng)絡(luò)中，使用ELU作為激活函數(shù)，并使用CD和EMD的聯(lián)合函數(shù)作為3D SSRecNet的損失函數(shù)。為了驗證3D SSRecNet的有效性，該文在ShapeNet和Pix3D數(shù)據(jù)集上進行了一系列實驗。CD和EMD測量的實驗結(jié)果表明，3D SSRecNet優(yōu)于最先進的重建方法。

該文工作的主要貢獻(xiàn)如下：

1. 該文提出了一種用于從單個圖像進行3D重建的單階段神經(jīng)網(wǎng)絡(luò)，即3D SSRecNet。3D SSRecNet將圖像作為輸入，并直接輸出預(yù)測的點云，而無需進一步處理。
2. 3D SSRecNet包括特征提取和三維點云生成。特征提取網(wǎng)絡(luò)更善于提取2D輸入的詳細(xì)特征。點云生成網(wǎng)絡(luò)具有簡單的結(jié)構(gòu)，并在其多層感知器中使用適當(dāng)?shù)募せ詈瘮?shù)，這減少了轉(zhuǎn)發(fā)傳播過程中的特征損失，以獲得精細(xì)的輸出。
3. 在ShapeNet和pix3D數(shù)據(jù)集上的實驗表明，3D SSRecNet在單視圖重建任務(wù)上優(yōu)于現(xiàn)有技術(shù)的重建方法。同時，該文還通過實驗證明了點云生成網(wǎng)絡(luò)激活函數(shù)的有效性。

**2. **研究方法

2.1 3D-SSRecNet的結(jié)構(gòu)

3D SSRecNet的體系結(jié)構(gòu)如圖1所示。3D SSRecNet包括兩個主要部分：二維圖像特征提取網(wǎng)絡(luò)和點云預(yù)測網(wǎng)絡(luò)。這兩個部分構(gòu)成了一個簡單的單階段點云重建網(wǎng)絡(luò)。單階段網(wǎng)絡(luò)結(jié)構(gòu)僅在3D SSRecNet的網(wǎng)絡(luò)內(nèi)傳輸2D圖片的特征。與需要跨網(wǎng)絡(luò)傳輸特征的兩階段重建網(wǎng)絡(luò)相比，這種網(wǎng)絡(luò)結(jié)構(gòu)減少了特征的損失。

圖 1 3D-SSRecNet框架—architecture of 3D-SSRecNet.

給定一個2D圖像，首先，該文通過DetNet獲得一個潛在的表示V。然后，該文通過全連接（FC）層將V映射到低維特征V’。然后直接應(yīng)用多層感知器（MLP）對點集進行預(yù)測。在訓(xùn)練過程中，計算倒角距離和推土機的距離損失函數(shù)，并監(jiān)督可訓(xùn)練參數(shù)的更新。

2.2 二維圖像特征提取

許多圖像特征網(wǎng)絡(luò)應(yīng)用下采樣，帶來了更高的感受野，但不可避免地造成了圖像細(xì)節(jié)的損失。然而，對于重建，圖像細(xì)節(jié)對于幾何形狀的恢復(fù)至關(guān)重要。這種網(wǎng)絡(luò)更適合圖像分類任務(wù)，但不適合需要更詳細(xì)特征的重建任務(wù)。

DetNet不僅保留了更多的細(xì)節(jié)，而且保留了很大的感受野。盡管DetNet是為物體檢測而設(shè)計的，但其新穎的擴張瓶頸結(jié)構(gòu)提供了高分辨率的特征圖和大的感受野。該文使用DetNet作為圖像特征提取的主干。DetNet在階段4之前遵循與ResNet-50相同的結(jié)構(gòu)，因此DetNet還具有易于訓(xùn)練且不會陷入梯度消失的優(yōu)點。表1顯示了DetNet最后兩個階段的參數(shù)，即DetNet和ResNet-50之間的差異。

在第4階段之后，DetNet將特征圖的大小保持在16×16，這使得能夠保留更多細(xì)節(jié)。DetNet的第五和第六階段由具有擴張卷積的瓶頸組成，一些瓶頸在其快捷連接上具有1×1卷積。擴大的卷積增加了感受野。然而，考慮到計算量和存儲量，階段5和階段6設(shè)置相同的通道數(shù)256。在基線結(jié)束時，將應(yīng)用完全連接的圖層。

表 1 DetNet最后兩個階段的參數(shù)—the parameters of last two stages DetNet.

如圖1所示，在對輸入圖像進行特征提取后，該文獲得了輸入圖像的1000維潛在特征V。之后，全連接（FC）層將向量V的維度從1000壓縮到100，并獲得向量V’。

2.3 點云預(yù)測

該文使用三層MLP來直接預(yù)測點集。三個MLP層的輸出尺寸分別為512、1024和N×3。特征提取網(wǎng)絡(luò)的輸出：向量V'被饋送到點云預(yù)測網(wǎng)絡(luò)的MLP中。在前兩層上，引入ELU作為激活函數(shù)。

ELU激活函數(shù)及其導(dǎo)數(shù)的曲線分別如圖2a、b所示。對于常見的激活函數(shù)，如ReLU，對應(yīng)于負(fù)軸的值為0。然而，標(biāo)準(zhǔn)化的點云坐標(biāo)間隔為[-1，1]，這表明點云坐標(biāo)將具有負(fù)值。如圖2a所示，ELU激活函數(shù)的負(fù)軸對應(yīng)的值為非零。因此，使用ELU作為激活函數(shù)，重建網(wǎng)絡(luò)中的負(fù)值信息在前向傳播過程中不會丟失。如圖3b所示，ELU的導(dǎo)數(shù)在負(fù)軸上也是非零的。在網(wǎng)絡(luò)的反向傳播過程中，負(fù)梯度不會丟失，它可以幫助更新網(wǎng)絡(luò)權(quán)重。

(a)激活函數(shù)ELU曲線 (b) ELU導(dǎo)數(shù)曲線

Curve of activation function ELU Curve of derivative of ELU

圖 2 ELU激活函數(shù)及其導(dǎo)數(shù)—ELU activation function and its derivative

圖 3 具有相同CD損失值的不同重建—different reconstructions with the same CD loss value

在實驗部分，該文證明了使用ELU作為激活函數(shù)的重建效果優(yōu)于使用其他激活函數(shù)。該文在最后一個激活層之后直接輸出預(yù)測的點集。它由tanh函數(shù)實現(xiàn)，其輸出屬于[-1，1]，與所需的點集數(shù)據(jù)相同。

2.4 損失函數(shù)

定義點云重建的損失函數(shù)。該文必須考慮兩個重要的性質(zhì)。（1）點云是一個無序的點集，因此無論該文如何改變點的順序，該文都將獲得相同的數(shù)據(jù)。（2）無論任何旋轉(zhuǎn)變換，真實物體的幾何特征均不得發(fā)生顯著變化。然而，例如，當(dāng)該文進行旋轉(zhuǎn)變換時，點坐標(biāo)似乎不同。

CD定義如下：

EMD定義如下：

綜合CD和EMD的優(yōu)缺點，該文的網(wǎng)絡(luò)的損失函數(shù)定義為：

3. 實驗過程 ****

該文分別在ShapeNet和Pix3D數(shù)據(jù)集上評估了所提出的3D SSRecNet。ShapeNet是一個紋理CAD模型的大集合，由13個類和43809個點云模型組成，用于訓(xùn)練和測試。該文使用80–20%的訓(xùn)練/測試分割來執(zhí)行該文的實驗。該文在Pix3D數(shù)據(jù)庫上進行了同樣的實驗。Pix3D數(shù)據(jù)庫由三個類和7595個點云模型組成。該數(shù)據(jù)集是真實場景的CAD模型。在Pix3D上的實驗可以更好地評估點云重建算法的實用性。

該文使用梯度優(yōu)化算法Adam來優(yōu)化所提出的3DSSRecNet。在訓(xùn)練中，該文將學(xué)習(xí)率設(shè)置為0.0005，將歷元設(shè)置為50。訓(xùn)練環(huán)境如下：Ubuntu 18.04.6，CUDA 10.1，GPU型號為NVIDIA Tesla T4×4。該文使用在1024個采樣點上計算的CD和EMD值來評估重建點云的質(zhì)量。

表 2 ShapeNet數(shù)據(jù)集上不同激活函數(shù)的重構(gòu)結(jié)果—reconstruction results of different activation functions on ShapeNet dataset.

表 3 CD評估的ShapeNet重建結(jié)果—reconstruction results on ShapeNet evaluated by CD

表 4 EMD評估的ShapeNet重建結(jié)果—reconstruction results on ShapeNet evaluated by EMD

**4. **文章結(jié)論

本文提出了一種高效的三維點云重建方法3DSSRecNet。給定圖像，它學(xué)習(xí)潛在的表示，在降維后，該文應(yīng)用MLP直接預(yù)測對應(yīng)點云。該文在ShapeNet和Pix3D數(shù)據(jù)集上進行了幾個實驗。該文證明了在發(fā)電網(wǎng)絡(luò)中使用激活函數(shù)ELU的重建效果優(yōu)于使用其他激活函數(shù)。也就是說，使用ELU生成的點云的CD和EMD值低于使用其他激活函數(shù)生成的點云中的CD和EMD值。

**5. **閱讀心得

這篇論文提出了一種名為3D-SSRecNet的單階段和單視圖3D點云重建網(wǎng)絡(luò)，該網(wǎng)絡(luò)由2D圖像特征提取網(wǎng)絡(luò)和點云預(yù)測網(wǎng)絡(luò)組成。單階段網(wǎng)絡(luò)結(jié)構(gòu)可以減少提取的2D圖像特征的損失。2D圖像特征提取網(wǎng)絡(luò)采用DetNet作為骨干網(wǎng)絡(luò)，可以從2D圖像中提取更多細(xì)節(jié)。為了生成形狀和外觀更好的點云，在點云預(yù)測網(wǎng)絡(luò)中，使用ELU作為激活函數(shù)，并使用Chamfer距離（CD）和Earth mover’s distance（EMD）的聯(lián)合函數(shù)作為3D-SSRecNet的損失函數(shù)。在ShapeNet和Pix3D數(shù)據(jù)集上進行的實驗結(jié)果表明，通過CD和EMD測量，3D-SSRecNet優(yōu)于現(xiàn)有的重建方法。