1、導讀

神經(jīng)輻射場渲染是一種用神經(jīng)網(wǎng)絡表示場景的方法，可以生成逼真的新視角圖像。然而，神經(jīng)輻射場渲染的計算復雜度較高，導致訓練和推理速度較慢。因此，本文旨在提出一種自適應外殼（Adaptive Shells）的方法，以加速神經(jīng)輻射場渲染，并在保持視覺質(zhì)量的同時提高效率。

2、貢獻

我們提出了一種神經(jīng)輻射公式，可以在基于體積和基于表面的渲染之間平滑過渡，大大加快渲染速度，甚至提高視覺保真度。

我們的方法構建了一個顯式的網(wǎng)格包絡，它在空間上限制了神經(jīng)體積表示。在實體區(qū)域中，包絡幾乎會聚到一個表面，并且通?？梢允褂脝蝹€樣本進行渲染。

實驗表明，我們的方法能夠以非常高的保真度實現(xiàn)高效渲染。

3、方法

我們通過對顯式薄殼內(nèi)的體積渲染進行有效采樣來演示高保真、高效的神經(jīng)隱式場景重建，該薄殼會自動適應視覺目標。

在這篇論文中，作者提出了一種自適應殼層方法來提高神經(jīng)輻射場渲染的效率。該方法利用了顯式幾何來加速性能，同時保持或提高感知質(zhì)量。該方法通過提取一個窄帶網(wǎng)格來適應場景的局部復雜性，并在渲染過程中分配所需的樣本數(shù)量，以準確地表示地面真實外觀。與傳統(tǒng)的體積渲染方法相比，該方法能夠更好地分配計算成本，從而實現(xiàn)高效的新視角合成。該方法的主要步驟包括：

提取窄帶網(wǎng)格：根據(jù)場景的局部復雜性，從體積表示中提取一個窄帶網(wǎng)格。這個窄帶網(wǎng)格可以很好地近似表面，并且只需要在網(wǎng)格中間的一個點采樣即可。

分配樣本數(shù)量：根據(jù)場景的不同區(qū)域，分配不同數(shù)量的樣本來表示地面真實外觀。對于復雜的模糊表面，需要更多的樣本來準確表示外觀；而對于光滑的不透明表面，只需要在射線與表面相交的點采樣一個樣本即可。

輔助加速數(shù)據(jù)結構：引入輔助加速數(shù)據(jù)結構，以促進空間跳過，從而進一步提高渲染效率。通過這些步驟，該方法能夠在保持感知質(zhì)量的同時，更高效地進行神經(jīng)輻射場渲染。

3.1、提取窄帶網(wǎng)格

作者提出了一種自適應的窄帶渲染方法，用于加速神經(jīng)輻射場（Neural Radiance Field）的渲染過程。該方法通過提取窄帶網(wǎng)格來指導光線的采樣，從而在保持感知質(zhì)量的同時實現(xiàn)高效的渲染。具體而言，作者首先使用一種流體動力學方法來計算出適應場景局部復雜性的自適應殼（adaptive shell）。這個自適應殼由兩個邊界網(wǎng)格組成，一個是外殼邊界網(wǎng)格，一個是內(nèi)殼邊界網(wǎng)格。這兩個網(wǎng)格定義了一個窄帶區(qū)域，其中包含了需要進行采樣的點。在渲染過程中，對于每條光線，我們使用硬件加速的光線追蹤方法來計算光線與自適應殼的交點。在這里推薦工坊課程基于深度學習的三維重建MVSNet系列論文+源碼+應用+科研

通過計算光線與殼的交點，我們將光線分割成多個區(qū)間，每個區(qū)間都包含在窄帶區(qū)域內(nèi)。在每個區(qū)間內(nèi)，我們均勻采樣點來進行渲染。這種方法不需要動態(tài)自適應采樣或者基于采樣的終止條件，從而實現(xiàn)了高性能的并行計算。為了確定每個區(qū)間內(nèi)的采樣數(shù)量，我們使用了一個目標采樣間距和一個單樣本閾值。

3.2、分配樣本數(shù)量

根據(jù)給定的表格，我們可以看到在MipNeRF360數(shù)據(jù)集上，我們的方法對每個場景分配的樣本數(shù)量如下：Bicycle: 16.33 Garden: 14.05 Stump: 22.81 Room: 17.14 Counter: 22.24 Kitchen: 14.49 Bonsai: 14.80 這些樣本數(shù)量是根據(jù)我們的自適應殼層方法計算得出的，以確保在保持圖像質(zhì)量的同時盡可能減少樣本數(shù)量。

3.3、輔助加速數(shù)據(jù)結構

輔助加速數(shù)據(jù)結構是指在渲染過程中使用的一種數(shù)據(jù)結構，用于提高渲染效率。這些數(shù)據(jù)結構可以幫助減少不必要的計算和內(nèi)存消耗，從而加快渲染速度。在本篇論文中，作者提到了一種輔助加速數(shù)據(jù)結構，即用于跳過空白空間的網(wǎng)格結構。這個網(wǎng)格結構可以幫助減少需要進行渲染的體素數(shù)量，從而提高渲染效率。通過跳過空白空間，可以減少需要進行采樣的體素數(shù)量，從而減少了計算量。這種輔助加速數(shù)據(jù)結構的使用可以在一定程度上提高渲染速度，但同時也需要權衡渲染質(zhì)量。因為跳過空白空間可能會導致一些細節(jié)丟失，從而影響渲染結果的質(zhì)量。因此，在設計輔助加速數(shù)據(jù)結構時需要綜合考慮渲染速度和渲染質(zhì)量之間的平衡。

3.4、損失函數(shù)

在訓練過程中，我們使用兩個階段來優(yōu)化模型的參數(shù)。第一階段是使用完全體積形式的NeRF模型，通過最小化以下目標函數(shù)進行訓練：

其中，是標準的像素級顏色損失，用于與校準的真實圖像進行比較。是Eikonal正則化項，用于約束場的梯度。規(guī)范了我們公式中引入的空間變化的內(nèi)核大小。是用于訓練預測的幾何法線的損失，以使其與通過有限差分計算得到的法線保持一致。

在第二階段，我們使用窄帶采樣的NeRF模型進行微調(diào)。由于我們已經(jīng)提取出了自適應殼并將采樣限制在了一個小范圍內(nèi)，因此不再需要鼓勵幾何上良好的表示。因此，我們只使用來優(yōu)化模型，以提高視覺保真度。通過這兩個階段的訓練，我們可以得到一個高質(zhì)量的NeRF模型，用于渲染新視角的圖像。

4、實驗結果

本研究采用了兩個數(shù)據(jù)集進行實驗評估：Shelly數(shù)據(jù)集和DTU數(shù)據(jù)集。

Shelly數(shù)據(jù)集：

Shelly數(shù)據(jù)集是本研究新引入的合成數(shù)據(jù)集，包含了六個物體級別的場景：Khady、Pug、Kitty、Horse、Fernvase和Woolly。

對于每個場景，我們從隨機的相機位置渲染了128個訓練視角和32個測試視角。

我們使用了峰值信噪比（PSNR）、學習感知圖像補丁相似度（LPIPS）和結構相似度（SSIM）等常用評估指標來量化渲染質(zhì)量。

此外，我們還報告了每個像素所需的沿射線采樣數(shù)，以評估方法的計算復雜性。

DTU數(shù)據(jù)集：

我們選擇了DTU數(shù)據(jù)集中的15個桌面場景進行實驗評估。

這些場景是由機器人持有的單目RGB相機捕捉的，并且通常用于評估隱式表面表示方法。- 我們要求方法表示整個場景，但僅在提供的物體掩碼內(nèi)評估性能。

我們使用了相同的評估指標（PSNR、LPIPS和SSIM）來量化渲染質(zhì)量。

總結起來，本研究通過在Shelly數(shù)據(jù)集和DTU數(shù)據(jù)集上進行實驗評估，使用了多個評估指標來量化渲染質(zhì)量，并報告了每個像素所需的沿射線采樣數(shù)，以評估方法的計算復雜性。實驗結果表明，我們的方法在各項指標上均優(yōu)于基線方法，具有更高的渲染質(zhì)量和更高的效率。

5、結論

本研究結論是提出了一種自適應外殼方法，用于提高神經(jīng)輻射場渲染的效率。通過在神經(jīng)輻射場中提取窄殼，可以根據(jù)場景的局部復雜性來調(diào)整表示，從而加速渲染過程。實驗結果表明，該方法在保持渲染質(zhì)量的同時，顯著減少了采樣數(shù)量和計算復雜度。這對于神經(jīng)輻射場的訓練和推斷都具有重要意義。