像素級別特征（Pixel-Aligned Feature）提取：首先利用二維編碼網(wǎng)絡(luò)（2D Encoder）從輸入圖片提取二維特征，并利用 SMPL 算法的線性蒙皮轉(zhuǎn)換（Linear Blend Skinning）將標(biāo)準空間中 3D 點轉(zhuǎn)到觀測空間下，再投影到輸入圖片成像平面上去提取相應(yīng)像素級別特征。

第三步為特征融合（Feature Fusion Transformer），利用 Transformer 模型將三種不同級別的特征進行融合。第四步為人體神經(jīng)輻射場解碼生成相應(yīng)圖片信息，將標(biāo)準空間中 3D 點坐標(biāo)，光線方向向量和對應(yīng)特征輸入到人體神經(jīng)輻射場解碼網(wǎng)絡(luò)中得到 3D 點的體密度和顏色信息，并進一步基于體渲染（Volume Rendering）在目標(biāo)空間下生成相應(yīng)像素的顏色值，并得到最終用戶輸入目標(biāo)輸出空間下任意人體動作體型參數(shù)和相機外參參數(shù)下的圖片。

基于以上步驟，給定目標(biāo)輸出空間下任意人體動作序列（SMPL）參數(shù)可以從 2D 圖片恢復(fù) 3D 數(shù)字人并加以驅(qū)動。

結(jié)果比較

本文在四個人體數(shù)據(jù)集上人體數(shù)據(jù)集上進行了實驗，分別是 THuman，RenderPeople，ZJU_MoCap，HuMMan。

該研究對比了對比了最先進的可泛化多視角人體圖片的人體神經(jīng)輻射場方法，NHP 和 MPS-NeRF。本文在 peak signal-to-noise ratio （PSNR），structural similarity index （SSIM），以及 Learned Perceptual Image Patch Similarity （LPIPS）進行了比較。如下圖所示，本文在所有數(shù)據(jù)集，所有指標(biāo)上均大幅超越之前的方案。

SHERF 動態(tài)驅(qū)動 3D 人體結(jié)果如下圖所示：

從左到右分別為input Image、motion seq 1、motion seq 2

本文同樣驗證了在 in-the-wild DeepFashion 數(shù)據(jù)上的泛化和驅(qū)動效果，如下圖 3 所示，給定任意一張輸入圖片，本文利用單視角估 SMPL 的先進算法估出 SMPL 和相應(yīng)相機角度，后利用本文提出的算法對 3D 人體進行驅(qū)動。實驗結(jié)果顯示 SHERF 具有較強的泛化性。

從左到右分別為input Image、motion seq 1、motion seq 2

應(yīng)用前景

在游戲電影制作，虛擬現(xiàn)實增強現(xiàn)實或者其他需要數(shù)字人建模的場景，用戶可以無需專業(yè)技能，專業(yè)軟件，即可通過輸入的一張任意相機角度 3D 人體圖片，該角度下相機的參數(shù)和相應(yīng)的人體動作體形參數(shù)（SMPL），就可以達到重建并驅(qū)動該 3D 數(shù)字人的目的。

結(jié)語

本文提出一種基于單張輸入圖片可泛化可驅(qū)動的人體神經(jīng)輻射場方法 SHERF?？梢猿姓J的是，本文依然存在一定的缺陷。

首先，對于輸入圖片觀測不到一部分人體表面， 渲染出來的結(jié)果可以觀察到一定的瑕疵，一個解決的辦法是建立一種遮擋可知（occlusion-aware）的人體表征。

其次，關(guān)于如何補齊輸入圖片觀測不到人體部分依舊是一個很難得問題。本文從重建角度提出 SHERF，只能對觀測不到的人體部分給出一個確定性的補齊，對觀測不到部分的重建缺乏多樣性。一個可行的方案是利用生成模型在觀測不到的人體部分生成多樣性高質(zhì)量的 3D 人體效果。

審核編輯：劉清