來(lái)源：公眾號(hào) 機(jī)器之心 授權(quán)

在 3D 生成領(lǐng)域，根據(jù)文本提示創(chuàng)建高質(zhì)量的 3D 人體外觀和幾何形狀對(duì)虛擬試穿、沉浸式遠(yuǎn)程呈現(xiàn)等應(yīng)用有深遠(yuǎn)的意義。傳統(tǒng)方法需要經(jīng)歷一系列人工制作的過(guò)程，如 3D 人體模型回歸、綁定、蒙皮、紋理貼圖和驅(qū)動(dòng)等。為了自動(dòng)化 3D 內(nèi)容生成，此前的一些典型工作（比如 DreamFusion [1] ）提出了分?jǐn)?shù)蒸餾采樣 (Score Distillation Sampling)，通過(guò)優(yōu)化 3D 場(chǎng)景的神經(jīng)表達(dá)參數(shù)，使其在各個(gè)視角下渲染的 2D 圖片符合大規(guī)模預(yù)訓(xùn)練的文生圖模型分布。然而，盡管這一類方法在單個(gè)物體上取得了不錯(cuò)的效果，我們還是很難對(duì)具有復(fù)雜關(guān)節(jié)的細(xì)粒度人體進(jìn)行精確建模。

為了引入人體結(jié)構(gòu)先驗(yàn)，最近的文本驅(qū)動(dòng) 3D 人體生成研究將 SDS 與 SMPL 等模型結(jié)合起來(lái)。具體來(lái)說(shuō)，一個(gè)常見(jiàn)的做法是將人體先驗(yàn)集成到網(wǎng)格（mesh）和神經(jīng)輻射場(chǎng)（NeRF）等表示中，或者通過(guò)將身體形狀作為網(wǎng)格 / 神經(jīng)輻射場(chǎng)密度初始化，或者通過(guò)學(xué)習(xí)基于線性混合蒙皮（Linear Blend Skinning）的形變場(chǎng)。然而，它們大多在效率和質(zhì)量之間進(jìn)行權(quán)衡：基于 mesh 的方法很難對(duì)配飾和褶皺等精細(xì)拓?fù)溥M(jìn)行建模；而基于 NeRF 的方法渲染高分辨率結(jié)果對(duì)時(shí)間和顯存的開(kāi)銷非常大。如何高效地實(shí)現(xiàn)細(xì)粒度生成仍然是一個(gè)未解決的問(wèn)題。

最近，3D Gaussian Splatting（3DGS）[2] 的顯式神經(jīng)表達(dá)為實(shí)時(shí)場(chǎng)景重建提供了新的視角。它支持多粒度、多尺度建模，對(duì) 3D 人體生成任務(wù)非常適用。然而，想要使用這種高效的表達(dá)仍有兩個(gè)挑戰(zhàn)：1) 3DGS 通過(guò)在每個(gè)視錐體中排序和 alpha - 混合各向異性的高斯來(lái)表征基于圖塊的光柵化，這僅會(huì)反向傳播很少一部分的高置信度高斯。然而，正如 3D 表面 / 體積渲染研究所證實(shí)的那樣，稀疏的梯度可能會(huì)阻礙幾何和外觀的網(wǎng)絡(luò)優(yōu)化。因此，3DGS 需要結(jié)構(gòu)引導(dǎo)，特別是對(duì)于需要層次化建模和可控生成的人體領(lǐng)域。2）樸素的 SDS 需要一個(gè)較大的無(wú)分類器指導(dǎo)（Classifier-Free Guidance）來(lái)進(jìn)行圖像文本對(duì)齊（例如，在 DreamFusion [1] 中使用的 100）。但它會(huì)因過(guò)度飽和而犧牲視覺(jué)質(zhì)量，使真實(shí)的人類生成變得困難。此外，由于 SDS 損失的隨機(jī)性，3DGS 中原始的基于梯度的密度控制會(huì)變得不穩(wěn)定，導(dǎo)致模糊的結(jié)果和浮動(dòng)偽影。

在最近的一項(xiàng)工作中，香港中文大學(xué)、騰訊 AI Lab、北京大學(xué)、香港大學(xué)、南洋理工大學(xué)團(tuán)隊(duì)推出最新有效且快速的 3D 人體生成模型 HumanGaussian，通過(guò)引入顯式的人體結(jié)構(gòu)引導(dǎo)與梯度規(guī)范化來(lái)輔助 3D 高斯的優(yōu)化過(guò)程，能夠生成多樣且逼真的高質(zhì)量 3D 人體模型。目前，代碼與模型均已開(kāi)源。

核心方法

（1）Structure-Aware SDS

研究者基于 SMPL-X 網(wǎng)格形狀初始化 3D 高斯中心位置：

1）以前的研究使用運(yùn)動(dòng)結(jié)構(gòu)點(diǎn)（Structure-from-Motion）或 Shap-E [3] 和 Point-E [4] 等通用文本到點(diǎn)云先驗(yàn)。然而，此類方法通常在人體類別中存在點(diǎn)過(guò)于稀疏或身體結(jié)構(gòu)不連貫等問(wèn)題。

2）作為 SMPL 的擴(kuò)展，SMPL-X 補(bǔ)充了人臉和手部的形狀拓?fù)?，有利于進(jìn)行具有細(xì)粒度細(xì)節(jié)的復(fù)雜人體建模?；谶@些觀察，研究者提出了在 SMPL-X 網(wǎng)格表面均勻采樣點(diǎn)作為 3DGS 初始化。他們對(duì) 3DGS 進(jìn)行縮放和變換，使其達(dá)到合理的人體尺寸并位于 3D 空間的中心。

由于 SMPL-X 先驗(yàn)僅用作初始化，因此需要更全面的指導(dǎo)來(lái)促進(jìn) 3DGS 訓(xùn)練。研究者提出使用一個(gè)同時(shí)捕獲紋理和結(jié)構(gòu)聯(lián)合分布的 SDS 源模型，而不是從僅學(xué)習(xí)外觀或幾何形狀的單一模態(tài)擴(kuò)散模型中學(xué)習(xí) 3D 場(chǎng)景。他們使用結(jié)構(gòu)專家分支擴(kuò)展預(yù)訓(xùn)練的 Stable Diffusion 模型，以同時(shí)對(duì)圖像 RGB 和深度圖進(jìn)行去噪：

借助這種方式，研究者獲得了一個(gè)統(tǒng)一的模型，可以捕獲外觀的圖像紋理和前景 / 背景關(guān)系的結(jié)構(gòu)，該模型可以在 SDS 中用于促進(jìn) 3DGS 學(xué)習(xí)。

通過(guò)生成空間對(duì)齊圖像 RGB 和深度的擴(kuò)展擴(kuò)散模型，可以從結(jié)構(gòu)和紋理方面同時(shí)指導(dǎo) 3DGS 優(yōu)化過(guò)程：

這種結(jié)構(gòu)正則化有助于減少幾何失真，從而有利于具有稀疏梯度信息的 3DGS 優(yōu)化。

（2）Annealed Negative Prompt Guidance

為了促進(jìn)文本與 3D 生成內(nèi)容之間的對(duì)齊，DreamFusion [1] 使用較大的無(wú)分類器引導(dǎo)尺度來(lái)更新 3D 場(chǎng)景優(yōu)化的分?jǐn)?shù)匹配差異項(xiàng)：

在這個(gè)公式中，可以自然地將分?jǐn)?shù)匹配差異分解為兩部分，其中前一項(xiàng)是將圖像推向更真實(shí)的流形的生成分?jǐn)?shù)；后一項(xiàng)是將樣本與隱式分類器對(duì)齊的分類器分?jǐn)?shù)。然而，由于生成分?jǐn)?shù)包含高方差的高斯噪聲，它提供了損害訓(xùn)練穩(wěn)定性的隨機(jī)梯度信息。為了解決這個(gè)問(wèn)題，DreamFusion 特地使用較大的無(wú)分類器引導(dǎo)尺度，使分類器分?jǐn)?shù)主導(dǎo)優(yōu)化，導(dǎo)致模式過(guò)度飽和。相反，研究者僅利用更清晰的分類器分?jǐn)?shù)作為 SDS 損失。

在文生圖和文生 3D 領(lǐng)域中，負(fù)文本被廣泛用于避免生成不需要的屬性?；诖?，研究者提出增加負(fù)文本分類器分?jǐn)?shù)以實(shí)現(xiàn)更好的 3DGS 學(xué)習(xí)。

根據(jù)經(jīng)驗(yàn)，研究者發(fā)現(xiàn)負(fù)文本分類器分?jǐn)?shù)會(huì)在小時(shí)間步長(zhǎng)內(nèi)損害質(zhì)量，因此使用退火的負(fù)文本引導(dǎo)來(lái)結(jié)合兩個(gè)分?jǐn)?shù)進(jìn)行監(jiān)督：

實(shí)驗(yàn)結(jié)果

研究者與通用的文生 3D 和 3D 人體生成領(lǐng)域的模型進(jìn)行對(duì)比?？梢钥吹?，HumanGaussian 取得了優(yōu)越的性能，渲染出更真實(shí)的人體外觀、更連貫的身體結(jié)構(gòu)、更好的視圖一致性、更細(xì)粒度的細(xì)節(jié)捕捉:

此外，研究者還通過(guò)消融實(shí)驗(yàn)驗(yàn)證了各個(gè)模塊的有效性?？梢钥闯?，SMPL-X 提供的人體結(jié)構(gòu)先驗(yàn)可以給 3DGS 優(yōu)化提供初始化信息；負(fù)文本引導(dǎo)可以確保逼真的人體紋理外觀；圖像 RGB 與深度圖雙分支的 SDS 監(jiān)督約束可以同時(shí)對(duì)人體的幾何和紋理進(jìn)行優(yōu)化；最后根據(jù)高斯大小進(jìn)行剪枝可以去除霧狀的偽影：

更多樣本請(qǐng)參考文章的項(xiàng)目主頁(yè)以及 demo 視頻。

總結(jié)與未來(lái)工作

本文提出 HumanGaussian，一種有效且快速的框架用于生成具有細(xì)粒度幾何形狀和逼真外觀的高質(zhì)量 3D 人體。HumanGaussian 提出兩點(diǎn)核心貢獻(xiàn)：

（1）設(shè)計(jì)了結(jié)構(gòu)感知的 SDS，可以顯式地引入人體結(jié)構(gòu)先驗(yàn)，并同時(shí)優(yōu)化人體外觀和幾何形狀；

（2）設(shè)計(jì)了退火的負(fù)文本引導(dǎo)，保證真實(shí)的結(jié)果而不會(huì)過(guò)度飽和并消除浮動(dòng)偽影?？傮w來(lái)說(shuō)，HumanGaussian 能夠生成多樣且逼真的高質(zhì)量 3D 人體模型，渲染出更真實(shí)的人體外觀、更連貫的身體結(jié)構(gòu)、更好的視圖一致性、更細(xì)粒度的細(xì)節(jié)捕捉。

未來(lái)工作：

由于現(xiàn)有的文生圖模型對(duì)于手部和腳部生成的性能有限，研究者發(fā)現(xiàn)它有時(shí)無(wú)法高質(zhì)量地渲染這些部分；

后背視圖的渲染紋理可能看起來(lái)模糊，這是因?yàn)?2D 姿勢(shì)條件模型大多是在人類正面視圖上訓(xùn)練的，而人類后視圖的先驗(yàn)知識(shí)很少。

審核編輯：湯梓紅