1、導(dǎo)讀

盡管大規(guī)模文本到圖像模型取得了重大進(jìn)展，但實(shí)現(xiàn)超現(xiàn)實(shí)的人類圖像生成仍然是一項(xiàng)理想但尚未解決的任務(wù)?，F(xiàn)有模型（例如穩(wěn)定擴(kuò)散和DALL·E2）往往會(huì)生成部分不連貫或姿勢不自然的人體圖像。為了應(yīng)對這些挑戰(zhàn)，我們的主要見解是，人類圖像本質(zhì)上具有多個(gè)粒度的結(jié)構(gòu)，從粗粒度的身體骨骼到細(xì)粒度的空間幾何。因此，在一個(gè)模型中捕獲顯式外觀和潛在結(jié)構(gòu)之間的這種相關(guān)性對于生成連貫且自然的人類圖像至關(guān)重要。為此，我們提出了一個(gè)統(tǒng)一的框架HyperHuman，它可以生成高度真實(shí)和多樣化布局的野外人類圖像。具體來說：

我們首先構(gòu)建一個(gè)以人類為中心的大規(guī)模數(shù)據(jù)集，名為HumanVerse，它由3.4億張圖像組成，具有人體姿勢、深度和表面法線等全面注釋。

接下來，我們提出了一種潛在結(jié)構(gòu)擴(kuò)散模型，該模型可以同時(shí)對深度和表面法線以及合成的 RGB 圖像進(jìn)行去噪。我們的模型在統(tǒng)一網(wǎng)絡(luò)中強(qiáng)制執(zhí)行圖像外觀、空間關(guān)系和幾何形狀的聯(lián)合學(xué)習(xí)，其中模型中的每個(gè)分支在結(jié)構(gòu)意識和紋理豐富性方面相互補(bǔ)充。

最后，為了進(jìn)一步提高視覺質(zhì)量，我們提出了一種結(jié)構(gòu)引導(dǎo)細(xì)化器來組合預(yù)測條件，以更詳細(xì)地生成更高分辨率。大量的實(shí)驗(yàn)表明，我們的框架具有最先進(jìn)的性能，可以在不同的場景下生成超逼真的人類圖像。

2、介紹

所提出的HyperHuman同時(shí)生成以文本和骨架為條件的粗略 RGB、深度、法線和高分辨率圖像?？梢詣?chuàng)建逼真的圖像和風(fēng)格化的渲染。

我們與最近的T2I模型進(jìn)行比較，顯示出更好的真實(shí)性、質(zhì)量、多樣性和可控性。請注意，在每個(gè)2x2網(wǎng)格（左）中，左上角是輸入骨架，而其他部分是聯(lián)合去噪的法線、深度和512x512的粗略 RGB。對于完整模型，我們合成的圖像高達(dá) 1024x1024（右）

3、方法

在潛在結(jié)構(gòu)擴(kuò)散模型（紫色）中，圖像x、深度d和表面法線n對標(biāo)題c和姿勢骨架p進(jìn)行聯(lián)合去噪調(diào)節(jié)。在結(jié)構(gòu)引導(dǎo)精煉器（藍(lán)色）中，我們構(gòu)建了更高分辨率生成的預(yù)測條件。請注意，灰色圖像是指隨機(jī)丟棄條件，以實(shí)現(xiàn)更穩(wěn)健的訓(xùn)練。

4、實(shí)驗(yàn)

MS-COCO 2014 驗(yàn)證人類的零樣本評估

我們將我們的模型與最近的 SOTA 通用 T2I 模型（Stable Diffusion v1.5、v2.0、v2.1；SDXL；DeepFloyd-IF）和可控方法（ControlNet；T2I-Adapter；HumanSD）進(jìn)行比較。請注意，SDXL 生成 512x512 的藝術(shù)風(fēng)格，而 IF 僅創(chuàng)建固定大小的圖像，我們首先生成 1024x1024 結(jié)果，然后針對這兩種方法將大小調(diào)整回 512x512。

MS-COCO 2014 驗(yàn)證人類子集的評估曲線

我們展示了所有方法的FID-CLIP（左）和FID CLIP -CLIP（右曲線，CFG比例范圍為4.0至20.0。

用戶偏好比較

我們報(bào)告了用戶更喜歡我們的模型而不是基線的比率

5、結(jié)論

我們提出了一種新穎的框架HyperHuman來生成高質(zhì)量的野外人體圖像。為了在統(tǒng)一網(wǎng)絡(luò)中加強(qiáng)圖像外觀、空間關(guān)系和幾何形狀的聯(lián)合學(xué)習(xí)，我們提出了潛在結(jié)構(gòu)擴(kuò)散模型，該模型可同時(shí)對深度和法線以及RGB進(jìn)行去噪。然后我們設(shè)計(jì)了結(jié)構(gòu)引導(dǎo)優(yōu)化器來構(gòu)建詳細(xì)生成的預(yù)測條件。大量的實(shí)驗(yàn)證明我們的框架具有卓越的性能，可以在不同的場景下生成逼真的人類。