編者按：

自古以來，人類形象已被廣泛記錄在繪畫、雕塑等形式多樣的藝術作品中，但目前大多數(shù)以人為中心的計算機視覺任務，都僅僅關注了現(xiàn)實世界中的真實照片，而忽略了人在虛擬場景下的表征。

針對于此，IDEA 研究院的 CVPR 2023 入選論文之一“Human-Art: A Versatile Human-Centric Dataset Bridging Natural and Artificial Scenes”，提出了首個同時包含現(xiàn)實和虛擬場景的大規(guī)模全場景人體數(shù)據(jù)集 Human-Art，現(xiàn)已正式開源。

本期《IDEA有研知》為你詳細介紹Human-Art 數(shù)據(jù)集及下游任務表現(xiàn)。另外，本文作者在博士階段首篇投稿論文即中CVPR，文末“科研有門道”環(huán)節(jié)將帶你一同聽聽她的科研心得~

話不多說

先來看看 Human-Art 輔助訓練的模型效果

天馬行空的兒童簡筆畫，大人未必數(shù)得清

用Human-Art訓練的模型能輕松辨認計算

創(chuàng)作中國傳統(tǒng)皮影畫，已有模型束手無策？

用Human-Art訓練一下，一鍵即可生成

左：原始Stable Diffusion模型生成圖

右：使用包含Human-Art數(shù)據(jù)微調(diào)后的模型生成圖

上圖給定文本：

“一張描述了三個人坐在中國亭子的皮影戲圖片”

上圖給定文本：

“一張描述了三個女人走路的色彩豐富的皮影戲圖片”

Human-Art 數(shù)據(jù)集現(xiàn)已正式開源

涵蓋5個真實場景和15個虛擬場景

代碼地址：

https://github.com/IDEA-Research/HumanArt

項目主頁：

https://idea-research.github.io/HumanArt/

5萬張圖像，超12.3萬個人物形象，

Human-Art為CV領域拓展虛擬場景

在照相機發(fā)明前，人類形象已在各類藝術創(chuàng)作載體上被記錄和呈現(xiàn)。從古代的壁畫到紙上的水墨畫、油畫，以及姿態(tài)豐富的人體雕塑，再到如今AIGC創(chuàng)作出各種各樣的虛擬人物，大量的藝術作品同樣提供了與人體相關的、豐富多樣的視覺數(shù)據(jù)。

然而，現(xiàn)有的計算機視覺任務、訓練的數(shù)據(jù)集等大多只關注到了真實世界的照片，這導致相關模型在更豐富的場景下，常常出現(xiàn)性能下降甚至完全失效的問題。即使是SOTA性能的人體檢測模型，面對虛擬場景的人體數(shù)據(jù)時也往往令人大失所望，檢測準確率不足20%。

已有工作關注到了虛擬場景數(shù)據(jù)集稀缺的問題，如ClassArch、Sketch2Pose、People-Art等數(shù)據(jù)集納入了人造場景下的數(shù)據(jù)，但都存在數(shù)據(jù)規(guī)模?。ㄗ疃嗟腃lassArch也僅收集了1513張照片），僅能支持單一場景的人體檢測任務等不足。

Human-Art數(shù)據(jù)集與常用數(shù)據(jù)集的對比

經(jīng)過近半年的工作，本文研究團隊收集了來自5個現(xiàn)實場景和15個虛擬場景的5萬張高質(zhì)量圖像，提出了首個同時包含現(xiàn)實和虛擬場景，具有人體框、人體關鍵點、自接觸點及文本描述的多場景大規(guī)模數(shù)據(jù)集Human-Art，彌補了先前數(shù)據(jù)集場景不足等問題。

Human-Art選取的場景，包括3個3D虛擬場景和12個2D虛擬場景。圖片風格除了常見的油畫、水墨畫等繪畫外，還有線條簡單的兒童簡筆畫、素描畫，形象大小各異的卡通畫，造型和服裝繁復的手辦模型，以及中國傳統(tǒng)的皮影等等。不同的場景都存在一定的數(shù)據(jù)處理難題，部分場景如雕塑、壁畫的人物形象殘缺或極難辨認等，需要研究團隊耗費大量時間和人力解決。（小編：聽說搭建數(shù)據(jù)集初期收集了近100萬張圖片，需要靠作者肉眼快速辨認才完成初篩……）經(jīng)年累月斑駁褪色、細節(jié)難辨的壁畫

也是Human-Art數(shù)據(jù)集涵蓋的場景之一

Human-Art 每張圖片標注了人體框、21 個人體關鍵點、自接觸點及文本描述信息。為方便學術界和工業(yè)界的使用，Human-Art定義的21個人體關鍵點擴展了真實人體數(shù)據(jù)集MSCOCO中定義的17個關鍵點，新增4個腳趾尖、手指尖關鍵點。

Human-Art的21個標注點信息

Human-Art 可支持多項人體相關的計算機視覺任務，如全場景人體檢測、全場景人體 2D/3D 姿態(tài)估計、全場景人體圖片生成，并為各項下游任務提供基準結(jié)果。相信未來將有助于提升各類模型在虛擬場景下訓練的性能，也可以為更多研究方向如 out-of-distribution（OOD）問題等提供幫助，為學術界帶來更多思考。

支持多項以人為主的下游視覺任務，

經(jīng)Human-Art訓練的模型表現(xiàn)如何？

下游任務一：人體檢測

人體檢測（Human Detection）是從場景中識別并框出人物。過往的檢測方案存在兩個問題：一是大多選用通用的物體數(shù)據(jù)集訓練，沒有特別針對人做檢測，二是使用的數(shù)據(jù)集通常僅僅包含現(xiàn)實場景，人體檢測器在虛擬風格上的泛化性極差。

Human-Art中的圖片均以人為中心，支持對風格更具包容性的人體檢測器訓練。為了論證Human-Art數(shù)據(jù)集對于多風格訓練的作用，研究團隊在四個檢測器（Faster R-CNN、YOLOX、Deformable DETR、DINO）上進行了實驗。

四種主要檢測器

使用Human-Art訓練測試結(jié)果

可以看到，未經(jīng)過Human-Art訓練的檢測器在多風格人體數(shù)據(jù)上表現(xiàn)極差，而經(jīng)過訓練后，F(xiàn)aster R-CNN檢測準確率在皮影風格上的提升可以高達56%，平均準確率提升達到31%。

下游任務二：2D人體姿態(tài)估計

人體姿態(tài)估計（Human Pose Estimation）是通過圖片還原其中人體關鍵點的位置，主要劃分為2D人體姿態(tài)估計和3D人體姿態(tài)估計。復雜姿態(tài)、遮擋和多樣化的背景，使其仍然相當具有挑戰(zhàn)性。

2D人體姿態(tài)估計可以被主要分為三類：自頂向下的方法（top-down）、自底向上的方法（bottom-up），以及單階段方法（one-stage）。與人體檢測類似，人體姿態(tài)識別也存在在虛擬風格上的泛化性問題。

2D人體姿態(tài)估計中

使用Human-Art訓練前后對比

研究團隊在實驗中對比了三類方法在Human-Art上的結(jié)果。由于自頂向下的方法嚴重依賴于檢測器，使用未經(jīng)訓練的人體姿態(tài)檢測器直接測試后的表現(xiàn)較難提升。相比之下，自底向上和單階段方法訓練的檢測器達到了更高精度，如自底向上方法HigherHRNet在多風格數(shù)據(jù)上的結(jié)果相比自頂向下的SOTA方法ViTPose有約6個點的提升，單階段方法ED-Pose框架訓練的模型準確率更是高出近10個點。（拓展了解：ICLR 2023入選論文ED-Pose）

下游任務三：3D人體姿態(tài)估計

單目3D人體姿態(tài)估計的深度信息檢測一直是任務難題，Human-Art標注的自接觸點信息能優(yōu)先緩解這一問題。自接觸點通過合理的深度優(yōu)化，將接觸區(qū)域映射到粗略SMPL模型（一種常用3D人體姿態(tài)的表征方法）的頂點上，最小化接觸頂點之間的距離。

Human-Art標注的自接觸關鍵點

能幫助優(yōu)化3D人體姿態(tài)估計

下游任務四：圖片生成

Stable Diffusion等模型的提出，讓圖片生成任務成為領域內(nèi)外的話題熱點。然而現(xiàn)有生成的人物類圖像，仍存在如多手多腳/少手少腳、肢體位置錯亂等問題，且無法更為精準地控制生成地人體姿態(tài)等。

Human-Art提供了豐富的以人為中心的圖片及對應標注，能為生成具有合理結(jié)構(gòu)人體的圖片提供了良好先驗。同時，由于其豐富的標注，Human-Art可以有效輔助可控生成（如Text2Image、Pose & Text2Image），例如使用姿態(tài)信息（Pose）和文本（Text）信息訓練作為條件指導生成。

Pose & Text2Image模型效果對比

圖中Ours為基于Stable Diffusion改進的模型

在Human-Art及其他數(shù)據(jù)上共同訓練的結(jié)果

審核編輯 ：李倩