我們一篇關(guān)于人體動(dòng)作預(yù)測(cè)的研究工作被計(jì)算機(jī)視覺國(guó)際頂級(jí)會(huì)議ICCV 2023錄用，代碼[1]開源，demo講解[2]、項(xiàng)目主頁[3]、中文文檔[4]開放。

HumanMAC: Masked Motion Completion for Human Motion Prediction 主頁：https://lhchen.top/Human-MAC 論文：https://arxiv.org/abs/2302.03665 代碼：https://github.com/LinghaoChan/HumanMAC

人體動(dòng)作預(yù)測(cè)是計(jì)算機(jī)視覺和圖形學(xué)中的一個(gè)經(jīng)典問題，旨在提升預(yù)測(cè)結(jié)果的多樣性、準(zhǔn)確性，并在自動(dòng)駕駛、動(dòng)畫制作等多領(lǐng)域有非常多具體的應(yīng)用。本研究梳理了今年來大家對(duì)于該問題的建模方式，認(rèn)為以往的大多數(shù)工作對(duì)于動(dòng)作預(yù)測(cè)任務(wù)都是使用一種encoding-decoding的范式。這類范式大多是將觀測(cè)幀編碼進(jìn)隱空間，然后從隱空間解碼出預(yù)測(cè)幀。我們認(rèn)為這種方式存在三個(gè)缺點(diǎn)：

大多數(shù)SOTA的方法需要多個(gè)loss作為目標(biāo)約束，需要精細(xì)化地調(diào)節(jié)多個(gè)loss之間的權(quán)重，需要極其繁重的調(diào)參工程。

大多數(shù)SOTA的方法需要多階段訓(xùn)練，特別是需要預(yù)訓(xùn)練encoder和decoder，這使得預(yù)測(cè)結(jié)果非常依賴于預(yù)訓(xùn)練的質(zhì)量。

對(duì)于這些方法來說，很難實(shí)現(xiàn)不同類別運(yùn)動(dòng)的切換，例如從“WalkDog”到“Sitting”的切換，這對(duì)于結(jié)果多樣性至關(guān)重要。出現(xiàn)這個(gè)現(xiàn)象的原因是這些方法所使用的訓(xùn)練數(shù)據(jù)包括很少這樣的切換。

為克服上述問題，我們提出了一種建模動(dòng)作預(yù)測(cè)問題的全新范式：掩碼動(dòng)作補(bǔ)全。如圖1(b)所示，我們認(rèn)為預(yù)測(cè)問題就是一種特殊的補(bǔ)全問題，可以借助diffusion model的補(bǔ)全能力解決上述挑戰(zhàn)。如果使用這種范式，我們是需要一個(gè)loss、訓(xùn)練一個(gè)階段就可以實(shí)現(xiàn)預(yù)測(cè)，可以說是“大道至簡(jiǎn)”。并且由于我們建模了全局的動(dòng)作，模型很容易學(xué)習(xí)到平滑性，就能自動(dòng)實(shí)現(xiàn)動(dòng)作的切換。

encoding-decoding方式與掩碼運(yùn)動(dòng)補(bǔ)全的比較。(a)encoding-decoding的方法將觀測(cè)幀顯式地編碼到隱空間，然后將隱空間變量解碼為預(yù)測(cè)結(jié)果。(b)HumanMAC在訓(xùn)練階段由噪聲生成運(yùn)動(dòng)。在推理階段完成補(bǔ)全動(dòng)作的任務(wù)。

為了解決動(dòng)作抖動(dòng)等問題，我們借鑒了以往工作在頻域建模的思路[5][6]，通過DCT變換，對(duì)數(shù)據(jù)在頻域進(jìn)行訓(xùn)練。也就是說，我們的diffusion model是動(dòng)作頻譜的生成模型，在輸出結(jié)果的時(shí)候只需要做iDCT變換即可復(fù)原動(dòng)作。為此，我們?cè)O(shè)計(jì)了一個(gè)補(bǔ)全算法：DCT-Completion。算法流程和示意圖如下。

由于動(dòng)作預(yù)測(cè)的問題只是一個(gè)特殊的掩碼補(bǔ)全問題，我們可以靈活地使用mask實(shí)現(xiàn)各種“花式”可控動(dòng)作補(bǔ)全：

動(dòng)作切換

動(dòng)作切換

特定軀體可控動(dòng)作編輯

特定軀體可控動(dòng)作編輯

在量化指標(biāo)上我們僅僅通過一個(gè)loss、一階段訓(xùn)練就可以和以往的工作不相上下了（我們還比較了最新的arxiv算法）。多樣性的指標(biāo)遜色于baseline方法的原因，主要來自于baseline方法生成的“多樣”結(jié)果存在大量的failure cases，詳情可以見論文和demo中的可視化結(jié)果比較。

主實(shí)驗(yàn)結(jié)果

在正文中，我們對(duì)網(wǎng)絡(luò)結(jié)構(gòu)、DCT設(shè)計(jì)、頻譜頻段選擇、網(wǎng)絡(luò)結(jié)構(gòu)、采樣步數(shù)、噪聲建模等進(jìn)行了精細(xì)的消融驗(yàn)證。同時(shí)，由于以往研究的codebase計(jì)算效率太低，我們重新優(yōu)化了評(píng)估代碼并開源（加速上千倍），為后續(xù)研究者提供便利。

為了探究模型的泛化性能，我們還做了在H3.6M數(shù)據(jù)訓(xùn)練，在AMASS上做zero-shot預(yù)測(cè)實(shí)驗(yàn)的研究，效果也特別好。

AMASS上的zero-shot預(yù)測(cè)實(shí)驗(yàn)

這是我們基于對(duì)動(dòng)作生成任務(wù)全新理解，在動(dòng)作預(yù)測(cè)問題上的一個(gè)探索性工作。我們的大量實(shí)驗(yàn)表明這種框架的擴(kuò)展性非常好，還有很大的擴(kuò)展空間，歡迎大家關(guān)注我們的后續(xù)工作。

該研究是我和原來本科的同學(xué)多次交流獲得的靈感，在此也感謝一下母校。衷心感謝所有合作者，特別是Xiaobo全方位的指導(dǎo)，讓我獲益匪淺(^_^)。P.S.: 該工作做完剛剛掛出arxiv的時(shí)候就有很多工業(yè)界的同行發(fā)郵件來交流，甚至希望部署到他們的產(chǎn)品線中，給予了我們極大的鼓舞，在此也向他們表示感謝。