從單張圖片中估計人體的三維位姿是計算機視覺中一個重要的問題，不僅可以在人體重構(gòu)和行為監(jiān)控上發(fā)揮作用，更為機器人控制和遠程執(zhí)行提供了潛在的解決方案。卷積網(wǎng)絡(luò)可以有效的從圖像中檢測人體的關(guān)鍵點，得到精確的2D關(guān)節(jié)位置。但想要直接通過2D關(guān)節(jié)位置學(xué)習(xí)出包含關(guān)節(jié)位置和骨骼旋轉(zhuǎn)角度的3D位姿是十分困難的，需要解決高度非線性的映射問題。最近，日本產(chǎn)業(yè)綜合技術(shù)研究院的研究人員提出了一種新的方法，通過結(jié)合骨骼結(jié)構(gòu)的回歸器和基于3D位姿表達的交叉熱力圖回歸，實現(xiàn)了端到端的3D人體位姿預(yù)測，不僅能從單張RGB圖中預(yù)測出關(guān)節(jié)位置，同時還能準確得到連接在關(guān)節(jié)上的骨骼角度。此外研究人員還豐富了已有的MPII數(shù)據(jù)集并進行了有效的三維標(biāo)注。

預(yù)測三維位姿存在的挑戰(zhàn)

最近在人體位姿估計方面的工作取得了很大進展，但例如像OpenPose等模型只能生成2D層面的關(guān)節(jié)信息，生成3D的關(guān)節(jié)信息面臨著一系列挑戰(zhàn)。首先，需要對三維的關(guān)節(jié)位姿進行準確有效的表達，這關(guān)系到最終預(yù)測的精度。先前的方法使用了熱力圖（體積和2D熱力圖+深度）的方法實現(xiàn)了精確的3D位姿預(yù)測。但目前利用卷積網(wǎng)絡(luò)預(yù)測3D關(guān)節(jié)還沒有獲得較好的效果。此外對于應(yīng)用的角度，人們希望能夠同時獲得關(guān)節(jié)的位置和角度，即骨骼每一部分在空間中的位姿其次，對于3D人體位姿估計任務(wù)缺乏良好的、充分的數(shù)據(jù)集。相比2D的數(shù)據(jù)，3D關(guān)節(jié)位姿標(biāo)記更為復(fù)雜耗時。雖然可以利用運動捕捉系統(tǒng)（MoCap）和RGB相機同時記錄，但其獲得的場景有限。例如Human 3.6M數(shù)據(jù)集只包含了10種物體的周圍場景，使模型不能得到充分訓(xùn)練。

新方法

人體的骨骼結(jié)構(gòu)具有天然的連續(xù)性和固定的結(jié)構(gòu)空間，可以作為三維位姿估計的一個約束來使用。在機器人和生物力學(xué)領(lǐng)域，研究人員們經(jīng)常會使用正逆運動學(xué)的研究方法，在統(tǒng)計模型和人體骨架的約束下（骨骼相對長度、關(guān)節(jié)運動空間和對稱性等），從MoCap的2D關(guān)鍵點結(jié)果計算出3D位姿。在這一工作中，研究人員提出了SkeletonNet模型，通過結(jié)合骨骼結(jié)構(gòu)和關(guān)節(jié)3D位置的熱力圖表示實現(xiàn)了3D人體關(guān)節(jié)位姿的高精度估計。這一模型主要由負責(zé)從輸入圖像獲得初始解的骨旋轉(zhuǎn)網(wǎng)絡(luò)，基于此利用卷積熱力圖回歸器來恢復(fù)出更為精確的結(jié)果。模型的架構(gòu)如下圖所示：

骨旋轉(zhuǎn)回歸器（Bone rotation regressor）。首先，骨旋轉(zhuǎn)回歸器的任務(wù)是從輸入圖像中預(yù)測出人體全局的選擇信息以及每一個骨頭相對于整體的局部旋轉(zhuǎn)信息。由于人體骨骼構(gòu)造的特性，人體的全局位姿特征具有一系列離散的模式。例如坐姿、站立和躺下等姿勢都可以用離散的全局模式來表示，所以研究人員利用了分類器的原理來預(yù)測全局位姿。此外，每一個關(guān)節(jié)的運動空間在一定范圍內(nèi)是連續(xù)的，這意味著關(guān)節(jié)的局部角度預(yù)測可以用回歸模型很好的建模。

正交化（Gram Schmidt orthogonalization layer）。在通過分類器得到全局位姿RotG以及每個關(guān)節(jié)的局部旋轉(zhuǎn)RotB后，相乘就可以得到關(guān)節(jié)位姿的初始解了。但此時面臨著一個問題，如果這兩個矩陣不是正交陣的話，生成的位姿在尺度和外形上就會畸變。為了解決這個問題，研究人員又在結(jié)果添加了格拉姆施密特正交層來對先前得到的矩陣進行變換。將變換后的選擇矩陣相乘就可以得到每個關(guān)節(jié)有效的初始位姿，并通過初始位置矢量和角度關(guān)系計算得到關(guān)節(jié)的絕對位置。交叉熱力圖回歸器（Cross heatmap regressor）。為了得到更為精確的結(jié)果，研究人員們提出了交叉熱力圖的方法來優(yōu)化每個關(guān)節(jié)三維位姿的最終預(yù)測。這種交叉熱力圖由xy和zy方向堆疊的熱力圖構(gòu)成，兩個平面足夠描述關(guān)節(jié)在三維空間中的信息。將關(guān)節(jié)的三維位置投影到二維坐標(biāo)中，并經(jīng)過一系列可微運算可以得到每個關(guān)節(jié)的交叉熱力圖，通過回歸來優(yōu)化最終關(guān)節(jié)位置。最終的網(wǎng)絡(luò)的損失函數(shù)如下所示：

分別表示全局選擇、每個骨頭的旋轉(zhuǎn)、最終的旋轉(zhuǎn)、位置和交叉熱力圖損失。

數(shù)據(jù)集

為了對網(wǎng)絡(luò)進行充分的訓(xùn)練，研究人員對MPII數(shù)據(jù)進行了3D標(biāo)注，利用PMP（projected matching pursuit）等方法得到了原數(shù)據(jù)集中關(guān)節(jié)的三維位置，并利用標(biāo)注工具標(biāo)注了3D位姿。最終得到了10291張標(biāo)記圖像。

結(jié)果

實驗在重建誤差、旋轉(zhuǎn)和MPJPE(每關(guān)節(jié)平均位置誤差)上到得到了較好的結(jié)果。相較于今年cvpr的87.97mm的結(jié)果，這篇文章的MPJPE達到了69.9mm。

下圖中可以清楚的看到使用了格拉姆正交矩陣和交叉熱力圖對結(jié)果的提升作用，其中正交化讓生成結(jié)果的尺度和外形更加合理，而熱力圖回歸則大幅度的提高了模型預(yù)測的精度。

研究人員希望在未來繼續(xù)探索基于圖像的人體監(jiān)測應(yīng)用，包括從單張圖像檢測人體的形態(tài)、體重、接觸力甚至關(guān)節(jié)的扭矩等等。