動(dòng)作捕捉在各行各業(yè)都有著重要的作用，我們實(shí)現(xiàn)它的方法主要有兩種。一是在電影和游戲當(dāng)中經(jīng)常使用的方式，通過在關(guān)節(jié)處貼上標(biāo)志來記錄運(yùn)動(dòng)軌跡；

二則是深度攝像頭，通過紅外來測(cè)量用戶的身體，這個(gè)大家都十分熟悉了。前者根本無法普及，后者在強(qiáng)光下效率低下，但擁有一個(gè)共同的優(yōu)良品質(zhì)—昂貴。

而市場(chǎng)上充滿的是普通智能手機(jī)，如果能夠僅僅通過普通智能手機(jī)的攝像頭實(shí)現(xiàn)身體追蹤，那這將是一個(gè)巨大的進(jìn)步。

除了便宜，普通攝像頭較深度攝像頭的另一大優(yōu)勢(shì)就是視野廣，可以用于大場(chǎng)景的使用。同時(shí)基于紅外的深度攝像頭在戶外陽光直射的條件下難以工作，2D攝像頭卻沒有這個(gè)煩惱。

目前，馬克思普朗克計(jì)算機(jī)科學(xué)研究所的科學(xué)家們研發(fā)出了一款只通過單個(gè)普通的2D攝像頭（比如普通智能手機(jī)的攝像頭），就能實(shí)時(shí)捕捉視頻中的3D動(dòng)作的系統(tǒng)。其效果可以媲美多個(gè)攝像頭或者深度攝像頭如Kinect的效果。

使用2D攝像頭獲得3D畫面是科技前沿的開發(fā)者一直在做的事情，我們?cè)啻翁岬竭^，簡(jiǎn)單點(diǎn)說就是通過深度學(xué)習(xí)，也就是看得多了就能通過2D畫面得出3D動(dòng)作，例如通過照片就能的出一個(gè)人樣貌的3D畫面。

用2D攝像頭捕捉3D動(dòng)作也是科學(xué)家們一直在做的，其中骨骼姿勢(shì)是其中的一大難題。前人的解決方案中，3D關(guān)節(jié)是十分不穩(wěn)定的，會(huì)發(fā)生嚴(yán)重的偏離，重新投影時(shí)會(huì)不準(zhǔn)確匹配2D位置。即使準(zhǔn)確，也只是在極短的時(shí)間內(nèi)，長(zhǎng)時(shí)間下還是不穩(wěn)定的。這導(dǎo)致他們大多數(shù)只能穩(wěn)定捕獲局部3D動(dòng)作，而不是全身。

VNect解決了時(shí)間問題，可以在短時(shí)間內(nèi)骨骼姿勢(shì)穩(wěn)定，同時(shí)還是全身動(dòng)作捕捉。

VNect采用卷積神經(jīng)網(wǎng)絡(luò)（CNN），拋棄了以往的100層設(shè)計(jì)，因?yàn)檫\(yùn)算時(shí)間過長(zhǎng)，不適合實(shí)時(shí)運(yùn)算，改為更淺的50層。同時(shí)了全新的公式，使得能以高精度輸出，同時(shí)運(yùn)行在30Hz以上。

在CNN的骨骼預(yù)測(cè)當(dāng)中，最重要的骨盆的3D姿勢(shì)，他們提出的姿態(tài)公式得出的結(jié)果，吻合度可與世界最先進(jìn)的離線方法媲美。通過組合預(yù)測(cè)2D和3D關(guān)節(jié)位置來確保關(guān)節(jié)的穩(wěn)定，同時(shí)應(yīng)用濾波步驟來確保隨著時(shí)間的推移還能夠平滑的跟蹤，提高了跟蹤姿態(tài)的穩(wěn)定性。

根據(jù)圖片拓展出來了2D熱圖，再捕獲關(guān)節(jié)的相對(duì)位置x、y、z，變?yōu)殛P(guān)節(jié)H。根據(jù)關(guān)節(jié)之間的長(zhǎng)度計(jì)算骨骼的長(zhǎng)度，這將成為預(yù)測(cè)動(dòng)作的重要依據(jù)。采集了通?？紤]的17個(gè)關(guān)節(jié)，還采取了腳尖的位置。

系統(tǒng)使用的是骨骼的平均數(shù)據(jù)，在剛開始的時(shí)候會(huì)有不穩(wěn)定的現(xiàn)象，因?yàn)閱蝹€(gè)攝像頭沒有其他數(shù)據(jù)可以參考，所以需要被跟蹤對(duì)象提供一次身高的數(shù)據(jù)，來實(shí)現(xiàn)穩(wěn)定的追蹤。

同時(shí)系統(tǒng)是完全卷積的，可以在目標(biāo)周圍缺少緊湊物的情況下運(yùn)作，并能預(yù)測(cè)不同的場(chǎng)景，這無疑給準(zhǔn)確的測(cè)量提供了堅(jiān)實(shí)的基礎(chǔ)。

在訓(xùn)練時(shí)，選擇了八個(gè)項(xiàng)目，五個(gè)與胸同高，2個(gè)與頭同高并向下傾斜，一個(gè)與膝蓋同高并向上傾斜，來學(xué)習(xí)在不同角度下保持穩(wěn)定。同時(shí)采用了多種組合，如背景、衣物（增多衣物）、障礙物（如椅子）等等。

結(jié)果是喜人的，在使用低端手機(jī)的相機(jī)條件下，在3D角色控制、姿態(tài)跟蹤等方面，質(zhì)量與深度攝像頭相當(dāng)，例如Xbox上的Kinect（也就是一代和二代，可不是最新的四代）。

在速度上，CNN計(jì)算需要18ms，骨架擬合需要7到10ms，預(yù)處理和過濾需要5ms，最多時(shí)間也只有33ms。

除去前文介紹的優(yōu)勢(shì)，該方案還具備深度攝像頭不具備的功能，比如坐在凳子上或其他四肢靠近場(chǎng)景物體時(shí)，Kinect發(fā)生明顯錯(cuò)亂，而2D解決方案卻成功了。不過當(dāng)雙腿交叉時(shí)，就較為困難了，這將是一個(gè)挑戰(zhàn)。

通過VNect，任何一個(gè)智能手機(jī)都能變成輕量級(jí)的全自動(dòng)手持動(dòng)作捕捉傳感器，這將使許多應(yīng)用變成可能，同時(shí)它還是開源的，可以使更多人參與到開發(fā)當(dāng)中。

不過它也存在著許多不足，VNect腳踝追蹤十分穩(wěn)定，但頭部準(zhǔn)確性十分差。而且單個(gè)2D攝像頭在深度捕捉上嚴(yán)重不足，任何一點(diǎn)細(xì)微的不準(zhǔn)確都可能導(dǎo)致很大的不同。在時(shí)間上也不夠長(zhǎng)，長(zhǎng)時(shí)間下追蹤也會(huì)發(fā)生抖動(dòng)。此外，遮擋還是一個(gè)十分嚴(yán)峻的挑戰(zhàn)，十分快的運(yùn)動(dòng)也是。