由于智能手機(jī)上沒有深度攝像頭，在手機(jī)上的動作捕捉就必須依靠單目動捕，基于單目的的動作捕捉方案就成了一個(gè)必須跨過的門檻。而由于實(shí)際中存在的像遮擋、深度、難以估計(jì)骨架姿勢等問題，單目動作捕捉的解決方案就變得比較復(fù)雜。

最近，瑞士洛桑聯(lián)邦理工學(xué)院（EPFL）和德國普朗克計(jì)算機(jī)研究所的研究人員發(fā)表論文，展示了一種基于單個(gè)單眼相機(jī)的“無標(biāo)記性能捕獲技術(shù)”MonoPerfCap，可以實(shí)現(xiàn)基于單目的動作捕捉，并且可以實(shí)現(xiàn)服裝的3D重建。

簡單來說，MonoPerfCap的原理分兩步完成，首先是將攝像頭繞目標(biāo)人物一圈，在這個(gè)過程中，可以實(shí)現(xiàn)對目標(biāo)人物輪廓的識別和信息的采集，并且基于輪廓生成一個(gè)目標(biāo)人物的骨架模型，這樣有利于動作的捕捉，而其它信息的采集可以應(yīng)用到外部模型的渲染。

論文表示，MonoPerfCap基于輪廓的姿態(tài)細(xì)化改善了姿態(tài)估計(jì)和輪廓分割。 姿勢估計(jì)中的錯(cuò)誤導(dǎo)致在左臂附近不準(zhǔn)確的背景減法。而MonoPerfCap的姿態(tài)細(xì)化將手臂骨架向左移動到正確的位置。 剪影在第二輪廓提取之后分割被顯著地細(xì)化基于精確的姿勢（e）。

第二步是基于第一步識別的骨架模型計(jì)算出連接點(diǎn)，再基于卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)估計(jì)出做動作時(shí)骨架姿勢的變化，隨后在骨架模型上渲染出整個(gè)人身體的輪廓。

通過使用這種提出的方法，我們不僅可以重建人體姿勢，而且還可以重建衣服的穿著動作，并且使我們能夠從自由的角度進(jìn)行渲染。但是，高速運(yùn)動時(shí)和出現(xiàn)強(qiáng)遮擋時(shí)的識別變得略不穩(wěn)定。

MonoPerfCap的研究人員將自己的動作捕捉分別和2015、2016、2017的方法比較，用MonoPerfCap方法得到的結(jié)果優(yōu)于其它方法的結(jié)果，甚至已經(jīng)非常接近8臺攝像機(jī)多視角動作捕捉的結(jié)果。

首先，這種捕捉方法必須依靠大約半分鐘的對目標(biāo)人物的圓形掃描，雖然之后的處理是不需要人干預(yù)的，但仍然略顯麻煩。

另外，有的場景下的識別仍然有可能捕捉失敗，由于一般視角下對腳的捕捉很難實(shí)現(xiàn)，所以像有大量遮擋的情況或者當(dāng)運(yùn)動非常迅速的時(shí)候，就可能失敗。如果目標(biāo)人物穿著像風(fēng)衣或者夾克這樣的衣服時(shí)，很可能對攝像頭的識別造成干擾，從而無法捕捉。在論文的示例中，捕捉目標(biāo)都穿著比較貼近身體的衣服。

這是論文對各個(gè)人物目標(biāo)的識別示例，可以看到識別效果比較好，另外衣服和身體的細(xì)節(jié)渲染也不錯(cuò)。

前兩天我們還剛提到過一個(gè)單目動捕方案Vnect，它們在原理上的差別其實(shí)不大，同樣是基于骨架模型，同樣利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，區(qū)別在于Vnect只能估算出骨架的姿勢模型，MonoPerfCap還添加了估計(jì)外部身體姿勢和和衣服細(xì)節(jié)的能力，相對來說更加成熟。

其實(shí)，MonoPerfCap的方案不止可以應(yīng)用到動作捕捉上，就論文中實(shí)現(xiàn)的方案來看，這個(gè)方案同樣可以用來識別合適的視頻中人物的動作。

總而言之，MonoPerfCap可以適用于各種不同的場景，復(fù)雜的背景也不會對識別結(jié)果產(chǎn)生影響，在性能方面也已經(jīng)超越了之前的方案，細(xì)節(jié)渲染尤其可圈可點(diǎn)，可以說是一個(gè)比較出彩的單眼動作捕捉方案了。對此有興趣的同學(xué)也可以點(diǎn)擊閱讀原文下載論文。