在近期舉行的SIGGRAPH ASIA 2018大會上，中英科學(xué)家提出了首個全自動3D模型變形傳播方法，不需要配對訓(xùn)練數(shù)據(jù)，也無需任何手工調(diào)整，自動將物體A的形變傳播到物體B上，效果自然，解決了真實(shí)應(yīng)用場景中配對模型數(shù)據(jù)少的老大難。

還記得黃教主的那段炫酷舞蹈嗎，和邁克爾·杰克遜一樣舞出太空步！

當(dāng)然，教主沒有真的在跳舞，只是錄了一段普通的視頻。有算法將邁克爾·杰克遜源視頻中的“舞姿”識別出來，再將相關(guān)的肢體動作投射到教主身上，這樣，就得到了右邊的魔性視頻。

這樣的算法屬于模型變形傳播方法。傳統(tǒng)上講，要實(shí)現(xiàn)這樣的轉(zhuǎn)換，需要在源-目標(biāo)模型對的模型上手工標(biāo)注關(guān)鍵對應(yīng)點(diǎn)，或是需要成對的模型輸入用以訓(xùn)練轉(zhuǎn)換算法。

然而，手工標(biāo)注費(fèi)時費(fèi)力，而且在真實(shí)應(yīng)用場景中，也難以能找到成對匹配的兩種模型庫。

為了解決這個問題，中科院計算所、卡迪夫大學(xué)和浙江大學(xué)的研究人員合作，提出了一種全新的3D模型變形傳播方法，可以全自動地將一個人體的3D模型運(yùn)動序列傳播到另一個機(jī)器人的運(yùn)動序列上（如下圖一所示），這中間不需要任何的手工交互。圖二展示了一個手的運(yùn)動自動驅(qū)動牛仔褲運(yùn)動的效果。

圖一：運(yùn)動人體到機(jī)器人模型的自動變形傳播與模型合成

圖二：通過手勢運(yùn)動自動驅(qū)動牛仔褲運(yùn)動

研究人員在日前于日本東京舉行的計算機(jī)圖形學(xué)頂會SIGGRAPH ASIA 2018展示了他們的研究成果。本屆SIGGRAPH ASIA 2018有超過一萬人參會，包括學(xué)者、工程師、藝術(shù)家和學(xué)生等。相關(guān)研究論文“Automatic Unpaired Shape Deformation Transfer”，被期刊ACM Transactions on Graphics（中科院JCR分區(qū)Q1區(qū)）收錄。

研究人員表示，“這項(xiàng)工作提出了第一個全自動的、不需要成對模型訓(xùn)練的模型自動變形傳播算法?！?/p>

現(xiàn)實(shí)世界中廣泛存在的“模仿”行為，在某種意義上就是變形傳播。例如，人想模仿丹頂鶴走路的樣子，人會先觀察自身和丹頂鶴的各種動作，推斷兩種生物做動作的特點(diǎn)，思考人和鶴之間相似之處，最后推斷出人如何能做出最像丹頂鶴的動作。

基于這一思考，研究人員提出了一種新的深度學(xué)習(xí)模型VAE-Cycle GAN（簡稱VC-GAN）來完成自動變形傳播任務(wù)。相對于圖像，三維網(wǎng)格模型是更不規(guī)則的數(shù)據(jù)結(jié)構(gòu)，該方法通過一種可以表示大尺度三維模型變形的ACAP特征對三維模型進(jìn)行特征提取，之后在此特征上用VAE降維，用以更緊湊地表示三維模型。

圖三：VAE-Cycle GAN (VC-GAN)的網(wǎng)絡(luò)結(jié)構(gòu)圖示

VC-GAN的網(wǎng)絡(luò)模型則如上圖三所示：它首先對輸入的3D模型計算了適用于處理大幅度變形的ACAP 變形特征表示；然后，通過一個作用于3D網(wǎng)格結(jié)構(gòu)上的變分自編碼器（VAE）網(wǎng)絡(luò)，將源模型和目標(biāo)模型的特征表示分布映射到低維隱含層空間上，再使用Cycle-GAN來學(xué)習(xí)出兩個模型隱含層之間的對應(yīng)映射；最后，作者引入了光場距離（lightfield distance）來確保生成的目標(biāo)模型和源模型盡可能相似，由于光場距離的計算并不可導(dǎo)，他們還設(shè)計了一個網(wǎng)絡(luò)simNet來回歸該光場距離。

與具有規(guī)則定義域的2D圖像不同，3D模型缺乏規(guī)則的定義域，同時源模型和目標(biāo)模型之間缺乏對應(yīng)關(guān)系，這使得基于GAN的網(wǎng)絡(luò)難以直接應(yīng)用，而基于體素的3D-GAN又難以生成具有高精細(xì)度的三維模型，VC-GAN的引入解決了這些問題。

基于三維網(wǎng)格數(shù)據(jù)的VAE網(wǎng)絡(luò)將三維模型的變形規(guī)律映射到一個規(guī)則的隱空間，并通過上述VC-GAN來建立隱空間上的映射關(guān)系，進(jìn)而可以進(jìn)行全自動變形傳播，同時基于ACAP特征的VAE的引入，也使得生成的三維模型具有更好的細(xì)節(jié)和更加真實(shí)的效果。