如果照片中的人忽然走出來和你擁抱，你會作何反應(yīng)？華盛頓大學(xué)的研究人員重現(xiàn)了只存在《哈利波特》電影中的神奇場景，他們成功“喚醒”了照片，讓畫中人走出了相框，踏入了現(xiàn)實！

在系列電影《哈利波特》中，經(jīng)?？梢钥吹竭@樣的場景，形形色色的人可以自由地從現(xiàn)實世界走進畫中，也能從畫中走出來。現(xiàn)在，華盛頓大學(xué)的計算機科學(xué)家們將這種魔法般的場景帶到了現(xiàn)實中。

這個算法名為“照片喚醒”，可以從二維照片或藝術(shù)作品中提取出人物，讓他們動起來，跑到畫框之外。人們還可以使用增強現(xiàn)實工具觀看生成的3D動畫。研究人員將在6月19日舉行的CVPR 2019上展示這個成果。本研究論文的預(yù)印本去年12月在ArXiv上發(fā)布，引起了媒體的廣泛關(guān)注。

“這是計算機視覺中一個非常困難的根本問題，”論文共同作者、威斯康星大學(xué)的Paul G.Allen和計算機科學(xué)與工程學(xué)院副教授Ira Kemelmacher-Shlizerman說。 “其中的一大挑戰(zhàn)是輸入數(shù)據(jù)只來自一個攝像頭，因此畫中人物的一部分是看不見的。我們的研究將這個開放性問題上取得的技術(shù)進步與藝術(shù)創(chuàng)意的可視化結(jié)合起來。”

以前，研究人員認為只用一張照片制作一個人的動畫是不可能實現(xiàn)的。

“以前的一些研究試圖從多個視角創(chuàng)建一個3D角色，”艾倫學(xué)院教授，論文共同作者Brian Curless說。 “但仍然無法讓人物活生生地動起來，無法讓他們跑出一個場景之外，無法將AR帶入其中。這次只用一張照片就能得到一些令人眼前一亮的結(jié)果，這真的是個驚喜。”

研究人員表示，照片喚醒技術(shù)的可以應(yīng)用在多個領(lǐng)域。比如可以為游戲玩家以新的方式打造和自己非常相似的3D形象。藝術(shù)館中的游客可以與館中的繪畫作品展開前所未有的互動——比如坐下來，與蒙娜麗莎喝杯茶，或者讓孩子們的畫作中的人走出來。論文中給出了幾個例子，比如金州勇士隊的庫里就從照片中的籃球場上跑了出來。

球場上的斯蒂芬·庫里跑向照片外

為了使這種“魔法”成為現(xiàn)實，研究人員首先識別照片中的人物，并制作身體輪廓的面具。從那里，然后將3D模型與受試者的身體部位進行匹配。接下來的一步由算法完成：為了使模型的輪廓和形變情況看起來和照片中的人更加相似，會將3D的人模型再投射回2D平面上。

“我們很難精確地操控3D模型，”共同作者艾倫學(xué)院的博士生Chung-Yi Weng說道。 “也許能夠?qū)崿F(xiàn)粗略地控制，但是當為角色設(shè)置動畫時，任何偏差和錯誤都會表現(xiàn)的很顯眼。所以我們必須找到一種完美的處理方法，這在2D環(huán)境中更容易實現(xiàn)?！?/p>

畫家馬蒂斯的作品“伊卡洛斯”（1944）

"照片喚醒"服務(wù)會存儲每個像素的3D信息：包括距離攝像頭或藝術(shù)家的距離，以及人的關(guān)節(jié)的連接形式和細節(jié)。在對模板進行3D調(diào)節(jié)，成功匹配真人的姿勢和形狀之后，算法就會在紋理背景上粘貼。算法還通過來自圖像和3D模板的信息生成人的背部模型。然后利用工具將前后兩側(cè)接合在一起，形成一個能夠轉(zhuǎn)身活動的3D模型。

在3D形象生成完畢之后，需要由算法來設(shè)置并填充背景，確保背景中不留下空白區(qū)域部分。算法會借用圖像中其他部分的信息填充模型后方的空白背景部分。

“照片喚醒”服務(wù)還允許用戶使用AR工具以三維方式觀看動畫

目前，對于人物面向前方的藝術(shù)作品，本服務(wù)生成3D模型時最為得心應(yīng)手，可以為真實人物的藝術(shù)作品和照片生成動畫形象，對于一些身體被手臂遮擋的照片也可以處理，但目前還不能很好地處理雙腿交叉等復(fù)雜姿勢，以及身體大部分被遮擋的照片。

論文第一作者翁仲義（Chung-Yi Weng）表示，這是一種與照片實現(xiàn)3D互動的新方式，目前還遠遠算不上萬能，但這可能是朝這個方向邁進的第一步。