NVIDIA研究團(tuán)隊(duì)研發(fā)出了一種先進(jìn)的深度學(xué)習(xí)方法，可用于對(duì)圖像進(jìn)行編輯，或?qū)τ锌瞻谆蛳袼厝笔У氖軗p圖像進(jìn)行重建。

應(yīng)用該方法，研究人員能夠通過(guò)先清除內(nèi)容再填充所產(chǎn)生的空白這樣的操作，對(duì)圖像進(jìn)行編輯。這個(gè)“圖像修復(fù)”的過(guò)程，可靈活應(yīng)用于圖片編輯軟件中，用以移除不需要的內(nèi)容，同時(shí)用計(jì)算機(jī)生成的逼真圖像進(jìn)行填充。

“我們的模型能夠很好地處理任何形狀、大小、位置、或與圖像邊界的任意距離的空白，之前的深度學(xué)習(xí)方法主要集中于圖像中心的矩形區(qū)域，且通常依賴成本頗高的后期處理，”NVIDIA研究人員在其研究報(bào)告中指出?！按送?，我們的模型能夠更好地處理更大的空白區(qū)域?！?/p>

為準(zhǔn)備訓(xùn)練其神經(jīng)網(wǎng)絡(luò)，團(tuán)隊(duì)首先生成了55116個(gè)任意形狀和大小的隨機(jī)條紋和空白。他們還生成了近25000個(gè)條紋和空白用于測(cè)試。根據(jù)其相對(duì)于輸入圖像的大小，這些均被進(jìn)一步分為六類，以期提高圖像重建的準(zhǔn)確性。

生成的用于訓(xùn)練的蒙版示例

使用NVIDIA Tesla V100 GPU和cuDNN加速的PyTorch深度學(xué)習(xí)框架，團(tuán)隊(duì)通過(guò)將生成的蒙版應(yīng)用于來(lái)自ImageNet、Places2和CelebA-HQ數(shù)據(jù)集的圖像，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

在訓(xùn)練階段，將空白或缺失部分引入上述數(shù)據(jù)集的完整訓(xùn)練圖像中，使網(wǎng)絡(luò)能夠?qū)W會(huì)重建缺失的像素。

在測(cè)試階段，將未應(yīng)用于訓(xùn)練期間的不同空白或缺失部分引入數(shù)據(jù)集中的測(cè)試圖像，以對(duì)圖像重建的準(zhǔn)確性進(jìn)行無(wú)偏驗(yàn)證。

最新AI成像技術(shù)重建照片示例

研究人員表示，當(dāng)前基于深度學(xué)習(xí)的圖像修復(fù)方法成效有限，因?yàn)獒槍?duì)丟失像素的輸出必然取決于為找出丟失像素而必須提供給神經(jīng)網(wǎng)絡(luò)的輸入值。這就會(huì)導(dǎo)致圖像中出現(xiàn)諸如顏色差異和模糊等偽像。

為解決這一問(wèn)題，NVIDIA團(tuán)隊(duì)開(kāi)發(fā)了一種方法，確保了丟失像素的輸出不再有賴于為這些像素提供的輸入值。此方法采用了“部分卷積”層，可根據(jù)其相應(yīng)感受野（receptive field）的有效性，對(duì)每個(gè)輸出進(jìn)行“重新規(guī)格化”，確保輸出值不依賴于每個(gè)感受野中缺失像素的值。該模型基于通過(guò)這些部分卷積實(shí)施的UNet架構(gòu)而構(gòu)建。使用一組能夠?qū)⑻卣鲹p失、以及風(fēng)格損失與VGG模型相匹配的損失函數(shù)，可對(duì)模型進(jìn)行訓(xùn)練，以生成逼真的輸出。

因此，“該模型勝過(guò)早前的方法，”NVIDIA研究團(tuán)隊(duì)表示。

NVIDIA研究人員表示， “據(jù)我們所知，我們首次證實(shí)了針對(duì)不規(guī)則形狀空白進(jìn)行深度學(xué)習(xí)圖像修復(fù)模型的有效性，”

研究人員還在其論文中（Image Inpainting for Irregular Holes Using Partial Convolutions，還提及了他們可應(yīng)用相同的框架來(lái)處理圖像超分辨率任務(wù)。