一個新手畫家經(jīng)常會出現(xiàn)自己想畫的，和實際畫出來的效果大相徑庭的情況，但英偉達(NVIDIA)新開源的工具就厲害了，它利用生成對抗網(wǎng)絡(luò)（GAN），隨便幾個線條就能生成栩栩如生的圖像

使用該模型的互動應(yīng)用程序被命名為GauGAN，以此來致敬印象派畫家梵高。深度學(xué)習(xí)研究副總裁Bryan Catanzaro說：“通過簡單的草圖進行頭腦風(fēng)暴設(shè)計要容易得多，而且這種技術(shù)能夠?qū)⒉輬D轉(zhuǎn)換成高度逼真的圖像?！?/p>

Catanzaro將GauGAN背后的技術(shù)比作“智能畫筆”，可以填充草圖中的細節(jié)，粗略分割圖是顯示場景中物體位置的高級輪廓圖。下圖是一個NVIDIA樣本輸入和輸出

還有這樣的：

“這就像一張彩圖圖片描述了一棵樹在哪里，太陽在哪里，天空在哪里，”卡坦扎羅說。“然后神經(jīng)網(wǎng)絡(luò)能夠根據(jù)它對真實圖像的了解，填充所有的細節(jié)和紋理，折射，以及陰影和顏色?！?/p>

GauGAN 背后的技術(shù)來自來自英偉達和 MIT 的研究團隊。這個團隊，包括來自英偉達的 Ting-Chun Wang、劉明宇（Ming-Yu Liu），Taesung Park (當(dāng)時在英偉達實習(xí))，以及來自 MIT 的朱俊彥（Jun-Yan Zhu）。

目前，SPADE已經(jīng)在GitHub上獲得3616個Star，264個Fork。（GitHub地址：https://github.com/NVlabs/SPADE）

安裝方法

克隆這個 repo

gitclonehttps://github.com/NVlabs/SPADE.gitcdSPADE/

此代碼需要PyTorch 1.0和python 3+。需安裝依賴項

pipinstall-rrequirements.txt

此代碼還需要Synchronized-BatchNorm-PyTorch同步。

cdmodels/networks/gitclonehttps://github.com/vacancy/Synchronized-BatchNorm-PyTorchcpSynchronized-BatchNorm-PyTorch/sync_batchnorm.-rfcd../../

最后，如果你想要看見文中所展現(xiàn)的效果，你還需要一臺有8個 V100 GPU 的 NVIDIA DGX1 機器。