當(dāng)剛?cè)腴T深度對(duì)抗網(wǎng)絡(luò)（GAN），我們可能會(huì)遇到的第一個(gè)問題是：應(yīng)該從哪篇論文開始讀起呢？如果有著這樣的疑問，那就看看這篇GAN論文閱讀路線圖吧。

針對(duì)深度對(duì)抗網(wǎng)絡(luò)（GAN）的初學(xué)者，來自中東科技大學(xué)的學(xué)者?dil Sülo給出了GAN論文閱讀路線圖，以幫助人們更好更快地通過大量閱讀入門GAN。

路線圖按照下面四個(gè)準(zhǔn)則構(gòu)建而成：

從提綱到細(xì)節(jié)

從經(jīng)典到前沿

從通用領(lǐng)域到特定領(lǐng)域

專注于最先進(jìn)的技術(shù)

Generative Adversarial Networks – Paper Reading Road Map

今年夏天，我在我的實(shí)習(xí)工作中重點(diǎn)研究了Generative Adversarial Networks（GAN）。 起初，我對(duì)這個(gè)模型知之甚少，所以實(shí)習(xí)的最初幾周進(jìn)行了大量的紙質(zhì)閱讀。 為了幫助其他想要了解更多關(guān)于GAN技術(shù)的人，我想按照我閱讀的順序分享一些我讀過的文章。

在閱讀這些論文之前，如果您不熟悉這些論文，我建議您學(xué)習(xí)一些深度學(xué)習(xí)的基礎(chǔ)知識(shí)。 我也相信其中一些論文背后的數(shù)學(xué)可能非常困難，所以如果你覺得不舒服，你可以跳過這些部分。

這是我的論文閱讀路線圖，我給出了一些我自己關(guān)于論文的評(píng)論：

1. NIPS 2016 Tutorial: Generative Adversarial Networks

這是Ian Goodfellow的一個(gè)教程，介紹了GANS的重要性、它們的工作原理、與它們相關(guān)的研究前沿以及將GANS與其他方法結(jié)合起來最前沿的視覺模型。本教程首先介紹GANS的應(yīng)用實(shí)例。然后，Ian Goodfellow對(duì)GANS和其他模型，如變分編碼器進(jìn)行了比較。Goodfellow后來解釋了生成器和判別器是如何工作的，并且還描述了它們之間的關(guān)系。接下來，Goodfellow給出了改進(jìn)GANS性能的一些技巧和竅門，以及與GANS相關(guān)的一些研究前沿。他還提及了GANS面臨的問題，比如模式崩塌。最后，Goodfellow提出了一些實(shí)際操作和解決方法。

Paper link: https://arxiv.org/abs/1701.00160

2. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks

這篇論文描述了一種使卷積GAN訓(xùn)練更加穩(wěn)定的新型結(jié)構(gòu)——深度卷積生成網(wǎng)絡(luò)（DCGAN）。研究人員給出了這種結(jié)構(gòu)的一些指導(dǎo)方針，例如為更深的結(jié)構(gòu)移除全連接的隱藏層，為生成器和鑒別器使用 batch normalisation，在生成器中為除輸出層之外的所有層使用ReLU，以及在鑒別器中的所有層使用LeakyReLU。

Paper link: https://arxiv.org/abs/1511.06434

3. Wasserstein GAN

本文提出了一種Wasserstein GAN（WGAN）來優(yōu)化GANs的訓(xùn)練過程。借助于WGAN，作者避免了模式崩塌等問題，并提供了可以調(diào)試和超參數(shù)搜索的學(xué)習(xí)方式，使用weight clipping來進(jìn)行了一個(gè)Lipschitz約束，但是將在下一篇文章中看到另一種技術(shù)，將改進(jìn)這部分。

Paper link: https://arxiv.org/abs/1701.07875

4. Improved Training of Wasserstein GANs

這篇論文發(fā)現(xiàn)，有時(shí)WGAN可能會(huì)出現(xiàn)不滿意的結(jié)果，如產(chǎn)生不好的例子，不能收斂等。這是由于上面提到的weight clipping的使用。在這個(gè)工作中，研究人員提出了一種替代weight clipping命名梯度懲罰的方法，把這種結(jié)構(gòu)稱為WGAN-GP，并表明這種技術(shù)的使用極大地提高了WGAN的性能。

Paper link:https://arxiv.org/abs/1704.00028

5. On the Regularization of Wasserstein GANs

為了提升GAN訓(xùn)練的穩(wěn)定性，這篇論文提出了一種新的懲罰項(xiàng)來加強(qiáng)Lipschitz約束。他們把這種結(jié)構(gòu)稱為WGAN-LP，并且在他們的實(shí)驗(yàn)中，他們把它與上面提到的WGAN-GP進(jìn)行比較。

Paper link: https://arxiv.org/abs/1709.08894

下面的論文提出了新的技術(shù)和結(jié)構(gòu)，可以作為最前沿的tricks 來使生成式對(duì)抗網(wǎng)絡(luò)的訓(xùn)練變得穩(wěn)定。

6. Is Generator Conditioning Causally Related to GAN Performance?

本文提出了一種重要的技術(shù)Jacobian Clamping。通過該技術(shù)的幫助，研究者提供了GAN生成器的conditioning 和由這些GAN生成器表示的模型的“質(zhì)量”之間存在因果關(guān)系的證據(jù)。

Paper link: https://arxiv.org/abs/1802.08768

7. Neural Photo Editing with Introspective Adversarial Networks

在這篇論文中，作者提出了感知圖像編輯器（Neural Photo Editor），它是一個(gè)圖像編輯界面，可以用生成神經(jīng)網(wǎng)絡(luò)的能力來對(duì)圖像進(jìn)行比較大的語(yǔ)義層面的合理修改。為了解決達(dá)到準(zhǔn)確重建而不損失特征性質(zhì)，作者提出了內(nèi)省對(duì)抗式網(wǎng)絡(luò)（Introspective Adversarial Network），該網(wǎng)絡(luò)將GAN和VAE創(chuàng)新地結(jié)合在一起。通過使用基于權(quán)重分享的擴(kuò)張卷積（weight-shareddilated convolutions）計(jì)算塊，該模型可以有效的獲得遠(yuǎn)程依賴（long-rangedependencies），并且通過正交正則化（Orthogonal Regularization）這樣一個(gè)新的權(quán)重正則化方法，提升了泛化表現(xiàn)。作者在CeleA，SVHN和CIFAR-100數(shù)據(jù)庫(kù)上驗(yàn)證了模型的有效性，并且產(chǎn)生了具有高視覺保真度的樣例和重構(gòu)圖片。

Paper link: https://arxiv.org/abs/1609.07093

8. GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium

在這篇論文中， 作者引入兩種基于時(shí)間尺度的跟新規(guī)則，它們被證明可以收斂到穩(wěn)定的局部納什均衡。

Paper link: https://arxiv.org/abs/1706.08500

9. Spectral Normalization for Generative Adversarial Networks

這篇文章提出一種稱為spectral normalization的新的權(quán)重歸一化技術(shù)，以穩(wěn)定GAN鑒別器的訓(xùn)練。

在高維空間中，鑒別器做出的密度比例估計(jì)往往不準(zhǔn)確，而且在訓(xùn)練中非常不穩(wěn)定，生成器網(wǎng)絡(luò)也難以學(xué)到目標(biāo)分布的多模態(tài)結(jié)構(gòu)。更糟糕的是，當(dāng)生成的和目標(biāo)數(shù)據(jù)分布區(qū)域不相交的時(shí)候，就存在著一個(gè)能完美區(qū)分生成的數(shù)據(jù)和目標(biāo)數(shù)據(jù)的鑒別器。一旦遇到了這樣的狀況、訓(xùn)練出了這樣的鑒別器，生成器的訓(xùn)練就基本停滯了，因?yàn)檫@樣產(chǎn)生的鑒別器的關(guān)于輸入的導(dǎo)數(shù)就成了0。這種情況讓作者們思考如何引入一些新的限制，避免訓(xùn)練出這樣的鑒別器。在這篇論文中，作者們提出了一種新的權(quán)重正則化方法，稱作“spectral normalization”（光譜標(biāo)準(zhǔn)化），它可以穩(wěn)定鑒別器網(wǎng)絡(luò)的訓(xùn)練過程。這種正則化方法的性質(zhì)很讓人喜歡：（1）只需要調(diào)節(jié)Lipschitz常數(shù)一個(gè)超參數(shù)，而且想到達(dá)到令人滿意的模型表現(xiàn)也不需要反復(fù)調(diào)試僅有的這一個(gè)參數(shù)；（2）方法的實(shí)現(xiàn)非常簡(jiǎn)單，額外的計(jì)算開銷也很小。

Paper link: https://arxiv.org/abs/1802.05957

10. Generalization and Equilibrium in Generative Adversarial Nets (GANs)

泛化能力是衡量生成模型好壞的一個(gè)重要標(biāo)準(zhǔn)，本文指出 JS 散度、Wasserstein 距離都不能很好地衡量模型的泛化能力，為此，文中提出了一種基于 discriminator 的 neural network divergence/distance，用于衡量模型的泛化能力。此外作者還證明了 WGAN 的純策略納什均衡解的存在性，并提出MIX+GAN（混合策略 GAN）的訓(xùn)練模式，該模式在實(shí)際訓(xùn)練中更穩(wěn)定，并且證明了混合策略納什均衡解的存在性。

Paper link: https://arxiv.org/abs/1703.00573