眾所周知，對(duì)抗訓(xùn)練生成模型（GAN）在圖像生成領(lǐng)域獲得了不凡的效果。盡管基于GAN的無監(jiān)督學(xué)習(xí)方法取得了初步成果，但很快被自監(jiān)督學(xué)習(xí)方法所取代。

DeepMind近日發(fā)布了一篇論文《Large Scale Adversarial Representation Learning》（大規(guī)模對(duì)抗性表示學(xué)習(xí)），提出了無監(jiān)督表示學(xué)習(xí)新模型BigBiGAN。

致力于將圖像生成質(zhì)量的提升轉(zhuǎn)化為表征學(xué)習(xí)性能的提高，基于BigGAN模型的基礎(chǔ)上提出了BigBiGAN，通過添加編碼器和修改鑒別器將其擴(kuò)展到圖像學(xué)習(xí)。作者評(píng)估了BigBiGAN模型的表征學(xué)習(xí)能力和圖像生成功能，證明在ImageNet上的無監(jiān)督表征學(xué)習(xí)以及無條件圖像生成，該模型達(dá)到了目前的最佳性能。

論文發(fā)布后，諸多AI大牛轉(zhuǎn)發(fā)并給出了評(píng)價(jià)。

“GAN之父”Ian Goodfellow表示這很酷，在他讀博士期間，就把樣本生成雙產(chǎn)物的表示學(xué)習(xí)感興趣，而不是樣本生成本身。

特斯拉AI負(fù)責(zé)人Andrej Karpathy則表示，自我監(jiān)督的學(xué)習(xí)是一個(gè)非常豐富的領(lǐng)域(但需要比ImageNet提供更高的密度和結(jié)構(gòu))，這將避免大規(guī)模數(shù)據(jù)集的當(dāng)前必要性(或在RL中推出)。

1、介紹

近年來，圖像生成模型快速發(fā)展。雖然這些模型以前僅限于具有單模或多模的結(jié)構(gòu)域，生成的圖像結(jié)構(gòu)簡(jiǎn)單，分辨率低，但隨著模型和硬件的發(fā)展，已有生成復(fù)雜、多模態(tài)，高分辨率圖像的能力。

圖1 BigBiGAN框架框圖

聯(lián)合鑒別器，輸入是數(shù)據(jù)潛在對(duì)，

，從數(shù)據(jù)分布Px和編碼器輸出中采樣，或

從生成器輸出和潛在分布Pz中采樣。損失包括一元數(shù)據(jù)項(xiàng)和一元潛在項(xiàng)，以及將數(shù)據(jù)和潛在分布聯(lián)系起來的聯(lián)合項(xiàng)。

通過BiGAN或ALI框架學(xué)習(xí)的編碼器，是ImageNet上用于下游任務(wù)的可視化表示學(xué)習(xí)的有效手段。然而，該方法使用了DCGAN樣式生成器，無法在該數(shù)據(jù)集上生成高質(zhì)量圖像，因此編碼器可以建模的語(yǔ)義非常有限。作者基于該方法，使用BigGAN作為生成器，能夠捕獲ImageNet圖像中存在的多模態(tài)和出現(xiàn)的大部分結(jié)構(gòu)?？傮w而言，本文的貢獻(xiàn)如下：

（1）在ImageNet上，BigBiGAN（帶BigGAN的BiGAN生成器）匹配無監(jiān)督表征學(xué)習(xí)的最新技術(shù)水平

（2）為BigBiGAN提出了一個(gè)穩(wěn)定版本的聯(lián)合鑒別器

（3）對(duì)模型設(shè)計(jì)選擇進(jìn)行了全面的實(shí)證分析和消融實(shí)驗(yàn)

（4）表征學(xué)習(xí)目標(biāo)還有助于無條件圖像生成，并展示無條件ImageNet生成的最新結(jié)果

2、BigBiGAN

BiGAN、ALI方法作為GAN框架的擴(kuò)展，能夠?qū)W習(xí)可以用作推理模型或特征表示的編碼器。給定數(shù)據(jù)項(xiàng)x的分布Px（例如，圖像）和潛在項(xiàng)z的分布Pz（通常是像各向同性高斯N（0;I）的簡(jiǎn)單連續(xù)分布），生成器模擬條件概率分布

，給定潛在項(xiàng)z后數(shù)據(jù)項(xiàng)x的概率值，如標(biāo)準(zhǔn)GAN生成器。編碼器對(duì)逆條件分布

進(jìn)行建模，預(yù)測(cè)給定數(shù)據(jù)項(xiàng)x的情況下，潛在項(xiàng)z的概率值。

除了添加之外，BiGAN框架中對(duì)GAN的另一種修改是聯(lián)合鑒別器 - 潛在項(xiàng)對(duì)（x，z）（而不僅僅是標(biāo)準(zhǔn)GAN中的數(shù)據(jù)項(xiàng)x），并且學(xué)習(xí)區(qū)分?jǐn)?shù)據(jù)分布和編碼器對(duì)，生成器和潛在分布。具體地說，它的輸入對(duì)是

和

，和的目標(biāo)是“欺騙”鑒別器，使得被采樣的兩個(gè)聯(lián)合概率分布和難以區(qū)分。GAN框架的目標(biāo)，定義如下：

在這個(gè)目標(biāo)下，在最優(yōu)和最小化聯(lián)合分布和之間的Jensen-Shannon散度，因此在全局最優(yōu)時(shí)，兩個(gè)聯(lián)合分布

匹配。此外，在和是確定性函數(shù)的情況下（即，學(xué)習(xí)條件分布

和

是Dirac δ函數(shù)），這兩個(gè)函數(shù)是全局最優(yōu)的逆：例如

，最佳聯(lián)合鑒別器有效地對(duì)x和z施加重建成本。

具體地，鑒別器損失值

其中

優(yōu)化和參數(shù)

3、評(píng)估

作者在未標(biāo)記的ImageNet上訓(xùn)練BigBiGAN，固定其表征學(xué)習(xí)結(jié)果，然后在其輸出上訓(xùn)練線性分類器，使用所有訓(xùn)練集標(biāo)簽進(jìn)行全面監(jiān)督學(xué)習(xí)。 作者還測(cè)量圖像生成性能，其中

IS）和

FID）作為標(biāo)準(zhǔn)指標(biāo)。

3.1 消融

作者先評(píng)估了多種模型，見表1。作者使用不同的種子對(duì)每個(gè)變體進(jìn)行三次運(yùn)行并記錄每個(gè)度量的平均值和標(biāo)準(zhǔn)差。

潛在分布隨機(jī)值：

，其中在給定和線性輸出的情況下，預(yù)測(cè)

一元損失：

評(píng)估刪除損失函數(shù)的一元項(xiàng)影響。只有z一元項(xiàng)和沒有一元項(xiàng)的IS和FID性能要比只有x一元項(xiàng)和兩者都有的性能差，結(jié)果表明x一元項(xiàng)對(duì)生成性能有很大的正面影響。

生成器容量：

為了證明生成器在表征學(xué)習(xí)中的重要性，作者改變生成器的容量觀察對(duì)結(jié)果的影響。實(shí)驗(yàn)結(jié)果表明，好的圖像生成器模型能提高表征學(xué)習(xí)能力。

帶有不同分辨率的的高分辨率：

使用更高的分辨率，盡管的分辨率相同，但是生成結(jié)果顯著改善（尤其是通過FID）。

結(jié)構(gòu)：

使用不同結(jié)構(gòu)的評(píng)估性能，結(jié)果表明網(wǎng)絡(luò)寬度增加，性能會(huì)得到提升。

解耦優(yōu)化：

將優(yōu)化器與的優(yōu)化器分離，并發(fā)現(xiàn)簡(jiǎn)單地使用10倍的E學(xué)習(xí)速率可以顯著加速訓(xùn)練并改善最終表征學(xué)習(xí)結(jié)果。

3.2與已有方法比較

表征學(xué)習(xí)

表1：BigBiGAN變體的結(jié)果

在生成圖像的IS和FID中，以及ImageNet top-1分類準(zhǔn)確率，根據(jù)從訓(xùn)練集中隨機(jī)抽樣的10K圖像的分割計(jì)算，稱為Train分裂。每行中基本設(shè)置的更改用藍(lán)色突出顯示。具有誤差范圍的結(jié)果（寫為“μ±σ”）是具有不同隨機(jī)種子的三次運(yùn)行的平均值和標(biāo)準(zhǔn)偏差。

表2：使用監(jiān)督邏輯回歸分類器對(duì)官方ImageNet驗(yàn)證集上的BigBiGAN模型與最近競(jìng)爭(zhēng)方法的比較

基于10K訓(xùn)練集圖像的trainval子集的最高精度，選擇BigBiGAN結(jié)果并提前停止。ResNet-50結(jié)果對(duì)應(yīng)于表1中的行ResNet（“ELR”），RevNet-50×4對(duì)應(yīng)于RevNet×4（“ELR”）

表3：無監(jiān)督（無條件）生成的BigBiGAN與已有的無監(jiān)督BigGAN的比較結(jié)果

作者將“偽標(biāo)簽”方法指定為SL（單標(biāo)簽）或聚類。為了進(jìn)行比較，訓(xùn)練BigBiGAN的步數(shù)（500K）與基于BigGAN的方法相同，但也可以在最后一行中對(duì)1M步驟進(jìn)行額外訓(xùn)練，并觀察其變化。上述所有結(jié)果均包括中值m以及三次運(yùn)行的平均μ和標(biāo)準(zhǔn)偏差σ，表示為“m（μ±σ）”。BigBiGAN的結(jié)果由最佳FID與Train的停止決定的。

無監(jiān)督圖像生成

圖2：從無監(jiān)督的BigBiGAN模型中選擇的重建

上圖2中第一行表示真實(shí)數(shù)據(jù)x~Px；第二行表示由

3.3 重建

BiGAN E和G通過計(jì)算編碼器預(yù)測(cè)的潛在表示E(x)，然后將預(yù)測(cè)的潛在表示傳回生成器，得到重建的G(E(x))，從而重構(gòu)數(shù)據(jù)實(shí)例x。我們?cè)趫D2中展示了BigBiGAN重構(gòu)。這些重構(gòu)遠(yuǎn)非有像素級(jí)的完美度，部分原因可能是目標(biāo)并沒有明確強(qiáng)制執(zhí)行重構(gòu)成本，甚至在訓(xùn)練時(shí)也沒有計(jì)算重構(gòu)。然而，它們可能為編碼器學(xué)習(xí)建模的特性提供一些直觀的認(rèn)識(shí)。例如，當(dāng)輸入圖像包含一條狗、一個(gè)人或一種食物時(shí)，重建通常是相同“類別”的不同實(shí)例，具有相似的姿勢(shì)、位置和紋理。這些重構(gòu)傾向于保留輸入的高級(jí)語(yǔ)義，而不是低級(jí)細(xì)節(jié)，這表明BigBiGAN訓(xùn)練鼓勵(lì)編碼器對(duì)前者建模，而不是后者。

4、相關(guān)研究

基于自我監(jiān)督圖像中的無監(jiān)督表示學(xué)習(xí)的許多方法被證明是非常成功的。自我監(jiān)督通常涉及從以某種方式設(shè)計(jì)成類似于監(jiān)督學(xué)習(xí)的任務(wù)中學(xué)習(xí)，但是其中“標(biāo)簽”可以自動(dòng)地從數(shù)據(jù)本身創(chuàng)建而無需人工操作。早期的例子是相對(duì)位置預(yù)測(cè)，其中模型在輸入的圖像塊對(duì)上進(jìn)行訓(xùn)練并預(yù)測(cè)它們的相對(duì)位置。

對(duì)比預(yù)測(cè)編碼（CPC）是最近的相關(guān)方法，其中，給定圖像補(bǔ)丁，模型預(yù)測(cè)哪些補(bǔ)丁出現(xiàn)在其他圖像位置中。其他方法包括著色、運(yùn)動(dòng)分割、旋轉(zhuǎn)預(yù)測(cè)和樣本匹配。

對(duì)這些方法進(jìn)行了嚴(yán)格的實(shí)證比較。相對(duì)于大多數(shù)自我監(jiān)督的方法，BigBiGAN和基于生成模型的其他方法的關(guān)鍵優(yōu)勢(shì)是它們的輸入可能是全分辨率圖像或其他信號(hào)，不需要裁剪或修改所需的數(shù)據(jù)。這意味著結(jié)果表示通?？梢灾苯討?yīng)用于下游任務(wù)中的完整數(shù)據(jù)，而不會(huì)發(fā)生域移位（domain shift）。

還提出了許多相關(guān)的自動(dòng)編碼器和GAN變體。關(guān)聯(lián)壓縮網(wǎng)絡(luò)（ACN）學(xué)會(huì)通過調(diào)節(jié)其他先前在代碼空間中相似的傳輸數(shù)據(jù)的數(shù)據(jù)來壓縮數(shù)據(jù)集級(jí)別，從而產(chǎn)生可以“模糊”語(yǔ)義相似樣本的模型，類似于BigBiGAN重建。VQ-VAE 將離散（矢量量化）編碼器與自回歸解碼器配對(duì)，以產(chǎn)生具有高壓縮因子的忠實(shí)重建，并在強(qiáng)化學(xué)習(xí)設(shè)置中展示表示學(xué)習(xí)結(jié)果。在對(duì)抗性空間中，對(duì)抗性自動(dòng)編碼器提出了一種自動(dòng)編碼器式編碼器 - 解碼器對(duì)，用像素級(jí)重建成本訓(xùn)練，用鑒別器代替VAE中使用的先驗(yàn)的KL-發(fā)散正則化。

在另一個(gè)提出的VAE-GAN混合中，在大多數(shù)VAE中使用的像素空間重建誤差被替換為距GAN鑒別器的中間層的特征空間距離。AGE和α-GAN等其他混合方法增加了編碼器來穩(wěn)定GAN訓(xùn)練。這些方法與BiGAN框架間的一個(gè)區(qū)別是，BiGAN不會(huì)以明確的重建成本訓(xùn)練編碼器，雖然可以證明BiGAN隱含地使重建成本最小化，但定性重建結(jié)果表明這種重建成本具有不同的風(fēng)格，強(qiáng)調(diào)了像素級(jí)細(xì)節(jié)上的高級(jí)語(yǔ)義。

5.探討

我們已經(jīng)證明，BigBiGAN是一種純粹基于生成模型的無監(jiān)督學(xué)習(xí)方法，它在ImageNet上實(shí)現(xiàn)了圖像表示學(xué)習(xí)的最好的結(jié)果。我們的消融實(shí)驗(yàn)進(jìn)一步證實(shí)強(qiáng)大的生成模型可以有利于表征學(xué)習(xí)，反過來，學(xué)習(xí)推理模型可以改善大規(guī)模的生成模型。在未來，我們希望表示學(xué)習(xí)可以繼續(xù)受益于生成模型和推理模型的進(jìn)一步發(fā)展，同時(shí)擴(kuò)展到更大的圖像數(shù)據(jù)庫(kù)。