5月9日，英偉達首席研究科學家劉明宇在社交網站公布了其最新研究成果：一種新型的GAN，在測試期間只需幾張示例圖像，就可以將圖像轉換為以前從未見過的對象類型。GAN之父Ian Goodfellow也對其進行了轉發(fā)支持。

人類在泛化方面非常擅長。

當給出一張以前看不見的外來動物的照片時，我們可以用不同的姿勢形成同一動物的生動的心理圖像，特別是當我們在之前的姿勢中遇到過相似但不同的動物（圖像）時。

例如，一個人第一次看到一只站立的老虎，我們可以毫不費力地想象它躺下來的樣子。

同時，也很容易獲得一種伴認知泛化能力，即其他的動物躺下來會是什么樣子。

對于現有無監(jiān)督圖像到圖像的轉換算法，雖然已經在跨圖像類轉換復雜的外觀變化方面非常成功，但基于先驗知識從新類的少數樣本泛化的能力完全超出了它們的范圍。 具體地說，仍然在兩個方面受到限制：

首先，模型通常需要在訓練期內看到來自目標類的大量圖像。

其次，在測試期內，不能將用于轉換任務的訓練模型重新用于另一轉換任務。

簡言之，現有的算法不支持小樣本泛化。

為了彌合人機與機器想象能力之間的差距，最近英偉達的研究人員提出了幾個無監(jiān)督的圖像到圖像轉換框架（FUNIT）來解決上述限制。

在訓練時，FUNIT模型會學習在從一組源類中采樣的任何兩個類之間轉換圖像。

在測試時，模型會顯示一些它從未見過的目標類的圖像。該模型利用這些少量示例圖像將源類的輸入圖像轉換為目標類。

首先假設人類的小樣本泛化能力是從他們過去的視覺經驗中發(fā)展出來的 - 如果一個人在過去看過更多不同的對象類別，他們可以更好地想象一個新對象的視圖。

基于該假設，研究人員使用包含許多不同對象類的圖像的數據集來訓練FUNIT模型，以模擬過去的視覺體驗。具體來說，他們通過利用另一個類的少量示例圖像來訓練模型以將圖像從一個類轉換為另一個類。

假設通過學習從用于翻譯任務的少數示例圖像中提取外觀模式，該模型學習了一種可推廣的外觀模式提取器，其可以在測試時應用于看不見的類的圖像，用于少數鏡頭到圖像到圖像的轉換任務。

左：訓練。 訓練集由各種對象類（源類）的圖像組成。 我們訓練模型來在這些源對象類之間轉換圖像。右：部署。 我們向訓練模型顯示目標類的極少數圖像，這足以將源類的圖像轉換為目標類的類似圖像，即使模型在訓練期間從未見過來自目標類的單個圖像。

請注意，FUNIT生成器需要兩個輸入：1）內容圖像（紅色線圈選）和2）一組目標類圖像（綠色線圈選）。 它旨在生成類似于目標類圖像的輸入圖像的轉換。

架構及轉換過程

框架基于生成對抗網絡（GAN），實驗表明，通過將對抗性訓練方案與新穎的網絡設計相結合，研究人員實現了所需的幾次無人監(jiān)督的圖像到圖像轉換能力。 通過對三個數據集的廣泛實驗驗證，包括使用各種性能指標與幾種基線方法的比較，驗證了框架的有效性。

少樣本無監(jiān)督的圖像到圖像轉換示例

研究人員展示了動物面部轉換，鳥類轉換，花卉轉換和食物轉換的結果。對于每個例子，

y1和y2是測試期間可用的目標類的少數示例圖像，

x是源類的輸入圖像，

x bar是從源類到目標類的轉換。

模型能夠將豹子轉換成沙皮狗，即使它在訓練期間從未見過單一的沙皮狗圖像。

動物面部轉換

鳥類轉換

花卉轉換

食物轉換

結果表明，在訓練過程中，當模型沒有看到任何目標類的圖像時，FUNIT可以基于小樣本集生成可信的轉換輸出。

我們注意到輸出圖像中的對象與輸入具有相似的姿勢。

框架的局限性

當看不見的對象類的外觀與源類的外觀（例如花和動物的面部）顯著不同時。 擬議的FUNIT框架未能產生有意義的轉換輸出。

論文摘要

無監(jiān)督的圖像到圖像的轉換方法，是指學習利用圖像的非結構化（未注冊）數據集，將給定類中的圖像映射到不同類中的類似圖像。

雖然非常成功，但是當前的方法需要在訓練時訪問源類和目標類中的許多圖像。 我們認為這極大地限制了它們的使用。

人類通常具有可以從少數例子中找到新物體本質的能力，研究人員以此為靈感并加以推廣，他們尋求一種小樣本的、無監(jiān)督的圖像到圖像的轉換算法，該算法適用于以前從未見過的目標類別。 在測試時僅指定幾個示例圖片，該模型通過將對抗訓練方案與新穎的網絡設計相結合，實現了這種小樣本的泛化能力。 通過廣泛的實驗驗證和與基準數據集的幾種基線方法的比較，驗證了所提出框架的有效性。

代碼：

https: //nvlabs.github.io/FUNIT

Demo：

https://nvlabs.github.io/FUNIT/petswap.html

論文：

https://arxiv.org/pdf/1905.01723.pdf