來自騰訊 ARC Lab 的研究者們提出利用無監(jiān)督的度量學習， 來訓練現(xiàn)實場景下可調(diào)節(jié)的圖像超分辨率任務(wù)。

現(xiàn)實世界超分辨率 （Real-world super-resolution） 是指從包含真實退化的低分辨率圖像中復原得到高分辨率的圖像。 可調(diào)節(jié)的現(xiàn)實世界圖像超分辨率是一個很有挑戰(zhàn)的任務(wù)， 因為降質(zhì) （degradation） 過程復雜且未知，可調(diào)節(jié)的交互機制很難通過有監(jiān)督的訓練來完成。 對于可調(diào)節(jié)的圖像超分辨率， 之前的工作主要在經(jīng)典退化的仿真數(shù)據(jù)上進行研究，也就是說我們已知了退化類型和退化強度。雖然這種設(shè)計在仿真數(shù)據(jù)上有不錯的表現(xiàn)，但在現(xiàn)實場景下的應(yīng)用仍然存在很多問題：

經(jīng)典的仿真退化很難模擬復雜的現(xiàn)實世界退化，訓練出的網(wǎng)絡(luò)在現(xiàn)實世界數(shù)據(jù)上重建效果較差。同時，這種設(shè)定下訓練得到的可調(diào)節(jié)交互機制在現(xiàn)實世界數(shù)據(jù)上的調(diào)節(jié)效果也會大打折扣。

雖然高階退化可以用來仿真現(xiàn)實世界的低清圖像，但這種仿真退化下的退化強度是未知的，很難通過有監(jiān)督的訓練來構(gòu)建這種可調(diào)節(jié)交互機制。

最近無監(jiān)督的對比學習在底層視覺領(lǐng)域受到越來越多的關(guān)注。這類方法方便了復雜降質(zhì)特征的提取，這給來自騰訊 ARC Lab 的研究者們提供了一個思路： 是否可以利用對比的方式無監(jiān)督的構(gòu)建現(xiàn)實場景下圖像超分辨率的可調(diào)節(jié)交互機制？

這篇工作的核心是利用度量學習在高階仿真退化中，通過對比不同樣本退化強度大小的方式無監(jiān)督地構(gòu)建退化強度的度量空間。度量空間中的退化得分不代表真實的退化強度，但可以反映退化強度的相對大小。本篇文章提出的方法（MM-RealSR）通過度量空間中的退化得分來構(gòu)建現(xiàn)實場景下圖像超分辨率的可調(diào)節(jié)交互機制。 本文提出了在復雜的退化空間中，劃分兩個度量空間，分別是廣義 noise 和廣義 blur。因為這兩種退化因素是真實場景下最為常見的也是人們最關(guān)注，和最需要調(diào)節(jié)的。MM-RealSR 在現(xiàn)實場景下可以達到如下圖 1 的調(diào)節(jié)效果。相比于近幾年其他可調(diào)節(jié)復原方法， MM-RealSR 不僅實現(xiàn)了現(xiàn)實場景下的可調(diào)節(jié)圖像超分辨率， 整體重建結(jié)果也更加自然。

圖 1. MM-RealSR 在真實場景下的可調(diào)節(jié)超分辨率效果 現(xiàn)有可調(diào)節(jié)復原方案的回顧與對比 如圖 2 所示，首先來看，現(xiàn)有方案針對的圖像退化設(shè)定是低階的，需要已知退化類型和退化強度的。本文提出的方案面向現(xiàn)實場景，退化過程是高階的，未知退化類型和退化強度的。

圖 2. 本文提出方案與現(xiàn)有方法的對比 MM-RealSR 結(jié)構(gòu) 本文關(guān)注真實場景中最常見的兩種退化因子，廣義 noise 和廣義 blur，并對這兩種退化因子做了一般化的定義如圖 3 所示。其中 noise 包含高斯噪聲、泊松噪聲，和 JPEG 壓縮等；blur 包含各向同性、各向異性，以及隨機尺寸變換等模糊因素。

圖 3. 退化因子的定義 針對這兩種退化因子，本文提出的無監(jiān)督退化估計模塊如圖 4 所示。通過度量學習，該模塊將難以量化的現(xiàn)實世界退化強度映射到兩個獨立的度量空間之中。通過不同退化強度之間的大小對比，構(gòu)建度量空間中的距離關(guān)系。本文額外通過一個錨點損失函數(shù)限制度量空間的分布。雖然度量空間中的退化得分無法反映真實的退化強度，但可以體現(xiàn)退化強度的相對大小關(guān)系。本文將無監(jiān)督的退化估計模塊和圖像超分辨率模塊進行聯(lián)合訓練，來構(gòu)建退化得分和重建結(jié)果之間的可調(diào)節(jié)關(guān)系。

圖 4. 基于度量學習的無監(jiān)督退化估計模塊 本文提出的總模型結(jié)構(gòu)如圖 5 所示。由退化估計模塊、狀態(tài)變量生成模塊，以及重建模塊構(gòu)成。其中狀態(tài)變量生成模塊將預測到的退化得分轉(zhuǎn)化成一組狀態(tài)變量，并將這組狀態(tài)變量以仿射變換的方式注入圖像重建模塊當中去，起到調(diào)節(jié)重建結(jié)果的作用。實驗證明，本文提出的方法兼顧優(yōu)越的重建效果和可調(diào)節(jié)能力。

圖 5. 基于度量學習的可調(diào)節(jié)現(xiàn)實世界圖像超分辨率網(wǎng)絡(luò) 損失函數(shù) 本文通過 L1，Perceptual 和 GAN 復原損失函數(shù)來保證圖像重建質(zhì)量，通過度量損失函數(shù)（margin ranking losses）來訓練噪聲度量空間和模糊度量空間。度量損失函數(shù)的表達式：

為了控制度量空間中評分的分布，本文還提出了一個錨點損失函數(shù)：

和現(xiàn)有的現(xiàn)實世界圖像超分辨率工作 Real-ESRGAN 類似，本文采用高階退化的仿真數(shù)據(jù)作為訓練數(shù)據(jù)。更多的細節(jié)請參見論文。 實驗結(jié)果 研究者們在現(xiàn)實世界的低質(zhì)量數(shù)據(jù)上做了重建效果的測試：

可以看到，本文提出的方法在具備交互能力的基礎(chǔ)上，超分辨率的性能也達到了 SOTA 的水平，主觀結(jié)果也更加美觀自然。 研究者們在現(xiàn)實世界數(shù)據(jù)上對無監(jiān)督退化評分器的評分能力進行了測試：

可以看到，無監(jiān)督退化評分器可以較好地評估現(xiàn)實場景下的退化強度。 研究者們在現(xiàn)實世界數(shù)據(jù)上對網(wǎng)絡(luò)的交互重建能力進行了測試：

可以看到，對比現(xiàn)有方法，MM-RealSR 在交互重建能力上有更好的表現(xiàn)。它的交互范圍更大，重建效果更好。 小結(jié) 本文提出了在真實場景下，可調(diào)節(jié)的維度主要是廣義 noise 和廣義 blur 兩方面。通過無監(jiān)督的度量學習，首次實現(xiàn)了真實場景下可調(diào)節(jié)的圖像超分辨率。提出的方法在調(diào)節(jié)能力和超分辨率性能上都取得了優(yōu)異的表現(xiàn)。