引言：

傳統(tǒng)的天氣修復(fù)如去雨、去雪、去霧等任務(wù)，在各自的領(lǐng)域都取得了良好的性能。然而，這些工作通常聚焦于單種類型天氣，如圖：

真實(shí)世界中的惡劣天氣（雨滴，雨流，霧，雪等）往往是組合出現(xiàn)的，這對(duì)于干凈圖像的修復(fù)提出了更高的挑戰(zhàn)。針對(duì)這一問(wèn)題，J. Han等人提出了Blind Image Decomposition (BID)[1]，即將不同天氣看做組合隨機(jī)，強(qiáng)度隨機(jī)，可疊加的圖層，通過(guò)圖像分解[2]的方式恢復(fù)所有的疊加元素 (包括干凈圖像)。實(shí)際上，BID可以理解為Deraining，Dehazing，Raindrop and Snow Removal等多種天氣恢復(fù)的組合任務(wù)。

概述：

自BID任務(wù)提出 (BIDeN, ECCV22) 以來(lái)，仍存在兩個(gè)主要問(wèn)題：

現(xiàn)有方法需要大量數(shù)據(jù)的監(jiān)督，然而高質(zhì)量的圖像對(duì)在惡劣的現(xiàn)實(shí)世界場(chǎng)景中通常無(wú)法獲取。而合成數(shù)據(jù)集受限于手工設(shè)計(jì)的天氣退化模型，不可避免地會(huì)限制最終的修復(fù)質(zhì)量。

圖像分解致力于通過(guò)完備的監(jiān)督信號(hào)還原出包括噪聲天氣在內(nèi)的所有圖層，指向各圖層的 multi-head decoder 會(huì)限制模型的結(jié)構(gòu)設(shè)計(jì)與優(yōu)化（如上圖(e)），"decomposition" 的模式似乎也與經(jīng)典的圖像映射思維有些矛盾。

為了解決上述問(wèn)題，我們結(jié)合 Masked AutoEncoder (MAE)[3]提出了一種高效且簡(jiǎn)單的預(yù)訓(xùn)練模式：Context-aware Pretraining (CP)，
包含兩個(gè) pretext 任務(wù)：混合圖像分離和損失圖形重建。
假設(shè)圖像的恢復(fù)過(guò)程遵循從結(jié)構(gòu)到紋理的模式 (coarse-to-fine)[4]，我們的思路很簡(jiǎn)單，首先利用兩個(gè) pretext 任務(wù)在預(yù)訓(xùn)練階段重建出結(jié)構(gòu)信息，隨后再 fine-tuning 階段即可快速地基于結(jié)構(gòu)進(jìn)行紋理填充。

方法:

為了驗(yàn)證所提出pretext任務(wù)的有效性，我們構(gòu)建了一個(gè)基線網(wǎng)絡(luò) Context-aware Pretrained Network (CPNet), CPNet包含兩個(gè)transformer-based 的編碼器，一個(gè)信息融合模塊以及一個(gè)預(yù)測(cè)解碼器。

在預(yù)訓(xùn)練期間，我們混合兩個(gè)pretext任務(wù)，并從編碼器獲得上下文感知嵌入，然后應(yīng)用解碼器從嵌入中恢復(fù)原始的結(jié)構(gòu)信息 (RTV平滑)[5]。其中，信息融合模塊明確地利用了空間通道維度中的關(guān)聯(lián)特征，而多頭預(yù)測(cè)模塊促進(jìn)了紋理引導(dǎo)的外觀流 (appearance flow)。
盡管簡(jiǎn)單，但自監(jiān)督的預(yù)訓(xùn)練編碼器在減少對(duì)標(biāo)注需求的同時(shí)，顯式地促進(jìn)了基于上下文的特征學(xué)習(xí)。通過(guò) Fine-tuning 階段的高斯采樣，外觀流得以顯式地利用原圖中未遮擋區(qū)域的紋理特征。

損失函數(shù)方面，除了傳統(tǒng)的重構(gòu)和對(duì)抗損失，針對(duì) appearance flow map，我們提出了一個(gè)新的采樣損失：

其中分子項(xiàng)確保外觀流經(jīng)過(guò) (Δx, Δy)的 offset 后的紋理匹配，分母則對(duì)預(yù)訓(xùn)練的結(jié)構(gòu)修復(fù)提出進(jìn)一步的約束。

此外，BID 任務(wù)同樣可以被看作是一類圖像屬性編輯任務(wù) (image translation)[6]，其中初始屬性標(biāo)簽為隨機(jī) one-hot 編碼（天氣組合隨機(jī)，1 表示圖像受此天氣影響），最終目標(biāo)為全 0 的 attribute label。因此我們額外引入了一項(xiàng)條件損失：

其中P_i(x)代表的就是圖像 x 具有第 i 種天氣特征的概率。

實(shí)驗(yàn):

1. 定量實(shí)驗(yàn)：

基于我們的模型做了一些finetune，可以在下游任務(wù)上得到較好的提升，特別是針對(duì)混合天氣復(fù)雜的場(chǎng)景下，預(yù)訓(xùn)練帶來(lái)的好處越明顯。

相對(duì)于 multi-head decoder 的訓(xùn)練模式，同樣在多天氣混合數(shù)據(jù)集上訓(xùn)練，我們的模型在特定單一天氣的測(cè)試集上仍保持較好的穩(wěn)定性。

2. 定性實(shí)驗(yàn)

訓(xùn)練后我們觀察到網(wǎng)絡(luò)可以在多種天氣混合的場(chǎng)景下實(shí)現(xiàn)較好的復(fù)原，如下圖。

此外我們也嘗試了可視化兩個(gè) encoder 特征中激活值較大的區(qū)域。可見(jiàn)圖像分離和重建兩個(gè) pretext task 任務(wù)的側(cè)重點(diǎn)并不相同，并且通過(guò)控制目標(biāo) attribute label，可以實(shí)現(xiàn)特定涂層的保留與去除。