1.導(dǎo)語(yǔ)

? 近年來(lái)，無(wú)監(jiān)督異常檢測(cè)任務(wù)逐漸受到大家關(guān)注，其中基于密度和分類的方法在無(wú)監(jiān)督異常檢測(cè)中占據(jù)主導(dǎo)地位，而基于重構(gòu)的方法由于重構(gòu)能力差、性能不高而很少被提及，但后者不需要額外花費(fèi)大量的訓(xùn)練樣本進(jìn)行無(wú)監(jiān)督訓(xùn)練，具有更大的實(shí)用價(jià)值。本文著重改進(jìn)基于重構(gòu)的方法，從頻率的角度處理感知異常檢測(cè)任務(wù)（sensory anomaly detection），提出了一種新的全頻率通道選擇重構(gòu)網(wǎng)絡(luò)（Omni-frequency Channel-selection Reconstruction，OCR-GAN）。實(shí)驗(yàn)結(jié)果證明了提出方法的有效性和優(yōu)越性，例如，在沒(méi)有額外訓(xùn)練數(shù)據(jù)的情況下（不使用預(yù)訓(xùn)練模型或者其他數(shù)據(jù)集，即模型train from scratch），在MVTec AD數(shù)據(jù)集上實(shí)現(xiàn)了新的最先進(jìn)的98.3檢測(cè)AUC，顯著地比基于重建的基線高+38.1↑，比SOTA高?+0.3↑。 ?

2.背景介紹

異常檢測(cè)是視覺(jué)圖像理解中的一項(xiàng)重要的二分類任務(wù)，用于區(qū)分給定圖像是否偏離預(yù)定義的正常分布，在現(xiàn)實(shí)世界中有各種應(yīng)用，例如新穎性檢測(cè)、工業(yè)產(chǎn)品質(zhì)量監(jiān)控、缺陷修復(fù)等?，F(xiàn)實(shí)應(yīng)用中，異常檢測(cè)任務(wù)可以分為感知異常檢測(cè)（Sensory Anomaly Detection，見(jiàn)圖1左圖）和語(yǔ)義異常檢測(cè)（Semantic Anomaly Detection，見(jiàn)圖1右圖）兩大類，前者只存在協(xié)變量偏差而不存在語(yǔ)義偏差（常用MVTec AD[1]、DAGM[2]、KolektorSDD[3]等數(shù)據(jù)集），而后者則相反（常用CIFAR-10[4]數(shù)據(jù)集）。

圖1感知AD和語(yǔ)義AD任務(wù)圖解

異常檢測(cè)任務(wù)中獲取異常樣本耗時(shí)且成本較高，這驅(qū)動(dòng)我們開(kāi)展更實(shí)用的無(wú)監(jiān)督AD方法研究。目前的無(wú)監(jiān)督異常檢測(cè)方法主要分為三類，如圖2所示。

1）Density-based方法：基于密度的方法通常采用預(yù)訓(xùn)練的模型來(lái)提取輸入圖像的有意義嵌入向量，測(cè)試圖像時(shí)通過(guò)計(jì)算嵌入表示與參考表示分布之間的相似度以得到異常分?jǐn)?shù)。這種方法在MVTec AD等數(shù)據(jù)集上取得了較高的指標(biāo)分?jǐn)?shù)，但需要預(yù)訓(xùn)練模型加持且可解釋性不足。

2）Classification-based方法：基于分類的方法試圖找到正常/異常數(shù)據(jù)的分類邊界，一般使用代理任務(wù)訓(xùn)練的模型來(lái)檢測(cè)異常，因此該類方法依賴于代理任務(wù)與測(cè)試數(shù)據(jù)的匹配程度，且需要預(yù)訓(xùn)練模型和額外的訓(xùn)練數(shù)據(jù)。

3）Reconstruction-based方法：基于重構(gòu)的方法包含一個(gè)用于重構(gòu)輸入圖像的生成器結(jié)構(gòu)，異常分?jǐn)?shù)可解釋為重構(gòu)誤差。這類方法不需要預(yù)訓(xùn)練的模型和額外的訓(xùn)練數(shù)據(jù)，但目前該類方法相較于其他方法表達(dá)能力略有差距。

本文重點(diǎn)研究基于重構(gòu)的方法，期望增強(qiáng)生成器的重構(gòu)能力以提升模型的異常檢測(cè)能力。

圖2無(wú)監(jiān)督異常檢測(cè)方法pipeline對(duì)比 對(duì)于一幅圖像，不同的頻段包含不同類型的信息，例如低頻代表更多的語(yǔ)義信息，高頻代表更詳細(xì)的紋理信息。在此思想的推動(dòng)下，我們發(fā)現(xiàn)異常檢測(cè)任務(wù)中正常和異常圖像的頻率分布存在明顯差異，如圖3所示。

圖3 MVTec AD數(shù)據(jù)集中正常和異常樣本的能量隨頻率的分布，陰影表示標(biāo)準(zhǔn)差

基于此，我們認(rèn)為僅使用一個(gè)生成器來(lái)學(xué)習(xí)RGB圖像的全頻率重建是困難且不合適的，因此提出了一種利用多頻分支分別重構(gòu)不同頻帶信息的異常檢測(cè)框架，并設(shè)計(jì)了合適的結(jié)構(gòu)以提升模型的異常檢測(cè)效果，相較于對(duì)比方法取得了最SOTA結(jié)果，如圖4所示。

圖4不同方法AUROC檢測(cè)結(jié)果對(duì)比圖

具體地，本文有如下幾點(diǎn)貢獻(xiàn)：

1）從頻域的角度重新思考了正常和異常圖像的區(qū)別，提出了一種全頻率通道選擇重構(gòu)網(wǎng)絡(luò)（Omni-frequency Channel-selection Reconstruction，OCR-GAN）。

2）提出了頻率解耦（Frequency Decoupling，F(xiàn)D）模塊來(lái)獲取圖像的不同頻帶信息，實(shí)現(xiàn)多分支的全頻重建。

3）提出了通道選擇（Channel Selection，CS）模塊來(lái)實(shí)現(xiàn)多支路之間的全頻率交互和不同信道特征的自適應(yīng)選擇。

4）大量的實(shí)驗(yàn)證明了提出方法的優(yōu)越性，例如，我們?cè)跊](méi)有額外訓(xùn)練數(shù)據(jù)的MVTec AD數(shù)據(jù)集上實(shí)現(xiàn)了新的SOTA 98.3檢測(cè)AUROC，相較于沒(méi)有額外訓(xùn)練數(shù)據(jù)的基于重構(gòu)方法獲得了+18.3↑提升，同時(shí)相較于SOTA方法獲得了+0.3↑提升。

3.方法介紹

3.1??總覽我們的方法包含多個(gè)生成器對(duì)不同頻率圖像進(jìn)行重建，同時(shí)與鑒別器D交替訓(xùn)練以進(jìn)一步提高模型性能。具體來(lái)說(shuō)，我們提出了一個(gè)有效的頻率解耦模塊（FD）來(lái)解耦輸入圖像到全頻圖像，以及一個(gè)通道選擇模塊（CS）在多個(gè)頻率編碼器之間通過(guò)自適應(yīng)通道選擇的方式進(jìn)行特征交互。模型完成訓(xùn)練后的推理階段，重構(gòu)圖像與原圖像的重構(gòu)誤差作為圖像的異常得分。

圖5OCR-GAN方法示意圖

3.2 頻率解耦模塊

圖像中不同的頻段包含不同類型的信息，例如低頻代表更多的語(yǔ)義信息，高頻代表更詳細(xì)的紋理信息。該模塊用來(lái)將原始圖像分解為多個(gè)頻段圖像，以獲得信息更豐富的全頻段顯性表達(dá)，具體包含如下3個(gè)過(guò)程：

1）將原始圖像與5x5高斯核進(jìn)行卷積，獲得下采樣圖像

2）通過(guò)多次上下采樣操作得到一組模糊圖像

3）模糊圖像按照處理深度不同程度地丟失了一些高頻信息，進(jìn)一步計(jì)算相鄰圖像之間的差值得到全頻域圖像。圖5顯示了多個(gè)不同頻域分量的定性表示結(jié)果。

3.3 通道選擇模塊

在只有FD模塊的異常檢測(cè)框架中，多頻率分支相對(duì)獨(dú)立，這違背了不同頻率相輔相成的客觀事實(shí)。為此，我們?cè)O(shè)計(jì)了一種新穎的通道選擇模塊，實(shí)現(xiàn)了多支路間的頻域交互和不同通道特征的自適應(yīng)選擇。圖6（a）展示了雙頻率下CS模塊的微觀詳細(xì)結(jié)構(gòu)，即只包含低頻和高頻特征，但其可以很容易地?cái)U(kuò)展到多分支。圖6（b）展示了CS模塊與頻率編碼器之間的宏觀交互方式。

圖6 （a）CS模塊示意圖；（b）CS模塊與多頻編碼器交互方式

4.實(shí)驗(yàn)結(jié)果

4.1? 定量對(duì)比

本文與主流的異常檢測(cè)方法（AGAN[5]、AE[6]、Skip-GANomaly[7]、GradCon[8]、Puzzle-AE[9]、DGAD[10]、DRAEM[11]、DifferNet[12]、CutPaste[13]、InTra[14]）在多個(gè)數(shù)據(jù)集上進(jìn)行定量對(duì)比實(shí)驗(yàn)。如表1/2/3/4所示，提出的OCR-GAN在MVTec AD上獲得了98.3 AUROC結(jié)果，且在全部數(shù)據(jù)集上都獲取了SOTA結(jié)果，相較于對(duì)比方法取得了明顯優(yōu)勢(shì)。

表1MVTecAD結(jié)果對(duì)比表

表2 DAGM結(jié)果對(duì)比表

表3KolektorSDD結(jié)果對(duì)比表

表4 CIFAR-10結(jié)果對(duì)比表

4.2 定性對(duì)比

圖7展示了不同重建方法的定性對(duì)比，可以看到本文提出的方法對(duì)輸入圖像的正常區(qū)域具有很好的重建結(jié)果，對(duì)于異常區(qū)域具有明顯的區(qū)分性，證明了OCR-GAN的有效性。

圖7 不同方法的重建結(jié)果對(duì)比

4.3 解釋性實(shí)驗(yàn)及剝離實(shí)驗(yàn)

1）圖8展示了不同模塊對(duì)異常得分分布影響，可以看到，在基線直方圖中，正常樣本和異常樣本無(wú)法通過(guò)異常得分進(jìn)行有效區(qū)分。逐步增加FD和CS模塊后，模型的區(qū)分能力得到了提高，表明每個(gè)模塊對(duì)方法結(jié)果都有貢獻(xiàn)。

圖8不同模塊組合下的異常得分分布圖

2）我們將每個(gè)測(cè)試樣本的潛在空間特征從D的最后一個(gè)卷積層映射到一個(gè)二維子空間。如圖9顯示，正常和異常樣本在潛在空間中具有較強(qiáng)的聚類效應(yīng)，且具有明顯的區(qū)分性。

圖9 正常/異常樣本t-SNE分布圖

3）表5展示了頻率分支對(duì)于模型結(jié)果影響。結(jié)果表明，僅使用高頻信息比使用低頻信息效果更好，這意味著異常區(qū)域包含更多的高頻信息。然而，由于缺乏不同頻率支路之間的信息交互，單獨(dú)使用雙頻支路效果有限，而設(shè)計(jì)的CS模塊可以很好地處理該問(wèn)題，進(jìn)一步提高了模型的性能。

表5 頻率分支數(shù)量剝離實(shí)驗(yàn)結(jié)果

5.總結(jié)與展望

本文從頻域的角度提出了一種基于重構(gòu)的OCR-GAN異常檢測(cè)方法。具體來(lái)說(shuō)，我們提出了FD模塊將輸入圖像解耦到不同的頻率空間，并將圖像重建過(guò)程建模為并行的全頻率圖像恢復(fù)的組合。為了更好地實(shí)現(xiàn)不同編碼器之間的頻率交互，我們提出了一種定制的CS模塊，其可以自適應(yīng)地在多個(gè)支路之間選擇不同的信道以增強(qiáng)每一個(gè)頻域的特征。我們的方法在沒(méi)有額外訓(xùn)練數(shù)據(jù)的情況下，在Sensory AD和Semantic AD任務(wù)上相較于同時(shí)代方法具有明顯的優(yōu)勢(shì)。未來(lái)，我們將進(jìn)一步探索AD任務(wù)中輕量化模型的設(shè)計(jì)，同時(shí)構(gòu)建更具有挑戰(zhàn)性的實(shí)際應(yīng)用數(shù)據(jù)集。