中科院信工所/中山大學(xué)操曉春教授課題組，香港中文大學(xué)(深圳)吳保元教授課題組，騰訊AI Lab共同提出的一種基于先驗(yàn)指導(dǎo)的對(duì)抗樣本初始化方法已被ECCV2022接收。對(duì)抗訓(xùn)練是抵御對(duì)抗樣本攻擊最有效的方法之一。標(biāo)準(zhǔn)的對(duì)抗訓(xùn)練往往使用多步的方法來生成對(duì)抗樣本，如PGD。然而，這需要花費(fèi)大量時(shí)間來計(jì)算梯度。為了提高對(duì)抗訓(xùn)練的效率，快速對(duì)抗訓(xùn)練（FAT）應(yīng)運(yùn)而生。但FAT往往存在災(zāi)難性遺忘的問題，例如在FAT中后段，訓(xùn)練模型在對(duì)抗攻擊下的魯棒準(zhǔn)確率會(huì)突然急劇下降。針對(duì)這個(gè)問題，本文通過比較標(biāo)準(zhǔn)對(duì)抗訓(xùn)練與FAT的訓(xùn)練過程，發(fā)現(xiàn)導(dǎo)致FAT出現(xiàn)災(zāi)難性遺忘的原因是FAT中產(chǎn)生的對(duì)抗樣本（AEs）的攻擊成功率在訓(xùn)練中逐漸變低。作者通過提出一種基于先驗(yàn)指導(dǎo)的（Prior-Guided）對(duì)抗樣本初始化方法來解決FAT中的災(zāi)難性遺忘的問題，從而提升FAT的效果。

1. 問題背景

傳統(tǒng)的對(duì)抗訓(xùn)練可以歸類為一個(gè)最小最大化優(yōu)化問題：

其中表示參數(shù)為的模型，為損失函數(shù)，表示在輸入空間上添加的對(duì)抗擾動(dòng)，其大小可以被限制。從而多步的對(duì)抗攻擊方法可以被定義為：

其中表示在第次迭代時(shí)的擾動(dòng)，表示攻擊步長，為將輸入影射到的投影。

盡管多步的對(duì)抗訓(xùn)練方法可以有效提高模型的魯棒性，但這往往需要大量時(shí)間和計(jì)算資源來生成訓(xùn)練中的對(duì)抗樣本。隨后，快速對(duì)抗訓(xùn)練通過單步快速梯度符號(hào)（FGSM）的方法被提出用以提升生成對(duì)抗樣本的效率：

其中是最大擾動(dòng)強(qiáng)度。盡管基于FGSM的對(duì)抗訓(xùn)練方法起到了較好的加速效果，但是具有災(zāi)難性遺忘的問題，即在使用基于FGSM的方法對(duì)抗訓(xùn)練一段時(shí)間后，訓(xùn)練模型的魯棒性會(huì)迅速消失，無法抵御PGD所產(chǎn)生的對(duì)抗樣本的攻擊。Wong等人提出了在基于FGSM的對(duì)抗樣本生成中加入隨機(jī)初始化，即

其中表示隨機(jī)初始化，是一個(gè)高斯分布。而Andriushchenko等人的工作表明生成對(duì)抗樣本時(shí)添加隨機(jī)初始化并不能防止災(zāi)難性遺忘的發(fā)生。

2. 基本先驗(yàn)指導(dǎo)的對(duì)抗初始化

2.1 審視災(zāi)難性遺忘

對(duì)抗訓(xùn)練的災(zāi)難性遺忘是指在快速對(duì)抗訓(xùn)練中后期模型的魯棒準(zhǔn)確率突然降低到的現(xiàn)象，如下圖右所示

這種現(xiàn)象最先由Wong等人發(fā)現(xiàn)，隨后他們又發(fā)現(xiàn)使用FGSM生成對(duì)抗樣本時(shí)使用隨機(jī)初始化可以延緩災(zāi)難性遺忘發(fā)生的時(shí)間，但是隨著訓(xùn)練的進(jìn)行，災(zāi)難性遺忘還是無法避免。

為了研究災(zāi)難性遺忘發(fā)生的原因，本文首先對(duì)基于PGD的標(biāo)準(zhǔn)對(duì)抗訓(xùn)練（SAT）以及基于FGSM的快速對(duì)抗訓(xùn)練（FAT）中途所生成的對(duì)抗樣本進(jìn)行比較和研究。通過觀察上圖左，本文發(fā)現(xiàn)：（1）由標(biāo)準(zhǔn)的FGSM-AT與添加隨機(jī)初始化的FGSM-RS生成的對(duì)抗樣本的攻擊成功率（ASR）分別在第20個(gè)和第74個(gè)epoch降低到，從而導(dǎo)致了災(zāi)難性遺忘的發(fā)生。這預(yù)示著如果對(duì)抗訓(xùn)練途中生成的對(duì)抗樣本喪失了攻擊性，則模型的魯棒性會(huì)迅速降低；（2）通過比較FGSM-AT與FGSM-RS發(fā)現(xiàn)加入隨機(jī)初始化可以延緩災(zāi)難性遺忘的發(fā)生，但是無法避免；（3）PGD-2-AT中沒有發(fā)生災(zāi)難性遺忘。由于PGD-2-AT可以認(rèn)為是帶有對(duì)抗初始化（adversarial initialization）的FSGM，因此對(duì)抗初始化可以提高所生成的對(duì)抗樣本的質(zhì)量，盡管進(jìn)行對(duì)抗初始化需要額外的梯度計(jì)算。

2.2 基于先驗(yàn)指導(dǎo)的對(duì)抗初始化

通過上述觀察，本文作者轉(zhuǎn)而思考如何有效的得到對(duì)抗初始化而不需要額外的計(jì)算開銷。作者提出可以使用訓(xùn)練過程中的歷史對(duì)抗擾動(dòng)，來作為當(dāng)前時(shí)刻的初始化。而這種歷史對(duì)抗擾動(dòng)可以認(rèn)為是不需要進(jìn)行額外計(jì)算就能得到的先驗(yàn)知識(shí)。本文探索了三種利用歷史對(duì)抗擾動(dòng)的策略，即（1）先前batch生成的擾動(dòng)；（2）先前epoch生成的擾動(dòng)；（3）所有epoch產(chǎn)生的擾動(dòng)的動(dòng)量，分別命名為FGSM-BP，F(xiàn)GSM-EP和FGSM-MEP。

Prior From the Previous Batch (FGSM-BP):將上一個(gè)batch所生成的對(duì)抗擾動(dòng)存儲(chǔ)下來作為當(dāng)前batch生成對(duì)抗樣本時(shí)的初始化，公式如下：

其中代表第個(gè)batch所添加的對(duì)抗擾動(dòng)。

Prior From the Previous Epoch (FGSM-EP):將上一個(gè)epoch所生成的對(duì)抗擾動(dòng)存儲(chǔ)下來作為當(dāng)前epoch生成對(duì)抗樣本時(shí)的初始化，公式如下：

其中代表第個(gè)epoch所添加的對(duì)抗擾動(dòng)。

Prior From the Momentum of All Previous Epochs (FGSM-MEP):為了充分利用整個(gè)訓(xùn)練過程中的歷史對(duì)抗擾動(dòng)信息，作者提出使用使用先前所有training epoch中所生成的擾動(dòng)的動(dòng)量來作為當(dāng)前epoch生成對(duì)抗樣本時(shí)的初始化，公式如下：

2.3 Prior-guided Initialization based Regularization

本文還提出了一種基于先驗(yàn)指導(dǎo)初始化的正則化方法來提升模型的魯棒性。給定先驗(yàn)指導(dǎo)下的初始化，F(xiàn)GSM可以產(chǎn)生當(dāng)前時(shí)刻的對(duì)抗擾動(dòng)。不論是先驗(yàn)指導(dǎo)下的初始化還是當(dāng)前時(shí)刻的擾動(dòng)都可以用來生成對(duì)抗樣本。因此迫使這兩種方式生成的對(duì)抗樣本具有相同的輸出結(jié)果有助于提升所學(xué)模型函數(shù)的光滑性。所提出的正則項(xiàng)可以加入到訓(xùn)練損失中去來更新模型參數(shù)，如下所示：

其中代表上述三種方法之一所生成的先驗(yàn)指導(dǎo)的初始化，代表FGSM使用作為初始化所生成的對(duì)抗擾動(dòng)，是一個(gè)常系數(shù)項(xiàng)。上述公式中第一項(xiàng)為對(duì)抗樣本上的交叉熵?fù)p失，第二項(xiàng)為與 d的輸出之差的距離。第二項(xiàng)的目的是使得學(xué)到的模型不僅對(duì)當(dāng)前生成的對(duì)抗樣本魯棒，而且對(duì)歷史的對(duì)抗樣本也魯棒。這樣，所提出的正則項(xiàng)顯式的迫使模型函數(shù)在樣本周圍更加光滑，從而提升模型魯棒性。

2.4 理論分析

由于在非凸優(yōu)化問題中梯度的范數(shù)與收斂性有關(guān)，因此更小的對(duì)抗擾動(dòng)的范數(shù)上界有助于對(duì)抗訓(xùn)練更快地收斂到局部最小值。本文給出了基于先驗(yàn)指導(dǎo)初始化所生成的對(duì)抗擾動(dòng)的范數(shù)上界，即，如下圖所示，這比FGSM-RS提出的更小。

3. 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

本文共使用ResNet-18，WideResNet34-10在CIFAR-10和CIFAR-100上，PreActResNet18在Tiny ImageNet上，以及ResNet-50在ImageNet上評(píng)估所提方法的有效性。

CIFAR-10結(jié)果

CIFAR-100結(jié)果

Tiny ImageNet結(jié)果

ImageNet結(jié)果

消融實(shí)驗(yàn)

為了驗(yàn)證所提出的基于經(jīng)驗(yàn)指導(dǎo)的正則化方法的有效性，本文使用ResNet18在CIFAR-10上進(jìn)行了消融實(shí)驗(yàn)，結(jié)果如下。

4. 總結(jié)

在本文中，我們從初始化的角度研究了如何提高對(duì)抗樣本的質(zhì)量，并提出采用歷史生成的對(duì)抗擾動(dòng)來初始化對(duì)抗樣本。它可以在沒有額外計(jì)算成本的情況下生成有效的對(duì)抗樣本。此外，我們還提出了一種簡(jiǎn)單而有效的正則化方法提高模型的魯棒性，從而防止當(dāng)前擾動(dòng)與先驗(yàn)引導(dǎo)的初始化偏差太大。正則化項(xiàng)利用歷史和當(dāng)前的對(duì)抗性擾動(dòng)來指導(dǎo)模型學(xué)習(xí)。廣泛的實(shí)驗(yàn)評(píng)估表明，所提出的方法可以防止災(zāi)難性的過度擬合，并以較低的計(jì)算成本優(yōu)于最先進(jìn)的FAT 方法。

審核編輯：郭婷