到目前為止，業(yè)內(nèi)對于對抗樣本的流行觀點是，其源于模型的“怪癖”，一旦訓練算法和數(shù)據(jù)收集方面取得足夠的進展，那么它們終將消失。其他常見觀點還包括，對抗樣本要么是輸入空間高維度的結果之一，要么是因為有限樣本現(xiàn)象（finite-samplephenomena）。

而近日，來自MIT的幾位研究員剛剛完成了一個最近的研究，它提供了一種對抗樣本產(chǎn)生原因的新視角，并且，很有文學素養(yǎng)的研究員們嘗試通過一個精妙的故事把這個研究講個大家聽。

一起來聽聽這個關于對抗樣本的小故事。

一顆名為Erm的星球

故事始于Erm，這是顆遙遠的星球，居住著一群被稱為Nets(網(wǎng))的古老外星人種。

Nets是一個神奇的物種;每個人在社會等級中的位置，取決于將奇怪的32×32像素圖像（對Nets族來說毫無意義）分類為十個完全任意類別的能力。

這些圖像來自于一個絕密數(shù)據(jù)集See-Far，除了看這些神奇的像素化圖像以外，Nets的生活可以說完全是瞎的。

慢慢的，隨著Nets越來越老，越來越聰明，他們開始在See-Far中發(fā)現(xiàn)越來越多的信號模式。他們發(fā)現(xiàn)的每個新模式都能幫他們更準確地對數(shù)據(jù)集進行分類。由于提高分類準確度的巨大社會價值，于是外星人們給最具預測性的圖像模式都起了名，比如下圖：

TOOGIT，一個高度指示“1”的圖像，Nets們對TOOGIT異常敏感。

最強大的外星人非常善于發(fā)現(xiàn)這些模式，因此對這些模式在See-Far圖像中的出現(xiàn)也很敏感。

不知何故（也許正在尋找See-Far分類提示），一些外星人獲得了人類編寫的機器學習論文，特別是其中一張圖吸引住了外星人的眼球：

一個對抗樣本？

這張圖還是比較簡單的，他們想：左邊是“2”，然后中間有個GAB圖案，大家都知道它表示“4”。于是不出意料的話，左邊的圖像上加上一個GAB產(chǎn)生一張新圖像，這張圖（對Nets來說）看起來和對應于“4”類別的圖像完全相同。

但是Nets們無法理解為什么明明原始和最終圖像完全不同，但根據(jù)論文的話它們應該是相同分類。帶著疑惑，Nets們把論文看了個遍，想知道人類到底是忘了什么其他有用的模式......

我們從Erm中學到什么

正如故事中名字所暗示的，這個故事不僅僅是講外星人和其神奇的社會結構：Nets的發(fā)展方式正是要讓我們聯(lián)想到機器學習模型是如何訓練的。特別是其中，我們盡量地提高準確率，但卻沒有加入關于分類所在物理世界或其他人類相關概念的背景知識。故事的結果是，外星人意識到人類認為無意義的對抗性擾動，實際上是對See-Far分類至關重要的模式。因此，Nets的故事應該讓我們思考：

對抗性樣本真的是不自然且無意義的嗎？

一個簡單的實驗

要搞明白這個問題，我們首先來進行一個簡單的實驗：

先從標準數(shù)據(jù)集（例如CIFAR10）的訓練集中的一張圖片開始：

我們通過合成有針對性的對抗樣本（在一個標準預訓練模型上），將每個（x，y）樣本目標改到下一個類“y+1”（如果y是最后一個類，則為0）：

于是通過這樣改變樣本目標就構建出了一個新訓練集：

現(xiàn)在，由此產(chǎn)生的訓練集只是對原始數(shù)據(jù)集輕微擾動得來，標簽也改變了——但對于人來說它的標簽完全都是錯的。實際上，這種錯誤標簽和“置換”假設一致（即每只狗被標記為貓，每只貓被標記為鳥這樣）。

接著，我們在這個錯誤標記的數(shù)據(jù)集上訓練一個新分類器（不一定與第一個具有相同結構）。那么該分類器在原始（未改變的）測試集（即標準CIFAR-10測試集）上表現(xiàn)會怎么樣呢？

讓人驚訝的是，結果發(fā)現(xiàn)新分類器在測試集上有著還算不錯的精度（CIFAR上為44％）！盡管訓練輸入僅通過輕微擾動與其“真”標簽相關聯(lián)，而通過所有可見特征與一個不同的標簽（現(xiàn)在是不正確的）相關。

這是為什么呢？

我們的對抗樣本概念模型

在剛剛描述的實驗中，我們將標準模型的對抗擾動作為目標類預測模式而獲得一些泛化性。也就是說，僅訓練集中的對抗性擾動就能對測試集進行適度準確的預測。有鑒于此，人們可能會想：也許這些模式與人類用來分類圖像的模式（例如耳朵，胡須，鼻子）并無本質區(qū)別！這正是我們的假設：很多輸入特征都能用來預測標簽，但其中只有一些特征是人類可察覺的。

更準確說，我們認為數(shù)據(jù)的預測特征可分為穩(wěn)健和不穩(wěn)健特征。穩(wěn)健特征對應于能預測真實標簽的模式，即使在一些人類定義的擾動集（比如?2ball）下的對抗性擾動。相反，非穩(wěn)健特征對應于預測時可以被預先設定的擾動集對抗“翻轉”過來以指示錯誤類別的特征。

因為我們始終只考慮不影響人類分類的擾動集，于是希望人類完全依賴穩(wěn)健特征來判斷。然而，當目標是最大化（標準）測試集精度時，非穩(wěn)健特征卻可以像穩(wěn)健特征一樣有用——事實上，這兩種類型的特征是完全可互換的。如下圖所示：

從這個角度來看，上述實驗其實很簡單。也就是，在原始訓練集中，輸入穩(wěn)健特征和非穩(wěn)健特征都可以用來預測標簽。而當進行了細微對抗擾動時，不會顯著地影響穩(wěn)健特征（根據(jù)定義），但仍可能翻轉非穩(wěn)健特征。

例如，每只狗的圖像都保留了狗的穩(wěn)健特征（因此在我們看來還是狗），但具有貓的非強健特征。在重新標記訓練集之后，使得穩(wěn)健特征實際指向了錯誤方向（即具有穩(wěn)健“狗”特征圖片被標記為貓），因此就只有非穩(wěn)健特征在實際泛化中提供了正確指導。

總之，穩(wěn)健和非穩(wěn)健特征都可以預測訓練集，但只有非健壯特征才會產(chǎn)生對原始測試集的泛化：

因此，在該數(shù)據(jù)集上訓練模型能推廣到標準測試集的事實表明（a）存在非穩(wěn)健特征并能實現(xiàn)較好的泛化（b）深度神經(jīng)網(wǎng)絡確實依賴于這些非穩(wěn)健特征，即使有同樣可用于預測的穩(wěn)健特征。

穩(wěn)健的模型能否學習穩(wěn)健的特征？

實驗表明，對抗性擾動不是毫無意義的人造物，而是直接與對泛化至關重要的擾動特征相關。與此同時，我們之前關于對抗樣本的博客文章顯示，通過使用穩(wěn)健優(yōu)化（robustoptimization），可以獲得更不易受對抗樣本影響的穩(wěn)健模型。

因此，自然要問：能否驗證穩(wěn)健模型實際上就是依賴于穩(wěn)健特征？為了驗證這一點，我們提出了一種方法，盡量限制輸入的是模型敏感的特征（對于深度神經(jīng)網(wǎng)絡，對應于倒數(shù)第二層的激活特征）。使用該方法，我們創(chuàng)建了一個新的訓練集，該訓練集僅包含已訓練過的穩(wěn)健模型使用的特征：

之后，在獲得數(shù)據(jù)集上訓練一個模型，不進行對抗訓練。結果發(fā)現(xiàn)獲得的模型有著很高的準確性和穩(wěn)健性！這與標準訓練集形成鮮明對比，后者導致模型準確但很脆弱。

標準和穩(wěn)健的準確度，在CIFAR-10測試集（DD）上測試。訓練：

左：CIFAR-10正常訓練中：CIFAR-10進行對抗訓練正確：構建數(shù)據(jù)集正常訓練

結果表明，穩(wěn)健性（或非穩(wěn)健性）實際上可以作為數(shù)據(jù)集本身的屬性出現(xiàn)。特別是，當我們從原始訓練集中刪除非穩(wěn)健特征時，就可以通過標準（非對抗）訓練獲得穩(wěn)健模型。這進一步證明，對抗樣本是由于非穩(wěn)健特征而產(chǎn)生的，并不一定與標準訓練框架有關。

可遷移性

這個新視角變化帶來的直接后果就是，對抗樣本的可遷移性（一直以來的神秘現(xiàn)象：一種模型的擾動通常對其他模型也是對抗的）也就不再需要單獨解釋了。具體來說，既然把對抗脆弱性看作是從數(shù)據(jù)集產(chǎn)生特征的直接產(chǎn)物（而不是單個模型訓練中的缺陷），于是也就希望類似的表達模型能夠找到并使用這些特征，來提高分類準確性。

為了進一步探索，我們研究了不同架構學習類似非穩(wěn)健特征的傾向如何與它們之間對抗樣本的可轉移性的相關：

在上圖中，我們生成了在第一個實驗中描述的數(shù)據(jù)集（用目標類標記對抗樣本的訓練集），用ResNet-50構建對抗樣本。于是可以將結果數(shù)據(jù)集視為將所有ResNet-50的非穩(wěn)健特征“翻轉”到目標類。然后，在此數(shù)據(jù)集上訓練上圖顯示的五種網(wǎng)絡模型，并在真實測試集上記錄各自的泛化性：也就是模型僅用ResNet-50非穩(wěn)健特征的泛化性的好壞。

當分析結果時，我們看到，正如對抗模型的新視角所表明的那樣，模型能夠獲得ResNet-50引入的非穩(wěn)健特征的能力與ResNet-50到各個標準模型之間的對抗遷移性非常相關。

啟示

我們的討論還有實驗，確定對抗樣本是純粹以人為中心的現(xiàn)象。因為從分類性能角度來看，模型沒有理由更喜歡穩(wěn)健，而不喜歡非穩(wěn)健特征。

畢竟，穩(wěn)健性的概念是針對人類的。因此，如果我們希望模型主要依賴于穩(wěn)健特征，那就需要通過將先驗結合到架構或訓練過程中來明確表明這一點。從這個角度來看，對抗性訓練（以及更廣義的穩(wěn)健優(yōu)化）可以說是將所需的不變性結合到學習模型中的方式。例如，穩(wěn)健優(yōu)化可以被看作是試圖通過不斷地“翻轉”非魯棒特征，來破壞它們的預測性，從而引導訓練模型不去依賴它們。

同時，在設計可解釋性方法時，也需要考慮標準模型對非穩(wěn)健性（對人類不可理解）特征的依賴性。特別是，對標準訓練模型的預測任何“解釋”，都應該突出顯示這些非穩(wěn)健特征（對于人類不完全有意義）或隱藏他們（不完全忠于模型決策過程）。因此，如果我們想要既是人類可理解的同時又忠于模型的可解釋性方法，那么僅僅靠訓練后處理是不夠的，還需要在訓練時進行干預。