近日，一個來自麻省理工學院（MIT）的團隊公開了他們的研究成果。該文章指出，對抗樣本(Adversarial Sample)導致圖像識別（Image Classification）失效的現(xiàn)象，或許只是人類的一種“自以為是”。識別模型捕捉的，其實是那些不能被人眼察覺的“非穩(wěn)健特征”（Non-robust Feature）。如果只是基于這些像素層面的特征，模型對對抗樣本的識別就不能被認為是失敗的。

幾乎所有圖像識別算法都存在一個弱點——對抗樣本問題。對抗樣本是指在一張自然圖片中，對少部分像素點的數(shù)值進行修改,即使修改不足以被人眼察覺，但識別算法卻做出完全錯誤的判斷，比如把小狗識別成鴕鳥。這可能成為致命的安全漏洞，比如讓自動駕駛的汽車偏離車道，或者讓監(jiān)控探頭無法發(fā)現(xiàn)罪犯的身影?！督o T 恤印上一個圖案，就能在監(jiān)控下實現(xiàn)“隱身”？》

圖|左為自然圖片，識別為“小狗”。右為刻意修改后的對抗樣本，識別為“鴕鳥”。（來源：Christian Szegedy/Google Inc.）

目前許多研究機構(gòu)（如谷歌公司、麻省理工學院和騰訊科恩實驗室）都在嘗試解決對抗樣本問題。其中主要的難題存在于三個方面，首先是視覺世界的復雜性，比如一張圖片中通常存在上百萬個像素點。其次，我們并沒有徹底地理解卷積神經(jīng)網(wǎng)絡模型（CNN）實現(xiàn)圖像識別的機制。此外，科學家不知道識別模型失效的原因是訓練方式的問題還是訓練數(shù)據(jù)量不夠大？

麻省理工學院的科研團隊發(fā)現(xiàn)，目前常用的識別模型其實是通過關注圖片中，人眼無法察覺的細節(jié)來實現(xiàn)圖像識別。就如同人類會對比耳朵的不同，而將狗和貓的照片區(qū)分出來一樣。但是AI模型卻是在像素的層面進行區(qū)分。

論文的第一作者，麻省理工學院在讀博士生 Andrew Ilyas 說道：“對于那些像素層面的特征，它們最大的特點就是不會被人眼察覺。”

想要弄明白 AI 到底是依據(jù)什么特征來識別圖像并不容易。Andrew Ilyas等人首先定義了一整套理論框架。他們把圖片中的特征分成兩類：“穩(wěn)健特征”(Robust Features)，指即使做了像素層面的修改也不會影響識別結(jié)果的特征（如耳朵、胡須），和 “非穩(wěn)健特征”(Non-robust Features)，即會被像素修改而影響的特征（通常無法被人類識別）。

其次，他們又定義了兩種訓練模型的方法，“標準訓練”（Standard Training）和“穩(wěn)健訓練”（Robust Training）。穩(wěn)健訓練的損失方程額外考慮了對抗樣本的存在，使得模型在訓練中可以強化對穩(wěn)健特征識別。

圖|標準訓練和穩(wěn)健訓練的損失方程。穩(wěn)健訓練中劃線的部分表示修改原始數(shù)據(jù)，使之成為對抗樣本。（來源：Andrew Ilyas/MIT）

他們假設穩(wěn)健特征和非穩(wěn)健特征同時存在。并且使用和生成對抗網(wǎng)絡（GAN）相似的方法，將原始的訓練數(shù)據(jù)集（D）中的圖片進行重新加工，生成了兩個新的數(shù)據(jù)集：將非穩(wěn)健特征洗刷掉、只含穩(wěn)健特征的 D_R，和在人類看來錯誤標注、但非穩(wěn)健特征符合其標注的 D_NR。

圖|左：原始訓練數(shù)據(jù) D，只含穩(wěn)健特征的 D_R，和失去特征一致性的 D_NR。右：三種數(shù)據(jù)集在不同訓練方式下的準確率。（來源：Andrew Ilyas/MIT）

研究人員指出，由于只有穩(wěn)健特征，D_R 所含的信息量少于原始數(shù)據(jù) D。實驗發(fā)現(xiàn)，再以 D_R 為基礎，以標準訓練的方法得到的識別模型，同樣可以抵御對抗樣本。以此證明像素層面的修改（人眼無法分辨），并不影響圖片中的穩(wěn)健特征。

另一方面，研究人員對訓練數(shù)據(jù)（D）進行像素層面的修改，并且不斷優(yōu)化，讓標準模型盡可能地把圖片識別成另一個類型。比如，穩(wěn)健特征（人眼觀察）是“狗”，而非穩(wěn)健特征和標注（模型認為）則是“貓”。

研究人員將經(jīng)過修改的圖片集計作 D_NR，并找來一張訓練數(shù)據(jù)之外的自然中“貓”圖片進行測試。識別器成功把這張外來的圖片也識別成了“貓”。說明這張自然的“貓”，和 D_NR 中的“貓”具有可以被模型識別的相同屬性，而這個屬性就是我們看不到的“非穩(wěn)健特征”。

圖|圖中右側(cè)“狗”的圖像，和下方“貓”的圖像，都被識別成了“貓”，他們有相同的非穩(wěn)健特征。（來源：Andrew Ilyas/MIT）

通過實驗，Andrew Ilyas 和他的團隊確定：穩(wěn)健特征和非穩(wěn)健特征都存在于圖片之中，并且一般的識別模型只會通過非穩(wěn)健特征進行圖像識別，而非穩(wěn)健特征不能被人眼察覺。所以，對抗樣本本身并不是圖像識別的漏洞，只是另外一種無法被我們看到的特征而已。

“這并不是模型本身有什么問題，只是那些真正決定識別結(jié)果的東西并不能被看到?！痹撜撐牡诙髡?、麻省理工學院在讀博士生 Shibane Santurkar 補充道：“如果我們只知道算法的決策取決于一些我們看不見的東西，那我們又怎么能理所當然地以為它做的決定就是正確的？”如果一個人需要在法庭上證明監(jiān)控視頻中的人不是自己就會非常麻煩，因為我們不知道監(jiān)控識別的錯誤結(jié)果是怎么得來的 。

科學家始終需要面對一個抉擇，模型究竟是應該做出“準確”的決定，還是應該做出“人類”的決定？如果模型只是識別穩(wěn)健特征，它或許就不會那么準確。然而如果決策機制偏向不能被看到的非穩(wěn)健特征，那么對抗樣本就會成為潛在的漏洞。如今，圖像識別技術(shù)已廣泛應用在日常生活中，我們需要在這兩個選擇之間找到某種平衡。