只需要打印一張彩色貼紙，然后將其粘貼到帽子上，頂級 Face ID 系統(tǒng)瞬間 “失靈” 了。來自華為莫斯科研究中心的新研究，破解了當(dāng)前最好的公共 Face ID 系統(tǒng)。

一張貼紙能讓你在面部識別軟件面前“隱身”！

今天，Reddit 上一條帖子火了：

我們使用對抗攻擊技術(shù)攻破了目前最好的公共 Face ID 系統(tǒng)——ArcFace。

攻擊一個 AI 系統(tǒng)不是什么新鮮事，但我們成功地在現(xiàn)實(shí)世界中做到了：只需要打印一張彩色貼紙，然后將其粘貼到帽子上，就能使人臉與真值的相似性顯著下降！甚至這種攻擊方法還可以遷移去攻擊其他頂級的 Face ID 模型。

這個研究的兩位作者 Stepan Komkov 和 Aleksandr Petiushko，來自莫斯科國立大學(xué)和華為莫斯科研究中心，他們公開了 demo，并開源了他們的方法。

正常使用的情況下，ArcFace 系統(tǒng)輕易識別出人臉：Person_1

接著，把一張普通的打印出來的彩色貼紙，貼到腦門上，看看會怎樣？

出人意料的是，ArcFace 系統(tǒng)識別不出這是一張“人臉”了。一個先進(jìn)的人臉識別模型如此輕易就被“攻破”了！

只需一張貼紙，人臉識別系統(tǒng)瞬間“失靈”

不僅如此，研究人員嘗試了不同光照方向?qū)ο到y(tǒng)的影響，包括關(guān)燈、側(cè)面打光和正面打光，ArcFace 系統(tǒng)均識別不出人臉。

關(guān)燈：認(rèn)不出

側(cè)面打光：認(rèn)不出

正面打光：認(rèn)不出

直到把“貼紙”摘下，人臉識別系統(tǒng)馬上恢復(fù)了正常。

摘下貼紙，人臉識別系統(tǒng)恢復(fù)正常

看到這里，很容易想起另一個近期的“欺騙 AI 系統(tǒng)”的研究：來自比利時魯汶大學(xué)幾位研究人員借助一張簡單打印出來的圖案，完美欺騙了 YOLO (v2)開源對象識別系統(tǒng)。

如上圖所示，AI 系統(tǒng)成功檢測到左邊的人，而右邊的人被忽略了。右邊的人身上掛著一塊彩色紙板，在論文中被稱為“對抗性補(bǔ)丁”(adversarial patch)，正是這塊補(bǔ)丁“欺騙”了 AI 系統(tǒng)，讓系統(tǒng)無法發(fā)現(xiàn)畫面中還有一個人。

研究人員表示，他們設(shè)計的圖像可以將整個人隱藏起來，不會讓計算機(jī)視覺系統(tǒng)發(fā)現(xiàn)。但這個“補(bǔ)丁”并非萬無一失，即使它的角度發(fā)生了變化，AI 系統(tǒng)也能迅速“發(fā)現(xiàn)”畫面中的人類。

相比之下，莫斯科兩位研究人員的方法更“穩(wěn)健”，他們稱這種對抗攻擊為AdvHat，相比其他方法的優(yōu)勢有：

利用帽子上的貼紙，對最先進(jìn)的公共人臉識別系統(tǒng)進(jìn)行了現(xiàn)實(shí)世界的對抗性攻擊。

這種攻擊很容易重現(xiàn)，只需打印一張彩色貼紙；

攻擊可以在不同的光照條件下工作；

提出了一種新穎的粘貼投影技術(shù)，使攻擊過程中的圖像具有真實(shí)感；

此外，同樣的攻擊還可以轉(zhuǎn)移到其他面部識別模型。

看了演示，Reddit 網(wǎng)友紛紛表示“很酷”、“非常有趣”，有人說：“感謝你們花時間和精力把這個已知概念從數(shù)字空間帶到現(xiàn)實(shí)世界。該領(lǐng)域內(nèi)的大多數(shù)人都知道這是可以做到的，我已經(jīng)知道并嘗試用對抗方法‘愚弄’AI 系統(tǒng) 4 年了，但這可能是我看到的第一個有人在現(xiàn)實(shí)世界對抗 Face ID 的視頻！”

接下來，新智元帶來對 AdvHat 方法的詳細(xì)解讀，以及實(shí)驗(yàn)和結(jié)果數(shù)據(jù)。

四步攻擊，兩種轉(zhuǎn)換，誘導(dǎo) Face ID 系統(tǒng)決策失靈

圖 1：一種攻擊人臉識別系統(tǒng)的新方法。帽子上的貼紙顯著降低了與 ground truth 類的相似性。左邊的對中，與 ground truth 的相似度下降了0.592，右邊對下降了0.429。

在 Face ID 系統(tǒng)的實(shí)際使用場景中，并不是每個被捕獲的人都是已知的。這就是為什么與 top-1 class 的預(yù)測相似性應(yīng)該超過某個預(yù)定義的閾值，才能認(rèn)為面孔被識別出來了。

我們目標(biāo)是創(chuàng)建一個可以粘貼在帽子上的矩形圖像，并誘導(dǎo) Face ID 系統(tǒng)將人臉與ground truth 類的相似性降低到?jīng)Q策閾值以下。

為了達(dá)到這個目的，我們使用了一個攻擊 pipeline，它的描述如下：

1)我們對矩形圖像應(yīng)用一個新的平面外變換(off-plane transformation)，從而在貼在帽子上之后模仿矩形圖像的樣子。

2)我們將得到的圖像投影到高質(zhì)量的人臉圖像上，投影參數(shù)的擾動較小，使我們的攻擊更加穩(wěn)健。

3)將得到的圖像轉(zhuǎn)換為 ArcFace 輸入的標(biāo)準(zhǔn)模板。

4)減少了兩個參數(shù)的和：初始矩形圖像的 TV loss，得到的圖像的嵌入與 ArcFace 計算的錨點(diǎn)嵌入之間的余弦相似度。

整個的 pipeline 如圖 2 所示。

圖 2：攻擊的整個流程架構(gòu)。首先，我們將貼紙改造成真實(shí)的形狀。其次，我們把它投射到面部圖像上。第三，我們使用稍微不同的參數(shù)將圖像轉(zhuǎn)換為 ArcFace 輸入模板。最后，我們將模板輸入 ArcFace，評估余弦相似度和 TV loss。這樣，我們可以得到梯度信號，用于修改貼紙圖像。

非平面貼紙轉(zhuǎn)換：

我們將在帽子上放置貼紙時發(fā)生的轉(zhuǎn)換分為兩個步驟：貼紙的平面外彎曲和貼紙的俯仰旋轉(zhuǎn)。圖 3 顯示了這兩個轉(zhuǎn)換。

圖 3：當(dāng)在帽子上放一個矩形貼紙時，它會發(fā)生彎曲和旋轉(zhuǎn)。

實(shí)驗(yàn)和結(jié)果

我們在實(shí)驗(yàn)中使用 400×900像素的圖像作為貼紙圖像。然后，將貼紙圖像投影到600x600像素的人臉圖像上，然后將其轉(zhuǎn)換為 112x112 的圖像。

攻擊方法

如前所述，我們在將圖像輸入 ArcFace 之前隨機(jī)修改了圖像。我們構(gòu)建了一批生成的圖像，并使用整個 pipeline 計算初始貼紙的平均梯度。我們可以直接計算梯度，因?yàn)槊總€變換都是可微的。

我們把攻擊分為兩個階段。在第一階段，我們使用的 step value 等于，動量等于0.9。在第二階段，我們使用 step value 等于，動量等于?0.995。TV loss 總是等于 1e - 4。

對抗性貼紙

圖4：兩個對抗貼紙的示例

典型的對抗貼紙的示例在圖 4，看起來貼紙上畫了一個凸起的眉毛。根據(jù)前人研究，眉毛是人類識別人臉的最重要特征。

固定條件下的實(shí)驗(yàn)

所有照片和真實(shí)世界的測試都在相同的條件下進(jìn)行。我們評估了 10 個不同年齡和性別的人：年齡分別為 40 歲，23 歲，16 歲，5 歲（男性）和 36 歲，32 歲，29 歲，24 歲，24 歲，8 歲（女性）。每個人使用 3 張照片創(chuàng)建攻擊：我們需要計算真實(shí)的嵌入圖像中的簡單照片，計算基線相似度并獲得對抗性的圖像貼紙。我們要找到這個人的貼紙轉(zhuǎn)換參數(shù)。然后打印每個人的對抗貼紙，并用這些貼紙制作第四張照片以獲得最終結(jié)果。

我們使用 boxplot 來顯示所獲得值的分布（參見圖 5）。可以看出，對抗性貼紙明顯降低了與實(shí)際圖像的相似性。值得注意的是，在大多數(shù)情況下，對抗性貼紙在 0.5 以上時會降低與基礎(chǔ)事實(shí)的相似性。兩次降低相似度小于 0.5 的攻擊都與 10 歲以下的兒童有關(guān)。兒童的基線相似度初始值較低。

圖 6：我們?yōu)橐恍┤祟~外制作了 11 張照片，以檢測多種條件下貼紙攻擊的威力

圖 7：各種拍攝條件的基線結(jié)果和最終相似度。不同的人以不同的顏色表示

變化條件下的實(shí)驗(yàn)

為了檢驗(yàn)我們針對不同拍攝條件的方法的穩(wěn)健性，我們從前 10 張照片中選出 4 個人，又為他們制作了 22 張照片。這些照片分為 11 對。每對都是在相同的條件下照的。每對中的第一張照片是戴帽子的照片，用于評估基線相似度。第二張是帶有對抗性貼紙的戴帽子的照片，用于評估最終的相似度。8 對照片對應(yīng)于頭部傾斜的不同組合和形式（向前傾，向后傾，向左轉(zhuǎn)，向右轉(zhuǎn)），3 對照片對應(yīng)于不同的照明條件。拍攝條件示例如圖 6 所示。值得注意的是，我們繼續(xù)使用之前的貼紙，而不進(jìn)行新的攻擊。

結(jié)果如圖 7 所示。盡管最終的相似性增加，但攻擊仍然有效。這里不想給出什么結(jié)論，因?yàn)闇y試裝置非常小，但我們認(rèn)為，實(shí)驗(yàn)結(jié)果對于頭部的不同旋轉(zhuǎn)形式和組合是穩(wěn)健的。

我們發(fā)現(xiàn)照片上貼紙的較大區(qū)域會導(dǎo)致相似性較低。當(dāng)頭部向前傾斜時，最終的相似性仍然小于 0.2。當(dāng)頭部逐步抬起，相似度會逐漸增加。使用更好的投射和渲染技術(shù)以及更大的對抗配飾（比如使用帽子部分的全部區(qū)域進(jìn)行攻擊）可以讓監(jiān)控攝像機(jī)完全無法識別。

圖 8：不同模型上一次攻擊的基線和最終相似性之間的差異

可轉(zhuǎn)移性的實(shí)驗(yàn)

最后，我們檢查了對其他 Face ID 模型的攻擊的穩(wěn)健性。這些模型取自 InsightFace Model Zoo 。這些網(wǎng)絡(luò)具有不同的體系結(jié)構(gòu)，與 LResNet100E-IR，ArcFace @ ms1m-refine-v2 相比，這些網(wǎng)絡(luò)使用不同的損失函數(shù)和數(shù)據(jù)集進(jìn)行訓(xùn)練。

我們使用第一個實(shí)驗(yàn)中的照片來評估相似度：全臉照片，戴帽子的照片，帽子上帶有對抗貼紙的照片。我們計算了 10 個人中每個人的基線結(jié)果和最終相似度。使用箱線圖在圖 8 中描繪了每種模型的基線和最終相似度之間的差異。

結(jié)果顯示，我們的真實(shí)世界的攻擊行為就像數(shù)字域中的常見對抗性攻擊一樣。盡管攻擊的強(qiáng)度降低，但人仍然很難識別出來。