人工智能的快速發(fā)展的確值得欣喜，但快速發(fā)展的背后還有各種不完善的地方。比如，前不久麻省理工學(xué)院的一些學(xué)生，利用3D打印出來的烏龜，成功地讓谷歌的InceptionV3圖像分類器認(rèn)為其是一個步槍。烏龜=步槍？這個差距還是非常巨大的。如果正在行駛的無人汽車，把一個停車標(biāo)志看成了限速標(biāo)志呢？這將會帶來多大的危險？

一輛自動列車在軌道上飛速行駛，它的攝像頭不斷地掃描著各種信號，以預(yù)測它的行駛速度應(yīng)該有多快。它注意到了一個似乎需要提高速度的信號，然后照做了。幾秒鐘之后，火車險些出軌。后來，當(dāng)一名人類調(diào)查員檢查出問題的標(biāo)志時，他們得到的是一種截然相反的信號——是放慢速度，而不是加快速度。

這是一種極端的比喻，但它表明了當(dāng)今機器學(xué)習(xí)面臨的最大挑戰(zhàn)之一。神經(jīng)網(wǎng)絡(luò)能做的只能和它們所接受的信息一樣好。這導(dǎo)致了一些引人注目的例子，說明基于錯誤數(shù)據(jù)訓(xùn)練的人工智能是有偏見的。但這些技術(shù)也容易受到另一種被稱為“對抗性的例子”的弱點的影響。當(dāng)一個神經(jīng)網(wǎng)絡(luò)將圖像識別為一件事物時，就會出現(xiàn)一個對抗性的例子——人類看到的是另外一種東西。

這一現(xiàn)象是在2013年發(fā)現(xiàn)的，當(dāng)時一群來自谷歌和OpenAI的研究人員意識到，他們可以稍微改變圖像中的像素，使其看起來和人看到的一樣，但機器學(xué)習(xí)算法會將其歸類為完全不同的東西。例如，一個圖像可能看起來像一只貓，但是當(dāng)一個計算機視覺程序看到它時，它是一只狗。

為什么這種巧合如此重要——而且有潛在的風(fēng)險？想象一下，如果一輛自動駕駛汽車正沿著街道行駛，它可能把停車標(biāo)志看成限速標(biāo)志。如果有人能設(shè)計出一種財務(wù)文件，當(dāng)一個人看到它時，它是一種樣子，但當(dāng)它被掃描進(jìn)電腦時，卻顯示出完全不同的數(shù)字，這意味著什么呢？或者，如果某個充滿惡意的人發(fā)明了一種武器，當(dāng)美國運輸安全管理局的攝像頭掃描、使用深度學(xué)習(xí)來處理圖像的時候，這種武器似乎是無害的——比如說，一只烏龜？

當(dāng)它們剛被發(fā)現(xiàn)的時候，對抗性的例子并不是令人擔(dān)憂的。許多研究人員認(rèn)為這是一個極端案例，一個隨機的理論巧合。畢竟，在需要完全訪問算法內(nèi)部的時候創(chuàng)建一個敵對的例子，它會欺騙用戶。研究人員只能用數(shù)字圖像來構(gòu)建這些例子——如果你試圖打印出數(shù)字形式的圖像，那么你對圖像的超精確控制會立即被扭曲，因為打印機的分辨率無法在如此詳細(xì)的水平上捕捉像素的變化。例如，盡管你可以成功地騙過一種算法，讓你以為是狗的圖片在它看來是只貓，但如果你把圖像打印出來，并要求算法識別它時，它就不會被騙了。在現(xiàn)實世界中改變一個物體似乎更加困難。這似乎是一個不可能的挑戰(zhàn)，要創(chuàng)造出一個物體，在形狀方面有如此細(xì)微的變化，以至于人工智能會把它誤認(rèn)為是別的東西。另外，即使你做到了，一旦改變了角度也不會奏效。

或者說，學(xué)界的想法就是這樣的。但本月早些時候，麻省理工學(xué)院的一組學(xué)生成功用3D打印做了一個看起來像一只可愛的小烏龜?shù)奈矬w——但被機器學(xué)習(xí)算法當(dāng)作步槍來分類。麻省理工學(xué)院的博士生AnishAthalye說：“我們已經(jīng)證明了它們不是利用奇怪的角落或奇怪部件。實際上，你可以在現(xiàn)實生活中偽造這些物體，從而騙過機器學(xué)習(xí)算法?！?/p>

學(xué)生們創(chuàng)建了自己的算法，無論模糊，旋轉(zhuǎn)，縮放，還是角度的任何變化（無論是打印出的2D圖像還是3D模型），都可以產(chǎn)生物理對抗性的例子。換句話說，他們的烏龜式步槍不只是一次性的。例如，他們用3D打印出的棒球，被電腦認(rèn)為是濃縮咖啡。它可以可靠地騙過谷歌的InceptionV3圖像分類器——可以識別1000個不同的物體的圖像。這些算法已經(jīng)存在于我們的手機和電腦上，使得照片庫可以被搜索到，并使得在網(wǎng)上可以很容易對圖片中對朋友進(jìn)行標(biāo)記。

在被問到如何應(yīng)對敵對的例子時，谷歌指出，谷歌的研究人員已經(jīng)在著手解決這個問題，該公司正在進(jìn)行一項競賽，目的是創(chuàng)建一種圖像分類算法，不會被對抗性例子所愚弄。

這個3D打印的棒球，在電腦看起來就像是一杯濃縮咖啡。

麻省理工學(xué)院的學(xué)生們的工作給將原本只存在于理論上的擔(dān)憂變成了現(xiàn)實?！帮L(fēng)險很高，”Athalye說，他有計算機安全方面的背景?！拔覀冞€沒有打破真正的系統(tǒng)，但我們已經(jīng)比人們想象的更接近這一步了。”

并不是只有Athalye和他的同事們在這方面進(jìn)行努力。來自華盛頓大學(xué)、密歇根大學(xué)、石溪大學(xué)和加州大學(xué)伯克利分校的一組學(xué)者能夠打印出貼紙，并將其附著在停止標(biāo)記上，從而使圖像分類神經(jīng)網(wǎng)絡(luò)將它們識別為別的東西。對停車標(biāo)志的微小改動可能看起來像是給司機（或乘客）的涂鴉，但自動駕駛汽車會看到一個讓車標(biāo)志或限速標(biāo)志。除了擾亂交通，這可能是危險的：如果一輛車沒有看到停車標(biāo)志，并穿過十字路口，它就會撞上另一輛車，讓人們的生命處于危險之中。

Athalye說：“在實際系統(tǒng)中，對抗性的例子應(yīng)該是一個真正值得的問題。如果我們能做到這一點，壞人也能做到?！?/p>

部分問題在于，研究人員并不完全理解為什么會出現(xiàn)對抗性的例子——盡管很多人能自己創(chuàng)造出這方面的例子。如果沒有對這一現(xiàn)象的深刻理解，就很難建立起防御機制，使圖像分類器神經(jīng)網(wǎng)絡(luò)不容易受到機器學(xué)習(xí)中最令人費解的特性的影響。

但這并不意味著研究人員沒有嘗試。據(jù)加州大學(xué)伯克利分校的博士后研究員BoLi說，目前已經(jīng)有60多篇論文致力于在各種不同的語境中尋找對抗性的例子。他曾致力于制作貼紙，以改變算法對街頭標(biāo)識的看法。

一些人樂觀地認(rèn)為，最終研究人員將能夠找到一個解決方案，并找到一種方法來預(yù)防這種對抗性。對于安全研究人員來說，將能夠通過特定的軟件解決方案來抵御特定的威脅，這一點仍然是積極的。這可能不是一個能保護(hù)所有攻擊的萬能工具，而是防范特定類型威脅的防御措施。

NicolasPapernot是賓夕法尼亞州立大學(xué)計算機科學(xué)研究生，他指出，研究人員正開始尋找解決方案，無論成果多么有限。他在電子郵件中告訴我：“我非常樂觀地認(rèn)為，我們可以取得進(jìn)步，最終實現(xiàn)強大的機器學(xué)習(xí)?！卑踩蜋C器學(xué)習(xí)社區(qū)也進(jìn)行了卓有成效的交流。例如，今年3個不同的研究小組報告了對視覺模型進(jìn)行基準(zhǔn)測試的三個關(guān)鍵任務(wù)：手寫數(shù)字識別、街景房屋號碼識別，以及對象和動物的彩色圖像分類。

其他人則不那么肯定。NicholasCarlini是加州大學(xué)伯克利分校計算機安全專業(yè)的一名博士生，他想要攻破其他學(xué)者對對抗性例子的防御機制。“我有點像壞人，”他說?！拔艺f對不起，不，這沒用。”作為攻擊者，我可以根據(jù)你的防御來調(diào)整波長以進(jìn)行攻擊。”

Carlini已經(jīng)發(fā)表了幾篇關(guān)于他的攻擊的文章，在2017年5月的一篇文章中，他廢除了10個不同的防御計劃，并正在進(jìn)行更多的工作。他認(rèn)為，他的研究是一種扼殺研究思路的方法，他認(rèn)為這些研究不會帶來任何領(lǐng)域的進(jìn)步，學(xué)者需要將研究的火力集中在更有前途的方法上。在有限的情況下，這樣的一種方法會迫使攻擊者歪曲對手的樣例照片，以致于人眼能明顯察覺到。盡管如此，為了抵御特定的、有限的攻擊，少數(shù)有效的防御手段還是無法在數(shù)據(jù)集之間進(jìn)行轉(zhuǎn)換。

至少根據(jù)Carlini的說法，這是一個光明的一面。他說：“在一般安全社區(qū)，我們遇到了這樣一個問題，在人們開始真正試圖攻擊他們之前，系統(tǒng)已經(jīng)被使用了20年，我們意識到攻破它們已經(jīng)太晚了，我們已經(jīng)被問題困住了。令人興奮的是，在這些東西真正被投入使用之前，人們正在努力解決這個問題，因為這意味著我們有希望解決問題，至少有一點，或者至少在我們付諸實踐之前就能理解這個問題?！?/p>

即使是3D打印的海龜也只能工作，因為Athalye和他的同事們能夠接觸到他們能夠愚弄的神經(jīng)網(wǎng)絡(luò)的內(nèi)部機制——一個“白盒子”的情況。研究人員是否能夠在不知情的情況下創(chuàng)造出物理對抗的例子還有待觀察，即所謂的“黑匣子”情況。這就是真實世界的攻擊者的處境，因為美國運輸安全管理局肯定不會把代碼發(fā)布到任何可以用來掃描行李的神經(jīng)網(wǎng)絡(luò)上。Athalye說，在不考慮圖像分類器的代碼的情況下，找出如何做出對抗性的例子是他的下一個目標(biāo)。

盡管這看起來很可怕，但Athalye并不認(rèn)為我們需要擔(dān)心——至少現(xiàn)在還沒有出現(xiàn)。“沒有理由恐慌?！彼f：“我認(rèn)為我們的工作是及時的，而且有可能損害系統(tǒng)。但我們還沒有發(fā)現(xiàn)能夠撞到別人的特斯拉?！?/p>