現(xiàn)在有很多技術(shù)可以欺騙人工智能，也有很多人工智能技術(shù)被用來(lái)欺騙人。在人工智能（AI）時(shí)代，安全問(wèn)題不容忽視。

近幾年，人工智能技術(shù)在很多領(lǐng)域都取得了初步的成功，無(wú)論是圖像分類、視頻監(jiān)控領(lǐng)域的目標(biāo)跟蹤，還是自動(dòng)駕駛、人臉識(shí)別、圍棋等方面，都取得了非常好的進(jìn)展。那么，人工智能技術(shù)到底安全不安全？事實(shí)上，目前的人工智能技術(shù)還存在很多問(wèn)題。

人工智能并不安全

現(xiàn)在有很多技術(shù)可以欺騙人工智能，如在圖片上加入一些對(duì)抗干擾。所謂對(duì)抗干擾，就是針對(duì)智能判別式模型的缺陷，設(shè)計(jì)算法精心構(gòu)造與正常樣本差異極孝能使模型錯(cuò)誤識(shí)別的樣本。本來(lái)是一幅手槍的圖片，如果加入一些對(duì)抗干擾，識(shí)別結(jié)果就會(huì)產(chǎn)生錯(cuò)誤，模型會(huì)識(shí)別為不是槍。在人的前面掛一塊具有特定圖案的牌子，就能使人在視頻監(jiān)控系統(tǒng)中“隱身”。在自動(dòng)駕駛場(chǎng)景下，如果對(duì)限速標(biāo)識(shí)牌加一些擾動(dòng)，就可以誤導(dǎo)自動(dòng)駕駛系統(tǒng)識(shí)別成“Stop”，顯然這在交通上會(huì)引起很大的安全隱患。另一方面，人工智能的一些技術(shù)現(xiàn)在正在被濫用來(lái)欺騙人。例如，利用人工智能生成虛假內(nèi)容，包括換臉視頻、虛假新聞、虛假人臉、虛擬社交賬戶等。

不只在圖片和視頻領(lǐng)域，在語(yǔ)音識(shí)別領(lǐng)域也存在這樣的安全隱患。例如，在語(yǔ)音中任意加入非常微小的干擾，語(yǔ)音識(shí)別系統(tǒng)也可能會(huì)把這段語(yǔ)音識(shí)別錯(cuò)。同樣，在文本識(shí)別領(lǐng)域，只需要改變一個(gè)字母就可以使文本內(nèi)容被錯(cuò)誤分類。

除了對(duì)抗攻擊這種攻擊類型外，還有一種叫后門攻擊的攻擊類型。后門攻擊是指向智能識(shí)別系統(tǒng)的訓(xùn)練數(shù)據(jù)安插后門，使其對(duì)特定信號(hào)敏感，并誘導(dǎo)其產(chǎn)生攻擊者指定的錯(cuò)誤行為。例如，我們?cè)趯?duì)機(jī)器進(jìn)行訓(xùn)練時(shí)，在某一類的某些樣本中插入一個(gè)后門模式，如給人的圖像加上特定的眼鏡作為后門，用一些訓(xùn)練上的技巧讓機(jī)器人學(xué)習(xí)到眼鏡與某個(gè)判斷結(jié)果（如特定的一個(gè)名人）的關(guān)聯(lián)。訓(xùn)練結(jié)束后，這個(gè)模型針對(duì)這樣一個(gè)人還是能夠做出正確的識(shí)別，但如果輸入另一個(gè)人的圖片，讓他戴上特定的眼鏡，他就會(huì)被識(shí)別成前面那個(gè)人。訓(xùn)練的時(shí)候，模型里留了一個(gè)后門，這同樣也是安全隱患。

除了對(duì)抗樣本、后門外，如果AI技術(shù)被濫用，還可能會(huì)形成一些新的安全隱患。例如，生成假的內(nèi)容，但這不全都是人工智能生成的，也有人為生成的。此前，《深圳特區(qū)報(bào)》報(bào)道了深圳最美女孩給殘疾乞丐喂飯，感動(dòng)路人，人民網(wǎng)、新華社各大媒體都有報(bào)道。后來(lái)，人們深入挖掘，發(fā)現(xiàn)這個(gè)新聞是人為制造的?，F(xiàn)在社交網(wǎng)絡(luò)上有很多這樣的例子，很多所謂的新聞其實(shí)是不真實(shí)的。一方面，人工智能可以發(fā)揮重要作用，可以檢測(cè)新聞的真假；另一方面，人工智能也可以用來(lái)生成虛假內(nèi)容，用智能算法生成一個(gè)根本不存在的人臉。

用人工智能技術(shù)生成虛假視頻，尤其是使用視頻換臉生成某個(gè)特定人的視頻，有可能對(duì)社會(huì)穩(wěn)定甚至國(guó)家安全造成威脅。例如，模仿領(lǐng)導(dǎo)人講話可能就會(huì)欺騙社會(huì)大眾。因此，生成技術(shù)是否需要一些鑒別手段或者相應(yīng)的管理規(guī)范，這也是亟須探討的。例如，生成虛假人臉，建立虛假的社交賬戶，讓它與很多真實(shí)的人建立關(guān)聯(lián)關(guān)系，甚至形成一些自動(dòng)對(duì)話，看起來(lái)好像是一個(gè)真實(shí)人的賬號(hào)，實(shí)際上完全是虛擬生成的。這樣的情況該如何管理還需要我們進(jìn)一步探索和研究。

人工智能安全隱患的技術(shù)剖析

針對(duì)AI的安全隱患，要找到防御的方法，首先要了解產(chǎn)生安全隱患的技術(shù)。以對(duì)抗樣本生成為例，其主要分為2類：一類是白盒場(chǎng)景下對(duì)抗樣本生成；另一類為黑盒場(chǎng)景下對(duì)抗樣本生成。白盒場(chǎng)景的模型參數(shù)完全已知，可以訪問(wèn)模型中所有的參數(shù)，這個(gè)情況下攻擊就會(huì)變得相對(duì)容易一些，只需要評(píng)估信息變化的方向?qū)δＰ洼敵龅挠绊懀业届`敏度最高的方向，相應(yīng)地做出一些擾動(dòng)干擾，就可以完成對(duì)模型的攻擊。黑盒場(chǎng)景下攻擊則相對(duì)較難，大部分實(shí)際情況下都是黑盒場(chǎng)景，我們依然可以對(duì)模型遠(yuǎn)程訪問(wèn)，輸入樣本，拿到檢測(cè)結(jié)果，但無(wú)法獲得模型里的參數(shù)。

現(xiàn)階段的黑盒攻擊可大致分為3類。第一類是基于遷移性的攻擊方法，攻擊者可以利用目標(biāo)模型的輸入信息和輸出信息，訓(xùn)練出一個(gè)替換模型模擬目標(biāo)模型的決策邊界，并在替換模型中利用白盒攻擊方法生成對(duì)抗樣本，最后利用對(duì)抗樣本的遷移性完成對(duì)目標(biāo)模型的攻擊。第二類是基于梯度估計(jì)的攻擊方法，攻擊者可以利用有限差分以及自然進(jìn)化策略等方式來(lái)估計(jì)梯度信息，同時(shí)結(jié)合白盒攻擊方法生成對(duì)抗樣本。在自然進(jìn)化策略中，攻擊者可以以多個(gè)隨機(jī)分布的單位向量作為搜索方向，并在這些搜索方向下最大化對(duì)抗目標(biāo)的期望值。第三類是基于決策邊界的攻擊方法，通過(guò)啟發(fā)式搜索策略搜索決策邊界，再沿決策邊界不斷搜索距離原樣本更近的對(duì)抗樣本。

有攻擊就有防御，針對(duì)對(duì)抗樣本的檢測(cè)，目前主要有3種手段。第一種，通過(guò)訓(xùn)練二分類器去分類樣本是否受到干擾，但通用性會(huì)比較差。通常而言，訓(xùn)練一個(gè)分類器只能針對(duì)某一種特定的攻擊算法，但在通常情況下并不知道別人使用哪一種攻擊算法。第二種，訓(xùn)練去噪器。所謂的對(duì)抗干擾基本上都是樣本中加入噪聲，通過(guò)去噪對(duì)樣本進(jìn)行還原，從而實(shí)現(xiàn)防御。第三種，用對(duì)抗的手段提升模型的魯棒性，在模型訓(xùn)練中加入對(duì)抗樣本，模型面對(duì)對(duì)抗樣本時(shí)會(huì)具有更強(qiáng)的魯棒性，提高識(shí)別的成功率，但訓(xùn)練的復(fù)雜度較高。整體而言，這些方法都不很理想，我們亟須研究通用性強(qiáng)、效率高的對(duì)抗樣本的防御方法。

針對(duì)換臉視頻的生成，目前主流技術(shù)是基于自動(dòng)編碼器進(jìn)行人臉圖像重建。在模型訓(xùn)練階段，所有的人臉圖像使用同一個(gè)編碼器，這個(gè)編碼器的目標(biāo)是學(xué)習(xí)捕捉人臉的關(guān)鍵特征。對(duì)于人臉重構(gòu)，每個(gè)人的臉都有一個(gè)單獨(dú)的解碼器，這個(gè)解碼器用于學(xué)習(xí)不同人的臉?biāo)哂械莫?dú)特特征。利用訓(xùn)練后的編碼器與解碼器即可進(jìn)行虛假人臉生成。

針對(duì)換臉視頻的鑒別，目前主流技術(shù)是基于視覺(jué)瑕疵進(jìn)行鑒別，這個(gè)假設(shè)是換臉視頻具有不真實(shí)的情況。因此，可以對(duì)眨眼頻率、頭部姿態(tài)估計(jì)、光照估計(jì)、幾何估計(jì)等提取特征，利用這些特征去判斷人臉的圖片或者視頻的真假。

對(duì)抗攻防已取得一定研究成果

目前，我們?cè)谌斯ぶ悄馨踩夹g(shù)上加大了投入，圍繞人工智能安全領(lǐng)域的問(wèn)題開(kāi)展了一些研究。

第一個(gè)工作是針對(duì)視頻識(shí)別模型上的黑盒對(duì)抗攻擊。在該工作中，我們利用對(duì)抗擾動(dòng)的遷移性，將圖像預(yù)訓(xùn)練模型中得到的擾動(dòng)作為視頻幀的初始擾動(dòng)，并在此基礎(chǔ)上利用自然進(jìn)化策略對(duì)這些初始擾動(dòng)噪聲進(jìn)行糾正。當(dāng)我們得到針對(duì)視頻域特殊糾正后的梯度信息后，采用投影梯度下降來(lái)對(duì)輸入視頻進(jìn)行更新。該方法可以在黑盒場(chǎng)景下，對(duì)主流視頻識(shí)別模型進(jìn)行攻擊，這也是全球在視頻模型黑盒攻擊上的第一個(gè)工作。我們實(shí)現(xiàn)的結(jié)果是在目標(biāo)攻擊情況下，需要3萬(wàn)至8萬(wàn)次查詢就可以達(dá)到93%的攻擊成功率，非目標(biāo)攻擊只需要數(shù)百個(gè)查詢就可以完成對(duì)主流模型的攻擊。目標(biāo)攻擊是指不僅讓這個(gè)模型識(shí)別錯(cuò)，還要指定它把這個(gè)東西識(shí)別成什么，如把A的照片識(shí)別成B。非目標(biāo)攻擊是指只要識(shí)別錯(cuò)就可以了，識(shí)別成誰(shuí)則不重要，如A的照片只要不識(shí)別成A就可以。

第二個(gè)工作是基于時(shí)空稀疏的視頻對(duì)抗攻擊。由于視頻數(shù)據(jù)的維度很高，導(dǎo)致攻擊算法的復(fù)雜度往往較高。對(duì)此，我們提出了基于時(shí)空稀疏的視頻數(shù)據(jù)對(duì)抗攻擊方法。時(shí)空稀疏是指在生成對(duì)抗擾動(dòng)時(shí)，僅對(duì)特定幀的特定區(qū)域生成擾動(dòng)，以此降低對(duì)抗擾動(dòng)的搜索空間，提高攻擊效率。在該工作中，為了實(shí)現(xiàn)時(shí)空稀疏，我們根據(jù)啟發(fā)式規(guī)則衡量每個(gè)幀的重要性，選擇視頻幀的子集進(jìn)行擾動(dòng)；同時(shí)，在空間上我們選擇指定幀的寫入?yún)^(qū)域，如針對(duì)前景運(yùn)動(dòng)的人做一些干擾。以此實(shí)現(xiàn)高效的視頻黑盒攻擊。

第三個(gè)工作是針對(duì)視頻識(shí)別模型進(jìn)行后門攻擊。針對(duì)后門攻擊，之前的研究都集中于圖像領(lǐng)域，且都是生成固定的棋盤格式的后門，這種方法在視頻上的攻擊成功率極低。對(duì)此，我們提出了一種針對(duì)視頻數(shù)據(jù)的后門攻擊方法。在該工作中，我們首先對(duì)視頻數(shù)據(jù)進(jìn)行后門生成，并將后門圖案安插在視頻中不顯眼的角落，同時(shí)我們對(duì)原始視頻其他內(nèi)容施加一些對(duì)抗干擾，使得我們識(shí)別的模型更加側(cè)重利用后門，以此得到污染數(shù)據(jù)，并用污染的數(shù)據(jù)替換原始數(shù)據(jù)集里對(duì)應(yīng)的數(shù)據(jù)，實(shí)現(xiàn)后門攻擊。該工作在公開(kāi)數(shù)據(jù)集上取得了比較好的攻擊結(jié)果，在很多類別上平均攻擊成功率可以實(shí)現(xiàn)80%左右，遠(yuǎn)高于現(xiàn)有的基于圖像數(shù)據(jù)的后門攻擊方法。

技術(shù)對(duì)人工智能治理至關(guān)重要

未來(lái)，技術(shù)將在人工智能安全問(wèn)題檢測(cè)以及相應(yīng)規(guī)則落實(shí)上發(fā)揮重要的作用。在保障模型安全方面，通過(guò)發(fā)展對(duì)抗攻防理論設(shè)計(jì)更加魯棒的智能模型，確保智能系統(tǒng)在復(fù)雜環(huán)境下的安全運(yùn)行，形成人工智能安全評(píng)估和管控能力。在隱私保護(hù)上，發(fā)展聯(lián)邦學(xué)習(xí)及差分隱私等理論與技術(shù)，規(guī)范智能系統(tǒng)分析和使用數(shù)據(jù)的行為，保障數(shù)據(jù)所有者的隱私。針對(duì)智能系統(tǒng)決策的可解釋性問(wèn)題，發(fā)展機(jī)器學(xué)習(xí)可解釋性理論與技術(shù)，提升智能算法決策流程的人類可理解性，建立可審查、可回溯、可推演的透明監(jiān)管機(jī)制。在決策公平方面，可以利用統(tǒng)計(jì)學(xué)理論與技術(shù)，消除算法與數(shù)據(jù)中的歧視性偏差，構(gòu)建無(wú)偏見(jiàn)的人工智能系統(tǒng)。最后，為了保證人工智能技術(shù)不被濫用，可以通過(guò)發(fā)展大數(shù)據(jù)計(jì)算與模式識(shí)別等理論與技術(shù)，預(yù)防、檢測(cè)、監(jiān)管智能技術(shù)被濫用的情況，創(chuàng)造有益于人類福祉的人工智能應(yīng)用生態(tài)。

姜育剛，復(fù)旦大學(xué)教授、博士生導(dǎo)師，計(jì)算機(jī)科學(xué)技術(shù)學(xué)院院長(zhǎng)、軟件學(xué)院院長(zhǎng)、上海視頻技術(shù)與系統(tǒng)工程研究中心主任。
責(zé)任編輯：tzh