人工智能發(fā)展到當下階段，對于倫理和安全的思考已經(jīng)逐漸從幕后走向臺前。

2019年5月22日，經(jīng)濟合作與發(fā)展組織（OCED）批準了《負責任地管理可信賴AI的原則》，該倫理原則總共有五項，包括包容性增長、可持續(xù)發(fā)展及福祉，以人為本的價值觀及公平性，透明度和可解釋性，穩(wěn)健性、安全性和保障性，問責制。

其中更為顯性的安全問題，在“換臉”風波、人臉信息泄漏等一系列事件的曝光下，為人工智能技術(shù)的應用前景蒙上了一層陰影，提高人工智能技術(shù)的安全性與可靠性迫在眉睫。

Deepfake的世界里，眼見不再為實

Deepfake將人工智能話題推上了輿論的風口。

圖：演員Jordan Peele模仿奧巴馬聲音制作的虛假演講視頻利用Deepfake造假技術(shù)，艾瑪·沃森等一眾歐美女明星被“換臉”在了不可描述的小電影上，混跡政壇的大佬虛假演講“互相攻訐”，一時轟動全網(wǎng)。作為國內(nèi)首家致力于推廣安全、可靠、可解釋第三代人工智能的研究團隊，RealAI表示，目前AI換臉的技術(shù)難度正大幅降低，團隊成功將近期人氣火熱的雷佳音換臉成著名相聲演員郭德綱，整個過程僅花費數(shù)小時。

圖：雷佳音（左）換臉郭德綱（右）現(xiàn)今，基于人臉的信息傳遞已經(jīng)成為人類社會溝通的主要媒介之一，比如社交平臺的照片、網(wǎng)絡上的演講和表演視頻。換臉技術(shù)的出現(xiàn)則極大地影響公眾對圖片和視頻的解讀，比如誰該為這段言論負責，以及這段言論的可信度有多大，甚至可能淪為色情復仇的工具、擾亂政界的武器，導致前所未有的社會影響。目前Deepfake主要以公眾人物為受害目標，但隨著AI技術(shù)的飛速發(fā)展，可能在不遠的將來，普通民眾也會被波及。為了保證AI應用的安全性，目前RealAI團隊研發(fā)出“反AI變臉檢測”工具，專用于檢測AI換臉造假技術(shù)。

圖：RealAI“反AI變臉檢測”技術(shù) ，綠框為正常視頻幀，紅框為檢測出的造假視頻幀RealAI研究人員表示，Deepfake生成的造假視頻畫面會有不“自然”的紋理存在。為此，他們通過海量視頻訓練神經(jīng)網(wǎng)絡，讓其學習正常情況中的紋理特征，再以此檢測造假視頻中不一致的紋理。利用該技術(shù)，可以對造假視頻實現(xiàn)逐幀檢測，準確率高達90%以上。據(jù)媒體報道，目前已經(jīng)出現(xiàn)犯罪團伙利用AI換臉進行詐騙，希望“反AI變臉檢測”技術(shù)可以遏制此類惡性事件的發(fā)生，不要讓病態(tài)化的“換臉”趨勢愈演愈烈。

“隱身衣”成為可能，犯罪行為“有處遁形”

如果說，“換臉”是技術(shù)濫用引發(fā)的社會安全威脅，那還有另一個不容忽視的問題：AI算法本身也不夠安全。比如，深度神經(jīng)網(wǎng)絡（CNN）存在的大量的安全盲點，可以被特定構(gòu)造的輸入樣本欺騙。在原始圖片上增加人眼看上去無關(guān)緊要的噪聲，可以惡意地誤導AI系統(tǒng)輸出非預期的結(jié)果。

圖：一張貼紙“騙”過AI攝像頭來自比利時魯汶大學 (KU Leuven) 研究人員曾在身上貼一張打印出來的貼紙，就成功“欺騙”AI，讓檢測系統(tǒng)無法看到自己，如同穿了哈利波特中的“隱身斗篷”。目前，RealAI團隊也成功開展類似的“隱身”研究，在3D車輛模型的車身上貼上特制的“紙片”，使得模型成功逃逸識別。從具體效果來看，該“隱身”可在高度運動、光線變化等復雜環(huán)境中保持較高的魯棒性，技術(shù)優(yōu)勢明顯。

圖：3D車輛模型“隱身”試驗

圖：遠距離、近距離、穩(wěn)定、動態(tài)拍攝下的“隱身”效果如上圖所示，試驗中最右車輛未加噪音處理，最左車輛車身添加了白噪音，中間的車輛車身添加了RealAI基于對抗樣本特制的噪音圖像?？梢钥吹剑瑹o論是遠距離、近距離，穩(wěn)定拍攝還是運動拍攝中導致失焦，添加了對抗樣本噪音的車輛在絕大部分情況下都沒有被識別出，“隱身”最為成功。

圖：關(guān)燈瞬間以及昏暗光線下的“隱身”效果即便外界光線發(fā)生變化，在關(guān)燈瞬間“隱身”效果依舊穩(wěn)定。值得指出的是，目前國際上發(fā)布的相關(guān)研究更趨于“靜態(tài)”環(huán)境中的隱身，比如過度的大幅度動作可能會導致“隱身”失效，RealAI團隊的“隱身”試驗則可以適應高難度的動態(tài)環(huán)境，比如高頻抖動、角度變換、失焦等，而且隱身效果更為突出。目前目標檢測技術(shù)已經(jīng)大規(guī)模的應用到商業(yè)場景中，例如公共場所動態(tài)監(jiān)控、安防布控以及自動駕駛汽車...... 而上文的“隱身”技術(shù)可能用于現(xiàn)實的視頻監(jiān)控系統(tǒng)或干擾自動駕駛汽車的感知系統(tǒng)。設想一下，當監(jiān)控系統(tǒng)失去監(jiān)管效力、自動駕駛汽車失控，將引發(fā)怎樣的后果？警方過度信任AI監(jiān)控導致罪犯輕松利用“隱身”技術(shù)逃脫、自動駕駛汽車被路邊的某個“圖案”誤導而引發(fā)車禍....公眾的人身安全、社會安全乃至國家安全都將面臨挑戰(zhàn)，政府、企業(yè)和社會都應該重新評估AI算法的可靠性。

刷臉時代，你的“臉”正在出賣你

隨著AI在人臉識別上越來越精通，人臉解鎖已經(jīng)成為智能手機的標配。但是，我們的臉真的安全嗎？最近，RealAI的AI安全研究團隊利用一副基于“對抗樣本”生成的“眼鏡”成功破解智能手機的面部解鎖，是國際上首個從算法層面對商用手機高復雜識別模型實現(xiàn)黑盒攻擊的團隊。

圖：正常情況下無法解鎖他人手機

圖：帶上道具瞬間完成解鎖，破解成功圖片中可以看到，“攻擊者”戴上眼鏡識別的瞬間便可成功解鎖，無需特定的角度和光線，無需暴力嘗試。與照片解鎖、造假視頻、3D建模等傳統(tǒng)方法相比，該方法成本更低、成功率更高。深度神經(jīng)網(wǎng)絡（CNN）容易受到“對抗樣本”的攻擊影響。此前就有研究團隊提出，通過帶有干擾的“配飾”來欺騙模型逃逸識別。但該想法只停留于研究層面，僅在實驗場景中結(jié)構(gòu)較簡單的模型上進行過驗證，而且是基于對模型內(nèi)部參數(shù)已知的情況下實現(xiàn)的“白盒”攻擊。RealAI研究團隊則將其成功應用到物理世界和黑盒場景，對內(nèi)部參數(shù)未知的情況下，破解商用手機中復雜度、精準度更高的識別模型。

圖：基于對抗樣本生成的“眼鏡”道具RealAI進行該項研究，目的是為了從算法層面找到當前主流人臉識別模型的安全漏洞，從而針對性的進行防御。目前團隊也已經(jīng)研發(fā)出相應的防御技術(shù)，可能很大程度上檢測并防御當前的對抗樣本攻擊。通過對手機識別系統(tǒng)進行防火墻升級，在解鎖的過程中可以識別出“攻擊者”，并對其拒絕訪問。圖：RealAI的AI防火墻技術(shù)可檢測并防御“對抗樣本”攻擊在正在到來的“刷臉”時代，我們似乎一再追求“好不好用”，對“安不安全”卻專注甚少。當我們沉浸在“技術(shù)進步”的喜悅中時，也該思考下，我們寫在“臉”上的密碼或許正在出賣我們。

保護AI安全發(fā)展，我們可以做什么？

人工智能在許多場景的應用都與人身安全息息相關(guān)，如自動駕駛、身份認證、監(jiān)控安防等。如果在這些領(lǐng)域，一旦AI技術(shù)被濫用或者AI算法出現(xiàn)漏洞，將直接侵害人身權(quán)益，后果難以挽回。監(jiān)控部門也已經(jīng)注意到AI安全問題的嚴重性。今年4月全國人大常委會審議的《民法典人格權(quán)編(草案)》里，正式加了一條：任何組織和個人不得以利用信息技術(shù)手段偽造的方式侵害他人的肖像權(quán)。5月，國家網(wǎng)信辦會同有關(guān)部門發(fā)布《數(shù)據(jù)安全管理辦法（征求意見稿）》，其中表示，網(wǎng)絡運營者不得以謀取利益或損害他人利益為目的利用大數(shù)據(jù)、人工智能等技術(shù)自動合成信息。除了加強監(jiān)管力度，確保人工智能安全、可控發(fā)展，也需要從安全對抗的本質(zhì)上出發(fā)，鑄造更高門檻的防御技術(shù)，以AI應對AI。作為清華大學AI研究院的重點孵化企業(yè)，RealAI與清華大學AI研究院聯(lián)合開發(fā)出人工智能安全平臺—RealSafe平臺。RealSafe作為深度學習攻擊防御算法與評測的統(tǒng)一平臺，提供多種攻擊與防御算法，并融合白盒、黑盒等不同場景，可以提供全面、細致的攻擊防御算法的評測與比較。此外，RealSafe安全技術(shù)也可以應用至金融領(lǐng)域的身份驗證、安防領(lǐng)域的監(jiān)控識別等具體場景，提高AI應用的安全性，避免不法之徒鉆空子。最后，AI安全問題已經(jīng)不再只是學術(shù)談論，社會各界都應該提高對AI安全的意識，畢竟，AI已來，而解決AI安全問題已經(jīng)迫在眉睫！