隨著人工智能的興起，機(jī)器學(xué)習(xí)熱度不斷攀升，機(jī)器學(xué)習(xí)帶給我們智能化生活的同時(shí)，其本身的安全性問(wèn)題也逐漸進(jìn)入人們的視線，該安全問(wèn)題起初由 lan Goodfellow 和 Papernot 二人提出，可以將其二人提出的問(wèn)題定義為機(jī)器學(xué)習(xí)的安全和隱私問(wèn)題。在機(jī)器學(xué)習(xí)發(fā)展與完善的過(guò)程中，安全問(wèn)題同樣不容小覷。

絡(luò)繹學(xué)術(shù) Online 直播第七期，我們邀請(qǐng)了伊利諾伊大學(xué)教授李博，為大家分享：機(jī)器學(xué)習(xí)領(lǐng)域下安全性的延展—對(duì)抗學(xué)習(xí)。

以下為直播回顧和延伸解讀：

機(jī)器學(xué)習(xí)指的是研究計(jì)算機(jī)如何模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為以及獲取新的知識(shí)或技能的學(xué)科，機(jī)器學(xué)習(xí)產(chǎn)業(yè)鏈由三部分組成，可以細(xì)分為上游基礎(chǔ)層，中游技術(shù)層，下游則多與垂直領(lǐng)域結(jié)合。

機(jī)器學(xué)習(xí)廣泛應(yīng)用于金融、教育、醫(yī)療、工業(yè)、零售、能源等多個(gè)垂直領(lǐng)域，在 2014 至 2018 年，其行業(yè)市場(chǎng)規(guī)模從 2014 年的 8.7 億元增長(zhǎng)至 2018 年的 52.5 億元，年復(fù)合增長(zhǎng)率達(dá)到了 56.7%。預(yù)計(jì)至 2023 年，機(jī)器學(xué)習(xí)市場(chǎng)規(guī)模將達(dá) 336.7 億元。

圖｜機(jī)器學(xué)習(xí)行業(yè)市場(chǎng)規(guī)模

機(jī)器學(xué)習(xí)應(yīng)用的安全性，對(duì)抗學(xué)習(xí)必不可少。

所謂的對(duì)抗機(jī)器學(xué)習(xí) (Adverserial Machine Learning) 就是作為機(jī)器學(xué)習(xí)研究中的一個(gè)安全細(xì)分的方向，它可以在一定程度上保證機(jī)器學(xué)習(xí)應(yīng)用模型的安全性。

這是由于現(xiàn)在的模式識(shí)別技術(shù) (Pattern Recognition) 包括語(yǔ)音、物品識(shí)別它們都借助機(jī)器學(xué)習(xí)中的深度學(xué)習(xí)得到了長(zhǎng)足的進(jìn)步。但是同時(shí)這些技術(shù)也很容易被對(duì)抗樣本 (Adversarial Examples) 所迷惑，而所謂的對(duì)抗樣本，就是指一些為識(shí)別任務(wù)精心打造的故意混淆和誤導(dǎo)檢測(cè)任務(wù)的樣本。

如圖片中在人眼識(shí)別中完全看不出差別的圖片，由于對(duì)抗性噪聲的加入，使得原本的雪山被機(jī)器識(shí)別為了狗，原本的河豚被機(jī)器識(shí)別成了螃蟹。

在近些年來(lái)的研究中進(jìn)一步發(fā)現(xiàn)，不僅僅是像素級(jí)別的擾動(dòng)，在真實(shí)世界中也存在著大量的擾動(dòng)，即便是日常生活中我們?nèi)庋劭梢宰龀龊?jiǎn)單區(qū)分的事物，在通過(guò)攝像機(jī)鏡頭的采集后，也具備了攻擊性。

正如直播中李博給我們帶來(lái)的分享，如停止標(biāo)志牌，無(wú)論是沒(méi)有涂鴉的還是有涂鴉的，對(duì)于人來(lái)說(shuō)都是肉眼可以識(shí)別的停止標(biāo)志，但是對(duì)于自動(dòng)駕駛的識(shí)別系統(tǒng)來(lái)說(shuō)，附加了涂鴉的車牌則可能會(huì)被認(rèn)為是一個(gè)非停止的標(biāo)志。

真實(shí)世界測(cè)試：下圖左右兩邊都是停止標(biāo)志，但是左側(cè)由于干擾，機(jī)器學(xué)習(xí)將標(biāo)志誤識(shí)別為限速 45，所以汽車在停止標(biāo)志下也不會(huì)停止。

圖｜真實(shí)世界中對(duì)停止標(biāo)志識(shí)別的影響

依然是真實(shí)世界的測(cè)試：停止標(biāo)志被加上了圖畫后，機(jī)器學(xué)習(xí)無(wú)法識(shí)別，從而無(wú)法做出停止的行為。

現(xiàn)階段對(duì)模型攻擊的分類

主要分為兩大類，他們是從訓(xùn)練階段和推理 (inference) 階段來(lái)進(jìn)行。

訓(xùn)練階段的攻擊 (Training in Adversarial Settings) ，主要的方法就是針對(duì)模型的參數(shù)進(jìn)行微小的擾動(dòng)，從讓而達(dá)到讓模型的性能和預(yù)期產(chǎn)生偏差的目的。

標(biāo)簽操縱 (label manipulation)

圖｜標(biāo)簽操縱

標(biāo)簽操縱就是直接通過(guò)對(duì)于訓(xùn)練數(shù)據(jù)的標(biāo)簽進(jìn)行替換，讓數(shù)據(jù)樣本和標(biāo)簽不對(duì)應(yīng)，從而最后訓(xùn)練的結(jié)果也一定與預(yù)期的產(chǎn)生差異。

輸入操縱 (input manipulation)

圖｜輸入操縱

輸入操縱是比較直接的攻擊方式，主要是通過(guò)在線的方式獲得訓(xùn)練數(shù)據(jù)的輸入權(quán)，操縱惡意數(shù)據(jù)來(lái)對(duì)在線訓(xùn)練過(guò)程進(jìn)行擾動(dòng)，最后的結(jié)果就是產(chǎn)出脫離預(yù)期。

推理階段的攻擊 (Inference in Adversarial Settings)，是當(dāng)一個(gè)模型被訓(xùn)練完成后，可以將該模型主觀的看作是一個(gè)盒子，如果該盒子對(duì)我們來(lái)說(shuō)是透明的則可以將其看成“白盒”模型，若非如此則看成“黑盒”模型。

白盒攻擊（White-Box Adversarial）

所謂的“白盒攻擊”，就是我們需要知道里面所有的模型參數(shù)，但這在實(shí)際操作中并不現(xiàn)實(shí)，卻有實(shí)現(xiàn)的可能，因此我們需要有這種前提假設(shè)。

黑盒攻擊（Black-Box Adversarial）

黑盒就比較符合現(xiàn)實(shí)生活中的場(chǎng)景：通過(guò)輸入和輸出猜測(cè)模型的內(nèi)部結(jié)構(gòu)；加入稍大的擾動(dòng)來(lái)對(duì)模型進(jìn)行攻擊；構(gòu)建影子模型來(lái)進(jìn)行關(guān)系人攻擊；抽取模型訓(xùn)練的敏感數(shù)據(jù)；模型逆向參數(shù)等等。

對(duì)抗攻擊的防御機(jī)制

抵御對(duì)抗樣本攻擊：主要是基于附加信息引入輔助塊模型（AuxBlocks）進(jìn)行額外輸出來(lái)作為一種自集成的防御機(jī)制，尤其在針對(duì)攻擊者的黑盒攻擊和白盒攻擊時(shí)，該機(jī)制效果良好。

除此之外防御性蒸餾也可以起到一定的防御能力，防御性蒸餾是一種將訓(xùn)練好的模型遷移到結(jié)構(gòu)更為簡(jiǎn)單的網(wǎng)絡(luò)中，從而達(dá)到防御對(duì)抗攻擊的效果。

對(duì)抗學(xué)習(xí)前沿趨勢(shì)

雖然目前對(duì)抗學(xué)習(xí)方面的研究已經(jīng)提出了許多對(duì)抗樣本生成的攻擊算法，但是防御機(jī)制方面仍然存在著大量的提升空間。針對(duì)不同的攻擊方式，防御手段通常是修補(bǔ)漏洞，目前沒(méi)能找到一個(gè)標(biāo)準(zhǔn)化的通用的方式，來(lái)對(duì)所有的對(duì)抗攻擊方法進(jìn)行防御。

即使是上面所說(shuō)的無(wú)論是輔助塊模型，防御性蒸餾，還是現(xiàn)在發(fā)展熱度很高的膠囊神經(jīng)網(wǎng)絡(luò)等，集成方式都是成熟度不高，且沒(méi)有形成完整的防御體系，僅能在局部取得有效的防御效果。在對(duì)抗攻擊的方向上，防御技術(shù)和機(jī)制仍然存在很大的發(fā)展前景。

也如直播中李博講到的對(duì)于對(duì)抗學(xué)習(xí)未來(lái)商業(yè)化應(yīng)用的介紹，對(duì)抗學(xué)習(xí)未來(lái)在自動(dòng)駕駛領(lǐng)域?qū)⒋笥凶鳛椋瑸槲覀兊陌踩{駛保駕護(hù)航。同樣在醫(yī)療領(lǐng)域通過(guò)對(duì)抗學(xué)習(xí)去除躁點(diǎn)，也大大提高了醫(yī)療的精確度。在患者隱私層面，通過(guò)對(duì)抗學(xué)習(xí)來(lái)修改并保護(hù)隱私信息亦是大有可為。

在對(duì)抗學(xué)習(xí)遠(yuǎn)大的商業(yè)發(fā)展前景下，機(jī)器學(xué)習(xí)行業(yè)不斷的開(kāi)始涌現(xiàn)出足夠多的優(yōu)秀企業(yè)，這些企業(yè)也在不斷的推動(dòng)對(duì)抗學(xué)習(xí)的發(fā)展。

走在前列的機(jī)器學(xué)習(xí)相關(guān)企業(yè)

竹間智能

竹間智能是一家利用深度學(xué)習(xí)、情感計(jì)算、計(jì)算機(jī)視覺(jué)等技術(shù)來(lái)研發(fā)可對(duì)話機(jī)器人產(chǎn)品的機(jī)器學(xué)習(xí)公司， 其人工智能解決方案包括“ AI +金融”、“ AI +零售”、“ AI +教育”、“ AI +政務(wù)”等。

2016 年 1 月，竹間智能獲得 A 輪 2,500 萬(wàn)美元融資。2018 年 12 月，竹間智能獲得 B 輪 3,000 萬(wàn)美元融資，其中由中華開(kāi)發(fā)金控領(lǐng)投，國(guó)泰金控跟投，科沃斯、尚珹投資持續(xù)加注。

第四范式

第四范式是一家將機(jī)器學(xué)習(xí)、人工智能、大數(shù)據(jù)等技術(shù)運(yùn)用于金融、電信等領(lǐng)域的大數(shù)據(jù)科技公司，其產(chǎn)品包括 SageAI 平臺(tái)、Sage HyperCycle ML、Sage HyperCycle CV、智能風(fēng)控平臺(tái)等。

2015 年 7 月，第四范式獲得天使輪 100 萬(wàn)元人民幣融資。2016 年 5 月，第四范式獲得來(lái)自創(chuàng)新工廠的 A 輪 100 萬(wàn)美元融資。2017 年 12 月，第四范式獲得 B 輪融資。2018 年 12 月，第四范式獲得 C 輪融資超過(guò)了 10 億元人民幣，投資方包括紅杉資本、保利資本、三峽資本、中國(guó)農(nóng)業(yè)銀行，中國(guó)交通銀行，中信銀行等。

庫(kù)柏特

庫(kù)柏特是一家以機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)等人工智能技術(shù)為核心，從事機(jī)器人及對(duì)應(yīng)軟件研發(fā)、生產(chǎn)、等相關(guān)業(yè)務(wù)的公司。庫(kù)伯特主要針對(duì)物流、醫(yī)療、食品、教育、電子等行業(yè)提供技術(shù)解決方案。

庫(kù)柏特的產(chǎn)品包括 COBOTSYS、CGRASP、CPOLISH、CAssemblyC2、COMATRIX、COHAND 等。

1. COBOTSYS 是一款以計(jì)算機(jī)視覺(jué)、智能力控、抓取規(guī)劃與機(jī)器學(xué)習(xí)等技術(shù)為基礎(chǔ)的智能工業(yè)機(jī)器人操作系統(tǒng)，可實(shí)現(xiàn)重力標(biāo)定、力位混合控制、接觸保護(hù)、過(guò)程監(jiān)控等功能。

2. CGRASP 是一款機(jī)器人柔性抓取產(chǎn)品，其可根據(jù)抓取物品的種類自適應(yīng)選擇視覺(jué)算法及運(yùn)動(dòng)路徑，主要應(yīng)用于物流、醫(yī)藥、食品、電子、零售等行業(yè)。

3. CPOLISH 是一款融合機(jī)器視覺(jué)與智能力控技術(shù)的打磨系統(tǒng)，該系統(tǒng)通過(guò) 3D 相機(jī)可對(duì)打磨工件進(jìn)行掃描建模，并計(jì)算出工件在三維空間中的坐標(biāo)，再根據(jù)視覺(jué)重構(gòu)的模型生成路徑，實(shí)現(xiàn)打磨工藝路徑設(shè)計(jì)。

4. CASSEMBLYC2 是一款機(jī)械臂操作產(chǎn)品，該產(chǎn)品配備了六維傳感器以及腕部視覺(jué)相機(jī)。

5. COMATRIX 是一款 3D 視覺(jué)產(chǎn)品，具有 GPU 處理能力。

6. COHAND 是一款柔性機(jī)械手產(chǎn)品，可兼容 Windows、Linux、ROS 操作系統(tǒng)， 主要面向教育科研、物流分揀等領(lǐng)域。

2016 年 6 月，庫(kù)柏特獲得天使輪 100 萬(wàn)人民幣融資。2017 年 3 月，庫(kù)柏特獲得 A 輪 4,000 萬(wàn)人民幣融資，投資方為經(jīng)緯中國(guó)。2017 年 12 月，庫(kù)柏特獲得 B 輪融資 1.02 億元人民幣，投資方為紀(jì)源資本、Matrix Parnters 等。

Ayasdi

Ayasdi 是 DARPA（美國(guó)國(guó)防部高級(jí)研究項(xiàng)目組）資助的一家初創(chuàng)公司。其核心技術(shù)“拓?fù)鋽?shù)據(jù)分析”可以找到復(fù)雜數(shù)據(jù)中的細(xì)微模式。

Ayasdi 一直在美國(guó)與各個(gè)頂級(jí)醫(yī)院和藥廠合作。醫(yī)院和制藥公司可以從公開(kāi)的信息源獲得很多數(shù)據(jù)，并和他們自己的數(shù)據(jù)結(jié)合起來(lái)，進(jìn)行一些新的研究。

Digital Reasoning

Digital Reasoning 是一家擅長(zhǎng)認(rèn)知計(jì)算，運(yùn)用機(jī)器學(xué)習(xí)來(lái)識(shí)別溝通數(shù)據(jù)中有意義的人類行為的公司。它可以利用人工智能來(lái)積累上下文，填補(bǔ)任何來(lái)源的認(rèn)知空白，以此來(lái)明確事物的價(jià)值取向，并通過(guò)揭露隱藏關(guān)系、暴露風(fēng)險(xiǎn)和潛在機(jī)會(huì)來(lái)得出結(jié)論。

Digital Reasoning 公司研發(fā)出的機(jī)器學(xué)習(xí)平臺(tái)能比傳統(tǒng)的工具更加智能地識(shí)別出銀行的內(nèi)幕交易及價(jià)格操縱行為，其在知識(shí)圖譜的基礎(chǔ)上可以做到真正的理解用戶的需求，不再拘泥于用戶所輸入語(yǔ)句的本身字面意思， 而是透過(guò)文字挖掘真正的需求，準(zhǔn)確地捕捉到用戶所輸入語(yǔ)句后面的真正意圖，并以此來(lái)進(jìn)行搜索與挖掘，從而更準(zhǔn)確地向用戶反饋結(jié)果。

Digital Reasoning 公司還與美國(guó)納斯達(dá)克 (Nasdaq) 進(jìn)行了合作，協(xié)助其建設(shè)監(jiān)測(cè)資本市場(chǎng)的工具。Nasdaq 在 2020 年 5 月份對(duì)其投資了 4000 萬(wàn)美元。

Darktrace

Darktrace 是一家使用機(jī)器學(xué)習(xí)來(lái)提供“企業(yè)免疫系統(tǒng)”的網(wǎng)絡(luò)安全系統(tǒng)的公司，該系統(tǒng)模擬人體免疫系統(tǒng)：在了解了什么是所有設(shè)備和用戶的“正常行為”后，通過(guò)環(huán)境的改變來(lái)更新洞察新出現(xiàn)的信息，然后尋找存在異常情況的安全問(wèn)題。

企業(yè)免疫系統(tǒng)目前是世界上最先進(jìn)的網(wǎng)絡(luò)防御機(jī)器學(xué)習(xí)技術(shù)。由于該系統(tǒng)受到人體免疫系統(tǒng)自我學(xué)習(xí)自我防御的啟發(fā)，這種新技術(shù)在復(fù)雜多變的網(wǎng)絡(luò)威脅的新時(shí)代中，使組織的自我保護(hù)方式發(fā)生了根本性的轉(zhuǎn)變。

QBurst

QBurst 堪稱機(jī)器學(xué)習(xí)公司中的先驅(qū)。QBurst 通過(guò)機(jī)器學(xué)習(xí)以業(yè)務(wù)所需求的速度做出數(shù)據(jù)驅(qū)動(dòng)的決策，并根據(jù)客戶需求定制解決方案，提高效率，大大提高生產(chǎn)力，預(yù)測(cè)新機(jī)遇與需求，以及其他許多的可能性。

1. 能源需求預(yù)測(cè)：機(jī)器學(xué)習(xí)預(yù)測(cè)系統(tǒng)可以利用過(guò)去的能源消耗數(shù)據(jù)和天氣參數(shù)來(lái)預(yù)測(cè)未來(lái)的能源需求。將經(jīng)過(guò)時(shí)間考驗(yàn)的 SARIMA 模型與新的機(jī)器學(xué)習(xí)技術(shù)相結(jié)合的混合預(yù)測(cè)模型也在不斷發(fā)展。

2. 欺詐識(shí)別：建立在合法和欺詐交易已知案例上的模型，可以為新交易分配懷疑分?jǐn)?shù)，從而幫助識(shí)別信用卡欺詐。利用決策樹(shù)和貝葉斯網(wǎng)絡(luò)對(duì)保險(xiǎn)索賠中的欺詐行為進(jìn)行預(yù)測(cè)和標(biāo)記。

3. 預(yù)見(jiàn)性維護(hù)：在地理上分散的位置對(duì)機(jī)器進(jìn)行持續(xù)的監(jiān)控，同時(shí)檢測(cè)算法可以根據(jù)歷史數(shù)據(jù)分析實(shí)時(shí)的機(jī)器參數(shù)，從而識(shí)別設(shè)備的惡化狀態(tài)。因此，運(yùn)營(yíng)商可以啟動(dòng)預(yù)測(cè)性維護(hù)，防止對(duì)資產(chǎn)造成不可逆轉(zhuǎn)的損害。

4. 病歷注釋：電子健康記錄作為大數(shù)據(jù)分析中患者數(shù)據(jù)的豐富來(lái)源，由于其本身的高度非結(jié)構(gòu)化，并不適合直接進(jìn)行分析。故在 NLP 中使用機(jī)器學(xué)習(xí)，可以對(duì)患者的癥狀、治療周期和康復(fù)等實(shí)體進(jìn)行分析和標(biāo)記，使它們?cè)谂R床決策時(shí)更加容易被檢索。

5. 衛(wèi)生信息學(xué)：將 NLP 與語(yǔ)義知識(shí)處理和機(jī)器學(xué)習(xí)相結(jié)合的智能系統(tǒng)可以幫助研究者更快地查找特定問(wèn)題的研究文獻(xiàn)。

6. 醫(yī)學(xué)圖像分析：監(jiān)督機(jī)器學(xué)習(xí)技術(shù)應(yīng)用于醫(yī)學(xué)圖像分析，通過(guò)計(jì)算機(jī)來(lái)輔助診斷某些特殊部位疾病，如腦部?；诖罅繕?biāo)記圖像（如 CT 和MRI 掃描）訓(xùn)練的模型可以自動(dòng)檢測(cè)疾病指標(biāo)并幫助醫(yī)生做出預(yù)測(cè)判斷。

7. 智能廣告牌：通過(guò)使用實(shí)時(shí)圖像識(shí)別應(yīng)用程序，零售商將客戶按照年齡，性別，甚至種族膚色等進(jìn)行分類以便于在數(shù)字廣告牌上展示有針對(duì)性的廣告來(lái)提高交易成功率與知名度。

8. 推薦產(chǎn)品：基于用戶畫像的某些特征或者共性，以內(nèi)容和算法協(xié)同過(guò)濾的用于生成特定于用戶的推薦。這些推薦可以按照特定畫像特征的用戶，以及相似用戶喜歡的項(xiàng)目來(lái)進(jìn)行推薦。

9. 情感分析：從運(yùn)用自然語(yǔ)言處理，用戶情感可以被挖掘，以此為基礎(chǔ)來(lái)建立更多具有影響性的商業(yè)活動(dòng)。

機(jī)器學(xué)習(xí)前沿發(fā)展趨勢(shì)

發(fā)展膠囊網(wǎng)絡(luò)

膠囊網(wǎng)絡(luò) (CapsNets) 是 Hinton 提出的一種新型深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，其以膠囊單元為神經(jīng)元載體，膠囊的設(shè)計(jì)更符合人類神經(jīng)元的原理。

膠囊網(wǎng)絡(luò)是在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上發(fā)展而來(lái)，由于 CNN 對(duì)物體之間的空間關(guān)系 (spatial relationship) ，以及物體大幅度旋轉(zhuǎn)之后的識(shí)別能力不強(qiáng)，膠囊網(wǎng)絡(luò)便被提出來(lái)用以克服上述問(wèn)題。

現(xiàn)階段，膠囊網(wǎng)絡(luò)仍處于初步發(fā)展階段，伴隨著訓(xùn)練算法不斷改善，膠囊網(wǎng)絡(luò)性能將進(jìn)一步提高，其在圖像識(shí)別領(lǐng)域的應(yīng)用將逐步深化。

本次分享的最后，李博談到對(duì)抗學(xué)習(xí)研究的一些心得與建議。她主張自信，開(kāi)放心態(tài)，不拘泥于某些小的圈層，勇敢的進(jìn)行自己感興趣的研究，對(duì)自己有信念，堅(jiān)持下去終會(huì)功夫不負(fù)有心人。

絡(luò)繹學(xué)術(shù)關(guān)注前沿科技和為之奮斗的科研工作者們。我們希望通過(guò)持續(xù)不斷分享為大家?guī)?lái)前沿科技和為之走過(guò)“彎路 ”卻仍然風(fēng)雨兼程的科研工作者們的真實(shí)經(jīng)歷。

原文標(biāo)題：機(jī)器學(xué)習(xí)仍存安全“盲區(qū)”，對(duì)抗學(xué)習(xí)任重而道遠(yuǎn)｜絡(luò)繹學(xué)術(shù)Online第7期回顧

文章出處：【微信公眾號(hào)：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯:haq