隨著監(jiān)管者、保險(xiǎn)公司和醫(yī)療賬單服務(wù)公司開始在其軟件系統(tǒng)中使用人工智能，一些企業(yè)可能會(huì)學(xué)著利用基本算法的漏洞鉆空子。

去年，美國(guó)食品藥品監(jiān)督管理局（Food and Drug Administration）批準(zhǔn)了一種醫(yī)療設(shè)備上市。通過拍攝用戶視網(wǎng)膜的圖像，它就能自動(dòng)篩查糖尿病患者因視網(wǎng)膜病變而失明的征兆。

這種新型的人工智能技術(shù)正在醫(yī)學(xué)領(lǐng)域刮起一陣迅猛的旋風(fēng)。利用新技術(shù)，科學(xué)家開發(fā)了不同的系統(tǒng)，能夠通過各種各樣的影像來識(shí)別疾病的征兆，這些影像包括肺部 X 光片和 C.A.T.（又稱計(jì)算機(jī) X 射線軸向分層造影掃描儀）大腦掃描圖像等。這些系統(tǒng)承諾，醫(yī)生能通過它們以更低成本且更有效地評(píng)估病情。

類似的人工智能系統(tǒng)很有可能“走出”醫(yī)院，為醫(yī)療保健監(jiān)管者、醫(yī)療賬單服務(wù)公司和保險(xiǎn)公司的計(jì)算機(jī)系統(tǒng)提供幫助。人工智能有助于醫(yī)生檢查病人的眼睛、肺部和其他器官；同理，它也能夠幫助保險(xiǎn)公司確定賠付金額和保費(fèi)。

理想的情況下，這些系統(tǒng)將有助于提高醫(yī)療保健系統(tǒng)的效率。但美國(guó)哈佛大學(xué)和麻省理工學(xué)院的一組研究人員警告說，這些系統(tǒng)可能會(huì)產(chǎn)生意想不到的后果。

本周四（當(dāng)?shù)貢r(shí)間 3 月 21 日），上述研究人員在《科學(xué)》（Science）雜志上發(fā)表了一篇論文，提出了發(fā)生“對(duì)抗攻擊”（adversarial attacks）的可能性。對(duì)抗攻擊是指通過操縱小塊的數(shù)字?jǐn)?shù)據(jù)，達(dá)到改變?nèi)斯ぶ悄芟到y(tǒng)行為的目的。例如，如果有人篡改了肺部掃描影像的一些像素，就會(huì)誤導(dǎo)人工智能，把沒病的判斷成有病，或者把有病的誤判成沒病。

論文的作者指出，未來幾年，軟件開發(fā)商和監(jiān)管者在構(gòu)建人工智能系統(tǒng)和進(jìn)行相應(yīng)的技術(shù)評(píng)估時(shí)，必須把上述可能發(fā)生的情況考慮在內(nèi)。黑客可能入侵系統(tǒng)，造成病人誤診，但這還不是最讓人擔(dān)心的問題。更讓人感到關(guān)切的是，醫(yī)生、醫(yī)院和其他組織可能會(huì)操縱醫(yī)療賬單或保險(xiǎn)軟件上的人工智能系統(tǒng)，想方設(shè)法獲得盡可能多的收入。

塞繆爾·芬利森（Samuel Finlayson）是哈佛大學(xué)醫(yī)學(xué)院和麻省理工學(xué)院的一名研究人員，也是上述論文的作者之一。他提出警告的原因是：醫(yī)療保健行業(yè)有大量的資金往來，其計(jì)算機(jī)系統(tǒng)中存有醫(yī)療保健的跟蹤訪問記錄，利益相關(guān)者只需稍微改動(dòng)系統(tǒng)的醫(yī)療賬單編碼和其他數(shù)據(jù)，便可從系統(tǒng)中騙到錢。而人工智能可能會(huì)使該問題變得更嚴(yán)重。

芬利森稱：“醫(yī)療信息本身就很不明確，再加上財(cái)務(wù)激勵(lì)政策經(jīng)常相互矛盾，使得高風(fēng)險(xiǎn)決策因一點(diǎn)點(diǎn)信息變動(dòng)就會(huì)出現(xiàn)搖擺。”

這篇新發(fā)表的論文，對(duì)所謂“對(duì)抗攻擊”發(fā)生的可能性，表示了更多的關(guān)切。從人臉識(shí)別服務(wù)和無人駕駛汽車到虹膜掃描儀與指紋識(shí)別器，這類攻擊的目標(biāo)可謂包羅萬象。

很多人工智能系統(tǒng)在設(shè)計(jì)和構(gòu)建時(shí)都會(huì)采用某種方式，其中包含一個(gè)基本層面；而對(duì)抗攻擊正是充分利用此處的缺陷實(shí)施的。人工智能越來越多地受到神經(jīng)網(wǎng)絡(luò)的驅(qū)動(dòng)；神經(jīng)網(wǎng)絡(luò)是一種復(fù)雜的數(shù)學(xué)系統(tǒng)，主要通過分析海量數(shù)據(jù)自主學(xué)習(xí)如何完成任務(wù)。

例如，神經(jīng)網(wǎng)絡(luò)可通過分析成千上萬的眼部掃描圖，學(xué)會(huì)如何篩查糖尿病患者因視網(wǎng)膜病變而失明的征兆。這種“機(jī)器學(xué)習(xí)”是建立在巨大規(guī)模的基礎(chǔ)上的，因?yàn)槿祟惖男袨榭赏ㄟ^無數(shù)不同的數(shù)據(jù)塊定義；但機(jī)器學(xué)習(xí)也可能產(chǎn)生自己意想不到的行為。

2016 年，美國(guó)卡耐基梅隆大學(xué)的一組研究人員在眼鏡框架上印出各種圖案，成功騙過了人臉識(shí)別系統(tǒng)，讓其誤以為戴眼鏡的是名人。當(dāng)研究人員戴上這些眼鏡時(shí)，系統(tǒng)把他們錯(cuò)誤識(shí)別成米拉·喬沃維奇（Milla Jovovich）和約翰·馬爾科維奇（John Malkovich）等名人。

一個(gè)由中國(guó)研究人員組成的團(tuán)隊(duì)也設(shè)計(jì)了類似的騙局。他們讓人戴著帽子，把紅外光從帽沿下方投射到這些人的臉上。紅外光是人眼不可見的，但它可以欺騙人臉識(shí)別系統(tǒng)。戴帽子的人是亞洲的科學(xué)家，但系統(tǒng)會(huì)誤認(rèn)為他是另外一個(gè)人，比如說白人音樂家 Moby。

研究人員也發(fā)出警告：對(duì)抗攻擊能欺騙無人駕駛汽車，讓它們看錯(cuò)東西。只需對(duì)路標(biāo)做較小的改動(dòng)，就可導(dǎo)致汽車把停車標(biāo)志錯(cuò)誤地識(shí)別為避讓標(biāo)志。

去年年底，美國(guó)紐約大學(xué)坦登工程學(xué)院（Tandon School of Engineering）的研究團(tuán)隊(duì)設(shè)計(jì)了虛擬指紋，騙過了 22% 的指紋識(shí)別器。也就是說，使用這些指紋識(shí)別器的所有手機(jī)或個(gè)人電腦，其中 22% 可能被解鎖。

這項(xiàng)研究產(chǎn)生了深遠(yuǎn)的影響，因?yàn)樯镒R(shí)別安全設(shè)備和其他人工智能系統(tǒng)得到了越來越普遍的應(yīng)用。印度已經(jīng)實(shí)施了全球最大的基于指紋的身份識(shí)別系統(tǒng)，用于分發(fā)政府補(bǔ)貼和分派服務(wù)。各大銀行正在給自動(dòng)取款機(jī)加上人臉識(shí)別技術(shù)；與 Google 同屬一家母公司的 Waymo 目前正在對(duì)無人駕駛汽車進(jìn)行上路測(cè)試。

現(xiàn)在，芬利森及其同事已經(jīng)在醫(yī)學(xué)領(lǐng)域發(fā)出了同樣的警告：隨著監(jiān)管者、保險(xiǎn)公司和醫(yī)療賬單服務(wù)公司開始在其軟件系統(tǒng)中使用人工智能，一些企業(yè)可能會(huì)學(xué)著利用基本算法的漏洞鉆空子。

例如，如果保險(xiǎn)公司使用人工智能評(píng)估醫(yī)學(xué)掃描影像，醫(yī)院可通過操控掃描結(jié)果，盡量增加賠付金額。如果監(jiān)管者建立了人工智能系統(tǒng)，以對(duì)新技術(shù)進(jìn)行評(píng)估，設(shè)備制造商可通過改變圖像和其他數(shù)據(jù)，以欺騙該系統(tǒng)同意監(jiān)管批準(zhǔn)。

在上述論文中，研究人員已經(jīng)對(duì)以下對(duì)抗攻擊進(jìn)行了論證：通過篡改良性皮膚病損影像上的少量像素，可以欺騙診斷用人工智能系統(tǒng)，導(dǎo)致其誤判為惡性。他們也發(fā)現(xiàn)，僅僅通過旋轉(zhuǎn)影像，也能達(dá)到同樣的目的。

如果對(duì)病人病情的書面描述作少量改動(dòng)，也可改變?nèi)斯ぶ悄艿脑\斷：“酗酒”的診斷結(jié)果與“酒精依賴”的不同，“腰痛”（lumbago）和“背痛”的診斷結(jié)果也會(huì)有所區(qū)別。

反過來，以某種方式改變?cè)\斷結(jié)果很容易讓保險(xiǎn)公司和醫(yī)療保健機(jī)構(gòu)受益，它們最終會(huì)從中牟利。研究人員指出，一旦人工智能深深植根于醫(yī)療保健系統(tǒng)，各個(gè)公司將逐漸利用人工智能的行為，為其帶來最大利潤(rùn)。

芬利森稱，最終的結(jié)果可能會(huì)傷及患者。醫(yī)生對(duì)醫(yī)學(xué)掃描影像或病人的其他數(shù)據(jù)做出了改動(dòng)，成為了保險(xiǎn)公司使用人工智能牟利的工具；但這些改動(dòng)最終會(huì)成為病人的永久記錄，將對(duì)以后的一系列診斷產(chǎn)生影響。

其實(shí)，這種情況有時(shí)候也會(huì)發(fā)生。人們已經(jīng)發(fā)現(xiàn)，某些醫(yī)生、醫(yī)院和其他組織在操控軟件系統(tǒng)，以控制醫(yī)療保健行業(yè)數(shù)十億美元的資金往來。例如，有的醫(yī)生為了提高賠付金額，只需稍微改動(dòng)一下醫(yī)療賬單編碼。比如說，把簡(jiǎn)單的 X 光片變成了更加復(fù)雜的掃描影像。

哈姆莎·巴斯塔尼（Hamsa Bastani）是美國(guó)賓夕法尼亞大學(xué)沃頓商學(xué)院的一名助理教授，對(duì)醫(yī)療保健系統(tǒng)的操縱有深入的研究。她認(rèn)為，這是個(gè)重大的問題。她指出：“一些行為是無意識(shí)的，但并不是所有的行為都如此?！?/p>

作為一名機(jī)器學(xué)習(xí)系統(tǒng)專家，巴斯塔尼提出質(zhì)疑：引入人工智能是否會(huì)讓問題變得更加嚴(yán)重？在現(xiàn)實(shí)生活中想要實(shí)現(xiàn)對(duì)抗攻擊是很困難的；目前還不確定監(jiān)管者和保險(xiǎn)公司是否打算采用容易受到對(duì)抗攻擊的這類機(jī)器學(xué)習(xí)算法。

她補(bǔ)充道，我們需要留意監(jiān)管者和保險(xiǎn)公司。她說：“無心之舉總會(huì)帶來意想不到的后果，尤其是在醫(yī)療保健領(lǐng)域。”