一直以來，AI 進(jìn)行圖像識(shí)別都是一個(gè)難以清楚解釋的過程，而如今麻省理工學(xué)院林肯實(shí)驗(yàn)室情報(bào)和決策技術(shù)小組（Intelligence and Decision Technologies Group）的一項(xiàng)研究試圖讓 AI 的決策過程更加可被解釋。

這個(gè)小組在今年夏天的 CVPR 上發(fā)表了一篇論文《設(shè)計(jì)透明：彌合視覺推理的表現(xiàn)與可解釋性》（Transparency by Design: Closing the Gap Between Performance andInterpretability in Visual Reasoning），論文中提出的系統(tǒng)可以執(zhí)行與人類一樣的推理步驟來進(jìn)行與圖像識(shí)別相關(guān)的任務(wù)，同時(shí)能以圖像形式呈現(xiàn)其決策的過程。

論文地址：https://arxiv.org/abs/1803.05268

圖 |TbD-net的決策過程 （來源：MIT）

了解神經(jīng)網(wǎng)絡(luò)如何做出決策一直是 AI 研究人員長(zhǎng)期面對(duì)的問題。神經(jīng)網(wǎng)絡(luò)是以人的大腦為參照開發(fā)的 AI 系統(tǒng)，旨在復(fù)制人類學(xué)習(xí)的方式。簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)有一個(gè)輸入層、一個(gè)輸出層，兩者之間還有一個(gè)將輸入轉(zhuǎn)換為正確的輸出結(jié)果的層。然而一些深度神經(jīng)網(wǎng)絡(luò)非常復(fù)雜，無法遵循這種簡(jiǎn)單的轉(zhuǎn)換過程。所以逐漸地，神經(jīng)網(wǎng)絡(luò)的設(shè)置層越來越多，決策過程成為了一個(gè)“黑箱”問題，內(nèi)部流程非常不透明，以至于該網(wǎng)絡(luò)的開發(fā)者可能都無法完全掌握。

與此同時(shí)，了解 AI 的決策過程非常重要。例如，對(duì)用在自動(dòng)駕駛汽車中的神經(jīng)網(wǎng)絡(luò)來說，行人和路牌之間存在什么樣的差異？神經(jīng)網(wǎng)絡(luò)的哪個(gè)決策階段能夠發(fā)現(xiàn)兩者的區(qū)別？只有了解這一過程能夠更好地糾正神經(jīng)網(wǎng)絡(luò)的一些錯(cuò)誤。但目前最先進(jìn)的神經(jīng)網(wǎng)絡(luò)也缺乏有效的機(jī)制能讓人理解其推理過程。

對(duì)此，麻省理工學(xué)院林肯實(shí)驗(yàn)室情報(bào)和決策技術(shù)小組開發(fā)了一個(gè)神經(jīng)網(wǎng)絡(luò)，可以執(zhí)行類似人類的推理步驟來回答與圖像相關(guān)的問題。該模型被命名為 Transparency by Design Network（簡(jiǎn)稱：TbD-net），

同時(shí)，TbD-net 在解決問題時(shí)能夠用熱力圖來展示其進(jìn)行視覺分析的過程，即當(dāng)系統(tǒng)識(shí)別圖像時(shí)，會(huì)對(duì)識(shí)別的部分進(jìn)行突出顯示，這達(dá)到了將決策過程可視化的效果。這種將決策過程可視化的形式讓研究人員能夠了解這一過程并對(duì)其進(jìn)行分析。

（來源：麻省理工科技評(píng)論）

對(duì)于 TbD-net 的工作流程，該網(wǎng)絡(luò)內(nèi)有眾多模塊組成的集合，這是該系統(tǒng)中的一個(gè)關(guān)鍵部分，這些模塊是專門用于執(zhí)行特定子任務(wù)的小型神經(jīng)網(wǎng)絡(luò)。在 TbD-net 執(zhí)行圖像識(shí)別任務(wù)時(shí)，它會(huì)將問題分解為子任務(wù)并分配適當(dāng)?shù)哪K，這些子任務(wù)會(huì)被分別完成之后再進(jìn)行組合。

這些模塊就像流水線上的工人一樣，每個(gè)模塊基于前一個(gè)模塊的識(shí)別結(jié)果進(jìn)行工作，一起生成了最終的結(jié)論。TbD-net 利用的 AI 技術(shù)能像理解人類語言一樣，將句子分解為多個(gè)子任務(wù)。而 TbD-net 能夠在處理圖像時(shí)進(jìn)行類似的處理過程，分不同階段對(duì)圖像進(jìn)行識(shí)別。

對(duì)于 TbD-net，如果你問它“那個(gè)巨大的金屬立方體是什么顏色？”那么第一個(gè)模塊會(huì)框定一個(gè)大大的物體；第二模塊會(huì)識(shí)別哪些對(duì)象是金屬；第三模塊會(huì)在前面得出的結(jié)果中找出標(biāo)準(zhǔn)立方體；最后，負(fù)責(zé)顏色識(shí)別的模塊會(huì)最終得出對(duì)象的顏色。

（來源：麻省理工科技評(píng)論）

TbD-net 研究人員之一的Majumdar 說：“將一系列復(fù)雜的推理分解為一系列較小的問題，每個(gè)子問題都可以分別解決再進(jìn)行組合，是一種強(qiáng)大而直觀的推理手段。”

研究人員讓 TbD-ne t 經(jīng)過 7 萬圖片和 70 萬個(gè)問題的訓(xùn)練后，再用 1.5 萬張圖片和 15 萬個(gè)問題對(duì)其進(jìn)行測(cè)試，結(jié)果顯示其準(zhǔn)確度達(dá)到 98.7％，優(yōu)于其他基于神經(jīng)模塊網(wǎng)絡(luò)的系統(tǒng)。

更重要的是，研究人員能夠在這個(gè)結(jié)果的基礎(chǔ)之上繼續(xù)優(yōu)化，通過查看模型的決策過程，他們可以找到問題的所在并進(jìn)行有針對(duì)性的優(yōu)化，最終準(zhǔn)確度達(dá)到了 99.1％。

除了對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，這篇論文的作者同時(shí)認(rèn)為，了解神經(jīng)網(wǎng)絡(luò)的推理過程可能對(duì)獲得用戶信任大有幫助。用戶要能夠了解這一推理過程，才能夠理解模型為何會(huì)作出錯(cuò)誤的預(yù)測(cè)。

（來源：麻省理工科技評(píng)論）

過去的幾個(gè)月中，許多公司、政府機(jī)構(gòu)和獨(dú)立研究人員試圖解決人工智能中所謂的“黑箱”問題，都取得了不同程度的效果。

2017 年，美國(guó)國(guó)防高級(jí)研究計(jì)劃局（DARPA） 曾推出 DARPA XAI 項(xiàng)目，旨在研究“玻璃箱”模型，在不犧牲性能的情況下讓AI 推理過程更加透明。今年 8 月，IBM 的科學(xué)家們提出了一份 AI 的“情況說明書”，提供有關(guān)模型漏洞、偏見、對(duì)抗性攻擊易感性和其他特征的信息。微軟、埃森哲和 Facebook 也開發(fā)了自動(dòng)化工具來檢測(cè)和減少 AI 算法中的偏差。

IBM 研究院的 AI 基金會(huì)負(fù)責(zé)人 Aleksandra Mojsilovic 在今年 8 月時(shí)曾說道：“AI 系統(tǒng)具有改變我們生活和工作方式的巨大潛力，但透明度問題必須得到解決，這樣才能讓 AI 得到更多的信任，”