如果一個(gè)醫(yī)生告訴你需要做手術(shù)，你肯定會(huì)想知道為什么，進(jìn)一步地，你會(huì)希望他給你一個(gè)就算沒(méi)學(xué)過(guò)醫(yī)也能聽(tīng)得懂的明確解釋。谷歌大腦（Google Brain）的研究科學(xué)家Been Kim認(rèn)為，我們應(yīng)該對(duì)人工智能抱有同樣的期望。作為“可解釋”機(jī)器學(xué)習(xí)的專(zhuān)家，她希望構(gòu)建一個(gè)能夠向任何人解釋人工智能的軟件。

自從十年前人工智能興起以來(lái)，人工智能中的神經(jīng)網(wǎng)絡(luò)技術(shù)已經(jīng)從電子郵件滲透到了藥物研究等各個(gè)方面，它具有越來(lái)越強(qiáng)大的能力來(lái)學(xué)習(xí)和識(shí)別出數(shù)據(jù)中的模式。

但這種能力帶來(lái)了一個(gè)讓人頭疼的問(wèn)題：現(xiàn)代深度學(xué)習(xí)網(wǎng)絡(luò)之所以能夠?qū)崿F(xiàn)自動(dòng)駕駛和保險(xiǎn)欺詐識(shí)別這樣的壯舉，主要原因在于網(wǎng)絡(luò)的復(fù)雜性，其復(fù)雜度之高讓神經(jīng)網(wǎng)絡(luò)專(zhuān)家也不能解釋清楚網(wǎng)絡(luò)內(nèi)部到底是怎么工作的。

如果一個(gè)神經(jīng)網(wǎng)絡(luò)被訓(xùn)練來(lái)識(shí)別有患肝癌和精神分裂癥等疾病風(fēng)險(xiǎn)的患者，例如2015年紐約Mount Sinai醫(yī)院的“深度患者”系統(tǒng)，我們無(wú)法得知網(wǎng)絡(luò)關(guān)注的是數(shù)據(jù)中的哪些特征，因?yàn)樯窠?jīng)網(wǎng)絡(luò)的層數(shù)太多了，每層中神經(jīng)元還有成百上千個(gè)連接。

越來(lái)越多的行業(yè)正在試圖通過(guò)人工智能實(shí)現(xiàn)自動(dòng)化決策或增強(qiáng)他們的決策制定依據(jù)，這個(gè)所謂的黑盒問(wèn)題不是技術(shù)上的問(wèn)題，而是神經(jīng)網(wǎng)路的根本性缺陷。

DARPA的“XAI”項(xiàng)目（針對(duì)“可解釋的人工智能”）正在積極鉆研這個(gè)問(wèn)題，可解釋性在機(jī)器學(xué)習(xí)中的地位越來(lái)越高。Kim認(rèn)為：“人工智能正處于發(fā)展的關(guān)鍵時(shí)刻，我們需要判斷這項(xiàng)技術(shù)是否對(duì)我們有益。如果我們不能解決可解釋性問(wèn)題，人工智能的發(fā)展可能會(huì)受到阻礙甚至被放棄?！?/p>

Kim和她在Google Brain的同事最近開(kāi)發(fā)了一個(gè)名為“概念激活向量測(cè)試”（TCAV）的系統(tǒng)，她將該系統(tǒng)描述為“人類(lèi)翻譯器”，允許用戶(hù)查詢(xún)黑盒人工智能工作過(guò)程，即一個(gè)特定的高級(jí)概念在其訓(xùn)練中發(fā)揮了多大作用。例如，如果一個(gè)機(jī)器學(xué)習(xí)系統(tǒng)被訓(xùn)練來(lái)識(shí)別圖像中的斑馬，那么人們可以使用TCAV來(lái)確定系統(tǒng)在做出決策時(shí)“條紋”特征起了多重要的作用。

TCAV最初是在用于識(shí)別圖像的機(jī)器學(xué)習(xí)模型上進(jìn)行測(cè)試的，但它也適用于文本和某些特定類(lèi)型圖形數(shù)據(jù)（如腦電圖波形）的模型。 Kim表示，TCAV的通用性讓它能夠解釋許多不同的模型。

在Quanta雜志的采訪(fǎng)中Kim討論了可解釋性意味著什么，以及它為什么現(xiàn)在受到了這么多的關(guān)注。下面是一個(gè)經(jīng)過(guò)編輯和濃縮的采訪(fǎng)版本。

Q：你的職業(yè)生涯專(zhuān)注于機(jī)器學(xué)習(xí)的“可解釋性”，但那個(gè)詞究竟意味著什么呢？

A：可解釋性有兩個(gè)重要意義。對(duì)于科學(xué)研究來(lái)說(shuō)：如果你把神經(jīng)網(wǎng)絡(luò)作為研究對(duì)象，那么你就可以進(jìn)行科學(xué)實(shí)驗(yàn)來(lái)真正理解模型的訓(xùn)練過(guò)程、神經(jīng)元是如何反饋信息等各種細(xì)節(jié)。

而對(duì)于實(shí)際應(yīng)用來(lái)說(shuō)：用戶(hù)不必了解模型的每一個(gè)細(xì)節(jié)，只要用戶(hù)能夠正確地使用該工具即可。這個(gè)方面是我最關(guān)注的，也是我們最終想要達(dá)到的目標(biāo)。

Q：你為什么會(huì)對(duì)一個(gè)你不完全理解運(yùn)作細(xì)節(jié)的系統(tǒng)有信心？

A：我給你打個(gè)比方。假設(shè)我后院有一棵樹(shù)，我想砍掉它，我可能會(huì)選擇使用電鋸去鋸樹(shù)。雖然現(xiàn)在，我不太了解電鋸的工作原理是什么，但電鋸的使用手冊(cè)上說(shuō)明了使用步驟等信息，我可以安全地使用它。所以，有了這本手冊(cè)，我更愿意使用省時(shí)省力的電鋸，而不是更安全的手鋸。

就好像你知道怎么運(yùn)用神經(jīng)網(wǎng)絡(luò)，但是你不完全知道這個(gè)機(jī)制是如何實(shí)現(xiàn)的？

對(duì)。這就是第二個(gè)可解釋性的目標(biāo)是：我們能充分理解一個(gè)工具，以便安全地使用它。我們可以通過(guò)確認(rèn)工具中反映出的有用的人類(lèi)知識(shí)來(lái)形成理解。

Q：“反映人類(lèi)知識(shí)體系”為什么會(huì)使黑盒子AI變得更容易理解？

A：再舉個(gè)例子解釋一下，如果醫(yī)生使用機(jī)器學(xué)習(xí)模型來(lái)進(jìn)行癌癥診斷，那么醫(yī)生會(huì)想確認(rèn)，該模型沒(méi)有關(guān)注不必要的數(shù)據(jù)點(diǎn)。確保這一點(diǎn)的一種方法就是確認(rèn)機(jī)器學(xué)習(xí)模型會(huì)做一些醫(yī)生想要做的事情，換句話(huà)說(shuō)，就是證明模型學(xué)習(xí)到了醫(yī)生的診斷知識(shí)。

因此，如果醫(yī)生正在使用一個(gè)細(xì)胞標(biāo)本來(lái)診斷癌癥，他們是為了在標(biāo)本中尋找一種叫做“融合腺”的東西。同時(shí)，他們還需要考慮患者的年齡，以及患者過(guò)去是否接受過(guò)化療等情況。這些都是醫(yī)生診斷癌癥時(shí)關(guān)心的因素，如果我們能證明機(jī)器學(xué)習(xí)模型也注意到了這些因素，那么模型就更容易被理解了，因?yàn)樗从沉酸t(yī)生的知識(shí)體系。

Google Brain的Been Kim正在研究如何讓我們理解機(jī)器學(xué)習(xí)系統(tǒng)做出的決定。

Q：那這就是TCAV的作用嗎？是為了揭示機(jī)器學(xué)習(xí)模型正在使用哪些高級(jí)概念來(lái)做出決策嗎？

A：對(duì)。在此之前，可解釋性方法只解釋了神經(jīng)網(wǎng)絡(luò)在“輸入特征”方面所做的工作。簡(jiǎn)單來(lái)說(shuō)，如果你有一張圖像，每個(gè)像素都作為一個(gè)輸入特征。事實(shí)上，Yann Lecun（一位早期的深度學(xué)習(xí)先驅(qū)，目前是Facebook的人工智能研究主管）認(rèn)為，神經(jīng)網(wǎng)絡(luò)模型已經(jīng)具有可解釋性，因?yàn)槟憧梢圆榭瓷窠?jīng)網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)，并查看每個(gè)輸入功能的數(shù)值。這對(duì)計(jì)算機(jī)來(lái)說(shuō)沒(méi)問(wèn)題，但人類(lèi)的思維表示不是這樣的。我不會(huì)跟你說(shuō)圖像的 100到200像素的RGB值是0.2和0.3，我會(huì)告訴你照片中狗的毛發(fā)特別蓬松，這就是人類(lèi)描述的方式，我們是通過(guò)概念來(lái)溝通的。

Q：TCAV如何把輸入特征轉(zhuǎn)換為概念？

A：讓我們回到醫(yī)生使用機(jī)器學(xué)習(xí)模型的例子，例子中已經(jīng)訓(xùn)練過(guò)的模型對(duì)細(xì)胞標(biāo)本的圖像進(jìn)行分類(lèi)以確定潛在的癌癥。作為醫(yī)生，你可能想知道“融合腺體”的概念在預(yù)測(cè)癌癥時(shí)對(duì)模型的重要性。首先你要收集一些有融合腺體的圖像示例——假設(shè)你收集了20 幅。然后，你將這些帶標(biāo)簽的示例輸入到模型中。

TCAV在模型內(nèi)部的作用被稱(chēng)為“靈敏度測(cè)試”。當(dāng)我們添加這些標(biāo)記為融合腺體的圖片時(shí)，癌癥陽(yáng)性預(yù)測(cè)的概率增加了多少，可以用0到1之間的數(shù)值來(lái)表示，那就是你的TCAV分?jǐn)?shù)。如果概率增加，那么這是模型的一個(gè)重要概念。如果沒(méi)有，則不是一個(gè)重要概念。

Q：“概念”是一個(gè)模糊的術(shù)語(yǔ)。有沒(méi)有TCAV不起作用的時(shí)候？

A：如果你無(wú)法使用數(shù)據(jù)集的某些子集來(lái)描述你的概念，那么它就不起作用。如果你的機(jī)器學(xué)習(xí)模型是用圖像訓(xùn)練的，那么這個(gè)概念必須得是可視化表達(dá)的。比方說(shuō)我想在視覺(jué)上表達(dá)“愛(ài)情”的概念就真的很難。

我們也仔細(xì)驗(yàn)證了這個(gè)概念。我們有一個(gè)統(tǒng)計(jì)測(cè)試程序，如果一個(gè)概念向量對(duì)模型的影響與隨機(jī)向量相同，那么這個(gè)概念向量就會(huì)被程序拋棄。如果你的概念沒(méi)有通過(guò)這個(gè)測(cè)試，那么TCAV會(huì)說(shuō)：“我不知道。這個(gè)概念看起來(lái)不像對(duì)模型很重要的東西?！?/p>

Q：TCAV主要是用于在AI中建立信任，而不是真正理解它嗎？

A：不，不是這樣。接下來(lái)我會(huì)解釋原因，因?yàn)樗芎脜^(qū)分。

我們從認(rèn)知學(xué)和心理學(xué)的反復(fù)研究中得知人類(lèi)非常容易上當(dāng)受騙。這意味著，騙一個(gè)人相信任某些東西實(shí)際上很容易。而機(jī)器學(xué)習(xí)的可解釋性的目標(biāo)正與此相反，它是要告訴你，使用某系統(tǒng)是否安全，并揭露背后的真相，所以“信任”這個(gè)詞的表達(dá)并不準(zhǔn)確。

Q：所以“可解釋性”的意思是揭示AI推理中的潛在缺陷？

A：是的，正是這樣。

Q：它如何揭示這些潛在缺陷？

A：您可以使用TCAV向受過(guò)訓(xùn)練的模型詢(xún)問(wèn)不相關(guān)的概念?；氐绞褂肁I進(jìn)行癌癥預(yù)測(cè)的醫(yī)生的例子，醫(yī)生可能會(huì)突然想到，“看起來(lái)機(jī)器對(duì)于許多帶藍(lán)色的圖像給出癌癥陽(yáng)性預(yù)測(cè)。我們認(rèn)為不應(yīng)該考慮這個(gè)因素?！币虼?，如果TCAV對(duì)于“藍(lán)色”給出高評(píng)分，那么他們就發(fā)現(xiàn)了機(jī)器學(xué)習(xí)模型中的一個(gè)問(wèn)題。

TCAV旨在找出現(xiàn)有不可解釋的AI系統(tǒng)。那為什么不從一開(kāi)始就使用可解釋的系統(tǒng)，而要使用黑盒呢？

可解釋性研究的其中一個(gè)方面是構(gòu)建反映人類(lèi)理解過(guò)程的固有可解釋模型。但我認(rèn)為：現(xiàn)在許多用于重要目的AI模型在一開(kāi)始都沒(méi)有考慮可解釋性，這才是事實(shí)。比如，我們谷歌就有很多！你可以說(shuō)，“既然解釋性是如此有用，那我為你建立另一個(gè)模型來(lái)取代你現(xiàn)有的模型吧?！焙冒?，那就祝你好運(yùn)。

Q：那么你下一步要做什么？

決定這項(xiàng)技術(shù)是否對(duì)我們有利對(duì)我們來(lái)說(shuō)仍然很關(guān)鍵。這就是我使用“事后可解釋性”方法的原因。如果某人給你一個(gè)模型并且你無(wú)法改變它，你如何為其行為生成解釋?zhuān)员隳憧梢园踩厥褂盟?？這就是TCAV的工作。

Q：TCAV可以讓人類(lèi)詢(xún)問(wèn)AI某概念是否重要。但是如果我們不知道該問(wèn)什么怎么辦？如果我們想讓AI系統(tǒng)自己給出解釋呢？

A：我們目前正在編寫(xiě)的系統(tǒng)可以自動(dòng)發(fā)掘概念。我們稱(chēng)之為DTCAV——發(fā)掘型TCAV。但實(shí)際上，我認(rèn)為增加人為操作，并實(shí)現(xiàn)機(jī)器與人之間的對(duì)話(huà)，是實(shí)現(xiàn)可解釋性的關(guān)鍵。

很多時(shí)候，在高風(fēng)險(xiǎn)的應(yīng)用程序中，領(lǐng)域?qū)＜乙呀?jīng)有了他們關(guān)心的概念列表。我們?cè)贕oogle Brain的醫(yī)療應(yīng)用中不止一次看到這一點(diǎn)。他們不希望模型自己找出一系列概念——他們想要告訴模型他們感興趣的概念。我們與治療糖尿病視網(wǎng)膜病變（一種眼疾）的醫(yī)生一起工作，當(dāng)我們告訴她什么是TCAV的時(shí)候她非常興奮，因?yàn)樗呀?jīng)有很多關(guān)于這個(gè)模型可能做什么的假設(shè)，現(xiàn)在她正好可以驗(yàn)證一下這些假設(shè)。TCAV實(shí)際上很有優(yōu)勢(shì)，因?yàn)樗且环N以用戶(hù)為中心的協(xié)作機(jī)器學(xué)習(xí)方式。

Q：AI技術(shù)非常強(qiáng)大，你真的認(rèn)為人們會(huì)因?yàn)槠洳痪邆淇山忉屝远艞壥褂脝幔?/p>

A：是的，我認(rèn)為是這樣。在專(zhuān)家系統(tǒng)上已經(jīng)發(fā)生過(guò)類(lèi)似的事情了。20世紀(jì)80年代，使用專(zhuān)家系統(tǒng)執(zhí)行某些任務(wù)比雇傭人類(lèi)操作員要便宜的多。但是現(xiàn)在誰(shuí)還在使用專(zhuān)家系統(tǒng)？沒(méi)人。因此，很久以后我們也可能會(huì)放棄使用AI技術(shù)。

當(dāng)然目前放棄AI不太可能，因?yàn)锳I現(xiàn)在被炒的很熱，而且已經(jīng)投入了大量的資金。但從長(zhǎng)遠(yuǎn)來(lái)看，我認(rèn)為人類(lèi)可能會(huì)判定這種技術(shù)不適合我們，或許是出于恐懼，或許是因?yàn)槠淙狈山忉屝裕@都是有可能的。