要不要用準確性換可解釋性？這可能是許多資源有限的創(chuàng)業(yè)公司，在技術(shù)研發(fā)中面臨的重要問題，同時也是機器學習可解釋性研究中的重要議題。

把場景具體化，讓我們先來看這樣一道選擇題。

如果你是一個投資公司老板，針對電話詐騙檢測，現(xiàn)在有一個可信度85%，但無法解釋的“黑盒”模型，和一個可信度75%，但可解釋的機器學習模型擺在你面前，你會選擇哪一個？

但最初的最初，讓我們先來理清這兩個概念：自動機器學習與可解釋機器學習。

理清概念

機器學習自動化（AutoML）：讓機器自己煉丹

王立威教授首先解釋了什么是機器學習自動化。機器學習的應用需要大量的人工干預，比如特征提取、模型選擇、參數(shù)調(diào)節(jié)等，深度學習也被戲稱為煉丹術(shù)。

而AutoML 是試圖將這些與特征、模型、優(yōu)化、評價有關(guān)的重要步驟進行自動化地學習，實現(xiàn)從end to end 到learning to learn，使得機器學習模型無需人工干預即可被應用。讓機器自己煉丹，讓深度學習自動尋找最優(yōu)框架。

使用AutoML，就像是在使用一個工具，我們只需要將訓練數(shù)據(jù)集傳入AutoML，那么這個工具就會自動幫我們生成參數(shù)和模型，形成訓練模型，這樣即使不具備機器學習方面深入的專業(yè)知識也可以進行機器學習方面的工作。

可解釋機器學習（Explainable ML）：信任之后人與機器才能更好地互動

隨著AutoML學習模型的發(fā)展，機器學習的黑箱似乎在越來越大。這種缺乏解釋的情況既是一個現(xiàn)實問題，也是一個倫理問題。所以近年，很多研究者呼吁我們需要可解釋機器學習。

梅俏竹教授在解釋XML的時候強調(diào)，辯題的核心還是在于AI和人的關(guān)系。我們大多同意未來的世界是AI與人共同合作，AI目前肯定還是做不到取代人。AutoML與XML其實并不矛盾，問題在于合作中如何人要如何達成對于AI的信任。

基于人工智能的結(jié)果越重要，對可解釋人工智能的需求就越大。高風險的情況下，比如自動駕駛和醫(yī)療領(lǐng)域，人們可能需要明確地解釋是如何得出特定結(jié)果的。而相對低風險的人工智能系統(tǒng)可能就更適合黑盒模型，人們很難理解其結(jié)果。

為什么說，機器學習中的可解釋性很重要

追逐解釋是人類的天性

場景問題是大家公認的導致可解釋問題重要的一個原因。我們可以容忍機器沒有理由地給我們錯誤推薦了一首不喜歡的歌，但是把重大的投資問題或者醫(yī)療建議交由機器決定的時候，我們希望可以得到充分的解釋說明。

解釋是跨多個行業(yè)和科學學科的負責任的、開放的數(shù)據(jù)科學的核心。

俞士綸教授提到對可解釋人工智能的需求與人類的影響會同步上升，比如醫(yī)生應用機器評估數(shù)據(jù)并得出決策數(shù)據(jù)，但是機器無法回答病人的疑問。以及在過濾假新聞的時候，機器在作出粗略判斷和初步篩選之后，還是需要人類解釋其中細微差別。

Clever Hans問題

Hans是一匹聰明的馬，人們以為它會計算加法，因為有人說2+3的時候，它就會敲5下蹄子。但后來人們發(fā)現(xiàn)，它只是單純地在敲蹄子，直到人們的表情發(fā)生改變就停下來。如果沒有可解釋性，任何人都無法保證高正確率模型其實只是另一匹Hans。

李興建工程師說道，可解釋也是企業(yè)實際應用非常關(guān)心的問題。如果人工智能系統(tǒng)出錯，構(gòu)建者需要理解為什么會這樣做，這樣才能改進和修復。如果他們的人工智能服務(wù)在黑盒中存在并運行，他們就無法了解如何調(diào)試和改進它。

可解釋也許是一個偽命題

有些事情是無法解釋，也不需要解釋

但很有意思的事，解釋可能無法窮盡。

王立威教授提出一個有趣的例子。機器作出判斷，這是一只貓。如果我們要尋求解釋，問為什么這是一只貓，機器可能回答，因為它有皮毛，有四只貓爪……我們再問，那為什么這是皮毛？

當然機器還可以繼續(xù)解釋，但是解釋的結(jié)果可能會更加復雜，比直接告訴你這是皮毛要曲折得多。

人類大腦是非常有限的，而現(xiàn)在的數(shù)據(jù)太多了。我們沒有那么多腦容量去研究所有東西的可解釋性。世界上有那么多應用、網(wǎng)站，我們每天用 Facebook、Google 的時候，也不會想著去尋求它們背后的可解釋性。

對于醫(yī)療行業(yè)的可解釋機器學習的應用王立威教授也提出完全不同的想法，他認為只有在開始階段，醫(yī)生不夠信任系統(tǒng)的時候可解釋才重要。而當系統(tǒng)性能足夠優(yōu)化，可解釋就不再重要。在不可解釋上做的能超過人類，這就是未來機器學習的可為之處。

來自Geoffrey Hinton 的駁斥

Geoffrey Hinton 曾經(jīng)大膽宣稱，糾結(jié)深度學習（可與不可）解釋性問題根本是一個偽命題。為什么一定要存在識別數(shù)字的理論才能證明我們擅長識別數(shù)字？難道非要通透騎車每一個細節(jié)的物理力學，才能證明自己會騎車？其實不是神經(jīng)網(wǎng)絡(luò)需要理論解釋，而是人類克制不住自己講故事的沖動，理論再合理也只是主觀判斷，并不能幫助我們理解為什么。

王立威教授表示贊同，以歷史做類比。歷史書上簡單歸納出的勝敗輸贏難道就是真實的歷史嗎，不過是人類編造出的故事。真實的歷史復雜，現(xiàn)實生活復雜，只言片語的解釋和理論不過是管窺蠡測。

通過神經(jīng)網(wǎng)絡(luò)反思人的思維，同一個網(wǎng)絡(luò)框架，初始點不同結(jié)果可能完全不同。解釋可能會有兩套截然不同的解釋，就像對同一件事不同的人可能會有不同的解釋。

一個人都無法完全理解另一個人，更何況與人的思維完全不同的機器？即使把alpha go下圍棋中的所有數(shù)據(jù)告訴人也沒有用，因為機器每一步的判斷所用的數(shù)據(jù)是百萬量級，而人最多處理到百的程度。就算打開黑匣，一千個人可能會看到一千種解釋。

俞士綸教授認為Hinton的說法還是有些激進，解釋不僅是為了說服，解釋的形式和含義都非常之廣，就算是autoML我們還是要朝著可解釋的方向不斷推進。

梅俏竹教授則認為單純討論autoML還是XML是沒有意義的，就像我們判斷autoML好不好，怎么算是一個好的推薦算法？如果機器中午十二點推薦你去吃午飯，的確它的準確率是百分之百，但是對于用戶來說這是完全沒有意義的一個推薦。評判需要加入人的因素進行考量，還是要看人機配合得怎么樣，加入用戶體驗。

autoML的能耗問題：ACL論文痛批其撿芝麻丟西瓜

最近一份提交到自然語言處理頂會ACL 2019的論文引起熱議，研究人員對幾種常見的NLP模型進行碳排放評估后發(fā)現(xiàn)，像Transformer、GPT-2等流行的深度神經(jīng)網(wǎng)絡(luò)的訓練過程可以排放超過62.6萬磅的二氧化碳當量，幾乎是美國汽車平均壽命期內(nèi)排放量(包括制造過程)的五倍。

某些模型可能經(jīng)過了千百次的訓練之后取得最優(yōu)成果，但是實際進展非常微小，而背后的代價是不成比例的計算量和碳排放。

李文鈺提出業(yè)界現(xiàn)在的解決辦法有比如共享參數(shù)、熱啟動，利用之前訓練好的參數(shù)，避免再從頭訓練一個模型。

真正的autoML應該是在大型數(shù)據(jù)集上搜索，操作類型，拓撲結(jié)構(gòu)，加上人的先驗知識，未來希望找到又小又高效的好的模型。我們希望用機器代替節(jié)約人力，但是人也要去限制一些盲目搜索，節(jié)約成本的約束。

未來之路：煉金，觀星，算命都不可取

幾位教授最后都同意autoML和XML在未來是可以結(jié)合的。不管是autoML還是XML，現(xiàn)在還是在底層信號的層面運作，比如識別圖像、文本，關(guān)鍵還是在知識層面，我們需要的是對整個網(wǎng)絡(luò)結(jié)構(gòu)更高層、更進一步的理解。

梅教授提出過猶不及，有三條走得太過的路是煉金、觀星和算命。

煉金就是走極端的autoML之路。不要為了全自動就拋開所有代價去追求自動化，最后你也無法保證煉出來的是金子還是破鐵；

觀星，擴大范圍，如果非要在一大堆的變量中拼命找聯(lián)系，總能找尋到一二；

而算命的原理是找一些你愿意聽的說，講你愛聽的故事，觀星和算命都是在可解釋的道路上走得太遠。

最后的最后，梅教授也提醒大家，解釋性可以解釋部分問題，關(guān)于倫理，關(guān)于道德，但是它不是萬能藥。不要糾結(jié)于理解，為了理解而理解。