本文介紹目前常見的幾種可以提高機(jī)器學(xué)習(xí)模型的可解釋性的技術(shù)，包括它們的相對優(yōu)點(diǎn)和缺點(diǎn)。我們將其分為下面幾種：

1. Partial Dependence Plot (PDP)；
2. Individual Conditional Expectation (ICE)
3. Permuted Feature Importance
4. Global Surrogate
5. Local Surrogate (LIME)
6. Shapley Value (SHAP)

六大可解釋性技術(shù)

01. Partial Dependence Plot (PDP)

PDP是十幾年之前發(fā)明的，它可以顯示一個或兩個特征對機(jī)器學(xué)習(xí)模型的預(yù)測結(jié)果的邊際效應(yīng)。它可以幫助研究人員確定當(dāng)大量特征調(diào)整時，模型預(yù)測會發(fā)生什么樣的變化。

上面圖中，軸表示特征的值，軸表示預(yù)測值。陰影區(qū)域中的實(shí)線顯示了平均預(yù)測如何隨著值的變化而變化。PDP能很直觀地顯示平均邊際效應(yīng)，因此可能會隱藏異質(zhì)效應(yīng)。

例如，一個特征可能與一半數(shù)據(jù)的預(yù)測正相關(guān)，與另一半數(shù)據(jù)負(fù)相關(guān)。那么PDP圖將只是一條水平線。

02. Individual Conditional Expectation (ICE)

ICE和PDP非常相似，但和PDP不同之處在于，PDP繪制的是平均情況，但是ICE會顯示每個實(shí)例的情況。ICE可以幫助我們解釋一個特定的特征改變時，模型的預(yù)測會怎么變化。

如上圖所示，與PDP不同，ICE曲線可以揭示異質(zhì)關(guān)系。但其最大的問題在于：它不能像PDP那樣容易看到平均效果，所以可以考慮將二者結(jié)合起來一起使用。

03. Permuted Feature Importance

Permuted Feature Importance的特征重要性是通過特征值打亂后模型預(yù)測誤差的變化得到的。換句話說，Permuted Feature Importance有助于定義模型中的特征對最終預(yù)測做出貢獻(xiàn)的大小。

如上圖所示，特征f2在特征的最上面，對模型的誤差影響是最大的，f1在shuffle之后對模型卻幾乎沒什么影響，生息的特征則對于模型是負(fù)面的貢獻(xiàn)。

04. Global Surrogate

Global Surrogate方法采用不同的方法。它通過訓(xùn)練一個可解釋的模型來近似黑盒模型的預(yù)測。

首先，我們使用經(jīng)過訓(xùn)練的黑盒模型對數(shù)據(jù)集進(jìn)行預(yù)測；
然后我們在該數(shù)據(jù)集和預(yù)測上訓(xùn)練可解釋的模型。

訓(xùn)練好的可解釋模型可以近似原始模型，我們需要做的就是解釋該模型。

注：代理模型可以是任何可解釋的模型：線性模型、決策樹、人類定義的規(guī)則等。

使用可解釋的模型來近似黑盒模型會引入額外的誤差，但額外的誤差可以通過R平方來衡量。

由于代理模型僅根據(jù)黑盒模型的預(yù)測而不是真實(shí)結(jié)果進(jìn)行訓(xùn)練，因此全局代理模型只能解釋黑盒模型，而不能解釋數(shù)據(jù)。

05. Local Surrogate (LIME)

LIME（Local Interpretable Model-agnostic Explanations）和global surrogate是不同的，因?yàn)樗粐L試解釋整個模型。相反，它訓(xùn)練可解釋的模型來近似單個預(yù)測。LIME試圖了解當(dāng)我們擾亂數(shù)據(jù)樣本時預(yù)測是如何變化的。

上面左邊的圖像被分成可解釋的部分。然后，LIME 通過“關(guān)閉”一些可解釋的組件（在這種情況下，使它們變灰）來生成擾動實(shí)例的數(shù)據(jù)集。對于每個擾動實(shí)例，可以使用經(jīng)過訓(xùn)練的模型來獲取圖像中存在樹蛙的概率，然后在該數(shù)據(jù)集上學(xué)習(xí)局部加權(quán)線性模型。最后，使用具有最高正向權(quán)重的成分來作為解釋。

06. Shapley Value (SHAP)

Shapley Value的概念來自博弈論。我們可以通過假設(shè)實(shí)例的每個特征值是游戲中的“玩家”來解釋預(yù)測。每個玩家的貢獻(xiàn)是通過在其余玩家的所有子集中添加和刪除玩家來衡量的。一名球員的Shapley Value是其所有貢獻(xiàn)的加權(quán)總和。Shapley 值是可加的，局部準(zhǔn)確的。如果將所有特征的Shapley值加起來，再加上基值，即預(yù)測平均值，您將得到準(zhǔn)確的預(yù)測值。這是許多其他方法所沒有的功能。

該圖顯示了每個特征的Shapley值，表示將模型結(jié)果從基礎(chǔ)值推到最終預(yù)測的貢獻(xiàn)。紅色表示正面貢獻(xiàn)，藍(lán)色表示負(fù)面貢獻(xiàn)。

小結(jié)
機(jī)器學(xué)習(xí)模型的可解釋性是機(jī)器學(xué)習(xí)中一個非?；钴S而且重要的研究領(lǐng)域。本文中我們介紹了6種常用的用于理解機(jī)器學(xué)習(xí)模型的算法。大家可以依據(jù)自己的實(shí)踐場景進(jìn)行使用。

參考文獻(xiàn)
https://www.twosigma.com/articles/interpretability-methods-in-machine-le...

【免責(zé)聲明】本文轉(zhuǎn)載自：Datawhale，轉(zhuǎn)載此文目的在于傳播相關(guān)技術(shù)知識，版權(quán)歸原作者所有，如涉及侵權(quán)，請聯(lián)系小編刪除(聯(lián)系郵箱：service@eetrend.com )。

審核編輯：符乾江