一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

機(jī)器學(xué)習(xí)模型的可解釋性算法匯總

jt_rfid5 ? 來源:機(jī)器視覺沙龍 ? 作者:機(jī)器視覺沙龍 ? 2023-02-03 11:34 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

目前很多機(jī)器學(xué)習(xí)模型可以做出非常好的預(yù)測(cè),但是它們并不能很好地解釋他們是如何進(jìn)行預(yù)測(cè)的,很多數(shù)據(jù)科學(xué)家都很難知曉為什么該算法會(huì)得到這樣的預(yù)測(cè)結(jié)果。這是非常致命的,因?yàn)槿绻覀儫o法知道某個(gè)算法是如何進(jìn)行預(yù)測(cè),那么我們將很難將其前一道其它的問題中,很難進(jìn)行算法的debug。

本文介紹目前常見的幾種可以提高機(jī)器學(xué)習(xí)模型的可解釋性的技術(shù),包括它們的相對(duì)優(yōu)點(diǎn)和缺點(diǎn)。我們將其分為下面幾種:

Partial Dependence Plot (PDP);

Individual Conditional Expectation (ICE)

Permuted Feature Importance

Global Surrogate

Local Surrogate (LIME)

Shapley Value (SHAP)

六大可解釋性技術(shù)

01Partial Dependence Plot (PDP)

PDP是十幾年之前發(fā)明的,它可以顯示一個(gè)或兩個(gè)特征對(duì)機(jī)器學(xué)習(xí)模型的預(yù)測(cè)結(jié)果的邊際效應(yīng)。它可以幫助研究人員確定當(dāng)大量特征調(diào)整時(shí),模型預(yù)測(cè)會(huì)發(fā)生什么樣的變化。

d2618566-a267-11ed-bfe3-dac502259ad0.png

上面圖中,軸表示特征的值,軸表示預(yù)測(cè)值。陰影區(qū)域中的實(shí)線顯示了平均預(yù)測(cè)如何隨著值的變化而變化。PDP能很直觀地顯示平均邊際效應(yīng),因此可能會(huì)隱藏異質(zhì)效應(yīng)。

例如,一個(gè)特征可能與一半數(shù)據(jù)的預(yù)測(cè)正相關(guān),與另一半數(shù)據(jù)負(fù)相關(guān)。那么PDP圖將只是一條水平線。

02Individual Conditional Expectation (ICE)

ICE和PDP非常相似,但和PDP不同之處在于,PDP繪制的是平均情況,但是ICE會(huì)顯示每個(gè)實(shí)例的情況。ICE可以幫助我們解釋一個(gè)特定的特征改變時(shí),模型的預(yù)測(cè)會(huì)怎么變化。

d270b086-a267-11ed-bfe3-dac502259ad0.png

如上圖所示,與PDP不同,ICE曲線可以揭示異質(zhì)關(guān)系。但其最大的問題在于:它不能像PDP那樣容易看到平均效果,所以可以考慮將二者結(jié)合起來一起使用。

03Permuted Feature Importance

Permuted Feature Importance的特征重要性是通過特征值打亂后模型預(yù)測(cè)誤差的變化得到的。換句話說,Permuted Feature Importance有助于定義模型中的特征對(duì)最終預(yù)測(cè)做出貢獻(xiàn)的大小。

d28571d8-a267-11ed-bfe3-dac502259ad0.png

如上圖所示,特征f2在特征的最上面,對(duì)模型的誤差影響是最大的,f1在shuffle之后對(duì)模型卻幾乎沒什么影響,生息的特征則對(duì)于模型是負(fù)面的貢獻(xiàn)。

04Global Surrogate

Global Surrogate方法采用不同的方法。它通過訓(xùn)練一個(gè)可解釋的模型來近似黑盒模型的預(yù)測(cè)。

首先,我們使用經(jīng)過訓(xùn)練的黑盒模型對(duì)數(shù)據(jù)集進(jìn)行預(yù)測(cè);

然后我們?cè)谠摂?shù)據(jù)集和預(yù)測(cè)上訓(xùn)練可解釋的模型。

訓(xùn)練好的可解釋模型可以近似原始模型,我們需要做的就是解釋該模型。

注:代理模型可以是任何可解釋的模型:線性模型、決策樹、人類定義的規(guī)則等。

d293e3a8-a267-11ed-bfe3-dac502259ad0.png

使用可解釋的模型來近似黑盒模型會(huì)引入額外的誤差,但額外的誤差可以通過R平方來衡量。

由于代理模型僅根據(jù)黑盒模型的預(yù)測(cè)而不是真實(shí)結(jié)果進(jìn)行訓(xùn)練,因此全局代理模型只能解釋黑盒模型,而不能解釋數(shù)據(jù)。

05Local Surrogate (LIME)

LIME(Local Interpretable Model-agnostic Explanations)和global surrogate是不同的,因?yàn)樗粐L試解釋整個(gè)模型。相反,它訓(xùn)練可解釋的模型來近似單個(gè)預(yù)測(cè)。LIME試圖了解當(dāng)我們擾亂數(shù)據(jù)樣本時(shí)預(yù)測(cè)是如何變化的。

上面左邊的圖像被分成可解釋的部分。然后,LIME 通過“關(guān)閉”一些可解釋的組件(在這種情況下,使它們變灰)來生成擾動(dòng)實(shí)例的數(shù)據(jù)集。對(duì)于每個(gè)擾動(dòng)實(shí)例,可以使用經(jīng)過訓(xùn)練的模型來獲取圖像中存在樹蛙的概率,然后在該數(shù)據(jù)集上學(xué)習(xí)局部加權(quán)線性模型。最后,使用具有最高正向權(quán)重的成分來作為解釋。

06Shapley Value (SHAP)

Shapley Value的概念來自博弈論。我們可以通過假設(shè)實(shí)例的每個(gè)特征值是游戲中的“玩家”來解釋預(yù)測(cè)。每個(gè)玩家的貢獻(xiàn)是通過在其余玩家的所有子集中添加和刪除玩家來衡量的。一名球員的Shapley Value是其所有貢獻(xiàn)的加權(quán)總和。Shapley 值是可加的,局部準(zhǔn)確的。如果將所有特征的Shapley值加起來,再加上基值,即預(yù)測(cè)平均值,您將得到準(zhǔn)確的預(yù)測(cè)值。這是許多其他方法所沒有的功能。

d2c5c738-a267-11ed-bfe3-dac502259ad0.png

該圖顯示了每個(gè)特征的Shapley值,表示將模型結(jié)果從基礎(chǔ)值推到最終預(yù)測(cè)的貢獻(xiàn)。紅色表示正面貢獻(xiàn),藍(lán)色表示負(fù)面貢獻(xiàn)。

小結(jié)

機(jī)器學(xué)習(xí)模型的可解釋性是機(jī)器學(xué)習(xí)中一個(gè)非常活躍而且重要的研究領(lǐng)域。本文中我們介紹了6種常用的用于理解機(jī)器學(xué)習(xí)模型的算法。大家可以依據(jù)自己的實(shí)踐場(chǎng)景進(jìn)行使用。

審核編輯:湯梓紅

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 算法
    +關(guān)注

    關(guān)注

    23

    文章

    4710

    瀏覽量

    95401
  • PDP
    PDP
    +關(guān)注

    關(guān)注

    0

    文章

    53

    瀏覽量

    36625
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3521

    瀏覽量

    50428
  • 機(jī)器學(xué)習(xí)

    關(guān)注

    66

    文章

    8503

    瀏覽量

    134628
  • LIME
    +關(guān)注

    關(guān)注

    0

    文章

    7

    瀏覽量

    8635

原文標(biāo)題:【光電智造】機(jī)器學(xué)習(xí)模型的可解釋性算法匯總!

文章出處:【微信號(hào):今日光電,微信公眾號(hào):今日光電】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    機(jī)器學(xué)習(xí)模型可解釋性的結(jié)果分析

    模型可解釋性機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要分支,隨著 AI 應(yīng)用范圍的不斷擴(kuò)大,人們?cè)絹碓讲粷M足于模型的黑盒特性,與此同時(shí),金融、自動(dòng)駕駛等領(lǐng)域
    發(fā)表于 09-28 10:17 ?1417次閱讀
    <b class='flag-5'>機(jī)器</b><b class='flag-5'>學(xué)習(xí)</b><b class='flag-5'>模型</b><b class='flag-5'>可解釋性</b>的結(jié)果分析

    什么是“可解釋的”? 可解釋性AI不能解釋什么

    通過建立既可解釋又準(zhǔn)確的模型來改良這種錯(cuò)誤的二分法。關(guān)鍵是將神經(jīng)網(wǎng)絡(luò)與決策樹相結(jié)合,在使用神經(jīng)網(wǎng)絡(luò)進(jìn)行低級(jí)決策時(shí)保留高級(jí)的可解釋性。
    發(fā)表于 05-31 10:51 ?8900次閱讀

    機(jī)器學(xué)習(xí)模型的“可解釋性”的概念及其重要意義

    如果考察某些類型的“事后可解釋性”(post-hoc interpretable),深度神經(jīng)網(wǎng)絡(luò)具有明顯的優(yōu)勢(shì)。深度神經(jīng)網(wǎng)絡(luò)能夠學(xué)習(xí)豐富的表示,這些表示能夠可視化、用語(yǔ)言表達(dá)或用于聚類。如果考慮對(duì)可解釋性的需求,似乎線性
    的頭像 發(fā)表于 07-24 09:58 ?2w次閱讀

    神經(jīng)網(wǎng)絡(luò)可解釋性研究的重要日益凸顯

    神經(jīng)網(wǎng)絡(luò)的可解釋性,從經(jīng)驗(yàn)主義到數(shù)學(xué)建模
    的頭像 發(fā)表于 06-27 10:54 ?5523次閱讀

    Explainable AI旨在提高機(jī)器學(xué)習(xí)模型可解釋性

    Google Cloud AI戰(zhàn)略總監(jiān)Tracy Frey在 今天的博客中解釋說,Explainable AI旨在提高機(jī)器學(xué)習(xí)模型可解釋性
    的頭像 發(fā)表于 03-24 15:14 ?3192次閱讀

    詳談機(jī)器學(xué)習(xí)的決策樹模型

    決策樹模型是白盒模型的一種,其預(yù)測(cè)結(jié)果可以由人來解釋。我們把機(jī)器學(xué)習(xí)模型的這一特性稱為
    的頭像 發(fā)表于 07-06 09:49 ?3936次閱讀
    詳談<b class='flag-5'>機(jī)器</b><b class='flag-5'>學(xué)習(xí)</b>的決策樹<b class='flag-5'>模型</b>

    機(jī)器學(xué)習(xí)模型可解釋性的介紹

    模型可解釋性方面的研究,在近兩年的科研會(huì)議上成為關(guān)注熱點(diǎn),因?yàn)榇蠹也粌H僅滿足于模型的效果,更對(duì)模型效果的原因產(chǎn)生更多的思考,這...
    的頭像 發(fā)表于 12-10 20:19 ?1061次閱讀

    一種擁有較好可解釋性的啟發(fā)式多分類集成算法

    安全得到重視,傳統(tǒng)融合策略可解釋性差的冋題凸顯。夲文基于心理學(xué)中的知識(shí)線記憶理論進(jìn)行建模參考人類決策過程,提出了一種擁有較好可解釋性的啟發(fā)式多分類器集成算法,稱為知識(shí)線集成
    發(fā)表于 03-24 11:41 ?13次下載
    一種擁有較好<b class='flag-5'>可解釋性</b>的啟發(fā)式多分類集成<b class='flag-5'>算法</b>

    《計(jì)算機(jī)研究與發(fā)展》—機(jī)器學(xué)習(xí)可解釋性

    伴隨著模型復(fù)雜度的增加,機(jī)器學(xué)習(xí)算法可解釋性越差,至今,機(jī)器
    發(fā)表于 01-25 08:35 ?1455次閱讀
    《計(jì)算機(jī)研究與發(fā)展》—<b class='flag-5'>機(jī)器</b><b class='flag-5'>學(xué)習(xí)</b>的<b class='flag-5'>可解釋性</b>

    關(guān)于機(jī)器學(xué)習(xí)模型的六大可解釋性技術(shù)

    本文介紹目前常見的幾種可以提高機(jī)器學(xué)習(xí)模型可解釋性的技術(shù)。
    的頭像 發(fā)表于 02-26 17:20 ?2541次閱讀
    關(guān)于<b class='flag-5'>機(jī)器</b><b class='flag-5'>學(xué)習(xí)</b><b class='flag-5'>模型</b>的六大<b class='flag-5'>可解釋性</b>技術(shù)

    機(jī)器學(xué)習(xí)模型可解釋性算法詳解

    本文介紹目前常見的幾種可以提高機(jī)器學(xué)習(xí)模型可解釋性的技術(shù),包括它們的相對(duì)優(yōu)點(diǎn)和缺點(diǎn)。
    的頭像 發(fā)表于 02-16 16:21 ?5328次閱讀
    <b class='flag-5'>機(jī)器</b><b class='flag-5'>學(xué)習(xí)</b><b class='flag-5'>模型</b>的<b class='flag-5'>可解釋性</b><b class='flag-5'>算法</b>詳解

    使用RAPIDS加速實(shí)現(xiàn)SHAP的模型可解釋性

      模型解釋性 幫助開發(fā)人員和其他利益相關(guān)者理解模型特征和決策的根本原因,從而使流程更加透明。能夠解釋模型可以幫助數(shù)據(jù)科學(xué)家
    的頭像 發(fā)表于 04-21 09:25 ?3160次閱讀

    可解釋機(jī)器學(xué)習(xí)

    可解釋機(jī)器學(xué)習(xí)
    發(fā)表于 06-17 14:41 ?1次下載

    可以提高機(jī)器學(xué)習(xí)模型可解釋性技術(shù)

    本文介紹目前常見的幾種可以提高機(jī)器學(xué)習(xí)模型可解釋性的技術(shù),包括它們的相對(duì)優(yōu)點(diǎn)和缺點(diǎn)。
    的頭像 發(fā)表于 02-08 14:08 ?1663次閱讀

    小白學(xué)解釋性AI:從機(jī)器學(xué)習(xí)到大模型

    科學(xué)AI需要可解釋性人工智能的崛起,尤其是深度學(xué)習(xí)的發(fā)展,在眾多領(lǐng)域帶來了令人矚目的進(jìn)步。然而,伴隨這些進(jìn)步而來的是一個(gè)關(guān)鍵問題——“黑箱”問題。許多人工智能模型,特別是復(fù)雜的模型,如
    的頭像 發(fā)表于 02-10 12:12 ?630次閱讀
    小白學(xué)<b class='flag-5'>解釋性</b>AI:從<b class='flag-5'>機(jī)器</b><b class='flag-5'>學(xué)習(xí)</b>到大<b class='flag-5'>模型</b>