神經(jīng)網(wǎng)絡(luò)一直以“黑箱”的存在形式，讓人捉摸不透。

比如一個汽車識別模型（14c： 447），它究竟是怎么認(rèn)出圖片中的汽車的？如果我們可以看到模型內(nèi)部，我們可以發(fā)現(xiàn)14c： 447是由一個輪子探測器（4b： 373）和一個窗口探測器（4b： 237）構(gòu)成的。

OpenAI最近推出了一個有趣的工具“顯微鏡（OpenAI Microscope）”就可以做到這一點，借助OpenAI顯微鏡，研究人員可以更好地理解神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為。

OpenAI表示，神經(jīng)網(wǎng)絡(luò)是成千上萬神經(jīng)元相互作用的結(jié)果（有時成千上萬甚至更多），而OpenAI顯微鏡就像一個神經(jīng)元可視化圖書館，能夠快速、方便地詳細研究這些神經(jīng)元的相互作用，并分享這些觀察結(jié)果。

OpenAI網(wǎng)址：

https://microscope.openai.com/

在 OpenAI 顯微鏡網(wǎng)站上，OpenAI指出，“ OpenAI 顯微鏡是幾個常見的‘model organisms’的每一個網(wǎng)絡(luò)層和神經(jīng)元的可視化集合，被用來研究神經(jīng)網(wǎng)絡(luò)的可解釋性。顯微鏡可以讓研究人員更容易地分析這些神經(jīng)網(wǎng)絡(luò)內(nèi)部形成的特征，我們也希望它能夠幫助研究人員理解這些復(fù)雜的系統(tǒng)?！?/p>

“盡管我們將這項技術(shù)提供給任何有興趣探索神經(jīng)網(wǎng)絡(luò)如何工作的人，但我們認(rèn)為其主要價值在于提供持久的、共享的人工智能模型，以促進對這些模型的長期比較研究。我們也希望擁有相近專業(yè)知識的研究人員ーー例如神經(jīng)科學(xué)ーー能夠更容易地了解這些視覺模型的內(nèi)部運作方式，從中找到價值?！?/p>

為了進一步解釋工作原理，OpenAI表示： “ OpenAI 顯微鏡基于兩個概念，一個是模型中的位置，另一個是其應(yīng)用的技術(shù)，比喻地說，位置就是你指向顯微鏡的地方，技術(shù)就是顯微鏡上面的鏡頭?！?/p>

此外，模型是由一個節(jié)點圖體現(xiàn)的，也就是通過邊連接的神經(jīng)網(wǎng)絡(luò)層。每個節(jié)點包含數(shù)百個單元，大致類似于神經(jīng)元。大多數(shù)正在使用的技術(shù)只有在特定的分辨率下才有用。例如，特征可視化只能指向一個單元，而不能指向它的父節(jié)點。

在介紹顯微鏡的同時，OpenAI也表示希望顯微鏡將有助于電路協(xié)作工作，通過了解神經(jīng)元之間的連接，對神經(jīng)網(wǎng)絡(luò)進行逆向工程。

目前，OpenAI顯微鏡對包括AlexNet系列、Inception系列、ResNet V2 50和VGG19在內(nèi)的8個常見圖像識別模型提供支持。

除了OpenAI的顯微鏡試圖對神經(jīng)元進行可視化，一些公司也試圖對機器學(xué)習(xí)模型進行可視化。比如Facebook的Captum就試圖可視化解釋Pytorch機器學(xué)習(xí)模型所做的決定，支持跨模式的模型的可解釋性，包括CV、NLP模型，可以支持大多數(shù)類型的 PyTorch 模型，只需對原始神經(jīng)網(wǎng)絡(luò)進行最小修改即可使用。

Captum網(wǎng)址：

https://captum.ai/

可以說從神經(jīng)網(wǎng)絡(luò)模型出現(xiàn)開始，研究人員就對其如何預(yù)測充滿好奇，可解釋的神經(jīng)網(wǎng)絡(luò)也成了一些研究人員的工作目標(biāo)，除了剛才提到的OpenAI顯微鏡和Captum這些，還包括TensorBoard等工具，都是在這一方向的努力。

為何對于模型的評估信任如此重要？因為我們?nèi)绻獙⒛Ｐ蛻?yīng)用到一些重要行業(yè)，如果要基于模型的預(yù)測采取行動，或者選擇是否部署新模型，就必須先了解它的預(yù)測機制。

畢竟對于用戶來說，如果用戶不信任模型或預(yù)測，他們就不會使用它。