只要你用了ReLU，我們就是好朋就是“淺度學習”。

最近有研究證明，所有基于ReLU的深度神經(jīng)網(wǎng)絡都可以重寫為功能相同的3層神經(jīng)網(wǎng)絡。

基于這個證明，倫敦國王學院的研究團隊還提出一種為任意ReLU網(wǎng)絡找到相應淺層網(wǎng)絡的算法。

由此產(chǎn)生的淺層網(wǎng)絡是透明的，可用于解釋網(wǎng)絡的行為。

只要通過算法，就能找到任意深度ReLU網(wǎng)絡的對應淺層網(wǎng)絡。

對此網(wǎng)友驚呼：我要讀這篇論文，立刻馬上！

任何深度ReLU網(wǎng)絡都是淺層的

ReLU是深度學習領域最常用的一種激活函數(shù)，由Nair & Hintonw在2010為限制玻爾茲曼機(restricted Boltzmann machines)提出的。

由于常常在實踐中有著比其他常用激勵函數(shù)（例如邏輯函數(shù)）更好的效果，而被深度神經(jīng)網(wǎng)絡廣泛用于圖像識別等計算機視覺人工智能領域。

論文指出，每個深度ReLU網(wǎng)絡都可以轉換為一個功能相同且具有“三個隱藏層”的淺層網(wǎng)絡。并提供了一個找到對應淺層網(wǎng)絡權重的算法，提高神經(jīng)網(wǎng)絡的全局可解釋性。

簡單來說就是，通過劃分輸入空間，使用線性函數(shù)對每個分區(qū)進行建模，來實現(xiàn)深層網(wǎng)絡淺化。

具體分為這三步。

首先，需要構建一個將線性模型和半空間編碼的第一層，通過使用一個矩陣來表示半空間條件，其中每個行向量表示一個半空間的線性方程。

然后，構建第二層，該層根據(jù)輸入的所屬區(qū)域決定哪些邊界是活躍的。

最后，構建第三層，通過將輸入與每個線性模型相乘并使用指示函數(shù)來選擇正確的模型。

基于此，每一個深度ReLU網(wǎng)絡都可以被轉換為一個功能上相同的三層網(wǎng)絡，其權重值在擴展實數(shù)中。

當然要完成淺化，還需要一些咒（suan）語（fa）。

根據(jù)論文，使用算法時只需找到H、c、α、β這些參數(shù)，并知道每個區(qū)域所需的半空間就可以，主要分三步。

首先，識別可行的模式集，對于每個可行模式，計算全局線性規(guī)劃的參數(shù)A(l)和d(l)。

然后，確定半空間條件，將這些矩陣堆疊起來，確定每個激活模式的半空間條件。最終得到矩陣H和向量c。

最后，計算局部線性模型，根據(jù)模型的權重和激活模式，使用顯式公式，計算局部線性模型α和β。

簡單理解，就是根據(jù)已訓練好的網(wǎng)絡，通過啟發(fā)式搜索在可能的神經(jīng)元激活空間中找到合適的權重值。

通過構建淺層白盒網(wǎng)絡，能夠快速計算出每個數(shù)據(jù)點的SHAP值，大大提高數(shù)據(jù)的可解釋性。

實驗表明，通過上面算法就可以找到給定深度ReLU網(wǎng)絡對應的淺層網(wǎng)絡的顯式權重。

網(wǎng)友：實驗很酷，但也有些問題

論文很新穎的提出一個算法，可以實現(xiàn)“深轉淺”，不過該方法仍有一些缺點。

比如構建淺層網(wǎng)絡使用了無限權重，盡管這些權重可以在Python中實現(xiàn)，但不能使用梯度下降進行微調(diào)。

當然，“找茬兒”這塊，怎能少得了熱心腸的網(wǎng)友。

根據(jù)論文可以發(fā)現(xiàn)，如果使用團隊提供的算法，實驗過程中計算時間其實是會隨著神經(jīng)元數(shù)量增加呈指數(shù)增長。

所以就有網(wǎng)友提出疑惑：算法運行時間與神經(jīng)元數(shù)量成指數(shù)關系，12個神經(jīng)元需要近10分鐘，那計算一個普通大小的DNN所需時間豈不是長了去了……

網(wǎng)友指出：假設單層神經(jīng)網(wǎng)絡可以計算任何函數(shù)，那么對于任何神經(jīng)網(wǎng)絡來說，這不是都成立嗎？

對于這個研究，也有網(wǎng)友犀利表示：這就是個「普遍逼近定理」，沒什么大驚小怪的。

不過無論網(wǎng)友怎么說，這篇論文仍然有一些出彩點。

比如，通過這個方式得到的淺層網(wǎng)絡是透明的，可以用來生成模型行為的解釋。

此外還提供了用于復現(xiàn)實驗的代碼，供其他研究人員使用來探索和實驗。