我們現(xiàn)在所使用的神經(jīng)網(wǎng)絡模型，可能有 80% - 90% 的體積是多余的，這浪費了巨大的處理能力。

近日，麻省理工學院的計算機科學與人工智能實驗室（MIT CSAIL）公布了一項新的研究成果，用富有創(chuàng)意的“彩票機制”修剪了傳統(tǒng)神經(jīng)網(wǎng)絡模型，選擇性地剔除了對結果意義不大的連接（權重），使其變?yōu)楦〉淖由窠?jīng)網(wǎng)絡。

最終，在保證預測準確率前提下，他們將實驗中的子網(wǎng)絡模型的體積減少了 80% - 90%，進而降低了對訓練數(shù)據(jù)量和硬件的需求，而且學習速度還有所提升。

研究團隊將這一方法稱為“彩票假設（Lottery Ticket Hypothesis）”，成果以論文形式發(fā)表在最近召開的 ICLR 2019 大會上，并且被評選為兩篇最佳論文之一?！堵槭±砉た萍荚u論》報道了這一成果，預測這種構建微小神經(jīng)網(wǎng)絡的新方法，可以在手機上創(chuàng)建強大的人工智能。

將訓練神經(jīng)網(wǎng)絡看作是抽獎

如今，深度學習技術已經(jīng)成為了計算機科學領域的最熱門研究方向，從應用自然語言處理的語音識別，到應用計算機視覺的自動駕駛，都十分依賴于構建（深度）神經(jīng)網(wǎng)絡。而為了達到最佳學習效果，構建神經(jīng)網(wǎng)絡通常需要非常龐大的數(shù)據(jù)集，用來訓練和測試模型。很多研究團隊都在想辦法優(yōu)化這一過程，在不犧牲準確度的前提下，讓神經(jīng)網(wǎng)絡和模型變得更小巧輕便。

傳統(tǒng)神經(jīng)網(wǎng)絡由很多層和神經(jīng)元構成，神經(jīng)元之間的連接可以用權重來衡量，通過調(diào)整某些權重的參數(shù)，我們就可以改變相應的連接在整個網(wǎng)絡中的作用。權重一般都是隨機初始化的，隨著模型經(jīng)過大量訓練，神經(jīng)網(wǎng)絡會慢慢“學會”哪些神經(jīng)元和連接更重要，繼而改變對應的權重參數(shù)，輸出準確率更高的結果。

圖 | 神經(jīng)網(wǎng)絡剪枝示意圖（來源：Dr. Lance Eliot, the AI Trends Insider）

在 MIT 研究人員看來，這就像是一個抽獎過程：最開始我們手里有一大堆數(shù)字，但只有少部分數(shù)字最富價值，所以我們可以在訓練過程中將它們篩選出來，用這些數(shù)字組合成一張“中獎彩票”，也就是實現(xiàn)了準確預測的目的。

如果我們可以在最開始就知道哪些數(shù)字能夠或者更容易中獎，那么就可以*直接**去除**剩下**那些價值不大的**數(shù)字*，從而在保證準確率的情況下，縮小神經(jīng)網(wǎng)絡的體積，甚至是提高訓練效率。

研究人員將這一思路命名為“彩票假設”。他們認為，一個隨機初始化的密集神經(jīng)網(wǎng)絡包含一個（一些）子網(wǎng)絡，在獨立初始化并訓練相同迭代次數(shù)后，它們的預測準確率能夠媲美原始的神經(jīng)網(wǎng)絡。

圖 |“彩票假設”定義

“稀疏剪枝”法修剪出微小神經(jīng)網(wǎng)絡

值得注意的是，目前已存在多種神經(jīng)網(wǎng)絡剪枝（Pruning）技術，AI 大牛 Yann LeCun 就曾提出過。在最理想的情況下，可以將網(wǎng)絡體積縮小 90%。但修剪之后的網(wǎng)絡普遍難以重新訓練，而且重新訓練還會導致準確率降低等問題。

相比之下，MIT 團隊想要找到一種，可以在最開始就訓練修剪過的小型神經(jīng)網(wǎng)絡的方法。

為了驗證“彩票假設”，研究人員先進行了復雜的數(shù)學推導，從理論上證明了實現(xiàn)的可行性。然后隨機初始化了一個神經(jīng)網(wǎng)絡，并且迭代訓練 N 次，獲得了第 N 次迭代之后的所有參數(shù)，再按照特定的比例和方法剪掉部分參數(shù)，比如剔除數(shù)量級最小的權重，創(chuàng)造出一個蒙版。最后將所有剩余參數(shù)還原到初始值，套上剛剛得到的參數(shù)蒙版，由此創(chuàng)建了一套“中獎彩票”，再進行重新初始化和訓練。

圖 | 如何找到“中獎彩票”的官方解釋

研究團隊使用了全連接網(wǎng)絡和卷積神經(jīng)網(wǎng)絡來測試“彩票假設”的效果，分別建立在 MNIST 和 CIFAR10 數(shù)據(jù)集之上——兩者都是深度學習領域知名數(shù)據(jù)集。

針對這兩種網(wǎng)絡，他們在多種條件下重復進行了數(shù)萬次實驗，嘗試分析和組合很多不同的方法，從而確定在不犧牲學習能力和準確度的前提下，可以最多刪除多少個參數(shù)。

結果顯示，“稀疏剪枝（Sparse Pruning）”方法是找到“中獎彩票”的最有效手段。由此生成的子網(wǎng)絡大小只有原始網(wǎng)絡前饋架構大小的 10% - 20%，而且在某些情況下，例如使用早停，Dropout 或隨機重初始化等方法，還可以使學習速度加快，甚至是獲得超過原始網(wǎng)絡的準確度。

研究人員認為，這樣的成果還只是起步，如果想找到合適的子網(wǎng)絡，必須經(jīng)過多次迭代、訓練和修剪，對于算力有較高要求，而且存在一定的局限性，因為他們只找到了“稀疏剪枝”這一種尋求“彩票”的方法，還只考慮了數(shù)據(jù)集相對較小的視覺分類任務。

不過“彩票假設”的新思路可以激發(fā)機器學習領域的其它團隊，嘗試更多類似的網(wǎng)絡壓縮和優(yōu)化研究。研究團隊下一步將圍繞更多的剪枝方法展開研究，分析為什么迭代剪枝（Iterative Pruning）在更深的網(wǎng)絡中無法找到“中獎彩票”，同時對參數(shù)初始化機制進行更透徹的研究。

他們相信，如果投入更多的努力，能夠找到最有效的剪枝手段，或許有望加速很多深度學習模型的訓練過程，節(jié)省可觀的開支和工作量，甚至是創(chuàng)造更有價值的新模型。