深度學(xué)習(xí)是機器學(xué)習(xí)的一個領(lǐng)域，研究復(fù)雜的人工神經(jīng)網(wǎng)絡(luò)的算法、理論、及應(yīng)用。自從2006年被Hinton等提出以來［1］，深度學(xué)習(xí)得到了巨大發(fā)展，已被成功地應(yīng)用到圖像處理、語音處理、自然語言處理等多個領(lǐng)域，取得了巨大成功，受到了廣泛的關(guān)注，成為當(dāng)今具有代表性的IT先進技術(shù)。
　　
　　圖1 從歷史角度看深度學(xué)習(xí)與其他機器學(xué)習(xí)技術(shù)的關(guān)系
　　深度學(xué)習(xí)本質(zhì)是復(fù)雜的非線性模型的學(xué)習(xí)，從機器學(xué)習(xí)的發(fā)展史來看，深度學(xué)習(xí)的興起代表著機器學(xué)習(xí)技術(shù)的自然演進。1957年，Rosenblatt提出了感知機模型（Perceptron），是線性模型，可以看作是兩層的神經(jīng)網(wǎng)絡(luò)；1986年，Rumelhart等開發(fā)了后向傳播算法（Back Propagation），用于三層的神經(jīng)網(wǎng)絡(luò)，代表著簡單的非線性模型；1995年，Vapnik等發(fā)明了支持向量機（Support Vector Machines），RBF核支持向量機等價于三層的神經(jīng)網(wǎng)絡(luò)，也是一種簡單的非線性模型。2006年以后的深度學(xué)習(xí)實際使用多于三層的神經(jīng)網(wǎng)絡(luò)，又被稱為深度神經(jīng)網(wǎng)絡(luò)，是復(fù)雜的非線性模型（見圖1）。深度神經(jīng)網(wǎng)絡(luò)還有若干個變種，如卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network）。
　　本文首先回答關(guān)于深度學(xué)習(xí)的幾個常見問題，介紹深度學(xué)習(xí)研究的最新進展，特別是一些代表性工作，同時概述我們的深度學(xué)習(xí)與自然語言處理的工作，最后總結(jié)深度學(xué)習(xí)的未來發(fā)展趨勢。
　　關(guān)于深度學(xué)習(xí)的幾個常見問題
　　這里嘗試回答三個關(guān)于深度學(xué)習(xí)的常見問題。深度學(xué)習(xí)為什么很強大？深度學(xué)習(xí)是否是萬能的？深度學(xué)習(xí)與人的大腦有什么關(guān)系？
　　深度學(xué)習(xí)為什么很強大？深度神經(jīng)網(wǎng)絡(luò)實際是復(fù)雜的非線性模型，擁有復(fù)雜的結(jié)構(gòu)和大量的參數(shù)，有非常強的表示能力，特別適合于復(fù)雜的模式識別問題。
　　圖2所示是一個簡單的神經(jīng)網(wǎng)絡(luò)的例子，可以表示布爾函數(shù)XNOR，這個模型可以做簡單的非線性分類。這是說明三層神經(jīng)網(wǎng)絡(luò)擁有非線性分類能力的著名例子。一般地，隨著神經(jīng)網(wǎng)絡(luò)的層數(shù)增大，神經(jīng)元數(shù)增大，其處理復(fù)雜的非線性問題的能力也隨之增大。
　　
　　圖2 XNOR神經(jīng)網(wǎng)絡(luò)
　　
　　圖3 被稱為Alex Net的神經(jīng)網(wǎng)絡(luò)
　　圖3所示的是被稱為Alex Net的神經(jīng)網(wǎng)絡(luò)［2］，是一個卷積神經(jīng)網(wǎng)絡(luò)，有11層，65萬個神經(jīng)元，6千萬個參數(shù)。這個模型在2012年的ImageNet比賽中取得了第一名的好成績，前五準(zhǔn)確率是85%，遠遠高出第二名。這也是證明深度學(xué)習(xí)非常有效的著名實例。該任務(wù)是將120萬張圖片分到1千個類別中，對人也有一定的挑戰(zhàn)，可以看出深度神經(jīng)網(wǎng)絡(luò)能實現(xiàn)很強的圖片檢測能力。
　　
　　圖4 和-積神經(jīng)網(wǎng)絡(luò)
　　深度學(xué)習(xí)的特點是深層的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，網(wǎng)絡(luò)層數(shù)多，有著本質(zhì)重要的意義，體現(xiàn)在有更好的統(tǒng)計效率（statistical efficiency）上。
　　圖4所示的是一個4層的和-積神經(jīng)網(wǎng)絡(luò)，神經(jīng)元表示邏輯和、或者邏輯積，整個網(wǎng)絡(luò)對應(yīng)著一個邏輯表示式?？梢园堰@個神經(jīng)網(wǎng)絡(luò)“壓扁”，成為3層的神經(jīng)網(wǎng)絡(luò)，相當(dāng)于把邏輯表達式展開。兩個神經(jīng)網(wǎng)絡(luò)的表達能力是等價的，但淺層神經(jīng)網(wǎng)絡(luò)有更多的神經(jīng)元，更多的參數(shù)。我們知道參數(shù)多的模型通常需要更多的數(shù)據(jù)訓(xùn)練。所以，深層神經(jīng)網(wǎng)絡(luò)只需要更少的數(shù)據(jù)就可以訓(xùn)練好，也就是說，有更好的統(tǒng)計效率。注意，當(dāng)把深層神經(jīng)網(wǎng)絡(luò)壓扁的時候，得到的淺層神經(jīng)網(wǎng)絡(luò)的參數(shù)個數(shù)是指數(shù)性增加的，雖然表示能力相同，但現(xiàn)實中是不可能學(xué)到的。這個結(jié)論對一般的神經(jīng)網(wǎng)絡(luò)也適用。
　　非常有趣的是，人的大腦也擁有多層的串聯(lián)結(jié)構(gòu)（cascaded structure），也就是深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。從Hubel和Wiesel的、以及之后的神經(jīng)科學(xué)研究結(jié)果可以看出，人之所以能夠做復(fù)雜的信息處理，與這種結(jié)構(gòu)有很大關(guān)系。
　　深度學(xué)習(xí)是否是萬能的？深度學(xué)習(xí)不是萬能的。首先，深度學(xué)習(xí)不適合所有問題。如果問題簡單，比如線性問題和簡單的非線性問題，深度學(xué)習(xí)至多是與支持向量機等有同等的準(zhǔn)確率。如果學(xué)習(xí)陷入局部最優(yōu)，可能還不如其他方法。本質(zhì)上這相當(dāng)于殺雞用牛刀。
　　另外，如果訓(xùn)練數(shù)據(jù)量不夠大，深度神經(jīng)網(wǎng)絡(luò)不能得到充分學(xué)習(xí)，效果也不會很好。這時深度學(xué)習(xí)這匹“千里馬”，也只能是“雖有千里之能，食不飽，力不足，才美不外見”。
　　再有，理論上深度學(xué)習(xí)也不是萬能的。著名的“沒有免費的午餐”定理說明了這一點。該定理指出，針對任意兩個機器學(xué)習(xí)方法：方法一和方法二，如果存在一個問題，方法一比方法二學(xué)到的模型預(yù)測精度高，那么一定存在另一個問題，方法二比方法一學(xué)到的模型預(yù)測精度高。這個定理實際在說，沒有任何一個方法可以包打天下。注意這里只保證后種情況是存在的，并沒有涉及其可能性有更大。所以，在平均意義下學(xué)習(xí)方法的優(yōu)劣還是有的，至少經(jīng)驗性上是這樣。
　　這個定理的一個推論就是，深度學(xué)習(xí)不是萬能的，至少理論上存在一些問題，其他方法比深度學(xué)習(xí)能做得更好，盡管有時可能碰到這種情況的概率不高。
　　深度學(xué)習(xí)與人的大腦有什么關(guān)系？歷史上，人工神經(jīng)網(wǎng)絡(luò)的發(fā)明，在一定程度上受到了人腦信息處理機制的啟發(fā)。但是，人工神經(jīng)網(wǎng)絡(luò)，包括深度神經(jīng)網(wǎng)絡(luò)，本質(zhì)上還是機器學(xué)習(xí)模型。
　　首先，我們對人腦的了解還非常有限。撇開物質(zhì)層面上的不同（人腦是生物系統(tǒng)，計算機是電子系統(tǒng)），把兩者都當(dāng)作信息處理系統(tǒng)（比如，諾依曼就把計算機和人腦都看作是不同的automata——自動機），我們?nèi)阅芸吹剿鼈冎g的許多相同點和不同點。
　　相同點如下。人工神經(jīng)網(wǎng)絡(luò)中的節(jié)點和鏈接，對應(yīng)著人腦的神經(jīng)元（neuron）和突觸（synapse），有時我們直接把它們叫作神經(jīng)元和突觸。人工神經(jīng)網(wǎng)絡(luò)的架構(gòu)，比如，卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)借鑒了人腦的信息處理機制，包括串聯(lián)結(jié)構(gòu)（cascaded structure），局部感受野（local receptive field）。人工神經(jīng)網(wǎng)絡(luò)中，模擬信號和數(shù)字信號交互出現(xiàn)（如XNOR網(wǎng)絡(luò)），這與人腦的神經(jīng)網(wǎng)絡(luò)有相似之處。
　　不同點也很明顯。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法通常是后向轉(zhuǎn)播算法，是一個減少訓(xùn)練誤差驅(qū)動的，需要多次迭代的，網(wǎng)絡(luò)參數(shù)學(xué)習(xí)的優(yōu)化算法，這與人腦的學(xué)習(xí)機制可能有本質(zhì)的不同。深度神經(jīng)網(wǎng)絡(luò)本質(zhì)是數(shù)學(xué)模型，比如，卷積神經(jīng)網(wǎng)絡(luò)采用卷積（convolution）與最大池化（max pooling）操作，以達到進行圖像識別時不受圖片的平移與旋轉(zhuǎn)的影響的效果，這些操作本質(zhì)是數(shù)學(xué)函數(shù)，與人腦的處理有什么關(guān)系并不清楚。最重要的是，深度學(xué)習(xí)的目的是在具體任務(wù)上提升預(yù)測準(zhǔn)確率，不是模擬人腦的功能。
　　深度學(xué)習(xí)的最新進展
　　深度學(xué)習(xí)是2006年誕生的，但是其真正的興起，或者說重大影響工作的出現(xiàn)，是在2012年之后，比如，Krizhevsky等用深度學(xué)習(xí)大幅度提高了圖片分類的準(zhǔn)確率，也就是Alex Net的工作［2］；Dahl等大幅度提升了語音識別的準(zhǔn)確率［3］。
　　以上的深度學(xué)習(xí)工作代表著強大的分類和回歸模型的學(xué)習(xí)和使用，可以認為是傳統(tǒng)的支持向量機的發(fā)展和提升。下面介紹四個深度學(xué)習(xí)的工作，從概念上有了重要的創(chuàng)新。
　　通常的深度學(xué)習(xí)方法都是監(jiān)督學(xué)習(xí)，Le等提出了一個非監(jiān)督的深度學(xué)習(xí)方法［4］，可以從大量未標(biāo)注圖片數(shù)據(jù)中，學(xué)習(xí)到識別圖片中概念的神經(jīng)元，比如，能檢測到貓的概念的神經(jīng)元。整個神經(jīng)網(wǎng)絡(luò)有9層，重復(fù)三次同樣的處理，每次處理包含過濾、池化、規(guī)一化操作，由3層神經(jīng)網(wǎng)絡(luò)實現(xiàn)。學(xué)習(xí)是通過自動編碼與解碼實現(xiàn)，通過這個過程，自動學(xué)習(xí)到數(shù)據(jù)中存在的模型（概念）。這個工作的另一個特點是大規(guī)模并行化。神經(jīng)網(wǎng)絡(luò)模型有100億個參數(shù)，用1000萬張圖片在1000臺機器上訓(xùn)練三天得到。監(jiān)督學(xué)習(xí)需要使用標(biāo)注數(shù)據(jù)，往往成本很高，有時很難得到大量訓(xùn)練數(shù)據(jù)；另一方面人的學(xué)習(xí)有很多是非監(jiān)督的。所以，這個工作讓人們看到了深度學(xué)習(xí)未來發(fā)展的一個新方向。
　　Mnih等將深度學(xué)習(xí)技術(shù)用到了強化學(xué)習(xí)［5］。強化學(xué)習(xí)適合于主體在與環(huán)境進行交互的過程中自動學(xué)習(xí)選擇最佳策略、采取最佳行動的問題。Mnih等利用強化學(xué)習(xí)構(gòu)建了一個系統(tǒng)，可以自動學(xué)習(xí)打電腦游戲，而強化學(xué)習(xí)的核心由深度學(xué)習(xí)實現(xiàn)。在Atari游戲機上，這個系統(tǒng)可以比人類的玩家學(xué)得更快，打得更好。具體地、強化學(xué)習(xí)是Q-learning，其中Q函數(shù)由一個卷積神經(jīng)網(wǎng)絡(luò)表示，狀態(tài)表示電腦游戲的畫面等環(huán)境，動作是游戲的操作，獎勵是游戲的分數(shù)。這里的核心思想是用參數(shù)化的神經(jīng)網(wǎng)絡(luò)來表示Q函數(shù)，比起傳統(tǒng)的用線性模型的方法，準(zhǔn)確率由大幅度提高。這個工作將深度學(xué)習(xí)的應(yīng)用擴展出一個新的領(lǐng)域。
　　另一個工作是Graves等提出的神經(jīng)圖靈機（Neural Turing Machine，NTM）［6］，一種新的基于深度學(xué)習(xí)的計算機架構(gòu)。深度學(xué)習(xí)通常用在預(yù)測、分析問題上，這里作者提出將它用到計算機的控制上。計算機的一個重要功能是在外部記憶（external memory）上進行讀寫操作，從而擁有極大的信息處理能力。NTM這種計算機，也使用外部記憶，其特點是假設(shè)外部記憶的控制器是基于多層神經(jīng)網(wǎng)絡(luò)的，這樣在外部記憶上的讀寫，就不是確定性的，而是依賴輸入輸出，非確定性的。Graves等證明NTM可以從數(shù)據(jù)中學(xué)習(xí)到外部記憶控制，執(zhí)行“復(fù)制”、“排序”等操作。將深度學(xué)習(xí)用于計算機的存儲控制，確有讓人耳目一新的感覺。
　　Weston等人提出了記憶網(wǎng)絡(luò)（Memory Network，MemNN）模型，可以做簡單的問答，如圖5所示［7］。雖然在回答需要相對復(fù)雜推理的問題時MemNN的精度還不理想，但是這個工作讓深度學(xué)習(xí)技術(shù)延伸到問答、推理等傳統(tǒng)人工智能的問題上，受到廣泛關(guān)注。MemNN模型的特點如下，有一個長期記憶（Long Term Memory），可以存儲一系列中間語義表示，給定輸入的一句話，系統(tǒng)將其轉(zhuǎn)換為中間表示，更新長期記憶的狀態(tài)（如加入新的中間表示），產(chǎn)生一個新的表示，最后產(chǎn)生輸出的一個回答。