卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種目前計算機視覺領(lǐng)域廣泛使用的深度學(xué)習(xí)網(wǎng)絡(luò)，與傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不同，它包含有非常特殊的卷積層和降采樣層（有些文章和書籍里又稱之為池化層、匯合層），其中卷積層和前一層采用局部連接和權(quán)值共享的方式進(jìn)行連接，從而大大降低了參數(shù)數(shù)量。降采樣層可以大幅降低輸入維度，從而降低網(wǎng)絡(luò)復(fù)雜度，使網(wǎng)絡(luò)具有更高的魯棒性，同時能夠有效的防止過擬合。由于以上設(shè)計，卷積網(wǎng)絡(luò)主要用來識別縮放，位移以及其他形式扭曲不變的二維圖形，并且可以直接以原始圖片作為輸入，而無需進(jìn)行復(fù)雜的預(yù)處理工作。

卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

常見的卷積網(wǎng)絡(luò)前面幾層是卷積層和降采樣層交替出現(xiàn)的，然后跟著一定數(shù)量的全連接層。如圖所示，這是著名的LeNet-5卷積神經(jīng)網(wǎng)絡(luò)，在上世紀(jì)90年代，它被大量應(yīng)用于手寫數(shù)字的識別。這個網(wǎng)絡(luò)一共含有7層(不包含輸入層)，輸入是32*32的圖片，C1是卷積層，它含有6個特征圖，每一個的尺寸為28*28,卷積核的尺寸為5*5, S2是一個降采樣層，將輸入由28*28降維成14*14，同樣，C3是一個卷積層，S4為一個降采樣層，后面全部為全連接層。

局部連接與權(quán)值共享

卷積層最主要的兩個特征就是局部連接和權(quán)值共享，有些地方又叫做稀疏連接和參數(shù)共享，總之都是一個意思。所謂局部連接，就是卷積層的節(jié)點僅僅和其前一層的部分節(jié)點相連接，只用來學(xué)習(xí)局部特征。局部感知結(jié)構(gòu)的構(gòu)思理念來源于動物視覺的皮層結(jié)構(gòu)，其指的是動物視覺的神經(jīng)元在感知外界物體的過程中起作用的只有一部分神經(jīng)元。在計算機視覺中，圖像中的某一塊區(qū)域中，像素之間的相關(guān)性與像素之間的距離同樣相關(guān)，距離較近的像素間相關(guān)性強，距離較遠(yuǎn)則相關(guān)性就比較弱，由此可見局部相關(guān)性理論也適用于計算機視覺的圖像處理領(lǐng)域。因此，局部感知采用部分神經(jīng)元接受圖像信息，再通過綜合全部的圖像信息達(dá)到增強圖像信息的目的。從下圖中我們可以看到，第n+1層的每個節(jié)點只與第n層的3個節(jié)點相連接，而非與前一層全部5個神經(jīng)元節(jié)點相連，這樣原本需要5*3=15個權(quán)值參數(shù)，現(xiàn)在只需要3*3=9個權(quán)值參數(shù)，減少了40%的參數(shù)量，同樣，第n+2層與第n+1層之間也用同樣的連接方式。這種局部連接的方式大幅減少了參數(shù)數(shù)量，加快了學(xué)習(xí)速率，同時也在一定程度上減少了過擬合的可能。

局部連接

卷積層的另一大特征是權(quán)值共享，比如一個3*3的卷積核，共9個參數(shù)，它會和輸入圖片的不同區(qū)域作卷積，來檢測相同的特征。而只有不同的卷積核才會對應(yīng)不同的權(quán)值參數(shù)，來檢測不同的特征。如下圖所示，通過權(quán)值共享的方法，這里一共只有3組不同的權(quán)值，如果只用了局部連接的方法，共需要3*4=12個權(quán)值參數(shù)，而加上了權(quán)值共享的方法后，現(xiàn)在僅僅需要3個權(quán)值，更進(jìn)一步地減少參數(shù)數(shù)量。

權(quán)值共享