關(guān)于CNN，

第1部分：卷積神經(jīng)網(wǎng)絡(luò)的介紹

CNN是什么？：它們?nèi)绾喂ぷ?，以及如何?a href="http://www.www27dydycom.cn/tags/python/" target="_blank">Python中從頭開(kāi)始構(gòu)建一個(gè)CNN。

在過(guò)去的幾年里，卷積神經(jīng)網(wǎng)絡(luò)（CNN）引起了人們的廣泛關(guān)注，尤其是因?yàn)樗鼜氐椎母淖兞?a target="_blank">計(jì)算機(jī)視覺(jué)領(lǐng)域。在這篇文章中，我們將以神經(jīng)網(wǎng)絡(luò)的基本背景知識(shí)為基礎(chǔ)，探索什么是CNN，了解它們是如何工作的，并在Python中從頭開(kāi)始構(gòu)建一個(gè)真正的CNN（僅使用numpy）。

準(zhǔn)備好了嗎？讓我們開(kāi)看看吧

1. 動(dòng)機(jī)

CNN的經(jīng)典用例是執(zhí)行圖像分類，例如查看寵物的圖像并判斷它是貓還是狗。這看起來(lái)是一個(gè)簡(jiǎn)單的任務(wù)，那為什么不使用一個(gè)普通的神經(jīng)網(wǎng)絡(luò)呢？

好問(wèn)題！

原因1：圖像很大

現(xiàn)在用于計(jì)算機(jī)視覺(jué)問(wèn)題的圖像通常是224x224或更大的。想象一下，構(gòu)建一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)處理224x224彩色圖像：包括圖像中的3個(gè)彩色通道（RGB），得到224×224×3 = 150，528個(gè)輸入特征！在這樣的網(wǎng)絡(luò)中，一個(gè)典型的隱含層可能有1024個(gè)節(jié)點(diǎn)，因此我們必須為第一層單獨(dú)訓(xùn)練150，528 x 1024 = 1.5 +億個(gè)權(quán)重。我們的網(wǎng)絡(luò)將是巨大的，幾乎不可能訓(xùn)練的。

我們也不需要那么多權(quán)重。圖像的好處是，我們知道像素在相鄰的上下文中最有用。圖像中的物體是由小的局部特征組成的，比如眼睛的圓形虹膜或一張紙的方角。從第一個(gè)隱藏層中的每個(gè)節(jié)點(diǎn)來(lái)說(shuō)，查看每個(gè)像素看起來(lái)不是很浪費(fèi)嗎？

原因二：立場(chǎng)可以改變

如果你訓(xùn)練一個(gè)網(wǎng)絡(luò)來(lái)檢測(cè)狗，你希望它能夠檢測(cè)狗，不管它出現(xiàn)在圖像的什么地方。想象一下，訓(xùn)練一個(gè)網(wǎng)絡(luò)，它能很好地處理特定的狗的圖像，然后為它提供相同圖像的略微移位的版本。狗不會(huì)激活相同的神經(jīng)元，因此網(wǎng)絡(luò)會(huì)有完全不同的反應(yīng)！

我們很快就會(huì)看到CNN如何幫助我們解決這些問(wèn)題。

2.數(shù)據(jù)集

在這篇文章中，我們將解決計(jì)算機(jī)視覺(jué)的“Hello，World！”：MNIST手寫數(shù)字分類問(wèn)題。這很簡(jiǎn)單：給定圖像，將其分類為數(shù)字。

MNIST數(shù)據(jù)集中的每個(gè)圖像都是28x28，并包含了一個(gè)以中心為中心的灰度數(shù)字。

說(shuō)實(shí)話，一個(gè)正常的神經(jīng)網(wǎng)絡(luò)實(shí)際上可以很好地解決這個(gè)問(wèn)題。你可以將每個(gè)圖像視為一個(gè)28x28 = 784維的向量，將其提供給一個(gè)784-dim的輸入層，堆疊幾個(gè)隱藏層，最后的輸出層包含10個(gè)節(jié)點(diǎn)，每個(gè)數(shù)字對(duì)應(yīng)一個(gè)節(jié)點(diǎn)。

因?yàn)镸NIST數(shù)據(jù)集包含小圖像居中，所以我們不會(huì)遇到上述的大小或移動(dòng)問(wèn)題。然而，在這篇文章的整個(gè)過(guò)程中請(qǐng)記住，大多數(shù)現(xiàn)實(shí)世界中的圖像分類問(wèn)題并沒(méi)有這么簡(jiǎn)單。

那么，現(xiàn)在你已經(jīng)有足夠的積累了。讓我們正式進(jìn)入CNN的世界！

3.卷積

什么是卷積神經(jīng)網(wǎng)絡(luò)？

它們基本上只是使用卷積層的神經(jīng)網(wǎng)絡(luò)，即基于卷積數(shù)學(xué)運(yùn)算的Conv層。Conv圖層由一組濾鏡組成，你可以將其看作是數(shù)字的二維矩陣。這里有一個(gè)例子3x3過(guò)濾器：

我們可以使用一個(gè)輸入圖像和一個(gè)過(guò)濾器通過(guò)將過(guò)濾器與輸入圖像進(jìn)行卷積來(lái)生成一個(gè)輸出圖像。這包括

將過(guò)濾器覆蓋在圖像的某個(gè)位置上。

在過(guò)濾器中的值與其在圖像中的對(duì)應(yīng)值之間執(zhí)行元素級(jí)乘法。

總結(jié)所有元素產(chǎn)品。這個(gè)和是輸出圖像中目標(biāo)像素的輸出值。

對(duì)所有位置重復(fù)。

旁注：我們（以及許多CNN實(shí)現(xiàn)）實(shí)際上在技術(shù)上使用的是互相關(guān)而不是卷積，但它們做的幾乎是一樣的。我不會(huì)在這篇文章中詳細(xì)討論它們之間的區(qū)別，因?yàn)檫@并不重要。

這四步描述有點(diǎn)抽象，我們來(lái)做個(gè)例子?？聪逻@個(gè)微小的4x4灰度圖像和這個(gè)3x3濾鏡：

圖像中的數(shù)字表示像素強(qiáng)度，其中0為黑色，255為白色。我們將卷積輸入圖像和過(guò)濾器產(chǎn)生一個(gè)2x2輸出圖像：

3.1這有什么用？

讓我們縮小一下，在更高的層次上看這個(gè)。將圖像與過(guò)濾器進(jìn)行卷積會(huì)做什么？我們可以從我們一直使用的例子3x3過(guò)濾器開(kāi)始，它通常被稱為垂直Sobel過(guò)濾器：

Sobel過(guò)濾器是一種邊緣檢測(cè)器。垂直Sobel過(guò)濾器檢測(cè)垂直邊緣，水平Sobel過(guò)濾器檢測(cè)水平邊緣。輸出圖像現(xiàn)在很容易解釋：輸出圖像中的亮像素（高值像素）表示在原始圖像中有一個(gè)強(qiáng)邊緣。

你能看出為什么邊緣檢測(cè)圖像可能比原始圖像更有用嗎？回想一下我們的MNIST手寫數(shù)字分類問(wèn)題。在MNIST上訓(xùn)練的CNN可以尋找數(shù)字1，例如，通過(guò)使用邊緣檢測(cè)過(guò)濾器并檢查圖像中心附近的兩個(gè)突出的垂直邊緣。通常，卷積有助于我們查找特定的本地化圖像特征（如邊緣），我們可以在以后的網(wǎng)絡(luò)中使用。

3.2填充

還記得以前將4x4輸入圖像與3x3濾波器卷積得到2x2輸出圖像嗎？通常，我們希望輸出圖像與輸入圖像的大小相同。為此，我們?cè)趫D像周圍添加零，這樣我們就可以在更多的地方覆蓋過(guò)濾器。一個(gè)3x3的過(guò)濾器需要1像素的填充：

這稱為“相同”填充，因?yàn)檩斎牒洼敵鼍哂邢嗤某叽纭２皇褂萌魏翁畛?，這是我們一直在做的，并將繼續(xù)為這篇文章做，有時(shí)被稱為“有效”填充。

3.3 Conv層（Conv Layers）

現(xiàn)在我們知道了圖像卷積是如何工作的以及它為什么有用，讓我們看看它在CNN中的實(shí)際應(yīng)用。如前所述，CNN包括conv層，它使用一組過(guò)濾器將輸入圖像轉(zhuǎn)換為輸出圖像。conv層的主要參數(shù)是它擁有的過(guò)濾器的數(shù)量。

對(duì)于MNIST CNN，我們將使用一個(gè)帶有8個(gè)過(guò)濾器的小conv層作為網(wǎng)絡(luò)的初始層。這意味著它將把28x28的輸入圖像轉(zhuǎn)換成26x26x8的容量：

提醒：輸出是26x26x8，而不是28x28x8，因?yàn)槲覀兪褂昧擞行У奶畛洌@將輸入的寬度和高度降低了2。

conv層中的4個(gè)過(guò)濾器每個(gè)都產(chǎn)生一個(gè)26x26的輸出，因此它們疊加在一起構(gòu)成一個(gè)26x26x8。所有這些都是因?yàn)?×3（過(guò)濾器大?。?× 8（過(guò)濾器數(shù)量）= 72個(gè)權(quán)重！

3.4實(shí)施卷積

是時(shí)候把我們學(xué)到的東西寫進(jìn)代碼里了！我們將實(shí)現(xiàn)conv層的前饋部分，它負(fù)責(zé)將過(guò)濾器與輸入圖像進(jìn)行卷積以生成輸出卷。為了簡(jiǎn)單起見(jiàn)，我們假設(shè)過(guò)濾器總是3x3（這并不是真的，5x5和7x7過(guò)濾器也很常見(jiàn)）。

讓我們開(kāi)始實(shí)現(xiàn)一個(gè)conv層類：

Conv3x3類只接受一個(gè)參數(shù)：過(guò)濾器的數(shù)量。在構(gòu)造函數(shù)中，我們存儲(chǔ)過(guò)濾器的數(shù)量，并使用NumPy的randn（）方法初始化一個(gè)隨機(jī)過(guò)濾器數(shù)組。

注意：如果初始值過(guò)大或過(guò)小，訓(xùn)練網(wǎng)絡(luò)將無(wú)效。

接下來(lái)，實(shí)際的卷積：

iterate_regions（）是一個(gè)輔助發(fā)生器的方法，收益率為我們所有有效3 x3的圖像區(qū)域。這對(duì)于以后實(shí)現(xiàn)該類的向后部分非常有用。

上面突出顯示了實(shí)際執(zhí)行卷積的代碼行。讓我們來(lái)分解一下：

我們有im_region，一個(gè)包含相關(guān)圖像區(qū)域的3x3數(shù)組。

我們有self.filters，一個(gè)3d數(shù)組。

我們做im_region * self.filters，它使用numpy的廣播機(jī)制以元素方式乘以兩個(gè)數(shù)組。結(jié)果是一個(gè)3d數(shù)組，其尺寸與self.filters相同。

我們np.sum（）上一步的結(jié)果使用axis =（1，2），它產(chǎn)生一個(gè)長(zhǎng)度為num_filters的1d數(shù)組，其中每個(gè)元素包含相應(yīng)過(guò)濾器的卷積結(jié)果。

我們將結(jié)果分配給輸出［i，j］，其中包含輸出中像素（i，j）的卷積結(jié)果。

對(duì)輸出中的每個(gè)像素執(zhí)行上面的序列，直到得到最終的輸出卷為止！讓我們測(cè)試一下我們的代碼：

目前看起來(lái)不錯(cuò)。

注意：在Conv3x3實(shí)現(xiàn)中，為了簡(jiǎn)單起見(jiàn)，我們假設(shè)輸入是一個(gè)2d numpy數(shù)組，因?yàn)镸NIST圖像就是這樣存儲(chǔ)的。這對(duì)我們有用，因?yàn)槲覀兪褂盟鳛槲覀兙W(wǎng)絡(luò)的第一層，但大多數(shù)cnn有更多的Conv層。如果我們要構(gòu)建一個(gè)更大的網(wǎng)絡(luò)，需要多次使用Conv3x3，那么我們必須將輸入設(shè)置為3d numpy數(shù)組。

4. 池化

圖像中的相鄰像素往往具有相似的值，因此conv層通常也會(huì)為輸出中的相鄰像素生成相似的值。因此，conv層輸出中包含的大部分信息都是多余的。例如，如果我們使用邊緣檢測(cè)過(guò)濾器，并在某個(gè)位置找到一個(gè)強(qiáng)邊緣，那么我們很可能也會(huì)在距離原始位置1像素的位置找到一個(gè)相對(duì)較強(qiáng)的邊緣。然而，這些都是相同的邊緣！我們沒(méi)有發(fā)現(xiàn)任何新東西。

池化層解決了這個(gè)問(wèn)題。他們所做的就是減少（通過(guò)猜測(cè)）在輸入中匯總值的輸入大小。池化層通常由一個(gè)簡(jiǎn)單的操作完成，比如max、min或average。

為了執(zhí)行最大池化，我們?cè)?x2塊中輸入了圖像（因?yàn)槌氐拇笮? 2），并將最大值放入對(duì)應(yīng)像素處的輸出圖像中。就是這樣！

它將輸入的寬度和高度除以它的大小。對(duì)于MNIST CNN，我們將在初始conv層之后放置一個(gè)池大小為2的最大池化層。池化層將26x26x8輸入轉(zhuǎn)換為13x13x8輸出：

4.1 Implementing Pooling（實(shí)施池）

我們將實(shí)現(xiàn)一個(gè)MaxPool2類與我們的conv類相同的方法從上一節(jié)：

這個(gè)類的工作原理類似于我們之前實(shí)現(xiàn)的Conv3x3類。關(guān)鍵行再次突出顯示：要從給定的圖像區(qū)域找到最大值，我們使用np.amax（）， numpy的array max方法。我們?cè)O(shè)置axis=（0，1），因?yàn)槲覀冎幌胱畲蠡皟蓚€(gè)維度（高度和寬度），而不是第三個(gè)維度（num_filters）。

我們來(lái)試試吧！

我們的MNIST CNN開(kāi)始走到一起了！

5. Softmax

為了完成我們的CNN，我們需要賦予它實(shí)際預(yù)測(cè)的能力。我們將通過(guò)使用一個(gè)多類分類問(wèn)題的標(biāo)準(zhǔn)最終層來(lái)實(shí)現(xiàn)這一點(diǎn)：Softmax層，這是一個(gè)使用Softmax激活函數(shù)的標(biāo)準(zhǔn)全連接（密集）層。

提醒：全連接層的每個(gè)節(jié)點(diǎn)都連接到上一層的每個(gè)輸出。如果你需要復(fù)習(xí)的話，我們?cè)诮榻B神經(jīng)網(wǎng)絡(luò)時(shí)使用了全連接層圖層。

Softmax將任意實(shí)值轉(zhuǎn)換為概率。它背后的數(shù)學(xué)原理很簡(jiǎn)單：給定一些數(shù)字，

取e（數(shù)學(xué)常數(shù)）的每一次方。

把所有的指數(shù)（eee的冪）加起來(lái)。這個(gè)結(jié)果是分母。

用每個(gè)數(shù)的指數(shù)作為它的分子。

概率= Numerator/Denominator

寫得更妙的是，Softmax對(duì)nnn數(shù)字執(zhí)行以下轉(zhuǎn)換X1.。.Xn：

Softmax變換的輸出總是在［0，1］［0，1］［0，1］［0，1］范圍內(nèi)，并且加起來(lái)等于1，由此轉(zhuǎn)換成概率。

下面是一個(gè)使用數(shù)字-1、0、3和5的簡(jiǎn)單例子：

5.1使用方法

我們將使用一個(gè)包含10個(gè)節(jié)點(diǎn)的softmax層，每個(gè)節(jié)點(diǎn)代表一個(gè)數(shù)字，作為CNN的最后一層。層中的每個(gè)節(jié)點(diǎn)都將連接到每個(gè)輸入層。應(yīng)用softmax變換后，以概率最高的節(jié)點(diǎn)表示的數(shù)字為CNN的輸出！

5.2交叉熵?fù)p失函數(shù)

你可能會(huì)想，為什么要把輸出轉(zhuǎn)化為概率呢？最高的產(chǎn)值不總是有最高的概率嗎？如果你這么做了，你絕對(duì)是對(duì)的。我們實(shí)際上不需要使用softmax來(lái)預(yù)測(cè)一個(gè)數(shù)字，而我們只需要從網(wǎng)絡(luò)中選擇輸出最高的數(shù)字即可！

softmax真正做的是幫助我們量化我們對(duì)預(yù)測(cè)的確定程度，這在訓(xùn)練和評(píng)估CNN時(shí)非常有用。更具體地說(shuō)，使用softmax允許我們使用交叉熵?fù)p失函數(shù)，它考慮到我們對(duì)每個(gè)預(yù)測(cè)的確定程度。下面是我們計(jì)算交叉熵?fù)p失函數(shù)的方法：

c在哪里是正確的類（在我們的例子中是正確的數(shù)字），Pc類c的預(yù)測(cè)概率，并在natural log中。一如既往的，損失越少越好。例如，在最好的情況下，我們會(huì)

在更現(xiàn)實(shí)的情況下，我們可能會(huì)有

我們將在稍后的文章中再次看到交叉熵?fù)p失函數(shù)，所以請(qǐng)記住這一點(diǎn)！

5.3實(shí)施Softmax

你現(xiàn)在知道這個(gè)練習(xí)，讓我們實(shí)現(xiàn)一個(gè)Softmax圖層類

這里沒(méi)有什么太復(fù)雜的。幾個(gè)亮點(diǎn)：

我們將輸入壓平（），使其更容易處理，因?yàn)槲覀儾辉傩枰男螤睢?/p>

np.dot（）將輸入和self相乘。按元素加權(quán)，然后對(duì)結(jié)果求和。

np.exp（）計(jì)算用于Softmax的指數(shù)。

我們現(xiàn)在已經(jīng)完成了CNN的整個(gè)轉(zhuǎn)發(fā)！放在一起：

運(yùn)行cnn.py給我們輸出類似于：

這是有道理的：使用隨機(jī)權(quán)重初始化，你會(huì)期望CNN只會(huì)像隨機(jī)猜測(cè)一樣好。隨機(jī)猜測(cè)的話，10%的準(zhǔn)確率（因?yàn)橛?0類）和一個(gè)叉的損失?ln?（0.1） = 2.302 {- ln （0.1）} = 2.302?ln（0.1） = 2.302，這是我們得到的！

想自己嘗試或修改這段代碼嗎？在瀏覽器中運(yùn)行CNN。它也可以在Github上使用。

6. 結(jié)論

以上就是對(duì)CNN的介紹！在這篇文章中，我們

為什么CNN在某些問(wèn)題上可能更有用，比如圖像分類。

介紹MNIST手寫數(shù)字?jǐn)?shù)據(jù)集。

了解Conv層，它將過(guò)濾器與圖像進(jìn)行卷積以產(chǎn)生更有用的輸出。

談到了池化層，它可以幫助刪除除最有用的功能之外的所有功能。

實(shí)現(xiàn)了一個(gè)Softmax層，因此我們可以使用交叉熵?fù)p失。

還有很多東西我們還沒(méi)有講到，比如如何訓(xùn)練CNN。本系列的第2部分將對(duì)CNN進(jìn)行深入的一個(gè)訓(xùn)練，包括推導(dǎo)梯度和實(shí)施反向傳播。

編輯：jq