我們訓(xùn)練了一個(gè)大型的深度卷積神經(jīng)網(wǎng)絡(luò)，來(lái)將在ImageNet LSVRC-2010 大賽中的120萬(wàn)張高清圖像分為1000 個(gè)不同的類別。對(duì)測(cè)試數(shù)據(jù)，我們得到了top-1 誤差率37.5%，以及top-5 誤差率17.0%，這個(gè)效果比之前最頂尖的都要好得多。該神經(jīng)網(wǎng)絡(luò)有6000 萬(wàn)個(gè)參數(shù)和650，000 個(gè)神經(jīng)元，由五個(gè)卷積層，以及某些卷積層后跟著的max-pooling 層，和三個(gè)全連接層，還有排在最后的1000-way 的softmax 層組成。為了使訓(xùn)練速度更快，我們使用了非飽和的神經(jīng)元和一個(gè)非常高效的GPU 關(guān)于卷積運(yùn)算的工具。為了減少全連接層的過(guò)擬合，我們采用了最新開(kāi)發(fā)的正則化方法，稱為“ dropout”，它已被證明是非常有效的。在ILSVRC-2012 大賽中，我們又輸入了該模型的一個(gè)變體，并依靠top-5 測(cè)試誤差率15.3%取得了勝利，相比較下，次優(yōu)項(xiàng)的錯(cuò)誤率是26.2%。

?

　　1 引言

　　當(dāng)前物體識(shí)別的方法基本上都使用了機(jī)器學(xué)習(xí)方法。為了改善這些方法的性能，我們可以收集更大的數(shù)據(jù)集，學(xué)習(xí)更強(qiáng)有力的模型，并使用更好的技術(shù)，以防止過(guò)擬合。直到最近，標(biāo)記圖像的數(shù)據(jù)集都相當(dāng)小——大約數(shù)萬(wàn)張圖像（例如，NORB ［16］ ，Caltech-101/256［8， 9］ ，以及CIFAR-10/100 ［12］ ）。簡(jiǎn)單的識(shí)別任務(wù)可以用這種規(guī)模的數(shù)據(jù)集解決得相當(dāng)好，特別是當(dāng)它們用標(biāo)簽-保留轉(zhuǎn)換增強(qiáng)了的時(shí)候。例如，在MNIST 數(shù)字識(shí)別任務(wù)中當(dāng)前最好的誤差率（《0.3%）接近于人類的表現(xiàn)［4］ 。但是現(xiàn)實(shí)環(huán)境中的物體表現(xiàn)出相當(dāng)大的變化，因此要學(xué)習(xí)它們以對(duì)它們進(jìn)行識(shí)別就必須使用更大的訓(xùn)練集。事實(shí)上，小規(guī)模圖像數(shù)據(jù)集的缺陷已被廣泛認(rèn)同（例如， Pinto 等人［21］），但是直到最近，收集有著上百萬(wàn)張圖像的帶標(biāo)簽數(shù)據(jù)集才成為可能。更大型的新數(shù)據(jù)集包括LabelMe ［23］，它由幾十萬(wàn)張完全分割圖組成，還有ImageNet ［6］，它由多于22，000個(gè)種類中超過(guò)1500 萬(wàn)張帶標(biāo)簽的高分辨率圖像組成。

　　為了從幾百萬(wàn)張圖像中學(xué)習(xí)數(shù)以千計(jì)的物體，我們需要一個(gè)學(xué)習(xí)能力更強(qiáng)的模型。然而，物體識(shí)別任務(wù)的極大復(fù)雜性意味著這個(gè)問(wèn)題不能被指定，即使是通過(guò)與ImageNet一樣大的數(shù)據(jù)集，所以我們的模型中也應(yīng)該有大量的先驗(yàn)知識(shí)，以補(bǔ)償我們所沒(méi)有的全部數(shù)據(jù)。卷積神經(jīng)網(wǎng)絡(luò)（CNN）構(gòu)成了一個(gè)這種類型的模型［16， 11， 13， 18， 15， 22， 26］。它們的能力可以通過(guò)改變其深度與廣度得到控制，它們也可作出有關(guān)圖像性質(zhì)的強(qiáng)壯且多半正確的假設(shè)（即，統(tǒng)計(jì)數(shù)據(jù)的穩(wěn)定性和像素依賴關(guān)系的局部性） 。因此，與層次規(guī)模相同的標(biāo)準(zhǔn)前饋神經(jīng)網(wǎng)絡(luò)相比， CNN 的連接關(guān)系和參數(shù)更少，所以更易于訓(xùn)練，而其理論上的最佳性能可能只略差一點(diǎn)。不論CNN 的性質(zhì)多有吸引力， 也不論它們局部結(jié)構(gòu)的相對(duì)效率有多高，將它們大規(guī)模地應(yīng)用到高分辨率圖像中仍然是極其昂貴的。幸運(yùn)的是，目前的GPU 搭配了一個(gè)高度優(yōu)化的2D 卷積工具，強(qiáng)大到足以促進(jìn)大規(guī)模CNN 的訓(xùn)練，而且最近的數(shù)據(jù)集像ImageNet2包含足夠的帶標(biāo)簽的樣例來(lái)訓(xùn)練這樣的模型，還不會(huì)有嚴(yán)重的過(guò)擬合。本文的具體貢獻(xiàn)如下：我們?cè)贗LSVRC-2010 和ILSVRC-2012 大賽中使用過(guò)的ImageNet的子集上［2］ ，訓(xùn)練了迄今為止最大型的卷積神經(jīng)網(wǎng)絡(luò)之一，并取得了迄今為止在這些數(shù)據(jù)集上報(bào)告過(guò)的最好結(jié)果。我們寫(xiě)了一個(gè)高度優(yōu)化的GPU 二維卷積工具以及訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)過(guò)程中的所有其他操作，這些我們都提供了公開(kāi)地址。我們的網(wǎng)絡(luò)中包含一些既新鮮而又不同尋常的特征，它們提高了網(wǎng)絡(luò)的性能，并減少了網(wǎng)絡(luò)的訓(xùn)練時(shí)間，這些詳見(jiàn)第3 節(jié)。我們的網(wǎng)絡(luò)中甚至有120 萬(wàn)個(gè)帶標(biāo)簽的訓(xùn)練樣本，這么大的規(guī)模使得過(guò)擬合成為一個(gè)顯著的問(wèn)題，所以我們使用了幾種有效的方法來(lái)防止過(guò)擬合，這些在第4 節(jié)中給以描述。我們最終的網(wǎng)絡(luò)包含五個(gè)卷積層和三個(gè)全連接層，且這種層次深度似乎是重要的：我們發(fā)現(xiàn)，移去任何卷積層（其中每一個(gè)包含的模型參數(shù)都不超過(guò)1%）都會(huì)導(dǎo)致性能變差。

　　最后，網(wǎng)絡(luò)的規(guī)模主要受限于當(dāng)前GPU 的可用內(nèi)存和我們?cè)敢馊萑痰挠?xùn)練時(shí)間。我們的網(wǎng)絡(luò)在兩塊GTX 580 3GB GPU 上訓(xùn)練需要五到六天。我們所有的實(shí)驗(yàn)表明，等更快的GPU 和更大的數(shù)據(jù)集可用以后，我們的結(jié)果就可以輕而易舉地得到改進(jìn)。