隨著黑客、學(xué)生、研究人員以及企業(yè)數(shù)量的增加，神經(jīng)網(wǎng)絡(luò)越來(lái)越流行。最近一次復(fù)蘇是在80、90年代，當(dāng)時(shí)幾乎沒(méi)有網(wǎng)絡(luò)，也沒(méi)有神經(jīng)網(wǎng)絡(luò)相關(guān)的工具。本次復(fù)蘇始于2006年左右。從一個(gè)黑客的角度來(lái)看，在那個(gè)時(shí)候都有哪些可用的工具和資源？現(xiàn)在又有哪些？我們對(duì)將來(lái)的期望又是怎么樣的呢？對(duì)我個(gè)人來(lái)說(shuō)，樹(shù)莓派上的GPU正是我所期盼的。

　　80、90年代

　　閱讀本文的年輕人可能想知道，在互聯(lián)網(wǎng)沒(méi)有發(fā)明之前，我們這些老家伙是如何接觸到新知識(shí)的。其實(shí)，紙質(zhì)雜志在當(dāng)時(shí)起到了相當(dāng)大的作用。比如，《科學(xué)美國(guó)人》雜志在1992年9月的心靈與大腦特刊便讓我第一次接觸到了神經(jīng)網(wǎng)絡(luò)，既是在生物學(xué)上，也是在人工智能學(xué)上。

　　在當(dāng)時(shí)，你既可以自己從頭編寫(xiě)神經(jīng)網(wǎng)絡(luò)程序，也可以從其他地方訂購(gòu)一套包含源代碼的軟盤(pán)。我就曾經(jīng)在《科學(xué)美國(guó)人》雜志的《美國(guó)科學(xué)家》專(zhuān)欄訂購(gòu)了這么一套軟盤(pán)。當(dāng)然，你也可以購(gòu)買(mǎi)一套能夠開(kāi)發(fā)低級(jí)別的、復(fù)雜的數(shù)學(xué)神經(jīng)網(wǎng)絡(luò)開(kāi)發(fā)庫(kù)。比如，在多倫多大學(xué)，就有一個(gè)名叫Xerion的免費(fèi)的模擬器。

　　如果你經(jīng)常關(guān)注書(shū)店里科學(xué)類(lèi)書(shū)刊的話，你有時(shí)候也會(huì)發(fā)現(xiàn)這方面的書(shū)籍，最經(jīng)典的就是曾經(jīng)出版過(guò)兩卷的《并行分布式處理探索》，作者是Rumelhart、 McClelland等人。我最喜歡的一本書(shū)是《神經(jīng)計(jì)算與自組織映射導(dǎo)論》，如果你對(duì)利用神經(jīng)網(wǎng)絡(luò)來(lái)控制機(jī)械臂感興趣，這本書(shū)對(duì)你來(lái)說(shuō)將會(huì)受益匪淺。

　　當(dāng)然，你也可以參加一些短期的課程和會(huì)議。我在1994年曾經(jīng)參加了一個(gè)為期兩天的免費(fèi)會(huì)議，這個(gè)會(huì)議最早是由Geoffrey Hinton主辦的，后來(lái)改由多倫多大學(xué)主辦。這個(gè)會(huì)議無(wú)論是在當(dāng)時(shí)，還是在現(xiàn)在，都是神經(jīng)網(wǎng)絡(luò)領(lǐng)域的領(lǐng)導(dǎo)者。當(dāng)時(shí)被譽(yù)為最好的年度會(huì)議是神經(jīng)信息處理系統(tǒng)會(huì)議，它在當(dāng)今仍然很受歡迎。

　　最后，我把為了發(fā)布論文而開(kāi)發(fā)的神經(jīng)網(wǎng)絡(luò)程序整理了一遍。同時(shí)，我把所有的會(huì)議論文、課程講義、復(fù)印的文章和手寫(xiě)的筆記統(tǒng)統(tǒng)摞了起來(lái)，足足達(dá)到了3英尺厚。

　　神經(jīng)網(wǎng)絡(luò)在經(jīng)歷了80、90年代的復(fù)蘇后，又逐漸變得相對(duì)低調(diào)起來(lái)。從整個(gè)世界來(lái)看，除了對(duì)于個(gè)別研究團(tuán)隊(duì)，它已經(jīng)變得不再重要。伴隨著緩慢的改進(jìn)以及一些小小的突破，神經(jīng)網(wǎng)絡(luò)始終保持著很低調(diào)。直到大概2006年左右，它又在世界范圍內(nèi)引發(fā)了一場(chǎng)大爆炸。

　　現(xiàn)在

　　現(xiàn)在我們來(lái)看一下神經(jīng)網(wǎng)絡(luò)工具得到重大突破的一些地方：

　　超過(guò)了三層甚至四層深度的新的訓(xùn)練網(wǎng)絡(luò)技術(shù)，稱(chēng)之為深層神經(jīng)網(wǎng)絡(luò)

　　通過(guò)使用GPU（圖像處理單元）來(lái)加速訓(xùn)練

　　包含大量樣本的訓(xùn)練數(shù)據(jù)的有效性

　　神經(jīng)網(wǎng)絡(luò)框架

　　現(xiàn)在有非常多的神經(jīng)網(wǎng)絡(luò)框架，他們使用了各種不同的授權(quán)協(xié)議，允許用戶免費(fèi)下載。其中很多還是開(kāi)源框架。大部分的流行框架允許你在GPU上運(yùn)行神經(jīng)網(wǎng)絡(luò)，并且支持大多數(shù)的神經(jīng)網(wǎng)絡(luò)算法。

　　下文將介紹一些流行的框架，他們都支持GPU，除了模糊神經(jīng)網(wǎng)絡(luò)。

　　開(kāi)發(fā)語(yǔ)言：Python，C++

　　TensorFlow是Google公司推出的最新的神經(jīng)網(wǎng)絡(luò)框架，它專(zhuān)門(mén)為分布式而設(shè)計(jì)。作為一個(gè)底層框架，雖然有著非常大的靈活性，但是也比高級(jí)框架（例如Keras和TFLearn，下文會(huì)有介紹）擁有更陡的學(xué)習(xí)曲線。目前，Google正在開(kāi)發(fā)Keras集成在TensorFlow中的版本。

　　推薦Hackaday網(wǎng)站上的兩篇文章“能識(shí)別錘子和啤酒瓶的機(jī)器人”和“TensorFlow入門(mén)”一睹TensorFlow的風(fēng)采。

　　開(kāi)發(fā)語(yǔ)言：Python

　　這是一款用來(lái)做多維矩陣高效數(shù)值計(jì)算的開(kāi)源庫(kù)。它出自蒙特利爾大學(xué)，可運(yùn)行在Windows、Linux和OS X上。Theano發(fā)布于2009年，已經(jīng)存在了很長(zhǎng)時(shí)間。

　　開(kāi)發(fā)語(yǔ)言：命令行， Python， MATLAB

　　Caffe是一款由伯克利人工智能研究所和社區(qū)貢獻(xiàn)者共同開(kāi)發(fā)的開(kāi)源庫(kù)。在Caffe中，你可以使用文本文件來(lái)定義模型，然后通過(guò)命令行工具來(lái)進(jìn)行處理。Caffe同時(shí)也有Python和MATLAB接口。例如，首先使用文本文件定義模型，然后在另外一個(gè)文本文件中給出詳細(xì)的訓(xùn)練方法，然后通過(guò)命令行工具讀入這兩個(gè)文件，這樣就能開(kāi)始訓(xùn)練神經(jīng)網(wǎng)絡(luò)了。最后，你可以使用Python程序來(lái)調(diào)用這個(gè)已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)一些功能了，比如說(shuō)把圖片進(jìn)行分類(lèi)。

　　開(kāi)發(fā)語(yǔ)言：Python， C++， C#

　　這是微軟的認(rèn)知開(kāi)發(fā)包（CNTK），可運(yùn)行在Windows和Linux上。微軟目前正在開(kāi)發(fā)一個(gè)內(nèi)部使用Keras的版本。

　　開(kāi)發(fā)語(yǔ)言：Python

　　這個(gè)庫(kù)以TensorFlow或者Theano作為底層，這樣可以使其用起來(lái)更加簡(jiǎn)單。Keras同時(shí)也有支持CNTK的計(jì)劃。目前，把Keras融入到TensorFlow的工作正在進(jìn)行中，而以后就會(huì)出現(xiàn)一個(gè)僅支持TensorFlow的獨(dú)立的版本。

　　開(kāi)發(fā)語(yǔ)言：Python

　　跟Keras一樣，是一個(gè)基于TensorFlow的高級(jí)別的庫(kù)。

　　開(kāi)發(fā)語(yǔ)言：支持超過(guò)15種語(yǔ)言，但不支持GPU

　　這是一個(gè)使用C語(yǔ)言開(kāi)發(fā)的高級(jí)別的開(kāi)源庫(kù)，僅可用于完全連接和稀疏連接的神經(jīng)網(wǎng)絡(luò)。然而，F(xiàn)ANN卻已經(jīng)流行了很多年，甚至已經(jīng)包含在一些Linux發(fā)行版中。Hackaday最近的一篇“通過(guò)強(qiáng)化學(xué)習(xí)來(lái)讓機(jī)器人學(xué)習(xí)走路”中提到了關(guān)于FANN的使用。

　　開(kāi)發(fā)語(yǔ)言：Lua

　　一款使用C語(yǔ)言開(kāi)發(fā)的開(kāi)源庫(kù)。特別要注意的一點(diǎn)，在Rorch官網(wǎng)上特別注明了該框架支持嵌入式設(shè)備，例如iOS、Android和FPGA。

　　開(kāi)發(fā)語(yǔ)言：Python

　　PyTorch相對(duì)來(lái)說(shuō)還是比較新的，在其官網(wǎng)上注明了目前還屬于早起的測(cè)試版，但似乎現(xiàn)在已經(jīng)吸引了很多人的目光。它運(yùn)行在Linux和OS X上，并以Torch作為底層。

　　你應(yīng)該選擇哪一個(gè)框架呢？除編程語(yǔ)言或者操作系統(tǒng)對(duì)你來(lái)說(shuō)是影響選擇的一個(gè)大問(wèn)題，如果你覺(jué)得數(shù)學(xué)太難，或者不想深入地挖掘神經(jīng)網(wǎng)絡(luò)的細(xì)節(jié)，那么盡量選擇一個(gè)高級(jí)的框架吧。在這種情況下，請(qǐng)遠(yuǎn)離TensorFlow，因?yàn)橄鄬?duì)于Kera、TFLearn或者其他高級(jí)框架，你必須去學(xué)習(xí)更多的API函數(shù)。該框架在強(qiáng)調(diào)自身具有強(qiáng)大數(shù)學(xué)功能的同時(shí)，也需要你去花費(fèi)更多的精力來(lái)創(chuàng)建神經(jīng)網(wǎng)絡(luò)。另外一個(gè)影響你選擇框架的因素是你是否需要做基礎(chǔ)研究，一個(gè)高級(jí)框架可能不會(huì)讓你能接觸到內(nèi)部邏輯。

　　在線服務(wù)

　　你是否正在尋找一種可用的神經(jīng)網(wǎng)絡(luò)庫(kù)，但你又不想花費(fèi)太多的時(shí)間去學(xué)習(xí)呢？這里有一些互聯(lián)網(wǎng)在線服務(wù)可以滿足你的要求。

　　我們已經(jīng)看到了無(wú)數(shù)使用亞馬遜Alexa語(yǔ)音識(shí)別服務(wù)的例子。Google也提供了包括視覺(jué)和語(yǔ)音的云機(jī)器學(xué)習(xí)服務(wù)。這方面的例子有：使用樹(shù)莓派來(lái)對(duì)糖果進(jìn)行排序，以及識(shí)別人類(lèi)的表情。Wekinator是一款針對(duì)藝術(shù)家和音樂(lè)家的軟件，它可用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，可以讓人們用手勢(shì)來(lái)控制屋內(nèi)的電器的開(kāi)關(guān)。當(dāng)然了，微軟也有自己的認(rèn)知服務(wù)API，包括視覺(jué)、語(yǔ)音、語(yǔ)言等多個(gè)方面。

　　GPU和TPU