計(jì)算機(jī)發(fā)展到今天，已經(jīng)大大改變了我們的生活，我們已經(jīng)進(jìn)入了智能化的時(shí)代。但要是想實(shí)現(xiàn)影視作品中那樣充分互動(dòng)的人工智能與人機(jī)互動(dòng)系統(tǒng)，就不得不提到深度學(xué)習(xí)。

深度學(xué)習(xí)

深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

深度學(xué)習(xí)的概念由Hinton等人于2006年提出?；谏钚哦染W(wǎng)(DBN)提出非監(jiān)督貪心逐層訓(xùn)練算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來希望，隨后提出多層自動(dòng)編碼器深層結(jié)構(gòu)。此外Lecun等人提出的卷積神經(jīng)網(wǎng)絡(luò)是第一個(gè)真正多層結(jié)構(gòu)學(xué)習(xí)算法，它利用空間相對關(guān)系減少參數(shù)數(shù)目以提高訓(xùn)練性能。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來解釋數(shù)據(jù)，例如圖像，聲音和文本。

同機(jī)器學(xué)習(xí)方法一樣，深度機(jī)器學(xué)習(xí)方法也有監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)之分。不同的學(xué)習(xí)框架下建立的學(xué)習(xí)模型很是不同．

例如，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural networks，簡稱CNNs）就是一種深度的監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型，而深度置信網(wǎng)（Deep Belief Nets，簡稱DBNs）就是一種無監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型。

Artificial Intelligence，也就是人工智能，就像長生不老和星際漫游一樣，是人類最美好的夢想之一。雖然計(jì)算機(jī)技術(shù)已經(jīng)取得了長足的進(jìn)步，但是到目前為止，還沒有一臺(tái)電腦能產(chǎn)生“自我”的意識(shí)。是的，在人類和大量現(xiàn)成數(shù)據(jù)的幫助下，電腦可以表現(xiàn)的十分強(qiáng)大，但是離開了這兩者，它甚至都不能分辨一個(gè)喵星人和一個(gè)汪星人。

圖靈（圖靈，大家都知道吧。計(jì)算機(jī)和人工智能的鼻祖，分別對應(yīng)于其著名的“圖靈機(jī)”和“圖靈測試”）在 1950 年的論文里，提出圖靈試驗(yàn)的設(shè)想，即，隔墻對話，你將不知道與你談話的，是人還是電腦。這無疑給計(jì)算機(jī)，尤其是人工智能，預(yù)設(shè)了一個(gè)很高的期望值。但是半個(gè)世紀(jì)過去了，人工智能的進(jìn)展，遠(yuǎn)遠(yuǎn)沒有達(dá)到圖靈試驗(yàn)的標(biāo)準(zhǔn)。這不僅讓多年翹首以待的人們，心灰意冷，認(rèn)為人工智能是忽悠，相關(guān)領(lǐng)域是“偽科學(xué)”。

但是自 2006 年以來，機(jī)器學(xué)習(xí)領(lǐng)域，取得了突破性的進(jìn)展。圖靈試驗(yàn)，至少不是那么可望而不可及了。至于技術(shù)手段，不僅僅依賴于云計(jì)算對大數(shù)據(jù)的并行處理能力，而且依賴于算法。這個(gè)算法就是，Deep Learning。借助于 Deep Learning 算法，人類終于找到了如何處理“抽象概念”這個(gè)亙古難題的方法。

2012年6月，《紐約時(shí)報(bào)》披露了Google Brain項(xiàng)目，吸引了公眾的廣泛關(guān)注。這個(gè)項(xiàng)目是由著名的斯坦福大學(xué)的機(jī)器學(xué)習(xí)教授Andrew Ng和在大規(guī)模計(jì)算機(jī)系統(tǒng)方面的世界頂尖專家JeffDean共同主導(dǎo)，用16000個(gè)CPU Core的并行計(jì)算平臺(tái)訓(xùn)練一種稱為“深度神經(jīng)網(wǎng)絡(luò)”（DNN，Deep Neural Networks）的機(jī)器學(xué)習(xí)模型（內(nèi)部共有10億個(gè)節(jié)點(diǎn)。這一網(wǎng)絡(luò)自然是不能跟人類的神經(jīng)網(wǎng)絡(luò)相提并論的。要知道，人腦中可是有150多億個(gè)神經(jīng)元，互相連接的節(jié)點(diǎn)也就是突觸數(shù)更是如銀河沙數(shù)。曾經(jīng)有人估算過，如果將一個(gè)人的大腦中所有神經(jīng)細(xì)胞的軸突和樹突依次連接起來，并拉成一根直線，可從地球連到月亮，再從月亮返回地球），在語音識(shí)別和圖像識(shí)別等領(lǐng)域獲得了巨大的成功。

項(xiàng)目負(fù)責(zé)人之一Andrew稱：“我們沒有像通常做的那樣自己框定邊界，而是直接把海量數(shù)據(jù)投放到算法中，讓數(shù)據(jù)自己說話，系統(tǒng)會(huì)自動(dòng)從數(shù)據(jù)中學(xué)習(xí)?！绷硗庖幻?fù)責(zé)人Jeff則說：“我們在訓(xùn)練的時(shí)候從來不會(huì)告訴機(jī)器說：‘這是一只貓?！到y(tǒng)其實(shí)是自己發(fā)明或者領(lǐng)悟了“貓”的概念?！?/span>

2012年11月，微軟在中國天津的一次活動(dòng)上公開演示了一個(gè)全自動(dòng)的同聲傳譯系統(tǒng)，講演者用英文演講，后臺(tái)的計(jì)算機(jī)一氣呵成自動(dòng)完成語音識(shí)別、英中機(jī)器翻譯和中文語音合成，效果非常流暢。據(jù)報(bào)道，后面支撐的關(guān)鍵技術(shù)也是DNN，或者深度學(xué)習(xí)（DL，DeepLearning）。

用什么加快計(jì)算速度？異構(gòu)處理器

在摩爾定律的作用下，單核標(biāo)量處理器的性能持續(xù)提升，軟件開發(fā)人員只需要寫好軟件，而性能就等待下次硬件的更新，在2003年之前的幾十年里，這種“免費(fèi)午餐”的模式一直在持續(xù)。2003年后，主要由于功耗的原因，這種“免費(fèi)的午餐”已經(jīng)不復(fù)存在。為了生存，各硬件生產(chǎn)商不得不采用各種方式以提高硬件的計(jì)算能力，以下是目前最流行的幾種方式是。

（1）讓處理器一個(gè)周期處理多條指令 ，這多條指令可相同可不同。如Intel Haswell處理器一個(gè)周期可執(zhí)行4條整數(shù)加法指令、2條浮點(diǎn)乘加指令，同時(shí)訪存和運(yùn)算指令也可同時(shí)執(zhí)行。

（2）使用向量指令 ，主要是SIMD和VLIW技術(shù)。SIMD技術(shù)將處理器一次能夠處理的數(shù)據(jù)位數(shù)從字長擴(kuò)大到128或256位，也就提升了計(jì)算能力。

（3）在同一個(gè)芯片中集成多個(gè)處理單元 ，根據(jù)集成方式的不同，分為多核處理器或多路處理器。多核處理器是如此的重要，以至于現(xiàn)在即使是手機(jī)上的嵌入式ARM處理器都已經(jīng)是四核或八核。

（4）使用異構(gòu)處理器，不同的架構(gòu)設(shè)計(jì)的處理器具有不同的特點(diǎn)，如X86 處理器為延遲優(yōu)化，以減少指令的執(zhí)行延遲為主要設(shè)計(jì)考量（當(dāng)然今天的X86 處理器設(shè)計(jì)中也有許多為吞吐量設(shè)計(jì)的影子）；如NVIDIA GPU和AMD GPU則為吞吐量設(shè)計(jì)，以提高整個(gè)硬件的吞吐量為主要設(shè)計(jì)目標(biāo)。