什么是學(xué)習(xí)？

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中都有“學(xué)習(xí)”兩字，我們首先要理解什么是“學(xué)習(xí)”。著名的赫伯特·西蒙教授（Herbert Simon）是1975年圖靈獎(jiǎng)獲得者、1978年諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)獲得者，這位大牛曾對(duì)“學(xué)習(xí)”下過(guò)一個(gè)定義“如果一個(gè)系統(tǒng)，能夠通過(guò)執(zhí)行某個(gè)過(guò)程，就此改進(jìn)了它的性能，那么這個(gè)過(guò)程就是學(xué)習(xí)”。大師永遠(yuǎn)都是言簡(jiǎn)意賅，一針見(jiàn)血，我們從西蒙教授下的定義可以看出“學(xué)習(xí)的核心目的就是改善性能”。

其實(shí)不僅僅是對(duì)于機(jī)器，對(duì)于人而言這個(gè)定義也是適用的。我們從小就被教育要“好好學(xué)習(xí)，天天向上”，我們“學(xué)習(xí)”的目標(biāo)是為了“向上”，如果沒(méi)有性能上的“向上”，即使非常辛苦地“好好”，即使長(zhǎng)時(shí)間地“天天”，都無(wú)法算作“學(xué)習(xí)”。如果我們僅僅是低層次的重復(fù)性學(xué)習(xí)，而沒(méi)有達(dá)到認(rèn)知升級(jí)的目的，那么即使表面看起來(lái)非常勤奮，其實(shí)也只是一個(gè)“偽學(xué)習(xí)者”，因?yàn)槲覀儧](méi)有改善性能。

下面我們就一起繼續(xù)“好好學(xué)習(xí)”機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的知識(shí)，我們目的就是為了提升自己在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)上的認(rèn)知水平。

2、人工智能、機(jī)器學(xué)習(xí)、和深度學(xué)習(xí)是什么關(guān)系？

先拋出結(jié)論，機(jī)器學(xué)習(xí)（Machine Learning，ML）是人工智能（Artificial Intelligence，AI）的一個(gè)分支，深度學(xué)習(xí)（Deep Learning，DL）是ML中的一個(gè)子集，或者說(shuō)，機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能的一種方法，而深度學(xué)習(xí)僅僅是實(shí)現(xiàn)機(jī)器學(xué)習(xí)的一種技術(shù)。

下面我們來(lái)仔仔細(xì)細(xì)“學(xué)習(xí)”一下AI、ML、DL這三個(gè)概念

（1）人工智能：AI表示機(jī)器模仿人類(lèi)通常表現(xiàn)出的智能行為的任何活動(dòng)，這是一個(gè)非常大的研究領(lǐng)域，機(jī)器旨在復(fù)制認(rèn)知能力，例如學(xué)習(xí)行為、與環(huán)境的主動(dòng)交互、推理和演繹、計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、問(wèn)題求解、知識(shí)表示和感知；AI建立在計(jì)算機(jī)科學(xué)、數(shù)學(xué)和統(tǒng)計(jì)學(xué)以及心理學(xué)和其他研究人類(lèi)行為的科學(xué)的基礎(chǔ)上。建立AI有多種策略，在20世紀(jì)70年代和20世紀(jì)80年代，“專(zhuān)家”系統(tǒng)變得非常流行，這些系統(tǒng)的目標(biāo)是通過(guò)用大量手動(dòng)定義的if-then規(guī)則表示知識(shí)來(lái)解決復(fù)雜的問(wèn)題，這種方法適用于非常特定的領(lǐng)域中的小問(wèn)題，但無(wú)法擴(kuò)展到較大的問(wèn)題和多領(lǐng)域中，后來(lái)AI也在不斷的改進(jìn)，越來(lái)越關(guān)注基于統(tǒng)計(jì)的方法。

（2）機(jī)器學(xué)習(xí)：ML是AI的一個(gè)子學(xué)科，專(zhuān)注于教授計(jì)算機(jī)如何對(duì)特定任務(wù)進(jìn)行學(xué)習(xí)而無(wú)須編程，ML背后的關(guān)鍵思想是可以創(chuàng)建從數(shù)據(jù)中學(xué)習(xí)并做出預(yù)測(cè)的算法。機(jī)器學(xué)習(xí)也分好多種，我們向大家介紹一下有監(jiān)督學(xué)習(xí)，無(wú)監(jiān)督學(xué)習(xí)，增強(qiáng)學(xué)習(xí)這幾種。

有監(jiān)督學(xué)習(xí)，向機(jī)器提供輸入數(shù)據(jù)及期望輸出，目的是從這些訓(xùn)練實(shí)例中學(xué)習(xí)，以使機(jī)器可以對(duì)從未見(jiàn)過(guò)的數(shù)據(jù)做出有意義的預(yù)測(cè)。

無(wú)監(jiān)督學(xué)習(xí)，僅向機(jī)器提供輸入數(shù)據(jù)，機(jī)器隨后必須自己尋找一些有意義的結(jié)構(gòu)，而無(wú)須外部監(jiān)督或輸入。

增強(qiáng)學(xué)習(xí)，機(jī)器充當(dāng)代理，與環(huán)境交互。如果機(jī)器的行為符合要求，就會(huì)有“獎(jiǎng)勵(lì)”；否則，就會(huì)受到“懲罰”，機(jī)器試圖通過(guò)學(xué)習(xí)相應(yīng)地發(fā)展其行為來(lái)最大化獎(jiǎng)勵(lì)。

（3）深度學(xué)習(xí)：DL也是機(jī)器學(xué)習(xí)的一個(gè)子集，深度學(xué)習(xí)與傳統(tǒng)的監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)是有區(qū)分的，深度學(xué)習(xí)是高度數(shù)據(jù)依賴(lài)型的算法，它的性能通常是隨著數(shù)據(jù)量的增加而不斷增強(qiáng)的，也就是說(shuō)深度學(xué)習(xí)的可擴(kuò)展性顯著優(yōu)于傳統(tǒng)的機(jī)器學(xué)習(xí)算法，但前提是有足夠多、足夠好的數(shù)據(jù)。

3、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的發(fā)展經(jīng)過(guò)了哪幾個(gè)階段？ 如前文討論的，作為人工智能的重要分支，機(jī)器學(xué)習(xí)主要研究的是如何使機(jī)器通過(guò)識(shí)別和利用現(xiàn)有知識(shí)來(lái)獲取新知識(shí)和新技能。自20世紀(jì)80年代以來(lái)，機(jī)器學(xué)習(xí)已經(jīng)在算法、理論和應(yīng)用等方面都取得巨大成功，而被廣泛應(yīng)用于產(chǎn)業(yè)界與學(xué)術(shù)界。簡(jiǎn)單來(lái)說(shuō)，機(jī)器學(xué)習(xí)就是通過(guò)算法使得機(jī)器能從大量歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律，從而對(duì)新的樣本完成智能識(shí)別或?qū)ξ磥?lái)做預(yù)測(cè)；而深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支和新的研究領(lǐng)域。如今在大數(shù)據(jù)的背景下可用數(shù)據(jù)量的激增、計(jì)算能力的增強(qiáng)以及計(jì)算成本的降低為深度學(xué)習(xí)的進(jìn)一步發(fā)展提供了平臺(tái)，同時(shí)也為深度學(xué)習(xí)在各大領(lǐng)域中的應(yīng)用提供了支撐。 回顧歷史機(jī)器學(xué)習(xí)的發(fā)展歷程大致可以分為五個(gè)時(shí)期，而伴隨著機(jī)器學(xué)習(xí)的發(fā)展，深度學(xué)習(xí)共出現(xiàn)三次浪潮。我們以機(jī)器學(xué)習(xí)的發(fā)展作為主線(xiàn)來(lái)介紹不同時(shí)期機(jī)器學(xué)習(xí)與深度學(xué)習(xí)之間的關(guān)系。

第一個(gè)時(shí)期從20世紀(jì)50年代持續(xù)至20世紀(jì)70年代，由于在此期間研究人員致力于用數(shù)學(xué)證明機(jī)器學(xué)習(xí)的合理性，因此稱(chēng)之為“推理期”。在此期間深度學(xué)習(xí)的雛形出現(xiàn)在控制論中，隨著生物學(xué)習(xí)理論的發(fā)展與第一個(gè)模型的實(shí)現(xiàn)（感知機(jī)，1958年），其能實(shí)現(xiàn)單個(gè)神經(jīng)元的訓(xùn)練，這是深度學(xué)習(xí)的第一次浪潮。

第二個(gè)時(shí)期從20世紀(jì)70年代持續(xù)至20世紀(jì)80年代，由于在這個(gè)階段機(jī)器學(xué)習(xí)專(zhuān)家認(rèn)為機(jī)器學(xué)習(xí)就是讓機(jī)器獲取知識(shí)，因此稱(chēng)之為“知識(shí)期”，在此期間深度學(xué)習(xí)主要表現(xiàn)在機(jī)器學(xué)習(xí)中基于神經(jīng)網(wǎng)絡(luò)的連接主義。

第三個(gè)時(shí)期從20世紀(jì)80年代持續(xù)至20世紀(jì)90年代，這個(gè)時(shí)期的機(jī)器學(xué)習(xí)專(zhuān)家主張讓機(jī)器“主動(dòng)”學(xué)習(xí)，即從樣例中學(xué)習(xí)知識(shí)，代表性成果包括決策樹(shù)和BP神經(jīng)網(wǎng)絡(luò)，因此稱(chēng)這個(gè)時(shí)期為“學(xué)習(xí)期”。在此期間深度學(xué)習(xí)仍然表現(xiàn)為基于神經(jīng)網(wǎng)絡(luò)的連接主義，而其中BP神經(jīng)網(wǎng)絡(luò)的提出為深度學(xué)習(xí)帶來(lái)了第二次浪潮。其實(shí)在此期間就存在很好的算法，但由于數(shù)據(jù)量以及計(jì)算能力的限制致使這些算法的良好效果并沒(méi)有展現(xiàn)出來(lái)。

第四個(gè)時(shí)期從20世紀(jì)初持續(xù)至21世紀(jì)初，這時(shí)的研究者們開(kāi)始嘗試用統(tǒng)計(jì)的方法分析并預(yù)測(cè)數(shù)據(jù)的分布，因此稱(chēng)這個(gè)時(shí)期為“統(tǒng)計(jì)期”，這個(gè)階段提出了代表性的算法“支持向量機(jī)”，而此時(shí)的深度學(xué)習(xí)仍然停留在第二次浪潮中。

第五個(gè)時(shí)期從20世紀(jì)初持續(xù)至今，神經(jīng)網(wǎng)絡(luò)再一次被機(jī)器學(xué)習(xí)專(zhuān)家重視，2006年Hinton及其學(xué)生Salakhutdinov發(fā)表的論文《Reducing the Dimensionality of Data with Neural Networks》標(biāo)志著深度學(xué)習(xí)的正式復(fù)興，該時(shí)期掀起深度學(xué)習(xí)的第三次浪潮，同時(shí)在機(jī)器學(xué)習(xí)的發(fā)展階段中被稱(chēng)為“深度學(xué)習(xí)”時(shí)期。此時(shí)，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)優(yōu)于與之競(jìng)爭(zhēng)的基于其他機(jī)器學(xué)習(xí)的技術(shù)以及手工設(shè)計(jì)功能的AI系統(tǒng)。而在此之后，伴隨著數(shù)據(jù)量的爆炸式增長(zhǎng)與計(jì)算能力的與日俱增，深度學(xué)習(xí)得到了進(jìn)一步的發(fā)展。

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)發(fā)展的漫漫長(zhǎng)路

審核編輯：郭婷