Gary Marcus再次撰文批判深度學(xué)習(xí)，這次，他回應(yīng)了Bengio實驗室關(guān)于語言理解的研究，認為該研究與他的觀點不謀而合，即當(dāng)前的深度學(xué)習(xí)技術(shù)無法處理語言的復(fù)雜性。他強調(diào)混合模型，與深度學(xué)習(xí)相結(jié)合。

Gary Marcus是紐約大學(xué)心理學(xué)與神經(jīng)科學(xué)教授，但在AI領(lǐng)域，他更知名的是一直高調(diào)參與人工智能辯論。

Marcus稱自己是“AI contrarian”。什么是“contrarian”？就是專門反對或批評流行觀點的人。在AI領(lǐng)域，流行觀點就是“深度學(xué)習(xí)”。

今年初，Marcus撰文批判深度學(xué)習(xí)，與Yann Lecun、AAAI前主席Thomas Dietterich等一眾AI研究者展開激辯。

在批判深度學(xué)習(xí)的文章中，Marcus概括了深度學(xué)習(xí)的十大挑戰(zhàn)，直言深度學(xué)習(xí)本身雖然有用，但它不可能實現(xiàn)通用人工智能。他建議把深度學(xué)習(xí)視為“一種非普遍的解決方法，而只是一種工具?！?/p>

他說：“相比純粹的深度學(xué)習(xí)，我呼吁混合模型，不僅包括深度學(xué)習(xí)的監(jiān)督形式，還包括其他技術(shù)，例如符號處理（symbol-manipulation），以及無監(jiān)督學(xué)習(xí)（它本身也可能被重新概念化）。我也敦促社區(qū)考慮將更多的內(nèi)在結(jié)構(gòu)納入AI系統(tǒng)。”

近日，Marcus在medium上發(fā)表文章《Bengio vs Marcus，以及神經(jīng)網(wǎng)絡(luò)語言模型的過去、現(xiàn)在和未來》 ，在這篇文章里，Marcus回應(yīng)了Bengio實驗室最近關(guān)于“當(dāng)前的深度學(xué)習(xí)技術(shù)不足以應(yīng)對自然語言的復(fù)雜性”的研究，認為該研究與他的觀點不謀而合。

新智元對該文章編譯如下：

過去

長期以來，很多研究人員擔(dān)心神經(jīng)網(wǎng)絡(luò)是否能夠有效地泛化（generalize），以捕捉語言的豐富性。這一直是我的工作的一個主題，從20世紀90年代以來就是如此。在我之前，認知科學(xué)領(lǐng)域的Fodor，Pylyshyn，Pinker以及Prince等人1988年就提出了非常類似的觀點。Brenden Lake和他的合著者在今年早些時候也提出了類似的觀點。

我在今年一月寫了一篇關(guān)于這個話題的文章：

當(dāng)可用的訓(xùn)練數(shù)據(jù)量有限時，或者當(dāng)測試集與訓(xùn)練集的區(qū)別很大時，或者當(dāng)示例空間非常大且充滿新示例時，深度學(xué)習(xí)系統(tǒng)的表現(xiàn)就不那么好了。鑒于現(xiàn)實世界的局限性，有些問題根本不能被視為分類問題。比如說，開放式的自然語言理解就不應(yīng)被認為是兩個大型有限句子集間的映射，而是一個潛在的無限的輸入句子范圍和一個同樣大的含義范圍的映射，而且這里面很多是以前從來沒有遇到過的。

現(xiàn)在

最近，Yoshua Bengio和他實驗室的研究人員就寫了一篇論文，從神經(jīng)網(wǎng)絡(luò)社區(qū)內(nèi)部認同了認知科學(xué)界的一群外人（包括我自己）長期以來的觀點：當(dāng)前的深入學(xué)習(xí)技術(shù)實際上無法處理語言的復(fù)雜性。

這篇論文題為“BabyAI: First Steps Towards Grounded Language Learning With a Human In the Loop”，論文摘要里寫道：

我們提出了強有力的證據(jù)，表明當(dāng)前的深度學(xué)習(xí)方法在學(xué)習(xí)一門具有構(gòu)式特征（compositional properties）的語言時，缺乏足夠的樣本效率。

這是一個非常普遍的問題，然而之前的文獻完全沒有討論過。

無論如何，我很高興Bengio的實驗室跟我一直以來的觀點是一致的，如我在Twitter上說：

關(guān)于深度學(xué)習(xí)及其局限性的大新聞：Yoshua Bengio的實驗室證實了Marcus在2001年和2018年得出的一個關(guān)鍵結(jié)論：深度學(xué)習(xí)在數(shù)據(jù)處理方面不夠有效，無法應(yīng)對語言的構(gòu)式本質(zhì)。

論文地址如下：arxiv.org/abs/1810.08272

我的言論經(jīng)常引起深度學(xué)習(xí)界許多人的反感。但Bengio回復(fù)的一條Facebook帖子引起了我的注意，他說：

這里的結(jié)論似乎有些迷惑性。根據(jù)我們的實驗，我們是說目前的DL+RL在學(xué)習(xí)理解構(gòu)式語言所需的樣本復(fù)雜性方面還不能令人滿意。但這與Gary的結(jié)論大不相同，因為我們相信我們可以繼續(xù)取得進步，并在現(xiàn)有的深度學(xué)習(xí)和強化學(xué)習(xí)的科學(xué)基礎(chǔ)上進行擴展。Gary明確地認為“深度學(xué)習(xí)的數(shù)據(jù)效率不足以處理語言的構(gòu)式本質(zhì)”，而我們認為當(dāng)前的DL技術(shù)還可以增強，可以更好地應(yīng)付的構(gòu)式，這是系統(tǒng)泛化所必須的。這正是我們正在進行的研究，可以參考我的論文“The Consciousness Prior”。（https://arxiv.org/abs/1709.08568）

實際上，Bengio的意思是：我們還沒有到達那個技術(shù)水平。

也許是這個意思。話又說回來，也許不是這個意思。也許深度學(xué)習(xí)就是永遠無法讓我們達成目標(biāo)。我們至少需要考慮這種可能性。

20年前，我首次提出了這個觀點——從反向傳播工作的方式出發(fā)提的。在那時，出現(xiàn)了很多關(guān)于未知機制和未來成功的承諾。

這些承諾至今仍未兌現(xiàn)——20年過去了。投入進這些研究的資金達數(shù)十億美元，而深度學(xué)習(xí)在語義合成性（compositionality）方面沒有取得任何顯著的進展。

在過去20年里唯一真正改變的是，神經(jīng)網(wǎng)絡(luò)社區(qū)終于開始注意到這個問題了。

未來

Bengio和我在很多方面都有共識。我們都認為現(xiàn)有的模型不會取得成功。我們都同意深度學(xué)習(xí)必須增強（augmented）。

然而問題是，增強是什么呢。

Bengio可以自由地闡述他的觀點。

我的觀點與我過去20年來的預(yù)測毫無二致：深度學(xué)習(xí)必須增強，借鑒經(jīng)典符號系統(tǒng)的一些操作，也就是說我們需要混合模型，充分利用最好的經(jīng)典AI（允許顯式地表示階級性結(jié)構(gòu)和抽象的規(guī)則），并將其與深度學(xué)習(xí)的優(yōu)勢相結(jié)合。

許多（不是所有）神經(jīng)網(wǎng)絡(luò)的擁護者都試圖避免在他們的網(wǎng)絡(luò)中添加這樣的東西。這并不是不可能的；這是普遍觀念的問題。當(dāng)然，僅靠深度學(xué)習(xí)目前還無法解決這個問題。也許是時候嘗試別的方法了。

我不認為深度學(xué)習(xí)無法在自然理解方面發(fā)揮作用，只是我認為深度學(xué)習(xí)本身無法成功。

我的預(yù)測不變：如果沒有固有的組合性工具來表示規(guī)則和結(jié)構(gòu)化表示，語言理解的神經(jīng)網(wǎng)絡(luò)模型仍然幾乎無法取得進展。