本文結(jié)合了近三年技術(shù)和產(chǎn)業(yè)發(fā)展的回顧，再論“深度學(xué)習(xí)已死”。作者認(rèn)為，深度學(xué)習(xí)對(duì)于大多數(shù)問題來說不是正確方法，無法為所有問題尋找一個(gè)通用AI解決方案。

許多人認(rèn)為，算法能以認(rèn)知意識(shí)超越人性。機(jī)器可以在沒有人工干預(yù)的情況下了解和學(xué)習(xí)任務(wù)，并大規(guī)模地替換人類工人。它們完全可以“思考”。許多人甚至提出我們是否可以將機(jī)器人視作配偶的問題。

但我今天不是討論這些。如果我告訴你這些想法在20世紀(jì)60年代時(shí)就已廣泛流傳，AI先驅(qū)Jerome Wiesner、Oliver Selfridge和克勞德·香農(nóng)(Claude Shannon)都曾堅(jiān)持認(rèn)為這在不久的將來就會(huì)發(fā)生，你怎么想？如果你對(duì)此感到驚訝，請(qǐng)看看下面這個(gè)視頻，你會(huì)驚訝于這些情緒是多么的熟悉。

快進(jìn)到1973年，AI的炒作和夸大適得其反。英國(guó)議會(huì)派數(shù)學(xué)家詹姆斯·萊特希爾爵士(Sir James Lighthill)編寫英國(guó)人工智能研究的現(xiàn)狀報(bào)告。該報(bào)告對(duì)AI研究的許多核心方面給出了非常悲觀的預(yù)測(cè)，指出 “在該領(lǐng)域的任何部分迄今為止都沒有產(chǎn)生重大影響”。有趣的是，萊特希爾還指出專門的程序(或人類)如何比他們的“AI”同行表現(xiàn)得更好，以及AI如何在現(xiàn)實(shí)環(huán)境中沒有前景。因此，英國(guó)政府取消了所有的AI研究經(jīng)費(fèi)。

Lighthill Debate, BBC, 1973

在大西洋彼岸，美國(guó)國(guó)防部曾在AI研究上投入巨資，但后來又因?yàn)橥瑯拥拇煺廴∠藥缀跛械馁Y助：對(duì)AI能力的夸大，高成本卻沒有回報(bào)，以及AI在現(xiàn)實(shí)世界中的價(jià)值令人懷疑。

在20世紀(jì)80年代，日本在“AI”上進(jìn)行大膽的嘗試，推出“第五代電腦項(xiàng)目”(Fifth generation computer)。然而，這最終也只是造成了8.5億美元的損失。

第一個(gè)AI冬天

80年代末出現(xiàn)了AI冬天(AI Winter)，這是計(jì)算機(jī)科學(xué)的一個(gè)黑暗時(shí)期，“人工智能”研究給組織和政府帶來沉沒成本。這種失敗使人工智能研究停滯了數(shù)十年。

到了1990年代，“AI”成了一個(gè)貶義詞，這種情況持續(xù)到2000年代。人們普遍認(rèn)為“AI根本不能起作用”。編寫看似智能的程序的軟件公司會(huì)使用“搜索算法”、“業(yè)務(wù)規(guī)則引擎”、“約束求解器”和“運(yùn)算研究”等術(shù)語。值得一提的是，這些有用的工具的確來自AI研究，但由于未能實(shí)現(xiàn)更宏偉的目標(biāo)，它們被打上了非AI的標(biāo)簽。

但在2010年前后，情況開始發(fā)生變化。人們對(duì)AI的興趣再次迅速增長(zhǎng)，圖像分類競(jìng)賽引起了媒體的大量關(guān)注。硅谷擁有大量的數(shù)據(jù)，這是第一次有足夠的數(shù)據(jù)足以使神經(jīng)網(wǎng)絡(luò)變得有用。

到2015年，“AI”研究已成為許多財(cái)富500強(qiáng)企業(yè)的巨額預(yù)算去向，他們擔(dān)心自己會(huì)被自動(dòng)化競(jìng)爭(zhēng)對(duì)手甩在后面。畢竟，讓一個(gè)神經(jīng)網(wǎng)絡(luò)來識(shí)別圖像中的物體真的令人印象深刻！對(duì)于外行來說，下一步肯定就是天網(wǎng)能力了。

但這真的是邁向真正的人工智能的一步嗎？或許歷史在重演，但這一次確實(shí)是受到了一些成功用例的鼓舞。

AI的定義不斷發(fā)展，經(jīng)常與“神經(jīng)網(wǎng)絡(luò)”聯(lián)系在一起

很長(zhǎng)一段時(shí)間以來，我一直不喜歡“AI”這個(gè)詞。它是模糊而遙遠(yuǎn)的，它更多的是由營(yíng)銷人員而不是科學(xué)家定義的。當(dāng)然，營(yíng)銷和流行語對(duì)于刺激積極的變革和接受新思維是必要的。然而，流行語不可避免地會(huì)導(dǎo)致混淆。我的新智能手機(jī)有一個(gè)“人工智能鈴聲”(AI Ringtone)功能，可以動(dòng)態(tài)地調(diào)節(jié)鈴聲音量，使其剛好超過環(huán)境噪音。我猜可以用一系列“if”語句或簡(jiǎn)單的線性函數(shù)來編程的東西都被稱為“AI”。

鑒于此，“AI”的定義受到廣泛爭(zhēng)議或許就不足為奇了。我喜歡Geoffrey De Smet的定義，它指出AI解決方案是針對(duì)具有不確定性答案和/或不可避免的誤差范圍的問題。在這個(gè)定義下，AI包括大量的工具，從機(jī)器學(xué)習(xí)到概率到搜索算法。

也可以說，AI的定義在不斷發(fā)展，但只包括突破性的發(fā)展，而過去的成功(如光學(xué)字符識(shí)別或語言翻譯)不再被認(rèn)為是“AI”。因此，“AI是一個(gè)相對(duì)的術(shù)語，而不是絕對(duì)的。

近年來，“AI”經(jīng)常與“神經(jīng)網(wǎng)絡(luò)”聯(lián)系在一起，這也是本文的重點(diǎn)。其他的“AI”解決方案，包括其他機(jī)器學(xué)習(xí)模型(樸素貝葉斯、支持向量機(jī)、XGBoost)，搜索算法，等等。然而，神經(jīng)網(wǎng)絡(luò)可以說是目前最熱門、最經(jīng)常被炒作的技術(shù)。

AI文藝復(fù)興？

2010年之后AI熱潮的復(fù)蘇，僅僅是因?yàn)锳I掌握了一類新的任務(wù)：分類。更具體地說，是多虧了神經(jīng)網(wǎng)絡(luò)，科學(xué)家們已經(jīng)開發(fā)出有效的方法來對(duì)大多數(shù)類型的數(shù)據(jù)進(jìn)行分類，包括圖像和自然語言。甚至自動(dòng)駕駛汽車也屬于一種分類任務(wù)，其中周圍道路的每個(gè)圖像都可以轉(zhuǎn)化為一組獨(dú)立的動(dòng)作(加油、剎車、左轉(zhuǎn)、右轉(zhuǎn)等)。

在我看來，自然語言處理比單純的分類更令人印象深刻。人們很容易相信這些算法是有感知能力的，但如果你仔細(xì)研究算法，就會(huì)發(fā)現(xiàn)它們依賴于語言模式，而不是依賴于有意識(shí)構(gòu)建的思想。這些可以帶來一些有趣的結(jié)果。

Google Duplex可能是最令人印象深刻的自然語言處理技術(shù)，它能讓你的Android手機(jī)代替你打電話，甚至進(jìn)行預(yù)約。但是，Google Duplex是僅僅為了完成這個(gè)任務(wù)而訓(xùn)練、構(gòu)造甚至硬編碼的“AI”。當(dāng)然，Google Duplex打的電話聽起來很自然，有停頓，有“啊”和“嗯”……但是，這也是通過對(duì)語音模式的操作來實(shí)現(xiàn)的，而不是通過實(shí)際的推理和思考。

這一切都非常令人印象深刻，并且肯定有一些是有用的應(yīng)用程序。但我們確實(shí)需要調(diào)整我們的期望值，停止炒作夸大“深度學(xué)習(xí)”能力。如果不這樣做，我們可能會(huì)發(fā)現(xiàn)我們進(jìn)入了另一個(gè)“AI冬天”。

歷史總是在重演

康奈爾大學(xué)的Gary Marcus寫了一篇關(guān)于深度學(xué)習(xí)局限性的文章，并提出了幾個(gè)發(fā)人深省的觀點(diǎn)。Rodney Brooks也寫了一篇文章，整理了時(shí)間軸，并通過引用的研究跟蹤他對(duì)AI炒作周期的預(yù)測(cè)。

懷疑論者通常有幾個(gè)共同觀點(diǎn)。神經(jīng)網(wǎng)絡(luò)需要大量的數(shù)據(jù)，即使在今天，數(shù)據(jù)也是有限的。這也是為什么你在YouTube上看到的“游戲”AI的例子經(jīng)常需要幾天不斷的訓(xùn)練，并且不斷地失敗，直到神經(jīng)網(wǎng)絡(luò)找到一個(gè)讓它獲勝的模式。

神經(jīng)網(wǎng)絡(luò)之所以“深”，是因?yàn)樗鼈冊(cè)诩夹g(shù)上有很多層的節(jié)點(diǎn)，而不是因?yàn)樗鼘?duì)問題的理解有多深刻。這些層也使得神經(jīng)網(wǎng)絡(luò)難以理解，甚至對(duì)它的開發(fā)者來說也是如此。最重要的是，當(dāng)神經(jīng)網(wǎng)絡(luò)冒險(xiǎn)進(jìn)入其他問題空間(如旅行推銷員問題)時(shí)，它們的回報(bào)就會(huì)減少。這是有道理的。為什么我要用神經(jīng)網(wǎng)絡(luò)來解決旅行推銷員的問題，明明搜索算法更加有效、可擴(kuò)展而且成本低？當(dāng)然，有些人希望將神經(jīng)網(wǎng)絡(luò)推廣到更多問題空間，盡管這很有趣，但神經(jīng)網(wǎng)絡(luò)在這些問題上似乎很少能勝過任何專門的算法。

正如MIT教授Luke Hewitt所說：

僅僅基于一項(xiàng)任務(wù)，憑直覺去了解一臺(tái)機(jī)器的智能范圍有多廣，或者它具備多少智能能力，這不是一個(gè)好主意。20世紀(jì)50年代的跳棋機(jī)器讓研究人員感到驚訝，許多人認(rèn)為這是AI走向人類水平推理的巨大飛躍，但我們現(xiàn)在意識(shí)到，在這個(gè)游戲中達(dá)到人類水平或超越人類水平遠(yuǎn)比實(shí)現(xiàn)人類水平的一般智能要容易得多。事實(shí)上，即使是最優(yōu)秀的人也很容易被簡(jiǎn)單的啟發(fā)式搜索算法打敗。在一項(xiàng)任務(wù)中達(dá)到或超越人類的表現(xiàn)，不一定是能夠在大多數(shù)任務(wù)中接近人類表現(xiàn)的墊腳石。

— Luke Hewitt

我認(rèn)為同樣值得指出的是，神經(jīng)網(wǎng)絡(luò)需要大量的硬件和能量才能進(jìn)行訓(xùn)練。我認(rèn)為這不是可持續(xù)的。當(dāng)然，神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)效率要高得多。然而，我認(rèn)為人們對(duì)神經(jīng)網(wǎng)絡(luò)的期待使得它需要不斷的訓(xùn)練，因此需要指數(shù)級(jí)的能量和成本。當(dāng)然，計(jì)算機(jī)是越來越快了，但是芯片制造商能繼續(xù)維持摩爾定律嗎?

正是由于這些原因，我認(rèn)為另一個(gè)AI冬天即將來臨。越來越多的專家站出來指出這些局限性。公司在爭(zhēng)奪“深度學(xué)習(xí)”和“人工智能”人才方面仍然不遺余力，但我認(rèn)為許多公司會(huì)意識(shí)到深度學(xué)習(xí)并不是它們需要的，這只是時(shí)間問題。更糟糕的是，如果你的公司沒有谷歌那樣高的研究預(yù)算，沒有那么多的博士人才，或者沒有能夠從用戶那里收集到大量數(shù)據(jù)，你很快就會(huì)發(fā)現(xiàn)實(shí)際的“深度學(xué)習(xí)”前景非常有限。

每一個(gè)AI冬季來臨之前，科學(xué)家都會(huì)夸大它們的創(chuàng)造潛力。僅僅說他們的算法能很好地完成一項(xiàng)任務(wù)是不夠的。他們希望AI能適應(yīng)任何任務(wù)，或者至少能給人留下這樣的印象。例如，AlphaZero是一種更好的國(guó)際象棋算法。媒體的反應(yīng)是“天哪，通用AI來了。大家快跑！機(jī)器人來了！”而科學(xué)家們不是費(fèi)心去糾正他們，而是鼓勵(lì)他們使用更聰明的詞語。畢竟，降低預(yù)期對(duì)VC融資沒有幫助。

下一步是什么？

當(dāng)然，并不是每一家使用“機(jī)器學(xué)習(xí)”或“人工智能”的公司實(shí)際上都在使用“深度學(xué)習(xí)”。一位優(yōu)秀的數(shù)據(jù)科學(xué)家可能被雇來構(gòu)建一個(gè)神經(jīng)網(wǎng)絡(luò)，但當(dāng)他真正研究這個(gè)問題時(shí)，他會(huì)選擇構(gòu)建一個(gè)更適合的樸素貝葉斯分類器。對(duì)于那些已經(jīng)成功地使用圖像識(shí)別和語言處理的公司來說，他們將繼續(xù)愉快地這樣做。但我確實(shí)認(rèn)為神經(jīng)網(wǎng)絡(luò)不會(huì)在其他問題空間取得進(jìn)展。

上一個(gè)AI冬天對(duì)計(jì)算機(jī)科學(xué)的發(fā)展是毀滅性的。值得指出的是，這樣的研究也產(chǎn)生了一些有用的東西，比如搜索算法，它可以有效地在國(guó)際象棋中獲勝，或者用最小的成本解決交通問題。簡(jiǎn)單地說，創(chuàng)新的算法往往在某項(xiàng)特定任務(wù)上表現(xiàn)出色。

我想說的是，對(duì)于很多類型的問題，都有很多行之有效的解決方案。為了避免AI冬天，你能做的最好的事情就是把你試圖解決的問題具體化，并理解它的本質(zhì)。在此之后，尋找為特定問題提供解決方案的直觀路徑。比如，如果要對(duì)文本消息進(jìn)行分類，可能需要使用樸素貝葉斯。如果要優(yōu)化交通網(wǎng)絡(luò)，可能應(yīng)該使用離散優(yōu)化。不管來自同行的壓力有多大，你都可以帶著適當(dāng)?shù)膽岩蓱B(tài)度來處理復(fù)雜的模型，并質(zhì)疑它是否是正確的方法。

希望這篇文章清楚地表明，深度學(xué)習(xí)對(duì)于大多數(shù)問題來說不是正確方法。不要為所有問題尋找一個(gè)通用AI解決方案，因?yàn)槟阏也坏降摹?/p>