2020 年 3 月 25 日，智源研究院學(xué)術(shù)副院長(zhǎng)、清華大學(xué)計(jì)算機(jī)系唐杰教授作客首屆中科院，為大家?guī)?lái)《人工智能下一個(gè)十年》的主題報(bào)告。

唐老師從人工智能發(fā)展的歷史開(kāi)始，深入分析人工智能近十年的發(fā)展，闡述了人工智能在感知方面取得的重要成果，尤其提到算法是這個(gè)感知時(shí)代最重要、最具代表性的內(nèi)容，重點(diǎn)講解了 BERT、ALBERT、MoCo2 等取得快速進(jìn)展的算法。最后說(shuō)到下一波人工智能浪潮的興起，就是實(shí)現(xiàn)具有推理、可解釋性、認(rèn)知的人工智能。

人工智能對(duì)社會(huì)和經(jīng)濟(jì)影響的日益凸顯，各國(guó)政府也先后出臺(tái)了對(duì)人工智能發(fā)展的政策，并將其上升到國(guó)家戰(zhàn)略的高度。截至目前，包括美國(guó)、中國(guó)和歐盟在內(nèi)的多國(guó)和地區(qū)頒布了國(guó)家層面的人工智能發(fā)展政策。

時(shí)至2019年，中國(guó)政府繼續(xù)通過(guò)多種形式支持人工智能的發(fā)展。此前，中國(guó)形成了科學(xué)技術(shù)部、國(guó)家發(fā)改委、中央網(wǎng) 信辦、工信部、中國(guó)工程院等多個(gè)部門參與的人工智能聯(lián)合推進(jìn)機(jī)制。從2015年開(kāi)始先后發(fā)布多則支持人工智能發(fā)展的政策，為人工智能技術(shù)發(fā)展s和落地提供大量的項(xiàng)目發(fā)展基金，并且對(duì)人工智能人才的引入和企業(yè)創(chuàng)新提供支持。這些政策給行業(yè)發(fā)展提供堅(jiān)實(shí)的政策導(dǎo)向的同時(shí)，也向資本市場(chǎng)和行業(yè)利益相關(guān)者發(fā)出了積極信號(hào)。在推動(dòng)市場(chǎng)應(yīng)用方面，中國(guó)政府身體力行，直接采購(gòu)國(guó)內(nèi)人工智能技術(shù)應(yīng)用的相關(guān)產(chǎn)品，先后落地多個(gè)智慧城市、智慧政務(wù)等項(xiàng)目。

與其他國(guó)家不同，美國(guó)雖然在人工智能領(lǐng)域擁有最強(qiáng)實(shí)力，但目前尚沒(méi)有國(guó)家層面的人工智能促進(jìn)計(jì)劃。在前總統(tǒng)巴拉克·奧巴馬在任的最后幾個(gè)月里，白宮在三份獨(dú)立報(bào)告中為美國(guó)的 AI 戰(zhàn)略奠定了基礎(chǔ)。其中第一份報(bào)告《未來(lái)人工智能準(zhǔn)備》（Preparing for the Future of Artificial Intelligence）明確提出了有關(guān)制定 AI 法規(guī)、資助研發(fā)、自動(dòng)化、道德、公平與安全的內(nèi)容。另一份報(bào)告《國(guó)家人工智能研發(fā)戰(zhàn)略計(jì)劃》（National Artificial Intelligence Research and Development Strategic Plan）概述了美國(guó)在政府資助 AI 研發(fā)上的戰(zhàn)略。而最后一份報(bào)告《Artificial Intelligence, Automation, and the Economy（人工智能、自動(dòng)化和經(jīng)濟(jì)）》則進(jìn)一步說(shuō)明了自動(dòng)化對(duì)社會(huì)的影響，以及擴(kuò)展 AI 有益的方面需要哪些新政策。

自特朗普上任以來(lái)，美國(guó)政府開(kāi)始尋求一種截然不同的、自由市場(chǎng)導(dǎo)向的 AI 戰(zhàn)略。在2018年 5 月，白宮邀請(qǐng)了業(yè)界、學(xué)術(shù)界和部分政府代表參加了一場(chǎng)人工智能峰會(huì)。在會(huì)上發(fā)言中，白宮科技政策辦公室副主任 Michael Kratsios 概述了現(xiàn)總統(tǒng)對(duì)于人工智能的態(tài)度，他宣布政府目前制定了四大目標(biāo)：（1）保持美國(guó)在人工智能方面的領(lǐng)導(dǎo)地位；（2）支持美國(guó)工人；（3）推動(dòng)政府資助的研發(fā)；（4）消除創(chuàng)新的障礙。為了實(shí)現(xiàn)這一目標(biāo)，Kratsios 宣布成立一個(gè) AI 特別委員會(huì)，向白宮提供政府層面的、有關(guān)人工智能研究與發(fā)展方面的建議，同時(shí)幫助政府、私企和獨(dú)立研究者建立合作伙伴關(guān)系。他還指出，美國(guó)政府將專注于消除創(chuàng)新的監(jiān)管障礙，讓各家公司有更多創(chuàng)新和發(fā)展的靈活性。

2018 年 4 月，歐盟委員會(huì)通過(guò)了《人工智能通訊》。這是一份長(zhǎng)達(dá) 20 頁(yè)的文件，闡述了歐盟對(duì) AI 的態(tài)度。委員會(huì)的目標(biāo)是：（1）提高歐盟的技術(shù)和工業(yè)能力，增加公共和私營(yíng)部門對(duì) AI 的吸收；（2）讓歐洲人為 AI 帶來(lái)的社會(huì)經(jīng)濟(jì)變化做好準(zhǔn)備；（3）確保建立適當(dāng)?shù)牡赖潞头煽蚣?。主要舉措包括承諾將歐盟對(duì) AI 的投資從 2017 年的 5 億歐元增加到 2020 年底的 15 億歐元，建立《歐洲人工智能聯(lián)盟》（人們現(xiàn)在可以加入），以及制定一套新的 AI 道德準(zhǔn)則，以解決公平、安全和透明等問(wèn)題。一個(gè)新的「AI 高級(jí)別小組」將作為《歐洲人工智能聯(lián)盟》的指導(dǎo)小組，并將起草道德準(zhǔn)則供成員國(guó)審議。

▲各國(guó)AI政策 在這個(gè)時(shí)代背景下，我們需要考慮人工智能未來(lái)十年會(huì)怎樣發(fā)展。首先，我們需要從人工智能的發(fā)展歷史中找到靈感。 01AI發(fā)展歷史 隨著克勞德·香農(nóng)（Claude Shannon）在 1950 年提出計(jì)算機(jī)博弈，以及阿蘭·圖靈（Alan Turing）在 1954 年提出“圖靈測(cè)試”，人工智能這一概念開(kāi)始進(jìn)入人們的視野。

到了 20 世紀(jì) 60 年代，人工智能出現(xiàn)了第一波高潮，發(fā)展出了自然語(yǔ)言處理和人機(jī)對(duì)話技術(shù)。其中的代表性事件是丹尼爾·博布羅（Daniel Bobrow）在 1964 年發(fā)表的Natural language input for a computer problem solving system，以及約瑟夫·維森鮑姆 (Joseph Weizenbaum) 在 1966 年發(fā)表的 ELIZA—a computer program for the study of natural language communication between man and machine。

此外，還有一個(gè)重要的發(fā)展——知識(shí)庫(kù)。1968 年，愛(ài)德華·費(fèi)根鮑姆 (Edward Feigenbaum)提出首個(gè)專家系統(tǒng) DENDRAL 的時(shí)候?qū)χR(shí)庫(kù)給出了初步的定義，其中隱含了第二波人工智能浪潮興起的契機(jī)。

之后，人工智能進(jìn)入了一輪跨度將近十年的寒冬。 20 世紀(jì) 80 年代，人工智能進(jìn)入了第二波浪潮，這其中代表性的工作是 1976 年蘭德?tīng)枴ご骶S斯 (Randall Davis)構(gòu)建和維護(hù)的大規(guī)模的知識(shí)庫(kù)，1980 年德魯·麥狄蒙（Drew McDermott）和喬恩·多伊爾（Jon Doyle）提出的非單調(diào)邏輯，以及后期出現(xiàn)的機(jī)器人系統(tǒng)。

在 1980 年，漢斯·貝利納 (Hans Berliner)打造的計(jì)算機(jī)戰(zhàn)勝雙陸棋世界冠軍成為標(biāo)志性事件。隨后，基于行為的機(jī)器人學(xué)在羅德尼·布魯克斯 （Rodney Brooks）的推動(dòng)下快速發(fā)展，成為人工智能一個(gè)重要的發(fā)展分支。這其中格瑞·特索羅（Gerry Tesauro）等人打造的自我學(xué)習(xí)雙陸棋程序?yàn)楹髞?lái)的增強(qiáng)學(xué)習(xí)的發(fā)展奠定了基礎(chǔ)。

20 世紀(jì) 90 年代，AI 出現(xiàn)了兩個(gè)很重要的發(fā)展：第一項(xiàng)內(nèi)容是蒂姆·伯納斯·李（Tim Berners-Lee）在 1998 年提出的語(yǔ)義互聯(lián)網(wǎng)路線圖，即以語(yǔ)義為基礎(chǔ)的知識(shí)網(wǎng)或知識(shí)表達(dá)。后來(lái)又出現(xiàn)了 OWL 語(yǔ)言和其他一些相關(guān)知識(shí)描述語(yǔ)言。第二項(xiàng)內(nèi)容是杰弗里·辛頓（Geoffrey Hinton）等人提出的深度學(xué)習(xí)，這標(biāo)志著第三次人工智能浪潮的興起。

在這次浪潮中，我們也看到很多企業(yè)參與其中，如塞巴斯蒂安·特龍（Sebastian Thrun）在谷歌主導(dǎo)推出的自動(dòng)駕駛汽車，IBM 的沃森（Watson）于 2011 年在《危險(xiǎn)邊緣》（Jeopardy）中獲得冠軍，蘋果在 2011 年推出的自然語(yǔ)言問(wèn)答工具 Siri 等。

以上就是人工智能在 60 多年的發(fā)展歷史中取得的一些標(biāo)志性成果和技術(shù)。

02AI 近十年的發(fā)展

我們?cè)偕钊敕治?AI 近十年的發(fā)展，會(huì)看到一個(gè)重要的標(biāo)志：人工智能在感知方面取得重要成果。人工智能在語(yǔ)音識(shí)別、文本識(shí)別、視頻識(shí)別等方面已經(jīng)超越了人類，我們可以說(shuō) AI 在感知方面已經(jīng)逐漸接近人類的水平。從未來(lái)的趨勢(shì)來(lái)看，人工智能將會(huì)有一個(gè)從感知到認(rèn)知逐步發(fā)展的基本趨勢(shì)，如下圖所示：

首先，我們來(lái)看看 AI 在感知方面做了哪些事情。在感知方面，AlphaGo、無(wú)人駕駛、文本和圖片之間的跨媒體計(jì)算等取得了快速發(fā)展。從宏觀來(lái)看，算法是這個(gè)感知時(shí)代最重要、最具代表性的內(nèi)容。如果把最近十年的重要算法進(jìn)行歸類，以深度學(xué)習(xí)為例進(jìn)行展示的話，我們可以得到下圖所示的發(fā)展脈絡(luò)。

圖中最上面淺紫色部分的內(nèi)容是以前向網(wǎng)絡(luò)為代表的深度學(xué)習(xí)算法。第二層淡綠色部分的內(nèi)容表示一個(gè)以自學(xué)習(xí)、自編碼為代表的學(xué)習(xí)時(shí)代。第三層橘色部分的內(nèi)容代表自循環(huán)神經(jīng)網(wǎng)絡(luò)（概率圖模型的發(fā)展）的算法。最下面粉色部分是以增強(qiáng)學(xué)習(xí)為代表的發(fā)展脈絡(luò)。 總體來(lái)講，我們可以把深度學(xué)習(xí)算法歸類為這四個(gè)脈絡(luò)，而這四個(gè)方面都取得了快速的進(jìn)展。

如果再深入追溯最近幾年最重要的發(fā)展，會(huì)發(fā)現(xiàn) BERT 是一個(gè)典型代表。（想深入了解的讀者可以閱讀https://arxiv.org/pdf/1810.04805.pdf）以 BERT 為代表的預(yù)訓(xùn)練算法得到了快速的發(fā)展，基本上所有的算法都采用了預(yù)訓(xùn)練+微調(diào)+ Fine tune 的方法，如下圖所示：

BERT 在 2018 年年底通過(guò)預(yù)訓(xùn)練打敗了 NLP 上 11 個(gè)任務(wù)的經(jīng)典算法；XLNet 在 2019 年提出來(lái)通過(guò)雙向網(wǎng)絡(luò)的方法超過(guò)了 BERT （想深入了解的讀者可以閱讀https://arxiv.org/pdf/1906.08237.pdf），如下圖所示：

再后來(lái)，ALBERT 又超過(guò)了 XLNet 和原始的 BERT（想深入了解的讀者可以閱讀https://arxiv.org/pdf/1909.11942.pdf）。整個(gè) BERT 的發(fā)展引發(fā)了后續(xù)一系列的工作。

在其他方面，也涌現(xiàn)了很多有代表性的工作。如在 2018 年年底，英偉達(dá)通過(guò)預(yù)訓(xùn)練模型實(shí)現(xiàn)高清視頻的自動(dòng)生成。（想要了解更多詳細(xì)信息的讀者可以閱讀https://arxiv.org/abs/1808.06601） DeepMind 又把代表性的關(guān)聯(lián)關(guān)系生成到 graph_net 中，于是在網(wǎng)絡(luò)中可以實(shí)現(xiàn)一定的推理，其結(jié)構(gòu)如下圖所示。（想要了解更多信息的讀者可以閱讀https://arxiv.org/abs/1806.01261）

Facebook 的何愷明等人提出了以 contrastive learning 為基礎(chǔ)的 MoCo 及 MoCo2，在很多無(wú)監(jiān)督學(xué)習(xí)（Unsupervised learning）的結(jié)果上超過(guò)了監(jiān)督學(xué)習(xí)（Supervised learning），這是一個(gè)非常重要的進(jìn)展，這也標(biāo)志著預(yù)訓(xùn)練達(dá)到了一個(gè)新的高度。（想要了解更多信息的讀者可以閱讀

https://arxiv.org/abs/1911.05722）

杰弗里·辛頓等人利用 SimCLR，通過(guò)簡(jiǎn)化版的 contrastive learning 超過(guò)了 MoCo，后來(lái) MoCo2 又宣稱超過(guò)了 SimCLR。（想要了解更多信息的讀者可以閱讀https://arxiv.org/abs/2002.05709） 總體來(lái)看，在算法的時(shí)代，預(yù)訓(xùn)練算法取得了快速的進(jìn)展。那么未來(lái)十年，AI 將何去何從？ 03展望未來(lái)十年

這里，我想引用張鈸院士提出來(lái)的第三代人工智能的理論體系。 2015 年，張鈸院士提出第三代人工智能體系的雛形。 2017 年，DARPA 發(fā)起 XAI 項(xiàng)目，核心思想是從可解釋的機(jī)器學(xué)習(xí)系統(tǒng)、人機(jī)交互技術(shù)以及可解釋的心理學(xué)理論三個(gè)方面，全面開(kāi)展可解釋性 AI 系統(tǒng)的研究。 2018 年底，正式公開(kāi)提出第三代人工智能的理論框架體系，核心思想為： 建立可解釋、魯棒性的人工智能理論和方法。發(fā)展安全、可靠、可信及可擴(kuò)展的人工智能技術(shù)。推動(dòng)人工智能創(chuàng)新應(yīng)用。其中具體實(shí)施的路線圖如下： 與腦科學(xué)融合，發(fā)展腦啟發(fā)的人工智能理論。數(shù)據(jù)與知識(shí)融合的人工智能理論與方法。在這個(gè)思想框架下，我們做了一定的深入研究，我們稱之為認(rèn)知圖譜。其核心概念是知識(shí)圖譜+認(rèn)知推理+邏輯表達(dá)。 下面展開(kāi)解釋一下。 知識(shí)圖譜大家很熟悉，是谷歌在 2012 年提出來(lái)的。這其中有兩個(gè)重磅的圖靈獎(jiǎng)獲得者：一個(gè)是愛(ài)德華·費(fèi)根鮑姆（1994 年圖靈獎(jiǎng)得主），他在 20 世界 60 年代就提出來(lái)了知識(shí)庫(kù)的一些理論體系和框架；另一個(gè)是 1994 年蒂姆·伯納斯·李（2016 年圖靈獎(jiǎng)得主、WWW 的創(chuàng)始人、語(yǔ)義網(wǎng)絡(luò)的創(chuàng)始人）。這里面除了知識(shí)工程、專家系統(tǒng)，還有一個(gè)代表性的系統(tǒng) CYC，CYC 可以說(shuō)是歷史上持續(xù)時(shí)間最長(zhǎng)的項(xiàng)目，從 1985 年開(kāi)始，這個(gè)項(xiàng)目直到現(xiàn)在還一直在持續(xù)。 說(shuō)完了知識(shí)圖譜，我們來(lái)說(shuō)一下認(rèn)知圖譜。 相信很多人對(duì)認(rèn)知圖譜都比較陌生，這里我們舉一個(gè)例子來(lái)說(shuō)明一下。假如我們要解決一個(gè)問(wèn)題“找到一個(gè) 2003 年在洛杉磯的 Quality 咖啡館拍過(guò)電影的導(dǎo)演（Who is the director of the 2003 film which has scenes in it filmed at The Quality Cafe in Los Angeles）”。如果是人來(lái)解決這個(gè)問(wèn)題的話，可能是先追溯相關(guān)的文檔，如 Quality 咖啡館的介紹文檔，洛杉磯的維基百科頁(yè)面等，我們可能會(huì)從中找到相關(guān)的電影，如 Old School ，在這個(gè)電影的介紹文檔里面，我們可能會(huì)進(jìn)一步找到該電影的導(dǎo)演 Todd Phillips，經(jīng)過(guò)比對(duì)電影的拍攝時(shí)間是 2003 年，最終確定答案是 Todd Phillips，具體流程如下圖所示：

當(dāng)我們用傳統(tǒng)算法（如 BIDAF, BERT, XLNet）進(jìn)行解決的時(shí)候，計(jì)算機(jī)可能只會(huì)找到局部的片段，仍然缺乏一個(gè)在知識(shí)層面上的推理能力，這是計(jì)算機(jī)很欠缺的。人在這方面具有優(yōu)勢(shì)，而計(jì)算機(jī)缺乏類似的能力。 人在解決上述問(wèn)題的過(guò)程中存在推理路徑、推理節(jié)點(diǎn)，并且能理解整個(gè)過(guò)程，而 AI 系統(tǒng)，特別是在當(dāng)下的 AI 系統(tǒng)中，深度學(xué)習(xí)算法將大部分這類問(wèn)題都看作是一個(gè)黑盒子，如下圖所示：

這個(gè)基本的思想是結(jié)合認(rèn)知科學(xué)中的雙通道理論。在人腦的認(rèn)知系統(tǒng)中存在兩個(gè)系統(tǒng)：System 1 和 System 2，如下圖所示。System 1 是一個(gè)直覺(jué)系統(tǒng)，它可以通過(guò)人對(duì)相關(guān)信息的一個(gè)直覺(jué)匹配尋找答案，它是非?？焖?、簡(jiǎn)單的；而 System 2 是一個(gè)分析系統(tǒng)，它通過(guò)一定的推理、邏輯找到答案。

在去年的 NIPS 上，圖靈獎(jiǎng)獲得者 Bengio 在大會(huì)主旨報(bào)告的 Keynote 也提到，System 1 到 System 2 的認(rèn)知是深度學(xué)習(xí)未來(lái)發(fā)展的重要的方向，如下圖所示：

因此，我們大概用這個(gè)思路構(gòu)建了這個(gè)新的、我們稱為認(rèn)知圖譜的這樣一個(gè)方法。在 System 1 中我們主要做知識(shí)的擴(kuò)展，在 System 2 中我們做邏輯推理和決策，如下圖所示：

可以看到，我們?cè)?System 1 中做知識(shí)的擴(kuò)展，比如說(shuō)針對(duì)前面的問(wèn)題，我們首先找到相關(guān)的影片，然后用 System 2 來(lái)做決策。如果是標(biāo)準(zhǔn)答案，就結(jié)束整個(gè)推理的過(guò)程。如果不是標(biāo)準(zhǔn)答案，而相應(yīng)的信息又有用，我們就把它作為一個(gè)有用信息提供給 System 1，System 1 繼續(xù)做知識(shí)的擴(kuò)展，System 2 再來(lái)做決策，直到最終找到答案。

現(xiàn)在，在這兩個(gè)系統(tǒng)中，System 1 是一個(gè)直覺(jué)系統(tǒng)，我們用 BERT 來(lái)實(shí)現(xiàn)，實(shí)現(xiàn)了以后，我們就可以做相關(guān)的信息的匹配；System 2 就用一個(gè)圖卷積網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)，在圖卷積網(wǎng)絡(luò)中可以做一定的推理和決策。通過(guò)這個(gè)思路，我們就可以實(shí)現(xiàn)一定的推理+決策。

這是一個(gè)總體的思路，要真正實(shí)現(xiàn)知識(shí)和推理，其實(shí)還需要萬(wàn)億級(jí)的常識(shí)知識(shí)庫(kù)的支持，如下圖所示。也就是說(shuō)，四五十年前費(fèi)根鮑姆做過(guò)的事情，也許我們現(xiàn)在要重做一遍，但是我們要做到更大規(guī)模的常識(shí)知識(shí)圖譜，并且用這樣的方法，用這樣的常識(shí)知識(shí)圖譜來(lái)支撐上面的深度學(xué)習(xí)的計(jì)算，這樣才能真正實(shí)現(xiàn)未來(lái)的 AI。

所以說(shuō)，這一代人工智能浪潮也許到終點(diǎn)還是沒(méi)有推理能力，沒(méi)有可解釋能力。而下一波人工智能浪潮的興起，就是實(shí)現(xiàn)具有推理、具有可解釋性、具有認(rèn)知的人工智能，我們認(rèn)為這是 AI 下一個(gè) 10 年要發(fā)展、也一定會(huì)發(fā)展的一個(gè)重要方向。