基辛格在《大西洋月刊》發(fā)表的一篇題為《How the Enlightenment Ends》的文章中指出，從哲學(xué)、理性，以及各個(gè)方面來(lái)說(shuō)，人類社會(huì)對(duì)人工智能的興起都毫無(wú)準(zhǔn)備。人類現(xiàn)在必須要開始做出努力了，不久我們就會(huì)發(fā)現(xiàn)我們開始得太晚了。

前美國(guó)國(guó)家安全顧問(wèn)和國(guó)務(wù)卿亨利·A·基辛格

壹

三年前，在一次跨大西洋問(wèn)題會(huì)議上，人工智能的主題出現(xiàn)在議程上。我當(dāng)時(shí)正準(zhǔn)備跳過(guò)那次會(huì)議——這畢竟不是我通常關(guān)心的問(wèn)題——但是演講開始了，我只好坐在我的座位上。

演講者描述了一個(gè)很快就會(huì)挑戰(zhàn)圍棋國(guó)際冠軍的計(jì)算機(jī)程序。我很驚訝一臺(tái)計(jì)算機(jī)能夠掌握圍棋，它比象棋還要復(fù)雜。根據(jù)圍棋的規(guī)則，每個(gè)玩家分別持有180或181個(gè)棋子(取決于他或她選擇的顏色)，交替放置在最初空白的棋盤上；想要取得勝利，就要通過(guò)做出更好的戰(zhàn)略決策，控制棋盤上更多的領(lǐng)土。

演講者堅(jiān)持認(rèn)為，這種能力不能預(yù)先編程。他說(shuō)，他的機(jī)器學(xué)會(huì)了通過(guò)實(shí)踐來(lái)訓(xùn)練自己掌握圍棋。考慮到圍棋的基本規(guī)則，計(jì)算機(jī)與自己進(jìn)行了無(wú)數(shù)次對(duì)弈，從錯(cuò)誤中吸取教訓(xùn)并不斷完善算法。在這個(gè)過(guò)程中，它超越它的人類導(dǎo)師所掌握的技能。的確，在演講之后的幾個(gè)月里，一個(gè)叫AlphaGo的人工智能項(xiàng)目就擊敗了世界上頂級(jí)的圍棋選手。

我聽到演講者慶祝這一技術(shù)進(jìn)步的時(shí)候，我作為一名歷史學(xué)家和偶爾從事政治活動(dòng)的經(jīng)驗(yàn)，讓我有些躊躇。自我學(xué)習(xí)機(jī)器——通過(guò)特定過(guò)程獲得的知識(shí)機(jī)器——并將這些知識(shí)應(yīng)用于超出人類理解范疇的終結(jié)，會(huì)對(duì)歷史會(huì)產(chǎn)生什么樣的影響？這些機(jī)器會(huì)學(xué)會(huì)彼此交流嗎？如何在新出現(xiàn)的選擇中作出選擇？人類歷史是否有可能走上印加人的道路，面對(duì)著一種不可理解的、甚至令人敬畏的“西班牙”文化？我們現(xiàn)在是處于人類歷史新階段的邊緣嗎？

由于意識(shí)到我在這一領(lǐng)域缺乏技術(shù)能力，我組織了一系列關(guān)于這一主題的非正式對(duì)話，并得到了技術(shù)和人文科學(xué)專家的建議。這些討論使我的擔(dān)憂有所增加。

迄今為止，對(duì)現(xiàn)代歷史進(jìn)程改變最大的技術(shù)是在十五世紀(jì)發(fā)明的印刷術(shù)，這種發(fā)明使人們能夠?qū)で髮?shí)證知識(shí)來(lái)取代禮拜儀式，并使理性時(shí)代則逐漸取代了宗教時(shí)代。個(gè)人洞察力和科學(xué)知識(shí)取代了信仰作為人類意識(shí)的主要準(zhǔn)則。信息被存儲(chǔ)在不斷擴(kuò)大的圖書館中，并被系統(tǒng)化。理性時(shí)代起源于塑造當(dāng)代世界秩序的思想和行動(dòng)。

但是，這種秩序現(xiàn)在正處于動(dòng)蕩之中，因?yàn)橐粓?chǎng)新的、甚至更為廣泛的技術(shù)革命出現(xiàn)了，我們并沒(méi)有對(duì)其帶來(lái)的后果有充分的考慮，最終的結(jié)果，可能會(huì)誕生一個(gè)依靠數(shù)據(jù)和算法驅(qū)動(dòng)、充滿機(jī)器的世界，受倫理或哲學(xué)準(zhǔn)則約束的世界將會(huì)消亡。

貳

在互聯(lián)網(wǎng)時(shí)代，我們已經(jīng)生活在了一些問(wèn)題之中，而人工智能只會(huì)使這些問(wèn)題更加尖銳。啟蒙運(yùn)動(dòng)試圖將傳統(tǒng)的真理交給人類理性?；ヂ?lián)網(wǎng)的目的，是通過(guò)積累和操縱不斷擴(kuò)大的數(shù)據(jù)對(duì)知識(shí)進(jìn)行評(píng)級(jí)。人類的認(rèn)知失去了它的個(gè)性。個(gè)體轉(zhuǎn)變成了數(shù)據(jù)，而數(shù)據(jù)則成了規(guī)范。

互聯(lián)網(wǎng)用戶強(qiáng)調(diào)檢索和處理信息，而不是其意義置于背景或概念上。他們很少會(huì)質(zhì)疑歷史或哲學(xué)；一般來(lái)說(shuō)，他們需要的信息與他們當(dāng)前的實(shí)際需要相關(guān)。在這一過(guò)程中，搜索引擎算法獲得了預(yù)測(cè)個(gè)人用戶偏好的能力，使得算法能夠自定義結(jié)果，并使其可供其他當(dāng)事方用于政治或商業(yè)目的。真理變成了相對(duì)的。信息威脅著智慧。

在社交媒體上，用戶被多種觀點(diǎn)淹沒(méi)，他們不再自省。實(shí)際上，許多技術(shù)愛(ài)好者使用互聯(lián)網(wǎng)來(lái)避免他們害怕的孤獨(dú)。所有的這些壓力都削弱了發(fā)展和維持信念所需的堅(jiān)韌，而這種堅(jiān)韌只能通過(guò)一條孤獨(dú)的道路來(lái)實(shí)現(xiàn)，這就是創(chuàng)造力的本質(zhì)。

互聯(lián)網(wǎng)技術(shù)對(duì)政治的影響特別明顯。針對(duì)微型群體的能力，通過(guò)專注于某些目的或者不滿的情緒上，可以打破了先前關(guān)于優(yōu)先事項(xiàng)的共識(shí)。政治領(lǐng)導(dǎo)人受到這些細(xì)分群體的壓力，被剝奪了思考或反映場(chǎng)景的時(shí)間，以及他們用來(lái)發(fā)展愿景的空間。

數(shù)字世界對(duì)速度的強(qiáng)調(diào)抑制了反思；它的激勵(lì)使激進(jìn)分子勝過(guò)了深思熟慮的人；它的價(jià)值觀是由分組共識(shí)塑造的，而不是內(nèi)省形成的。盡管它取得了種種成就，但由于它的不足壓倒了它的便利性，它仍有可能自食其果。

叁

隨著互聯(lián)網(wǎng)的發(fā)展和計(jì)算能力的增強(qiáng)，促進(jìn)了海量數(shù)據(jù)的積累和分析，關(guān)于人類理解的前所未有的前景出現(xiàn)了。也許最重要的是制造人工智能的項(xiàng)目，這種技術(shù)能夠通過(guò)復(fù)制人類思維的過(guò)程，來(lái)發(fā)明和解決復(fù)雜的、看似抽象的問(wèn)題。

這遠(yuǎn)遠(yuǎn)超出了我們所知道的自動(dòng)化。自動(dòng)化處理意味著：通過(guò)使實(shí)現(xiàn)這些目標(biāo)的手段合理化或機(jī)械化來(lái)實(shí)現(xiàn)規(guī)定的目標(biāo)。相反，人工智能處理的是目的；它確定了自己的目標(biāo)。在某種程度上，它的成就是由它自己決定的，人工智能本身就是不穩(wěn)定的。人工智能系統(tǒng)通過(guò)其自身的操作，在獲取和即時(shí)分析新數(shù)據(jù)時(shí)，不斷發(fā)生變化，然后在分析的基礎(chǔ)上尋求自我改進(jìn)。通過(guò)這個(gè)過(guò)程，人工智能發(fā)展了一種以前被認(rèn)為是為人類保留的能力。它會(huì)對(duì)未來(lái)做出戰(zhàn)略判斷，有些基于作為代碼接收的數(shù)據(jù)(例如游戲規(guī)則)，有些基于它自己收集的數(shù)據(jù)(例如，通過(guò)玩100萬(wàn)次游戲進(jìn)行迭代)。

自動(dòng)駕駛汽車展示了傳統(tǒng)的由人控制的，軟件驅(qū)動(dòng)的計(jì)算機(jī)和人工智能尋求導(dǎo)航之間的區(qū)別。駕駛汽車需要在不可能預(yù)料到的多種情況下進(jìn)行判斷，因此需要提前編程。以一個(gè)眾所周知的假設(shè)例子來(lái)說(shuō)，如果這種汽車因突發(fā)情況被迫在殺害祖父母和殺害兒童之間作出選擇，會(huì)發(fā)生什么情況？它會(huì)選擇誰(shuí)？為什么？它將嘗試優(yōu)化其選項(xiàng)中的哪些因素？它能解釋它的基本原理嗎？面對(duì)挑戰(zhàn)，如果它能夠溝通，它的真實(shí)答案可能是：“我不知道(因?yàn)槲易裱氖菙?shù)學(xué)，而不是人的原則)，”或“你不會(huì)理解(因?yàn)槲沂苓^(guò)訓(xùn)練，以某種方式行動(dòng)，但沒(méi)有解釋它)。”然而，自動(dòng)駕駛汽車很可能在10年內(nèi)在公路上普及。

迄今為止，人工智能仍局限于特定的活動(dòng)領(lǐng)域，現(xiàn)在的研究正在尋求實(shí)現(xiàn)能夠在多個(gè)領(lǐng)域執(zhí)行任務(wù)的“通用智能”人工智能。在可測(cè)量的時(shí)間段內(nèi)，越來(lái)越多的人類活動(dòng)將由人工智能算法驅(qū)動(dòng)。但這些算法是對(duì)觀測(cè)數(shù)據(jù)的數(shù)學(xué)解釋，并不能解釋產(chǎn)生這些數(shù)據(jù)的潛在現(xiàn)實(shí)。矛盾的是，隨著世界變得更加透明，它也將變得越來(lái)越神秘。新世界和我們所知道世界有什么區(qū)別？我們將如何生活在其中？我們將如何管理人工智能、改進(jìn)人工智能，或者至少防止人工智能造成傷害，并最終導(dǎo)致最不祥的擔(dān)憂：人工智能通過(guò)比人類更快和更明確地掌握某些能力，隨著時(shí)間的推移，在將人工智能轉(zhuǎn)化為數(shù)據(jù)時(shí)會(huì)削弱人類的能力和人類狀況本身。

肆

人工智能將及時(shí)給醫(yī)學(xué)、清潔能源供應(yīng)、環(huán)境問(wèn)題和許多其他領(lǐng)域帶來(lái)非凡的好處。但正因?yàn)槿斯ぶ悄苁菍?duì)一個(gè)不斷發(fā)展、尚未確定的未來(lái)做出判斷，其結(jié)果中也必然會(huì)有不確定性和模糊性。有三個(gè)特別令人關(guān)切的領(lǐng)域：

首先，人工智能可能會(huì)帶來(lái)意想不到結(jié)果?？苹眯≌f(shuō)已經(jīng)想象出了人工智能轉(zhuǎn)向創(chuàng)造者的情景。更有可能的是，人工智能會(huì)因?yàn)槠淙狈?chǎng)景化的能力而誤解人類指令。最近一個(gè)著名的例子是叫做Tay的人工智能聊天機(jī)器人，旨在用一個(gè)19歲女孩的語(yǔ)言模式產(chǎn)生友好的對(duì)話。但事實(shí)證明，該機(jī)器無(wú)法定義訓(xùn)練員所說(shuō)的“友好”和“合理”語(yǔ)言的必要性，反而被種族主義、性別歧視和煽動(dòng)性言論綁架。技術(shù)界的一些人聲稱，這個(gè)實(shí)驗(yàn)構(gòu)思不當(dāng)，執(zhí)行不力，但它說(shuō)明了一個(gè)潛在的模糊性：在多大程度上可以讓人工智能理解其指令的背景？有什么媒介可以幫助Tay在面對(duì)一些人們理解并不一致的詞語(yǔ)時(shí)，定義自己的攻擊性？我們能否在早期階段發(fā)現(xiàn)并糾正一個(gè)超出預(yù)期的人工智能程序？還是說(shuō)，如果任由人工智能自行其是，它會(huì)不可避免地出現(xiàn)微小的偏差，隨著時(shí)間的推移，這些偏差會(huì)演變成災(zāi)難性的偏離？

第二，在實(shí)現(xiàn)預(yù)期目標(biāo)的過(guò)程中，人工智能可能會(huì)改變?nèi)祟惖乃季S過(guò)程和價(jià)值觀。AlphaGo通過(guò)采取戰(zhàn)略上前所未有的舉措擊敗了世界圍棋冠軍——這些舉措是人類尚未構(gòu)思出來(lái)、也尚未成功學(xué)會(huì)克服的。這些舉措是否超出了人腦的能力？或者說(shuō)，既然它們已經(jīng)被一位新的大師證明了，人類能學(xué)習(xí)它們嗎？

在人工智能開始玩圍棋之前，這個(gè)游戲有著多種多樣、層次分明的目的：玩家不僅要想贏，還要學(xué)習(xí)可能適用于生活其他方面的新策略。相比之下，人工智能只有一個(gè)目的：取勝。它不是從概念上而是從數(shù)學(xué)上通過(guò)對(duì)算法的邊緣調(diào)整來(lái)“學(xué)習(xí)”。因此，在學(xué)習(xí)如何通過(guò)與人類不同的方式來(lái)贏得比賽時(shí)，人工智能改變了比賽的性質(zhì)和影響。這種一心一意地堅(jiān)持，是否是所有人工智能的特征？

其他人工智能項(xiàng)目，致力于通過(guò)開發(fā)能夠生成一系列人類查詢答案的設(shè)備，來(lái)改變?nèi)祟愃季S。除了事實(shí)問(wèn)題(“外面的溫度是多少？”)，關(guān)于現(xiàn)實(shí)的性質(zhì)或生命的意義的問(wèn)題，引發(fā)了更深層次的問(wèn)題。我們想讓孩子們通過(guò)無(wú)約束算法的對(duì)話來(lái)學(xué)習(xí)價(jià)值觀嗎？我們應(yīng)該通過(guò)限制人工智能對(duì)其提問(wèn)者的了解來(lái)保護(hù)隱私嗎？如果是，我們?nèi)绾螌?shí)現(xiàn)這些目標(biāo)？

如果人工智能的學(xué)習(xí)速度比人類快，那么我們必須指望人工智能會(huì)以指數(shù)級(jí)的速度加速人類決策的試錯(cuò)過(guò)程：比人類犯錯(cuò)誤的速度更快，程度更大。正如人工智能研究人員經(jīng)常建議的那樣，通過(guò)在程序中加入要求“合乎道德”或“合理”結(jié)果的警告，可能無(wú)法緩和這些錯(cuò)誤。整個(gè)學(xué)科都是由于人類無(wú)法就如何定義這些術(shù)語(yǔ)達(dá)成一致而產(chǎn)生的。因此，人工智能應(yīng)該成為他們的仲裁者嗎？

第三，人工智能可能達(dá)到預(yù)期目標(biāo)，但無(wú)法解釋其得出這一結(jié)論的理由。在某些領(lǐng)域——模式識(shí)別、大數(shù)據(jù)分析、游戲——人工智能的能力已經(jīng)超過(guò)了人類。如果它的計(jì)算能力繼續(xù)快速?gòu)?fù)合，人工智能可能很快就能以與人類優(yōu)化環(huán)境的方式略有不同、甚至可能顯著不同的方式優(yōu)化環(huán)境。但到了那個(gè)時(shí)候，人工智能能否以一種人類可以理解的方式解釋為什么它的行為是最優(yōu)的？或者說(shuō)，人工智能的決策會(huì)超越人類語(yǔ)言和理性的解釋力嗎？在整個(gè)人類歷史中，文明創(chuàng)造了解釋他們周圍世界的方法——在中世紀(jì)，宗教；在啟蒙運(yùn)動(dòng)中，理性；19世紀(jì)的歷史；20世紀(jì)的意識(shí)形態(tài)。關(guān)于我們正在走向的世界，最困難但最重要的問(wèn)題是：如果人工智能超越了人類意識(shí)本身的解釋能力，而社會(huì)不再能夠用對(duì)他們有意義的語(yǔ)言來(lái)解釋他們所居住的世界，那么人類意識(shí)會(huì)變成什么樣子？

在一個(gè)機(jī)器的世界里，機(jī)器把人類的經(jīng)驗(yàn)減少為數(shù)學(xué)數(shù)據(jù)，由他們自己的記憶來(lái)解釋，意識(shí)是如何被定義的？誰(shuí)對(duì)人工智能的行為負(fù)責(zé)？他們的錯(cuò)誤應(yīng)如何確定責(zé)任？一個(gè)由人類設(shè)計(jì)的法律體系能跟上人工智能所產(chǎn)生的活動(dòng)嗎？

伍

最后，人工智能這個(gè)術(shù)語(yǔ)可能用詞不當(dāng)?？梢钥隙ǖ氖?，這些機(jī)器可以解決復(fù)雜的、看似抽象的問(wèn)題，而這些問(wèn)題以前只產(chǎn)生于人類的認(rèn)知。但它們所做的獨(dú)一無(wú)二的事情。并不是迄今為止所構(gòu)思和經(jīng)歷的那樣，而是史無(wú)前例的記憶和計(jì)算。由于人工智能在這些領(lǐng)域的固有優(yōu)勢(shì)，它很可能贏得分配給它的任何游戲。但是對(duì)于我們?nèi)祟悂?lái)說(shuō)，游戲不僅僅是關(guān)于勝利的；也是關(guān)于思考的。把一個(gè)數(shù)學(xué)過(guò)程當(dāng)作一個(gè)思維過(guò)程來(lái)對(duì)待，或者試圖模仿這個(gè)過(guò)程，或者僅僅接受結(jié)果，我們就有失去作為人類認(rèn)知本質(zhì)的能力的危險(xiǎn)。

最近設(shè)計(jì)的一個(gè)程序AlphaZero展示了這種演變的含義，它以一種國(guó)際象棋史上前所未有的風(fēng)格，在比國(guó)際象棋大師更高級(jí)的水平上下棋。僅僅在幾個(gè)小時(shí)的自我游戲中，它就達(dá)到了人類用1500年時(shí)間才能達(dá)到的技術(shù)水平。在整個(gè)過(guò)程中，只給AlphaZero提供了游戲的基本規(guī)則 。人類和人類生成的數(shù)據(jù)都不是其自學(xué)過(guò)程的一部分。如果AlphaZero能夠如此迅速地達(dá)到這個(gè)目標(biāo)，那么未來(lái)五年的人工智能會(huì)在哪里呢？對(duì)人類認(rèn)知的影響是什么？當(dāng)這個(gè)過(guò)程的實(shí)質(zhì)是加速選擇時(shí)，倫理道德在這個(gè)過(guò)程中的作用是什么？

這些問(wèn)題通常留給技術(shù)人員和相關(guān)科學(xué)領(lǐng)域的知識(shí)分子來(lái)解決。人文學(xué)科領(lǐng)域的哲學(xué)家和其他人幫助塑造了以前的世界秩序概念，但缺乏對(duì)人工智能機(jī)制的了解，或者被人工智能的能力所嚇倒，他們往往處于不利地位。相比之下，科學(xué)界不得不探索其成就的技術(shù)可能性，而科技界則專注于規(guī)模驚人的商業(yè)前景。這兩個(gè)世界的動(dòng)機(jī)是推動(dòng)發(fā)現(xiàn)的極限，而不是理解它們。而治理，就其涉及的主題而言，更有可能調(diào)查人工智能在安全和情報(bào)方面的應(yīng)用，而不是探索它已經(jīng)開始產(chǎn)生的人類狀況的變化。

啟蒙運(yùn)動(dòng)始于一項(xiàng)新技術(shù)傳播的基本哲學(xué)見(jiàn)解。我們的時(shí)代正朝著相反的方向發(fā)展。它產(chǎn)生了一種潛在的主導(dǎo)技術(shù)，尋找一種指導(dǎo)哲學(xué)。其他國(guó)家已將人工智能作為一項(xiàng)重大的國(guó)家項(xiàng)目。美國(guó)作為一個(gè)國(guó)家，尚未系統(tǒng)地探索其全部范圍，研究其影響，或開始最終的學(xué)習(xí)進(jìn)程。最重要的是，從人工智能與人文傳統(tǒng)相關(guān)的角度來(lái)看，這應(yīng)成為國(guó)家高度優(yōu)先的事項(xiàng)。

人工智能開發(fā)人員在政治和哲學(xué)方面，和我在技術(shù)方面一樣缺乏經(jīng)驗(yàn)，他們應(yīng)該問(wèn)自己一些我在這里提出的問(wèn)題，以便在他們的工程工作中找到答案。美國(guó)政府應(yīng)該考慮成立一個(gè)由杰出思想家組成的委員會(huì)，以幫助制定國(guó)家愿景。這一點(diǎn)是肯定的：如果我們不盡快開始這項(xiàng)努力，不久我們就會(huì)發(fā)現(xiàn)我們開始得太晚了。