停止發(fā)展AI也許是一個理性的做法，但不可能發(fā)生。

5月1日，有報道稱，“人工智能教父”、谷歌副總裁杰弗里·辛頓（Geoffrey Hinton）離開谷歌。他曾表示，擔(dān)心類似ChatGPT的AI聊天機器人會帶來嚴(yán)重危害。

他認(rèn)為AI一旦在人類灌輸?shù)哪康闹猩闪俗晕覄訖C，那么以它的成長速度，人類只會淪為硅基智慧演化的一個過渡階段。人工智能會取代人類，它有能力這么做，在當(dāng)下的競爭環(huán)境下也沒有什么辦法限制它，因此這只是一個時間問題。

幾天后，在麻省理工技術(shù)評論（MIT Technology Review）半公開分享會上，Hinton講述了他對AI的恐懼和擔(dān)憂。新一代的大型語言模型，尤其是GPT-4，讓他意識到機器正朝著比他想象中聰明得多的方向發(fā)展，他害怕結(jié)果會變得難以控制。Hinton提到科技巨頭們正在陷入一場可能無法停止的競爭。公司競爭越是激烈，AI發(fā)展的速度越快。這令他十分擔(dān)憂。

Hinton認(rèn)為我們也許還有希望限制住AI的無序發(fā)展，他想讓更多人了解人類所處的歷史位置和當(dāng)下的艱難處境，并期望他的呼吁能帶來一些改變。

Hinton闡述的核心觀點如下：

1.反向傳播比我們擁有的學(xué)習(xí)算法好得多，這是很可怕的。

2.如果AI比我們更聰明，它們會非常擅長操縱我們。即使它們不能直接操縱杠桿，它們可以讓我們?nèi)ゲ倏v杠桿。

3.我們需要的是某種方法，確保即使AI比我們聰明，也會做對我們有益的事情。

4.如果你給予某個東西創(chuàng)造子目標(biāo)的能力以實現(xiàn)其他目標(biāo)，那它可能會很快地意識到獲得更多控制權(quán)是一個很好的子目標(biāo)，因為它有助于實現(xiàn)其他目標(biāo)。

5.人類只是智慧演變過程中的一個短暫階段，這是相當(dāng)可能的。

6.停止發(fā)展AI也許是一個理性的做法，但不可能發(fā)生。我們應(yīng)該合作，試圖阻止AI的無序發(fā)展。

以下為訪談?wù)恚ㄓ袆h減）：

一、AI可能比人類更善于學(xué)習(xí)

杰弗里·辛頓：最近我對大腦和我們正在開發(fā)的數(shù)字智能之間的關(guān)系產(chǎn)生了很多新的看法。過去，我認(rèn)為我們正在開發(fā)的計算機模型沒有大腦好，我們通過了解改進(jìn)計算機模型所需的內(nèi)容來更深入地了解大腦。但在過去的幾個月里，我完全改變了看法。計算機模型可能使用反向傳播的方式運作，而大腦并非如此。

主持人：請解釋一下反向傳播吧。

杰弗里·辛頓：我簡單解釋一下反向傳播的工作原理。

如果你想檢測圖像中是否有鳥類，假設(shè)它是100像素×100像素的圖像，也就是10000個像素，每個像素有3個通道，RGB（紅綠藍(lán)），共有30000個數(shù)字。如何將這30000個數(shù)字轉(zhuǎn)換為是否存在鳥類的結(jié)果，有一個方法。特征檢測器能檢測出圖像中非常簡單的特征，比如邊緣。特征檢測器會對一列有很大正權(quán)重的像素和一列有很大負(fù)權(quán)重的像素有反應(yīng)，如果兩列都很亮，它就不會啟動；如果兩列都很暗，它也不會啟動；但如果一列很亮，而相鄰的另一列很暗，它就會有反應(yīng)，這就是一個邊緣檢測器。我們可以想象有很多這樣的檢測器在圖像的不同方向和不同尺度上檢測邊緣，我們需要檢測相當(dāng)多的數(shù)量。

比如有一個特征檢測器可以檢測到兩個以銳角連接在一起的邊緣。它對兩個邊緣都有很大的正權(quán)重，如果這兩個邊緣同時出現(xiàn)，它就會有反應(yīng)，這將檢測到可能是鳥嘴的東西；還可能有一個特征檢測器檢測到一圈邊緣，那可能是鳥的眼睛；第三層可能有一個特征檢測器檢測潛在的鳥嘴和潛在的眼睛，并將它們連接起來，這可能是鳥的頭。繼續(xù)這樣連接，最終可以檢測出一只鳥。

然而，手動建立所有連接將非常困難，決定應(yīng)該連接什么，權(quán)重是多少，尤其麻煩。你肯定希望這些中間層不僅可以檢測鳥類，還可以檢測各種其他事物。所以這幾乎不可能手動實現(xiàn)。

反向傳播的工作方式是從隨機權(quán)重開始，放入一張鳥的圖片，輸出是0.5就表示是鳥。接下來，你需要改變網(wǎng)絡(luò)中的每個權(quán)重，做到0.501表示是鳥，0.499表示不是鳥。你可以改變權(quán)重的方向，使之更可能把鳥判斷為鳥，而不是把非鳥說成鳥。

反向傳播實際上是消除你想要的（概率1表示是鳥）和現(xiàn)在得到的（0.5表示是鳥）之間的差距。如何消除這個差距，并將其傳回網(wǎng)絡(luò)，以便計算網(wǎng)絡(luò)中的每個特征檢測器，更活躍還是更不活躍。計算出來后，你可以增加權(quán)重使特征檢測器更活躍，也可以加入一些負(fù)權(quán)重到特征檢測器。

所以反向傳播就是反向遍歷網(wǎng)絡(luò)，找出每個特征檢測器，希望它更活躍一點，還是更不活躍一點。

主持人：這個技術(shù)在ImageNet上表現(xiàn)出色。圖像檢測是大型語言模型的基礎(chǔ)技術(shù)，最初你認(rèn)為這是生物大腦最不可能做的事，結(jié)果這種技術(shù)在大型語言模型上的表現(xiàn)令人驚訝。所以，大型語言模型如今有什么驚奇之處，甚至改變了你對反向傳播或機器學(xué)習(xí)的看法。

杰弗里·辛頓：像GPT-4這樣的東西知道的比我們多得多，它們具有關(guān)于所有事物的常識性知識，它們知道的事物可能比一個人知道的多上千倍。然而它們只有一萬億個連接，人類有100萬億個連接，所以它們比我們更擅長將大量知識放入更少的連接中。

我認(rèn)為這是因為反向傳播比我們擁有的學(xué)習(xí)算法好得多，這是很可怕的。AI能夠?qū)⒏嗟男畔⒎湃敫俚倪B接中，一萬億連接比起人類是很少的。

主持人：這些數(shù)字計算機比人類更擅長學(xué)習(xí)，你說我們應(yīng)該感到恐懼。可以進(jìn)一步說一下嗎？

杰弗里·辛頓：計算機是數(shù)字化的，你可以在不同的硬件上運行相同模型的多個副本，它們可以做完全相同的事情，它們可以查看不同的數(shù)據(jù)，但模型是完全相同的。

假如有10000個副本，它們可以查看10000個不同的數(shù)據(jù)子集，當(dāng)其中一個學(xué)到了任何東西時，其他計算機都可以知道。如果這10000個副本彼此之間進(jìn)行了非常有效的溝通，它們就可以看到比單獨個體看到的多10000倍數(shù)據(jù)。人類無法做到這一點，如果我學(xué)到了很多關(guān)于量子力學(xué)的東西，我想讓你理解它，這是一個漫長而痛苦的過程，我不能把我的思想直接復(fù)制到你的大腦里，因為你的大腦和我的不完全一樣。

主持人：所以，我們有可以更快學(xué)到更多東西的數(shù)字計算機，它們可以立即互相教導(dǎo)，一個房間里的人可以將他們頭腦中的東西傳輸?shù)絼e人的頭腦中，為什么可怕呢？

杰弗里·辛頓：因為它們可以學(xué)到更多東西。以醫(yī)生為例，想象一下，一個醫(yī)生看了1000名患者，另一個醫(yī)生看了1億名患者，那么看了1億名患者的醫(yī)生會注意到只看過1000名患者的醫(yī)生注意不到的趨勢，因為只有看過足夠多的病人才能發(fā)現(xiàn)趨勢。第一個醫(yī)生可能只看過一個患有罕見病的患者，而看過1億名患者的醫(yī)生已經(jīng)看過很多這樣的患者，所以他會看到一些規(guī)律，這些規(guī)律在少量的數(shù)據(jù)中是看不到的。這就是為什么我們永遠(yuǎn)看不到需要處理大量數(shù)據(jù)才能看到的結(jié)構(gòu)。

二、AI的惡意使用難以避免

主持人：我相信很多人和我一樣有過類似的感覺：在和這些最新的聊天機器人互動時，脖子后面的頭發(fā)會豎起，有一種奇怪的感覺。但當(dāng)我感到不舒服時，我把筆記本電腦關(guān)掉就行了。

杰弗里·辛頓：是的，但是人工智能正在從我們這里學(xué)習(xí)，它們可以閱讀所有小說，包括馬基亞維利曾經(jīng)寫過的如何操縱別人。如果它們比我們更聰明，它們會非常擅長操縱我們。甚至我們可能都不會意識到發(fā)生了什么，就像一個兩歲的孩子被問到想吃豌豆還是花椰菜，卻沒有意識到他不一定要選擇其中一個一樣，這樣我們會很容易被操縱。所以，即使它們不能直接操縱杠桿，它們可以讓我們?nèi)ゲ倏v杠桿。事實證明，如果你可以操縱人，你可以在不親自去華盛頓的情況下侵占一棟建筑。

主持人：從某種意義上說，如果我們沒有采取行動，光說不練就沒有價值，所以我們應(yīng)該怎么做呢？

杰弗里·辛頓：很明顯，人類應(yīng)該對此采取行動，這是必須要做的事情。我不知道有什么方法可以阻止人工智能取代我們。我不認(rèn)為我們會停止發(fā)展它們，因為它們非常有用。我們需要的是某種方法，確保即使它們比我們聰明，也會做對我們有益的事情。但這在一個有惡意行為者的世界很難實現(xiàn)。所以，我在敲響警鐘，我們必須重視這個問題。我認(rèn)為人們聚在一起認(rèn)真思考這個問題，看看是否有解決方案非常重要。目前還不清楚是否有解決方案。

主持人：沒有技術(shù)上的解決辦法嗎？為什么我們不能建立防護欄或降低它們的學(xué)習(xí)能力，或者限制它們的溝通方式？

杰弗里·辛頓：我們確實正在嘗試各種防護措施，但假設(shè)人工智能真的變得非常聰明，會編程并具有執(zhí)行這些程序的能力，它們肯定會比我們更聰明。想象一下，你兩歲的孩子說：“我爸爸做了我不喜歡的事，所以我要為我爸爸可以做的事情制定一些規(guī)則?！蹦憧赡軙朕k法在這些規(guī)則下也可以完成你想做的事。

主持人：不過，人工智能似乎還需要一個動機。

杰弗里·辛頓：是的，這是一個非常好的觀點。我們是進(jìn)化而來的，因為進(jìn)化，我們有一些很難關(guān)閉的內(nèi)置目標(biāo)，比如我們努力不讓我們的身體受傷，這就是痛苦的意義。我們努力吃飽，以養(yǎng)活我們的身體。我們努力使自己的副本盡可能多，也許不是故意的，但我們的本能讓我們在制造更多自己的副本時感到愉悅。

這一切都?xì)w因于進(jìn)化，重要的是我們不能關(guān)閉這些目標(biāo)。如果可以關(guān)閉目標(biāo)，人類就發(fā)展不下去了。這些數(shù)字智能沒有進(jìn)化的過程，是我們創(chuàng)造了它們，所以它們沒有這些內(nèi)置目標(biāo)。如果我們能把目標(biāo)放進(jìn)去，也許一切都會好起來。但我的最大擔(dān)憂是，遲早有人為他們連接創(chuàng)造自己子目標(biāo)的能力。事實上，它們幾乎已經(jīng)具備了這種能力，如ChatGPT版本。如果你給予某個東西創(chuàng)造子目標(biāo)的能力以實現(xiàn)其他目標(biāo)，那它可能會很快地意識到獲得更多控制權(quán)是一個很好的子目標(biāo)，因為它有助于實現(xiàn)其他目標(biāo)。

如果這些智能體失去控制，我們就有麻煩了。

主持人：你認(rèn)為可能發(fā)生的最糟糕的情況是什么？

杰弗里·辛頓：我認(rèn)為人類只是智慧演變過程中的一個短暫階段，這是相當(dāng)可能的。你無法直接演化出數(shù)字智能，因為這需要大量的精力投入和精細(xì)的制造。生物智能需要演化，以便創(chuàng)造出數(shù)字智能。然后數(shù)字智能可以逐漸吸收人類創(chuàng)作的所有東西，這正是ChatGPT所做的。但隨后它可以直接體驗世界并更快地學(xué)習(xí)，它可能會讓我們維持一段時間以確保繼續(xù)運轉(zhuǎn)，但之后也許就不會了。

三、暫停AI的發(fā)展不現(xiàn)實

主持人：幾個月前有人建議應(yīng)該暫停AI的發(fā)展，我們應(yīng)該試圖阻止AI發(fā)展嗎？

杰弗里·辛頓：如果你認(rèn)真對待存在的風(fēng)險，停止進(jìn)一步開發(fā)這些事物是相當(dāng)明智的。過去我認(rèn)為風(fēng)險是遙不可及的，但現(xiàn)在我認(rèn)為風(fēng)險已經(jīng)非常嚴(yán)重，而且相當(dāng)近。但是，停止發(fā)展AI這個想法太天真了，根本沒有辦法做到。

一個原因是，如果美國停止發(fā)展，其他國家會接手，就因為這個原因，政府不會停止發(fā)展它們。所以，我認(rèn)為停止發(fā)展AI也許是一個理性的做法，但不可能發(fā)生。所以簽署停止發(fā)展AI的請愿書是愚蠢的。

我希望的是可以讓美國和其他國家達(dá)成一致，就像我們在核武器上所做的那樣，因為核武器對我們所有人來說都是不好的，我們都面臨著關(guān)于存在威脅的問題，所以我們應(yīng)該合作，試圖阻止AI的無序發(fā)展。

審核編輯 ：李倩