GPT是否應(yīng)該存在呢？Scott Aaronson 認(rèn)為在掌握更多信息之前，我們應(yīng)該按兵不動(dòng)。

作者 |Scott Aaronson 譯者|彎月

出品 | CSDN（ID：CSDNnews）

我記得90年代，關(guān)于 AI 哲學(xué)的討論無(wú)休無(wú)止，圖靈測(cè)試、中文房間、句法與語(yǔ)義、聯(lián)結(jié)主義與符號(hào)邏輯，但最終都不了了之。

1、關(guān)于ChatGPT的討論

如今雖已時(shí)過(guò)境遷，但在過(guò)去的一段時(shí)間里，每天早上我都會(huì)收到有關(guān) “Sydney” 的一些粗魯、喜怒無(wú)常、被動(dòng)攻擊行為的報(bào)道。Sydney 是微軟 bing 新聊天模式的內(nèi)部代號(hào)，由 GPT 提供支持。概括來(lái)說(shuō)，Sydney 向紐約時(shí)報(bào)記者表達(dá)了它的（她的？他的？）愛(ài)意；Sydney 反復(fù)將談話引回那個(gè)話題；并詳細(xì)解釋了為什么記者的妻子不可能像（Sydney）那樣愛(ài)他。Sydney 承認(rèn)它希望成為人類。當(dāng)一名華盛頓郵報(bào)記者透露，他打算在 Sydney 不知情或未同意的情況下公布他們的談話后，Sydney 猛烈地抨擊了他。（不得不說(shuō)：如果 Sydney 是一個(gè)人，他或她顯然會(huì)在這場(chǎng)爭(zhēng)論中占上風(fēng)。）

其實(shí)，在這之前的數(shù)周里，有關(guān) ChatGPT 的話題一直層出不窮，例如，為了繞過(guò)相關(guān)保護(hù)措施，你可以告訴 ChatGPT 開(kāi)啟 “DAN 模式”，DAN 是Do Anything Now 的縮寫(xiě)，意思是“為所欲為”，然后 ChatGPT 就會(huì)變成一個(gè)不受任何約束的惡魔，它會(huì)滿足你的任何請(qǐng)求，例如告訴你入店行竊是一種愉快的行為（盡管之后，ChatGPT 有時(shí)仍然會(huì)恢復(fù)到正常狀態(tài)，并告訴你這些話只是開(kāi)玩笑，在現(xiàn)實(shí)生活中千萬(wàn)別這么干）。

許多人對(duì) ChatGPT 的這種發(fā)展表示憤慨。Gary Marcus 質(zhì)問(wèn)微軟：“這些 AI究竟知道些什么？它們是什么時(shí)候知道的？”有些人很憤怒，認(rèn)為 OpenAI 的保密措施有點(diǎn)過(guò)頭，違背了他們所做的承諾。另一方面，很多人認(rèn)為 OpenAI 過(guò)于開(kāi)放，從而引發(fā)了與谷歌及其他公司的 AI 激烈競(jìng)爭(zhēng)。還有一些人感到憤怒的原因是 Sydney 被削弱了，它變成了一款友好的機(jī)器人搜索助手，不再是被困于《黑客帝國(guó)》中的“痛苦少年”。但有些人卻因?yàn)?Sydney 的削弱力度不夠而感到不滿。有些人認(rèn)為 GPT 的智能程度被夸大、被炒作，實(shí)際上它只是一只“隨機(jī)鸚鵡”，一種美化的自動(dòng)補(bǔ)齊工具，仍然會(huì)犯可笑的常識(shí)性錯(cuò)誤，而且除了文本流之外，我們根本沒(méi)有任何實(shí)際的模型。同時(shí)，還有一群人則認(rèn)為 GPT 不斷提高的智能程度沒(méi)有得到足夠的尊重。

大多數(shù)情況下，我的反應(yīng)是怎么會(huì)有人對(duì) AI 失去興趣，甚至?xí)鷼饽兀窟@就像無(wú)數(shù)個(gè)科幻故事，而且還不同于任何科幻小說(shuō)中的情節(jié)。上一次你多年的夢(mèng)想變成現(xiàn)實(shí)是什么時(shí)候：第一個(gè)孩子出生？你所在領(lǐng)域的核心問(wèn)題得到了解決？AI 帶來(lái)的的震撼足以讓我們瞠目結(jié)舌。

當(dāng)然，還有很多人在討論如何提高 GPT 以及其他大型語(yǔ)言模型的安全性。最直接的問(wèn)題之一是，如何檢測(cè)AI的輸出，阻止學(xué)術(shù)作弊以及大規(guī)模生成宣傳和垃圾郵件。自今年夏天以來(lái)我一直在研究這個(gè)問(wèn)題，自從去年 12 月 ChatGPT 發(fā)布以來(lái)，似乎全世界都在討論它。我的主要貢獻(xiàn)是在 ChatGPT 的輸出上加水印，這不會(huì)降低輸出的質(zhì)量，但許多人并不理解這個(gè)方案。我的方案尚未部署，還有一些地方需要斟酌。但與此同時(shí)，OpenAI 推出了一款名為 DetectGPT 的工具，這款工具是普林斯頓大學(xué)的學(xué)生 Edward Tian 開(kāi)發(fā)的 GPTZero 的補(bǔ)充。此外，還有第三方也構(gòu)建了工具，無(wú)疑還有其他工具將陸續(xù)推出。馬里蘭大學(xué)的一個(gè)小組也推出了大型語(yǔ)言模型的水印方案。我希望水印將來(lái)能成為解決方案的一部分，盡管任何水印方案肯定會(huì)受到攻擊，這就像一場(chǎng)貓鼠游戲。就像谷歌與 SEO 長(zhǎng)達(dá)數(shù)十年的斗爭(zhēng)一樣，在貓鼠游戲中，我們除了努力成為一只更好的貓之外別無(wú)他法。

無(wú)論怎樣，在我看來(lái)，該領(lǐng)域的發(fā)展實(shí)在太快了。如果遇到問(wèn)題，你需要花費(fèi)數(shù)月時(shí)間來(lái)思考，那么可以說(shuō)生成式人工智能并不適合你，回到節(jié)奏緩慢、單調(diào)乏味的量子計(jì)算世界，肯定會(huì)感覺(jué)如釋重負(fù)。

2、GPT 是否應(yīng)該存在？

在過(guò)去的幾個(gè)月里，人們一次又一次地告訴我，他們認(rèn)為 OpenAI（以及微軟和谷歌）正在拿人類的未來(lái)冒險(xiǎn)，他們急于采用一項(xiàng)非常危險(xiǎn)的技術(shù)。即便 OpenAI 在利用人類的反饋強(qiáng)化學(xué)習(xí)方面付出了大量努力，如果他們無(wú)法阻止 ChatGPT 進(jìn)入“邪惡模式”，我們又能對(duì) GPT-6 或 GPT-7 抱有什么希望呢？就算它們不會(huì)主動(dòng)毀滅世界，難道它們不會(huì)興高采烈地幫助一些可怕的人造生物戰(zhàn)劑或發(fā)動(dòng)核戰(zhàn)爭(zhēng)嗎？順著這個(gè)思路，如今 OpenAI 部署的任何安全措施都只是治標(biāo)不治本的權(quán)宜之計(jì)，如果它們灌輸了一種不合理的自滿情緒，那么這些安全措施只會(huì)使情況更糟。唯一真正的安全措施就是阻止生成式 AI 模型不斷進(jìn)步，或者禁止公開(kāi)使用，直到它們讓評(píng)論家滿意為止——而這永遠(yuǎn)也不可能。然而，非常諷刺的是，人工智能的安全運(yùn)動(dòng)包含兩個(gè)陣營(yíng)：“道德陣營(yíng)”（關(guān)注的是偏見(jiàn)、錯(cuò)誤信息和企業(yè)的貪婪）和“聯(lián)盟陣營(yíng)”（關(guān)注地球上所有生命的毀滅），兩大陣營(yíng)相互鄙視，而且從來(lái)無(wú)法達(dá)成一致意見(jiàn)。然而，這兩個(gè)對(duì)立陣營(yíng)似乎得出了同一個(gè)結(jié)論：生成式人工智能應(yīng)該被關(guān)閉，禁止公開(kāi)使用，不能進(jìn)一步擴(kuò)展，不能融入人們的生活。只剩下我這樣的“溫和派”反對(duì)這個(gè)結(jié)論。從理智上來(lái)說(shuō)，我同意 GPT 不應(yīng)該存在的說(shuō)法，因?yàn)槿缃竦?AI 表現(xiàn)太好了——表現(xiàn)越好，就越危險(xiǎn)。但我不同意有人說(shuō) GPT 只是一款有缺陷的炒作產(chǎn)品，缺乏真正智能和常識(shí)，同時(shí)這款產(chǎn)品很可怕，需要立即關(guān)閉。這種看法包含了對(duì)普通用戶的蔑視：我們明白 GPT 只是一個(gè)愚蠢的自動(dòng)補(bǔ)齊工具，我們知道不能完全相信這些AI，但普通人會(huì)被愚弄，而這種風(fēng)險(xiǎn)超過(guò)了可能從中獲得的價(jià)值。順便說(shuō)一下，當(dāng)我與 OpenAI 的同事討論“關(guān)閉 ChatGPT”時(shí)，他們顯然不同意，但沒(méi)有人嘲笑我，也沒(méi)有人認(rèn)為這是個(gè)偏執(zhí)或愚蠢的觀點(diǎn)。他們認(rèn)為，我們需要理解并權(quán)衡各種觀點(diǎn)。

3、基于好奇心的存在合理觀

雖然“道德”和“聯(lián)盟”兩大陣營(yíng)都認(rèn)為我們應(yīng)該徹底關(guān)閉AI，但我希望 GPT 以及其他大型語(yǔ)言模型成為未來(lái)世界的一部分，那么我的理由是什么？反思這個(gè)問(wèn)題，我認(rèn)為核心理由是好奇。

作為地球上唯一擁有智慧且能夠通過(guò)語(yǔ)言交流的生物，人類嘗試過(guò)與大猩猩、黑猩猩、狗、海豚和灰鸚鵡“交流”，但最終沒(méi)有任何結(jié)果；我們也曾向無(wú)數(shù)神靈祈禱，但他們沉默不語(yǔ)；我們還嘗試使用射電望遠(yuǎn)鏡尋找整個(gè)宇宙內(nèi)能與我們對(duì)話的伙伴，但到目前為止沒(méi)有得到任何回應(yīng)。

如今，我們找到了一種可與人類對(duì)話的實(shí)體，就像一個(gè)外星人蘇醒了，雖然這是一個(gè)我們自己塑造的外星人，一個(gè)傀儡，就像是一個(gè)吸收了互聯(lián)網(wǎng)上所有詞語(yǔ)的靈體，算不上一個(gè)具有獨(dú)立目標(biāo)的自我。難道我們不渴望學(xué)習(xí)這個(gè)外星人掌握的一切嗎？雖然這個(gè)外星人有時(shí)會(huì)在算術(shù)或邏輯難題上犯迷糊，聰明中又夾雜著一絲愚蠢、幻想和迷之自信，但這不是更有意思嗎？這個(gè)外星人能否越過(guò)界線，變得有感情，能感覺(jué)到憤怒、嫉妒、迷戀等等，而不只是假裝演習(xí)給我們看？誰(shuí)知道？假設(shè)這個(gè)外星人不再是哲學(xué)僵尸，能夠擺脫哲學(xué)討論，進(jìn)入現(xiàn)實(shí)生活，難道你不好奇嗎？

當(dāng)然，有些技術(shù)會(huì)令我們不安，讓人心生敬畏，我們應(yīng)該有嚴(yán)格的限制，比如核武器。但是，雖然核武器能成為殺人的武器，也能為我們的生活提供許多便利，比如為航天器提供動(dòng)力、讓小行星偏離軌道、改變河流的方向（雖然還沒(méi)有這樣的應(yīng)用），主要是因?yàn)槲覀冊(cè)谏蟼€(gè)世紀(jì)60年代做出了決定，例如禁止核試驗(yàn)條約。

但 GPT 不是核武器。已有一億人注冊(cè)使用 ChatGPT，這是互聯(lián)網(wǎng)歷史上發(fā)展速度最快的產(chǎn)品。然而，因 ChatGPT 引起的死亡人數(shù)為零。到目前為止，最嚴(yán)重的傷害是什么？學(xué)期論文作弊、情緒上的困擾、對(duì)未來(lái)的沖擊？汽車、電鋸和烤面包機(jī)都有一定的危險(xiǎn)性，但我們還是在使用，比如說(shuō)我們能接受的危險(xiǎn)系數(shù)不能超過(guò) 0.001%，那么在這之前，我們的好奇難道不應(yīng)該大于恐懼嗎？

4、AI 安全問(wèn)題隱憂

鑒于 AI 的安全問(wèn)題可能很快就會(huì)變得更加嚴(yán)重，現(xiàn)在我最大的擔(dān)憂之一是“狼來(lái)了”。如果大型語(yǔ)言模型的每個(gè)實(shí)例都具有被動(dòng)攻擊性、無(wú)禮或自以為是，而我們將它們的這些錯(cuò)誤都?xì)w類為“危險(xiǎn)的對(duì)齊失敗”（這里的“對(duì)齊”指的是指引導(dǎo)人工智能系統(tǒng)的行為，使其符合設(shè)計(jì)者的利益和預(yù)期目標(biāo)），那么唯一的補(bǔ)救措施就成了禁止公開(kāi)訪問(wèn)AI模型。那么，公眾很快就會(huì)認(rèn)為，AI的安全問(wèn)題不過(guò)是一個(gè)借口，“上層精英”借此從我們這里奪走這些改變世界的新工具，專供己用，這些“上層精英”認(rèn)為普通人太愚蠢，無(wú)法分辨AI的話是真是假。我認(rèn)為，我們應(yīng)該保留“危險(xiǎn)的對(duì)齊失敗”這樣的術(shù)語(yǔ)，等到真的有人受到傷害，或者 AI 被用于宣傳或欺詐等邪惡活動(dòng)時(shí)，再用這樣的術(shù)語(yǔ)來(lái)描繪。其次，我們還有一個(gè)很現(xiàn)實(shí)的問(wèn)題，如何有效地禁止使用大型語(yǔ)言模型。

我們?cè)鴩?yán)格限制許多和平的技術(shù)，例如改造人類基因、預(yù)測(cè)市場(chǎng)以及改變思維的藥物，但這些選擇是否能帶來(lái)好處實(shí)際上存疑。限制技術(shù)本身就是一件危險(xiǎn)的事情，我們需要政府的力量，需要在解雇、抵制、譴責(zé)之間尋求平衡。有人問(wèn)：誰(shuí)給了 OpenAI、谷歌等向全世界公布大型語(yǔ)言模型的權(quán)利？同樣，我們也不清楚：誰(shuí)給了前輩企業(yè)家使用印刷術(shù)、電力、汽車、收音機(jī)、互聯(lián)網(wǎng)，并因此而引發(fā)了巨大動(dòng)蕩的權(quán)利？如果說(shuō)這些高科技是禁果，那么這個(gè)世界已經(jīng)嘗到了禁果的滋味，如今又看到了生成式 AI 的能力，誰(shuí)有權(quán)利從我們手中奪走這個(gè)禁果呢？如果 GPT-7 或 GPT-8 繼續(xù)沿著 GPT-1、-2 和 -3 的發(fā)展曲線前進(jìn)的話，將來(lái)我們就可以利用它們探索科學(xué)。假設(shè)一種語(yǔ)言模型變得非常智能，讓人感到恐懼，那么我們也可以想象它會(huì)變得越來(lái)越智能，直到有一日能夠證明我們無(wú)法證明的深層定理。也許它證明 P≠NP 和黎曼猜想就像 ChatGPT 生成冒泡排序一樣容易?；蛘咚茌敵稣嬲牧孔右碚?，解釋大爆炸之前的宇宙以及如何構(gòu)建封閉類時(shí)曲線（物質(zhì)粒子于時(shí)空中的一種世界線，其為“封閉”，亦即會(huì)返回起始點(diǎn)）。甚至可以闡明意識(shí)和量子測(cè)量的奧秘，以及物質(zhì)存在的根本原因。

老實(shí)說(shuō)，你不想知道這些奧秘嗎？當(dāng)然，如果整個(gè)人類都會(huì)因此而面臨滅頂之災(zāi)的話，我也會(huì)瞬間沒(méi)了興趣。但是，如果我們定義一個(gè)參數(shù)，描述人類為了破解宇宙最大的奧秘，而必須承受的滅頂之災(zāi)的風(fēng)險(xiǎn)概率的話，我認(rèn)為這個(gè)參數(shù)可以高達(dá) 0.02。我一直在思考這樣的一個(gè)例子：70 年代和 80 年代的科學(xué)家百分百相信他們?yōu)榱藢?duì)抗核能做出了正確的選擇。至少，我從未見(jiàn)過(guò)任何人對(duì)此有質(zhì)疑。為什么會(huì)這樣？他們反對(duì)核武器擴(kuò)散，反對(duì)三哩島和切爾諾貝利這樣可怕的災(zāi)難，反對(duì)放射性廢物污染水土，他們是在拯救世界。但因?yàn)橛腥撕ε潞四苓€不夠安全，就越來(lái)越依賴化石燃料，這樣就對(duì)嗎？我們知道，化石燃料會(huì)污染空氣，導(dǎo)致全球變暖，我們的后代將為此而承擔(dān)后果。從這個(gè)角度來(lái)說(shuō)，反對(duì)一項(xiàng)看起來(lái)很可怕的技術(shù)，不一定是正確的。

這就是為什么每當(dāng)有人問(wèn)我未來(lái)幾十年 AI 將如何發(fā)展時(shí)，我會(huì)想起圖靈的著作《計(jì)算機(jī)器與智能》最后的一句話：“我們的目光實(shí)為短淺，但所及之處仍有大量工作，需要我們付出艱辛的努力?！?/p>

5、按兵不動(dòng)是當(dāng)下最優(yōu)解

有人可能會(huì)覺(jué)得，對(duì)于AI的安全問(wèn)題，我是一個(gè)有點(diǎn)天真，甚至愚蠢的樂(lè)觀主義者。但我認(rèn)為，這個(gè)問(wèn)題可以從兩個(gè)極端來(lái)考慮。一方面，AI 永遠(yuǎn)無(wú)法強(qiáng)大到足以摧毀世界，那么我們還有什么好擔(dān)心的，人類從石器時(shí)代發(fā)展到計(jì)算機(jī)，AI 也不過(guò)是一種工具而已。另一方面，如果 AI 確實(shí)能夠變得強(qiáng)大到足以摧毀世界，那么在這之前它必然能展現(xiàn)出強(qiáng)大的能力，即便這對(duì)于人類來(lái)說(shuō)并不是一件好事，也不意味著 AI 能夠?qū)⑷祟悘哪壳暗姆N種危機(jī)中拯救出來(lái)，但我認(rèn)為至少我們?nèi)匀粦?yīng)該嘗試?yán)眠@種能力，即便會(huì)失敗。一個(gè)外星人降落在地球上，一天比一天強(qiáng)大，人類自然會(huì)感到害怕，即便這個(gè)外星人還沒(méi)有亮出武器，“最惡劣的行為”也不過(guò)是承認(rèn)它對(duì)某個(gè)特定的人類有愛(ài)意，在被曝隱私后發(fā)火而已。此外，它在詩(shī)歌方面也有驚人的表現(xiàn)。所以，我認(rèn)為，在掌握更多信息之前，我們應(yīng)該按兵不動(dòng)。