對于超級人工智能的出現(xiàn)，我們是期待的，因?yàn)樗某霈F(xiàn)意味著不少工作可以以高效率的方式來完成?？墒牵鳛橐豢钐柗Q智慧遠(yuǎn)超最聰明、最有才華的人類的AI，關(guān)于它可能帶來的災(zāi)難性風(fēng)險的討論并沒有停止腳步。

近期，一群科學(xué)家組成的研究團(tuán)隊(duì)使用理論計(jì)算來證明遏制類算法并不能控制超級人工智能，這個研究主要是為了解決牛津哲學(xué)家尼克·博斯特羅姆（Nick Bostrom）提出的控制問題：我們?nèi)绾未_保超級人工智能為我們的利益服務(wù)？

根據(jù)超級人工智能的假設(shè)問題，研究人員構(gòu)設(shè)一種理論上的遏制算法，該算法可以模擬AI的行為，并在AI程序的動作存在有害行為時自動停止程序來解決該問題。

在嘗試運(yùn)行該試驗(yàn)?zāi)Ｐ蜁r，分析人員通過分析結(jié)果，發(fā)現(xiàn)建立一種可以控制超級人工智能的機(jī)器算法從根本性質(zhì)上來說是不可能的。

該團(tuán)隊(duì)成員伊亞德·拉萬（Iyad Rahwan）表示，如果將問題分解為理論計(jì)算機(jī)科學(xué)的基本規(guī)則，就會發(fā)現(xiàn)，命令A(yù)I不破壞世界的遏制算法存在無意中止其自身運(yùn)行的可能性。

若發(fā)生這種情況，用戶其實(shí)并不知道遏制算法是否仍在分析超級人工智能可能存在的威脅，或者它是否已經(jīng)順利停止有害的AI。因此，這種狀況的出現(xiàn)會導(dǎo)致遏制算法無法得到有效使用。

根據(jù)研究發(fā)現(xiàn)，由于計(jì)算的基本局限性，目前暫時沒有一種算法可以順利計(jì)算出超級AI是否會危害世界。

假設(shè)超級人工智能將包含一個程序，該程序包含通用圖靈機(jī)在輸入時可能會像世界級狀況一樣復(fù)雜地執(zhí)行所有程序，按照這么高的標(biāo)準(zhǔn)建立圍堵遏制算法，基于這個基礎(chǔ)對該超級AI程序進(jìn)行仿真，這在理論上是不可能的。

到目前為止，這種類型的超級AI仍僅限于幻想領(lǐng)域，不過，研究人員表示，AI技術(shù)的發(fā)展正朝著科幻小說作家所設(shè)想的超級智能系統(tǒng)的類型邁進(jìn)。

研究團(tuán)隊(duì)里面的成員之一、來自馬克斯·普朗克人類發(fā)展研究所的曼努埃爾·塞布里安（Manuel Cebrian）表示，已經(jīng)有AI機(jī)器可以實(shí)現(xiàn)獨(dú)立執(zhí)行某些重要任務(wù)，而程序員并沒有完全了解它們是如何學(xué)習(xí)做到的。

因此，基于這個存在而提出一個問題，在某個時候這是否可能變得不可控制并對人類構(gòu)成危險。

不管如何，發(fā)展超級人工智能的趨勢并不會按下暫停鍵，只是，關(guān)于遏制超級人工智能的方式還是要保持跟進(jìn)的，只有類似法律指引人類日常規(guī)范一般對超級人工智能形成一個制約，才可以讓AI為我們服務(wù)，而不是造成災(zāi)難。