來(lái)源：大數(shù)據(jù)文摘

人類語(yǔ)言及其背后的思維模式在結(jié)構(gòu)上比我們想象的更簡(jiǎn)單、更“符合規(guī)律”。

ChatGPT大火，甚至已經(jīng)開(kāi)始改變?nèi)祟惖墓ぷ骱退伎挤绞?，充分了解并且認(rèn)識(shí)它，同時(shí)看到未來(lái)的機(jī)會(huì)，已經(jīng)成為每個(gè)人迫不及待需要建立的心智。而放眼全球，唯一一本能夠講透GPT的原理以及未來(lái)的書(shū)，唯有斯蒂芬·沃爾弗拉姆的這本《這就是ChatGPT》。

無(wú)論你是否了解他，我都想再次誠(chéng)意的為你介紹這位傳奇人物的經(jīng)歷。

他是伊利諾斯大學(xué)物理學(xué)、數(shù)學(xué)和計(jì)算機(jī)科學(xué)教授，“科學(xué)天才”。15歲發(fā)表首篇粒子物理方面的學(xué)術(shù)論文；19歲，到加州理工學(xué)院研究基本粒子物理學(xué)，一年內(nèi)獲得理論物理學(xué)博士學(xué)位。隨后他和費(fèi)曼一起研究起元胞自動(dòng)機(jī)。

同時(shí)也是軟件工程師、企業(yè)老板，他創(chuàng)辦的Wolfram Research軟件公司，研發(fā)出當(dāng)今世界四大數(shù)學(xué)軟件之一Mathematica。Mathematica的發(fā)布標(biāo)志著現(xiàn)代科技計(jì)算的開(kāi)始，它是世界上通用計(jì)算系統(tǒng)中最強(qiáng)大的系統(tǒng)。沃爾夫勒姆本人也因?yàn)檫@個(gè)發(fā)明被認(rèn)為是“人類的偉大贊助者”，并跨入千萬(wàn)富翁的行列。

1981年，沃爾弗拉姆被授予麥克阿瑟“天才人物”獎(jiǎng)，并成為該獎(jiǎng)有史以來(lái)最年輕的獲得者。

2009年5月，沃爾弗拉姆發(fā)布了一個(gè)搜索引擎WolframAlpha。“第一個(gè)真正實(shí)用的人工智能”。可以給出針對(duì)問(wèn)題的有效答案，所以，WolframAlpha問(wèn)世不久后便被稱為“谷歌殺手”。他跟喬布斯也是好友，比如蘋(píng)果手機(jī)助手Siri，背后的知識(shí)庫(kù)，其實(shí)就是Wolfram|Alpha支持的。

他的大部頭著作，1197頁(yè)的《一種新科學(xué)》（A New Kind of Science）在2002年出版的時(shí)候登上了亞馬遜的榜首，暢銷無(wú)比。

他是當(dāng)今世界活著的最聰明的人之一，最硬核的思考者。

1、那么，ChatGPT到底在做什么？它為什么能做到這些？

ChatGPT的基本概念在某種程度上相當(dāng)簡(jiǎn)單：首先從互聯(lián)網(wǎng)、書(shū)籍等獲取人類創(chuàng)造的海量文本樣本，然后訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)生成“與之類似”的文本。特別是，它能夠從“提示”開(kāi)始，繼續(xù)生成“與其訓(xùn)練數(shù)據(jù)相似的文本”。

正如我們所見(jiàn)，ChatGPT中的神經(jīng)網(wǎng)絡(luò)實(shí)際上由非常簡(jiǎn)單的元素組成，盡管有數(shù)十億個(gè)。神經(jīng)網(wǎng)絡(luò)的基本操作也非常簡(jiǎn)單，本質(zhì)上是對(duì)于它生成的每個(gè)新詞（或詞的一部分），都將根據(jù)目前生成的文本得到的輸入依次傳遞“給其所有元素一次”（沒(méi)有循環(huán)等）。

值得注意和出乎意料的是，這個(gè)過(guò)程可以成功地產(chǎn)生與互聯(lián)網(wǎng)、書(shū)籍等中的內(nèi)容“相似”的文本。ChatGPT不僅能產(chǎn)生連貫的人類語(yǔ)言，而且能根據(jù)“閱讀”過(guò)的內(nèi)容來(lái)“循著提示說(shuō)一些話”。它并不總是能說(shuō)出“在全局上有意義”（或符合正確計(jì)算）的話，因?yàn)椋ㄈ绻麤](méi)有利用Wolfram|Alpha的“計(jì)算超能力”）它只是在根據(jù)訓(xùn)練材料中的內(nèi)容“聽(tīng)起來(lái)像什么”來(lái)說(shuō)出“聽(tīng)起來(lái)正確”的話。

ChatGPT 的具體工程非常引人注目。但是，（至少在它能夠使用外部工具之前）ChatGPT“僅僅”是從其積累的“傳統(tǒng)智慧的統(tǒng)計(jì)數(shù)據(jù)”中提取了一些“連貫的文本線索”。但是，結(jié)果的類人程度已經(jīng)足夠令人驚訝了。

正如我所討論的那樣，這表明了一些至少在科學(xué)上非常重要的東西：人類語(yǔ)言及其背后的思維模式在結(jié)構(gòu)上比我們想象的更簡(jiǎn)單、更“符合規(guī)律”。ChatGPT 已經(jīng)隱含地發(fā)現(xiàn)了這一點(diǎn)。但是我們可以用語(yǔ)義語(yǔ)法、計(jì)算語(yǔ)言等來(lái)明確地揭開(kāi)它的面紗。

ChatGPT 在生成文本方面表現(xiàn)得非常出色，結(jié)果通常非常類似于人類創(chuàng)作的文本。這是否意味著 ChatGPT 的工作方式像人類的大腦一樣？它的底層人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)說(shuō)到底是對(duì)理想化大腦的建模。當(dāng)人類生成語(yǔ)言時(shí)，許多方面似乎非常相似。

當(dāng)涉及訓(xùn)練（即學(xué)習(xí)）時(shí)，大腦和當(dāng)前計(jì)算機(jī)在“硬件”（以及一些未開(kāi)發(fā)的潛在算法思想）上的不同之處會(huì)迫使 ChatGPT 使用一種可能與大腦截然不同的策略（在某些方面不太有效率）。

還有一件事值得一提：甚至與典型的算法計(jì)算不同，ChatGPT 內(nèi)部沒(méi)有“循環(huán)”或“重新計(jì)算數(shù)據(jù)”。這不可避免地限制了其計(jì)算能力—即使與當(dāng)前的計(jì)算機(jī)相比也是如此，更談不上與大腦相比了。

我們尚不清楚如何在“修復(fù)”這個(gè)問(wèn)題的同時(shí)仍然讓系統(tǒng)以合理的效率進(jìn)行訓(xùn)練。但這樣做可能會(huì)使未來(lái)的 ChatGPT 能夠執(zhí)行更多“類似大腦的事情”。當(dāng)然，有許多事情大腦并不擅長(zhǎng)，特別是涉及不可約計(jì)算的事情。對(duì)于這些問(wèn)題，大腦和像 ChatGPT 這樣的東西都必須尋求“外部工具”，比如 Wolfram 語(yǔ)言的幫助。

但是就目前而言，看到 ChatGPT 已經(jīng)能夠做到的事情是非常令人興奮的。在某種程度上，它是一個(gè)極好的例子，說(shuō)明了大量簡(jiǎn)單的計(jì)算元素可以做出非凡、驚人的事情。它也為我們提供了 2000 多年以來(lái)的最佳動(dòng)力，來(lái)更好地理解人類條件（human condition）的核心特征—人類語(yǔ)言及其背后的思維過(guò)程—的本質(zhì)和原則。

2、前方的路

機(jī)器學(xué)習(xí)是一種強(qiáng)大的方法，特別是在過(guò)去十年中，它取得了一些非凡的成功—ChatGPT 是最新的成功案例。除此之外，還有圖像識(shí)別、語(yǔ)音轉(zhuǎn)文字、語(yǔ)言翻譯……在每個(gè)案例中，都會(huì)跨越一個(gè)門檻—通常是突然之間。一些任務(wù)從“基本不可能”變成了“基本可行”。

但結(jié)果從來(lái)不是“完美”的。也許有的東西能夠在 95% 的時(shí)間內(nèi)運(yùn)作良好。但是不論怎樣努力，它的表現(xiàn)在剩下的 5% 時(shí)間內(nèi)仍然難以捉摸。對(duì)于某些情況來(lái)說(shuō)，這可能被視為失敗。但關(guān)鍵在于，在各種重要的用例中，95% 往往就“足夠好了”。原因也許是輸出是一種沒(méi)有“正確答案”的東西，也許是人們只是在試圖挖掘一些可能性供人類（或系統(tǒng)算法）選擇或改進(jìn)。

擁有數(shù)百億參數(shù)的神經(jīng)網(wǎng)絡(luò)一次一個(gè)標(biāo)記地生成文本，能夠做到ChatGPT 所能做的事情，這著實(shí)是非同凡響的。

鑒于這種戲劇性、意想不到的成功，人們可能會(huì)認(rèn)為，如果能夠“訓(xùn)練一個(gè)足夠大的網(wǎng)絡(luò)”，就能夠用它來(lái)做任何事情。但事實(shí)并非如此。關(guān)于計(jì)算的基本事實(shí)，尤其是計(jì)算不可約的概念，表明它最終是無(wú)法做到的。

不過(guò)不要緊，重點(diǎn)在于我們?cè)跈C(jī)器學(xué)習(xí)的實(shí)際歷史中看到的：會(huì)取得（像 ChatGPT 這樣的）重大突破，進(jìn)步不會(huì)停止。更重要的是，我們會(huì)發(fā)現(xiàn)能做之事的成功用例，它們并未因不能做之事受阻。雖然“原始 ChatGPT”可以在許多情況下幫助人們寫(xiě)作、提供建議或生成對(duì)各種文檔或交流有用的文本，但是當(dāng)必須把事情做到完美時(shí)，機(jī)器學(xué)習(xí)并不是解決問(wèn)題的方法—就像人類也不是一樣。

這正是我們?cè)谝陨侠又锌吹降摹?strong>ChatGPT 在“類人的部分”表現(xiàn)出色，因?yàn)槠渲袥](méi)有精確的“正確答案”。但當(dāng)它被“趕鴨子上架”、需要提供精確的內(nèi)容時(shí)，往往會(huì)失敗。這些例子要表達(dá)的重點(diǎn)是，有一種很好的方法可以解決該問(wèn)題—將 ChatGPT 連接到Wolfram|Alpha（沃爾弗拉姆公司所研發(fā)的新一代的搜索引擎，能根據(jù)問(wèn)題直接給出答案的網(wǎng)站）以利用其全部的計(jì)算知識(shí)“超能力”。

3、為ChatGPT賦予“思想”

在 Wolfram|Alpha 內(nèi)部，一切都被轉(zhuǎn)換為計(jì)算語(yǔ)言，轉(zhuǎn)換為精確的Wolfram 語(yǔ)言代碼。這些代碼在某種程度上必須是“完美”的，才能可靠地使用。關(guān)鍵是，ChatGPT 無(wú)須生成這些代碼。它可以生成自己常用的自然語(yǔ)言，然后由 Wolfram|Alpha 利用其自然語(yǔ)言理解能力轉(zhuǎn)換為精確的 Wolfram 語(yǔ)言。

在許多方面，可以說(shuō) ChatGPT 從未“真正理解”過(guò)事物，它只“知道如何產(chǎn)生有用的東西”。但是 Wolfram|Alpha 則完全不同。因?yàn)橐坏?Wolfram|Alpha 將某些東西轉(zhuǎn)換為 Wolfram 語(yǔ)言，我們就擁有了它們完整、精確、形式化的表示，可以用來(lái)可靠地計(jì)算事物。不用說(shuō)，有很多“人類感興趣”的事物并沒(méi)有形式化的計(jì)算表示—盡管我們?nèi)匀豢梢杂米匀徽Z(yǔ)言談?wù)撍鼈?，但是可能不夠?zhǔn)確。對(duì)于這些事物，ChatGPT 只能靠自己，而且能憑借自己的能力做得非常出色。

就像我們?nèi)祟愐粯樱?strong>ChatGPT 有時(shí)候需要更形式化和精確的“助力”。重點(diǎn)在于，它不必用“形式化和精確”的語(yǔ)言表達(dá)自己，因?yàn)?Wolfram|Alpha 可以用相當(dāng)于 ChatGPT 母語(yǔ)的自然語(yǔ)言進(jìn)行溝通。當(dāng)把自然語(yǔ)言轉(zhuǎn)換成自己的母語(yǔ) —Wolfram 語(yǔ)言時(shí)，Wolfram|Alpha 會(huì)負(fù)責(zé)“添加形式和精度”。我認(rèn)為這是一種非常好的情況，具有很大的實(shí)用潛力。

這種潛力不僅可以用于典型的聊天機(jī)器人和文本生成應(yīng)用，還能擴(kuò)展到像數(shù)據(jù)科學(xué)或其他形式的計(jì)算工作（或編程）中。從某種意義上說(shuō)，這是一種直接把 ChatGPT 的類人世界和 Wolfram 語(yǔ)言的精確計(jì)算世界結(jié)合起來(lái)的最佳方式。

ChatGPT 能否直接學(xué)習(xí) Wolfram 語(yǔ)言呢？答案是肯定的，事實(shí)上它已經(jīng)開(kāi)始學(xué)習(xí)了。我十分希望像 ChatGPT 這樣的東西最終能夠直接在 Wolfram 語(yǔ)言中運(yùn)行，并且因此變得非常強(qiáng)大。

這種有趣而獨(dú)特的情況之所以能成真，得益于 Wolfram 語(yǔ)言的如下特點(diǎn)：它是一門全面的計(jì)算語(yǔ)言，可以用計(jì)算術(shù)語(yǔ)來(lái)廣泛地談?wù)撌澜缟虾推渌胤降氖挛铩?/p>

Wolfram 語(yǔ)言的總體概念就是對(duì)我們?nèi)祟惖乃妓脒M(jìn)行計(jì)算上的表示和處理。普通的編程語(yǔ)言旨在確切地告訴計(jì)算機(jī)要做什么，而作為一門全面的計(jì)算語(yǔ)言，Wolfram 語(yǔ)言涉及的范圍遠(yuǎn)遠(yuǎn)超出了這一點(diǎn)。實(shí)際上，它旨在成為一門既能讓人類也能讓計(jì)算機(jī)“用計(jì)算思維思考”的語(yǔ)言。

許多世紀(jì)以前，當(dāng)數(shù)學(xué)符號(hào)被發(fā)明時(shí)，人類第一次有了“用數(shù)學(xué)思維思考”事物的一種精簡(jiǎn)媒介。它的發(fā)明很快導(dǎo)致了代數(shù)、微積分和最終所有數(shù)學(xué)科學(xué)的出現(xiàn)。Wolfram 語(yǔ)言的目標(biāo)則是為計(jì)算思維做類似的事情，不僅是為了人類，而且是要讓計(jì)算范式能夠開(kāi)啟的所有“計(jì)算 XX 學(xué)”領(lǐng)域成為可能。

我個(gè)人因?yàn)槭褂?Wolfram 語(yǔ)言作為“思考語(yǔ)言”而受益匪淺。過(guò)去幾十年里，看到許多人通過(guò) Wolfram 語(yǔ)言“以計(jì)算的方式思考”而取得了很多進(jìn)展，真的讓我喜出望外。

那么 ChatGPT 呢？它也可以做到這一點(diǎn)，只是我還不確定一切將如何運(yùn)作。但可以肯定的是，這不是讓 ChatGPT 學(xué)習(xí)如何進(jìn)行 Wolfram 語(yǔ)言已經(jīng)掌握的計(jì)算，而是讓 ChatGPT 學(xué)習(xí)像人類一樣使用 Wolfram 語(yǔ)言，讓 ChatGPT 用計(jì)算語(yǔ)言（而非自然語(yǔ)言）生成“創(chuàng)造性文章”，等等。

我在很久之前就討論過(guò)由人類撰寫(xiě)的計(jì)算性文章的概念，它們混合使用了自然語(yǔ)言和計(jì)算語(yǔ)言?，F(xiàn)在的問(wèn)題是，ChatGPT 能否撰寫(xiě)這些文章，能否使用 Wolfram 語(yǔ)言作為一種提供對(duì)人類和計(jì)算機(jī)而言都“有意義的交流”的方式。是的，這里存在一個(gè)潛在的有趣的反饋循環(huán)，涉及對(duì) Wolfram 語(yǔ)言代碼的實(shí)際執(zhí)行。

但至關(guān)重要的是Wolfram 語(yǔ)言代碼所代表的“思想”的豐富性和“思想”流—與普通編程語(yǔ)言中的不同，更接近 ChatGPT 在自然語(yǔ)言中“像魔法一樣”處理的東西。

換句話說(shuō)，Wolfram 語(yǔ)言是和自然語(yǔ)言一樣富有表現(xiàn)力的，足以用來(lái)為 ChatGPT 編寫(xiě)有意義的“提示”。沒(méi)錯(cuò)，Wolfram 語(yǔ)言代碼可以直接在計(jì)算機(jī)上執(zhí)行。但作為 ChatGPT 的提示，它也可以用來(lái)“表達(dá)”一個(gè)可以延續(xù)的“想法”。它可以描述某個(gè)計(jì)算結(jié)構(gòu)，讓ChatGPT“即興續(xù)寫(xiě)”人們可能對(duì)于該結(jié)構(gòu)的計(jì)算上的說(shuō)法，而且根據(jù)它通過(guò)閱讀人類寫(xiě)作的大量材料所學(xué)到的東西來(lái)看，這“對(duì)人類來(lái)說(shuō)將是有趣的”。

ChatGPT 的意外成功突然帶來(lái)了各種令人興奮的可能性。就目前而言，我們能馬上抓住的機(jī)會(huì)是，通過(guò) Wolfram|Alpha 賦予 ChatGPT計(jì)算知識(shí)超能力。這樣，ChatGPT 不僅可以產(chǎn)生“合理的類人輸出”，而且能保證這些輸出利用了封裝在 Wolfram|Alpha 和 Wolfram語(yǔ)言內(nèi)的整座計(jì)算和知識(shí)高塔。