來(lái)源：Coggle數(shù)據(jù)科學(xué)

什么是生成式人工智能？

在過(guò)去幾年中，機(jī)器學(xué)習(xí)領(lǐng)域取得了迅猛進(jìn)步，創(chuàng)造了人工智能的一個(gè)新的子領(lǐng)域：生成式人工智能。這些程序通過(guò)分析大量的數(shù)字化材料產(chǎn)生新穎的文本、圖像、音樂(lè)和軟件，我將這些程序簡(jiǎn)稱為“GAIs”。

革命開(kāi)始

第一波GAIs主要致力于進(jìn)行自然語(yǔ)言對(duì)話。被稱為“大型語(yǔ)言模型”（LLMs）的這些模型已經(jīng)展示出在各種任務(wù)上超凡的表現(xiàn)，擁有超越人類的能力，同時(shí)也顯示出對(duì)虛假、不合邏輯的傾向，以及表達(dá)虛假情感的傾向，比如對(duì)對(duì)話者表達(dá)愛(ài)意。它們用通俗的語(yǔ)言與用戶交流，并輕松解決各種復(fù)雜問(wèn)題。

但這只是GAI革命的開(kāi)始。支撐GAIs的技術(shù)是相當(dāng)通用的，任何可以收集和準(zhǔn)備進(jìn)行處理的數(shù)據(jù)集，GAIs都能夠?qū)W習(xí)，這在現(xiàn)代數(shù)字世界是一個(gè)相對(duì)簡(jiǎn)單的任務(wù)。

AGI vs GAI

AGI（人工通用智能）與GAI（生成式人工智能）不可混淆，AGI一直是科學(xué)家們世代追求的幻想，更不用說(shuō)無(wú)數(shù)科幻電影和書(shū)籍了。值得注意的是，答案是“有條件的肯定”。在實(shí)際應(yīng)用中，這些系統(tǒng)是多才多藝的“合成大腦”，但這并不意味著它們具有人類意義上的“思想”。它們沒(méi)有獨(dú)立的目標(biāo)和欲望、偏見(jiàn)和愿望、情感和感覺(jué)：這些是獨(dú)特的人類特征。但是，如果我們用正確的數(shù)據(jù)對(duì)它們進(jìn)行訓(xùn)練并指導(dǎo)它們追求適當(dāng)?shù)哪繕?biāo)，這些程序可以表現(xiàn)得好像具有這些特征一樣。

GAIs vs 早期構(gòu)建智能機(jī)器

GAIs可以被指示執(zhí)行（或至少描述如何執(zhí)行）你幾乎能想到的任何任務(wù)……盡管它們可能會(huì)耐心地解釋，它們是萬(wàn)事通，也是大多數(shù)領(lǐng)域的專家。

LLMs只是進(jìn)行統(tǒng)計(jì)單詞預(yù)測(cè)，根據(jù)你提供的提示的上下文選擇下一個(gè)最有可能的單詞。但這種描述充其量是過(guò)于簡(jiǎn)化了，并掩蓋了更深層次的真相。

LLMs是在大量信息的基礎(chǔ)上進(jìn)行訓(xùn)練的。它們處理并壓縮其龐大的訓(xùn)練集，形成一種被稱為神經(jīng)網(wǎng)絡(luò)的緊湊表示，但該網(wǎng)絡(luò)不僅僅代表單詞——它代表了它們的意義，以一種稱為嵌入的巧妙形式表達(dá)出來(lái)。

LLM了解其“世界”（在訓(xùn)練階段）；然后，它評(píng)估您提示的含義，選擇其答案的含義，并將該含義轉(zhuǎn)換為單詞。

人工智能的歷史

什么是人工智能？這是一個(gè)容易問(wèn)出但難以回答的問(wèn)題，有兩個(gè)原因。首先，對(duì)于智能是什么，人們幾乎沒(méi)有達(dá)成共識(shí)。其次，憑借目前的情況，很少有理由相信機(jī)器智能與人類智能有很大的關(guān)系，即使看起來(lái)很像。

人工智能（AI）有許多提議的定義，每個(gè)定義都有其自己的側(cè)重點(diǎn)，但大多數(shù)都大致圍繞著創(chuàng)建能夠表現(xiàn)出人類智能行為的計(jì)算機(jī)程序或機(jī)器的概念。學(xué)科的奠基人之一約翰·麥卡錫（John McCarthy）在1955年描述了這一過(guò)程，“就像制造一臺(tái)機(jī)器以人類的方式行為一樣”。術(shù)語(yǔ)“人工智能”起源于何處？“人工智能”一詞的首次使用可以歸因于一個(gè)特定的個(gè)人——約翰·麥卡錫（John McCarthy），他是一位1956年在新罕布什爾州漢諾威達(dá)特茅斯學(xué)院（Dartmouth College）的助理數(shù)學(xué)教授。與其他三位更資深的研究人員（哈佛大學(xué)的馬文·明斯基、IBM的內(nèi)森·羅切斯特和貝爾電話實(shí)驗(yàn)室的克勞德·香農(nóng)）一起，麥卡錫提議在達(dá)特茅斯舉辦一次關(guān)于這個(gè)主題的夏季會(huì)議。早期人工智能研究者是如何解決這個(gè)問(wèn)題的？

在達(dá)特茅斯會(huì)議之后，對(duì)該領(lǐng)域的興趣（以及某些領(lǐng)域?qū)λ姆磳?duì)）迅速增長(zhǎng)。研究人員開(kāi)始著手各種任務(wù)，從證明定理到玩游戲等。一些早期的突破性工作包括阿瑟·塞繆爾（Arthur Samuel）于1959年開(kāi)發(fā)的跳棋程序。

當(dāng)時(shí)許多演示系統(tǒng)都專注于所謂的“玩具問(wèn)題”，將其適用性限制在某些簡(jiǎn)化或自包含的世界中，如游戲或邏輯。這種簡(jiǎn)化在一定程度上受到當(dāng)時(shí)有限的計(jì)算能力的驅(qū)使，另一方面也因?yàn)檫@并不涉及收集大量相關(guān)數(shù)據(jù)，而當(dāng)時(shí)電子形式的數(shù)據(jù)很少。機(jī)器學(xué)習(xí)是什么？

從其早期起源開(kāi)始，人工智能研究人員就認(rèn)識(shí)到學(xué)習(xí)能力是人類智能的重要組成部分。問(wèn)題是人們是如何學(xué)習(xí)的？我們能否以與人類相同的方式，或至少與人類一樣有效地編寫(xiě)計(jì)算機(jī)來(lái)學(xué)習(xí)？

在機(jī)器學(xué)習(xí)中，學(xué)習(xí)是中心問(wèn)題——顧名思義。說(shuō)某物被學(xué)習(xí)了意味著它不僅僅被捕捉并存儲(chǔ)在數(shù)據(jù)庫(kù)中的數(shù)據(jù)一樣——它必須以某種方式表示出來(lái)，以便可以加以利用。一般來(lái)說(shuō)，學(xué)習(xí)的計(jì)算機(jī)程序會(huì)從數(shù)據(jù)中提取模式。

生成式人工智能的原理

大型語(yǔ)言模型（LLMs）

大型語(yǔ)言模型（LLMs）是一種生成人工智能系統(tǒng)，用于以純文本形式生成對(duì)問(wèn)題或提示的回應(yīng)。這些系統(tǒng)使用專門(mén)的多層次和多方面的神經(jīng)網(wǎng)絡(luò)，在非常大的自然語(yǔ)言文本集合上進(jìn)行訓(xùn)練，通常從互聯(lián)網(wǎng)和其他合適的來(lái)源收集而來(lái)。

基礎(chǔ)模型

訓(xùn)練一個(gè)LLM可能非常耗時(shí)和昂貴——如今，最常見(jiàn)的商業(yè)可用系統(tǒng)在數(shù)千臺(tái)強(qiáng)大處理器上同時(shí)訓(xùn)練數(shù)周，耗資數(shù)百萬(wàn)美元。但不用擔(dān)心，這些程序通常被稱為“基礎(chǔ)模型”，具有廣泛的適用性和長(zhǎng)期的使用壽命。它們可以作為許多不同類型的專業(yè)LLM的基礎(chǔ)，盡管直接與它們交互也是完全可能的（而且很有用和有趣）。

人類反饋強(qiáng)化學(xué)習(xí)

LLM完成了對(duì)大型文本語(yǔ)料庫(kù)的“基礎(chǔ)訓(xùn)練”后，就要進(jìn)入“修身養(yǎng)性”的階段。這包括向它提供一系列示例，說(shuō)明它應(yīng)該如何禮貌地和合作地回答問(wèn)題（響應(yīng)“提示”），以及最重要的是，它不被允許說(shuō)什么（當(dāng)然，這充滿了反映其開(kāi)發(fā)者態(tài)度和偏見(jiàn)的價(jià)值判斷）。與初始訓(xùn)練步驟形成對(duì)比，初始訓(xùn)練步驟大多是自動(dòng)化過(guò)程，這個(gè)社交化步驟是通過(guò)所謂的人類反饋強(qiáng)化學(xué)習(xí)（RLHF）來(lái)完成的。RLHF就是其名，人類審查L(zhǎng)LM對(duì)一系列可能引起不當(dāng)行為的提示的反應(yīng)，然后一個(gè)人向它解釋回應(yīng)的問(wèn)題（或禁止的內(nèi)容），幫助LLM改進(jìn)。

模型輸入與輸出

完成訓(xùn)練后，LLM接受用戶（你）的提示或問(wèn)題作為輸入，然后對(duì)其進(jìn)行轉(zhuǎn)換，并生成一個(gè)回應(yīng)。與訓(xùn)練步驟相比，這個(gè)過(guò)程快速而簡(jiǎn)單。但是它是如何將你的輸入轉(zhuǎn)換為回應(yīng)的呢？

它們將這種“猜測(cè)下一個(gè)詞”的技術(shù)擴(kuò)展到更長(zhǎng)的序列上。然而，重要的是要理解，分析和猜測(cè)實(shí)際上不是在詞本身上進(jìn)行的；而是在所謂的標(biāo)記上進(jìn)行的——它們代表詞的部分，并且這些標(biāo)記進(jìn)一步以“嵌入”形式表達(dá)，旨在捕捉它們的含義。大型語(yǔ)言模型（LLMs）如何工作？

簡(jiǎn)化的單詞級(jí)解釋忽略了LLMs如何在我們今天的計(jì)算機(jī)類別中表示這些大量的單詞集合。在任何現(xiàn)有或想象中的未來(lái)計(jì)算機(jī)系統(tǒng)中，存儲(chǔ)數(shù)千個(gè)單詞的所有可能序列都是不現(xiàn)實(shí)的：與之相比，這些序列的數(shù)量使得宇宙中的原子數(shù)量看起來(lái)微不足道。因此，研究人員重新利用了神經(jīng)網(wǎng)絡(luò)的試驗(yàn)和真實(shí)方法，將這些巨大的集合減少為更易管理的形式。

神經(jīng)網(wǎng)絡(luò)最初被應(yīng)用于解決分類問(wèn)題——決定某物是什么。例如，您可能會(huì)輸入一張圖片，網(wǎng)絡(luò)將確定它是否是狗還是貓的圖像。為了有用，神經(jīng)網(wǎng)絡(luò)必須以一種使相關(guān)的輸入產(chǎn)生相似結(jié)果的方式壓縮數(shù)據(jù)。

什么是“嵌入”？

LLMs將每個(gè)單詞表示為一種特定形式的向量（列表），稱為嵌入。嵌入將給定的單詞轉(zhuǎn)換為具有特殊屬性的向量（有序數(shù)字列表）：相似的單詞具有相似的向量表示。想象一下，“朋友”，“熟人”，“同事”和“玩伴”這些詞的嵌入。目標(biāo)是，嵌入應(yīng)該將這些單詞表示為彼此相似的向量。這通過(guò)代數(shù)組合嵌入來(lái)促進(jìn)某些類型的推理。

單詞嵌入的一個(gè)缺點(diǎn)是它們并不固有地解決多義性的問(wèn)題——單詞具有多個(gè)含義的能力。處理這個(gè)問(wèn)題有幾種方法。例如，如果訓(xùn)練語(yǔ)料庫(kù)足夠詳細(xì)，單詞出現(xiàn)的上下文將傾向于聚合成統(tǒng)計(jì)簇，每個(gè)簇代表同一個(gè)單詞的不同含義。這允許LLM以模棱兩可的方式表示單詞，將其與多個(gè)嵌入相關(guān)聯(lián)。多義性的計(jì)算方法是一個(gè)持續(xù)研究的領(lǐng)域。單詞嵌入是如何表示含義的？

當(dāng)您想知道一個(gè)詞的含義時(shí)，您會(huì)怎么做？當(dāng)然是查字典。在那里，您會(huì)找到什么？關(guān)于詞義的描述，當(dāng)然是用詞語(yǔ)表達(dá)的。您讀了定義后相信您理解了一個(gè)詞的含義。換句話說(shuō)，就是，通過(guò)與其他單詞的關(guān)系來(lái)表示單詞的含義通常被認(rèn)為是語(yǔ)義的一種滿意的實(shí)際方法。

當(dāng)然，有些詞確實(shí)指的是現(xiàn)實(shí)世界中的真實(shí)事物。但是，如果您只是在單詞的領(lǐng)域內(nèi)工作，那么事實(shí)證明這并不像您想象的那么重要。在相互關(guān)聯(lián)的定義的混亂中有太多的內(nèi)在結(jié)構(gòu)，以至于您關(guān)于給定單詞的幾乎所有需要知道的東西都可以通過(guò)它與其他單詞的關(guān)系來(lái)編碼。人工神經(jīng)網(wǎng)絡(luò)（ANN）

人工神經(jīng)網(wǎng)絡(luò)（ANN）是受到真實(shí)神經(jīng)網(wǎng)絡(luò)的某些假定組織原則啟發(fā)的計(jì)算機(jī)程序，簡(jiǎn)而言之，就是生物大腦。盡管如此，人工神經(jīng)網(wǎng)絡(luò)與真實(shí)神經(jīng)網(wǎng)絡(luò)之間的關(guān)系大多是希望的，因?yàn)閷?duì)大腦實(shí)際功能了解甚少。

人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元通常組織成層。底層也稱為“輸入”層，因?yàn)槲覀円獙⒁诸惖膱D片輸入到這里?，F(xiàn)在就像真正的神經(jīng)元一樣，我們必須表示每個(gè)輸入神經(jīng)元是否被激活（“發(fā)射”）或不被激活。其他內(nèi)部層是行動(dòng)發(fā)生的地方。這些被稱為“隱藏”層，因?yàn)樗鼈儕A在輸入層和輸出層之間。每個(gè)隱藏層中的神經(jīng)元與它們上面和下面的層中的所有神經(jīng)元相連。這些相互連接被建模為數(shù)值權(quán)重，例如，零表示“未連接”，一表示“強(qiáng)連接”，負(fù)一表示負(fù)連接。

神經(jīng)網(wǎng)絡(luò)的工作原理如下：我們根據(jù)要分類的圖片設(shè)置輸入（底層）級(jí)別的神經(jīng)元的值。然后對(duì)于上一級(jí)的每個(gè)神經(jīng)元，我們通過(guò)計(jì)算下一級(jí)神經(jīng)元與較低級(jí)神經(jīng)元之間的連接的權(quán)重乘積來(lái)計(jì)算其激活值。我們繼續(xù)這個(gè)過(guò)程，從每一級(jí)橫跨，然后向上一級(jí)工作。當(dāng)我們到達(dá)頂部時(shí)，如果一切都按預(yù)期進(jìn)行，頂層的一個(gè)神經(jīng)元將被高度激活，而另一個(gè)不會(huì)，這就給了我們答案。

Transformer

Transformer是一種特殊類型的神經(jīng)網(wǎng)絡(luò)，通常用于大型語(yǔ)言模型（LLM）。當(dāng)一個(gè)Transformer模型被給予一句話進(jìn)行處理時(shí)，它不會(huì)單獨(dú)查看每個(gè)單詞。相反，它一次查看所有單詞，并為每對(duì)單詞計(jì)算一個(gè)“注意分?jǐn)?shù)”。注意分?jǐn)?shù)確定了句子中每個(gè)單詞應(yīng)該對(duì)其他每個(gè)單詞的解釋產(chǎn)生多大影響。

例如，如果句子是“貓坐在墊子上”，當(dāng)模型處理單詞“坐”時(shí)，它可能會(huì)更多地關(guān)注單詞“貓”（因?yàn)椤柏垺笔亲膶?duì)象），而對(duì)單詞“墊子”關(guān)注較少。但是當(dāng)處理單詞“上”時(shí)，它可能會(huì)更多地關(guān)注“墊子”。

當(dāng)你要求LLM回答問(wèn)題時(shí)，類似的過(guò)程也會(huì)發(fā)生。LLM首先將您的單詞轉(zhuǎn)換為嵌入，就像它對(duì)其訓(xùn)練示例所做的那樣。然后，它以相同的方式處理您的詢問(wèn)，使其能夠?qū)Ｗ⒂谳斎氲淖钪匾糠?，并使用這些來(lái)預(yù)測(cè)如果您開(kāi)始回答問(wèn)題，則輸入的下一個(gè)單詞可能是什么。Transformer vs 詞嵌入

Transformer模型利用詞嵌入來(lái)表達(dá)語(yǔ)言中的復(fù)雜概念。在Transformer中，每個(gè)單詞都被表示為一個(gè)高維向量，而這些向量在表示空間中的位置反映了單詞之間的語(yǔ)義關(guān)系。例如，具有相似含義的單詞在表示空間中可能會(huì)更加接近，而含義不同的單詞則會(huì)相對(duì)遠(yuǎn)離。

通過(guò)使用這種高維表示，Transformer能夠更好地理解和生成自然語(yǔ)言。它們通過(guò)學(xué)習(xí)大量文本數(shù)據(jù)，自動(dòng)調(diào)整詞嵌入向量的參數(shù)，使得模型能夠根據(jù)上下文理解單詞的含義，并生成連貫的語(yǔ)言輸出。Transformer模型中的注意力機(jī)制允許模型集中注意力于輸入中與當(dāng)前任務(wù)相關(guān)的部分，從而提高了模型在處理長(zhǎng)文本序列和復(fù)雜語(yǔ)境中的性能。什么是token？

在語(yǔ)言模型中，"tokens"是指單詞、單詞部分（稱為子詞）或字符轉(zhuǎn)換成的數(shù)字列表。每個(gè)單詞或單詞部分都被映射到一個(gè)特定的數(shù)字表示，稱為token。這種映射關(guān)系通常是通過(guò)預(yù)定義的規(guī)則或算法完成的，不同的語(yǔ)言模型可能使用不同的tokenization方案，但重要的是要保證在相同的語(yǔ)境下，相同的單詞或單詞部分始終被映射到相同的token。

大多數(shù)語(yǔ)言模型傾向于使用子詞(tokenization)，因?yàn)檫@種方法既高效又靈活。子詞tokenization能夠處理單詞的變形、錯(cuò)字等情況，從而更好地識(shí)別單詞之間的關(guān)系。

幻覺(jué)

幻覺(jué)是指LLMs在回答問(wèn)題或提示時(shí)，并不會(huì)查閱其訓(xùn)練時(shí)接觸到的所有詞序列，這是不切實(shí)際的。這意味著它們并不一定能夠訪問(wèn)所有原始內(nèi)容，而只能訪問(wèn)那些信息的統(tǒng)計(jì)摘要。與你一樣，LLMs可能“知道”很多詞，但它們無(wú)法重現(xiàn)創(chuàng)建它們的確切序列。

LLMs很難區(qū)分現(xiàn)實(shí)和想象。至少目前來(lái)說(shuō)，它們沒(méi)有很好的方法來(lái)驗(yàn)證它們認(rèn)為或相信可能是真實(shí)的事物的準(zhǔn)確性。即使它們能夠咨詢互聯(lián)網(wǎng)等其他來(lái)源，也不能保證它們會(huì)找到可靠的信息。