作者 |馬湘楠

單位|東北大學(xué)自然語言處理實驗室

來自 | 機器翻譯學(xué)堂

引言

智能代理（AI Agents）長期以來都被視為通往人工通用智能（AGI）的一條希望途徑，預(yù)期中其能夠通過自主規(guī)劃和指令來自動完成相關(guān)任務(wù)。然而，早期的代理通常是一種編程實體，其通過傳感器感知環(huán)境，再通過執(zhí)行器對環(huán)境進行操作，以自主實現(xiàn)用戶的特定目標。該類代理已被大量應(yīng)用于各種日常任務(wù)，如自動駕駛[2][3]、智能機器人[4][5]或AI助手（Siri，Cortana等）。但是，這些代理通常是由傳感器信號或關(guān)鍵詞進行觸發(fā)，然后在設(shè)計好的程序流水線中執(zhí)行系列操作。它們無法真正的理解以自然語言形式表達的復(fù)雜指令，從而無法自主完成絕大多數(shù)任務(wù)。最近大型語言模型[6][8][8]的發(fā)展表明它們能夠一定程度上理解并遵循人類指令，有潛力成為AI agents的核心—“大腦”[9][10]。LLMs使得AI Agents能夠?qū)θ蝿?wù)進行自主規(guī)劃，而后調(diào)用輔助模塊進行執(zhí)行，從而實現(xiàn)更廣泛的智能化。本文中我們會介紹一些AI Agents的框架構(gòu)成以及LLMs的基礎(chǔ)知識，而后進一步闡述基于LLMs構(gòu)建特定AI Agents的一些相關(guān)方法技術(shù)，以期給讀者帶來一個大體的了解。與本文相關(guān)的工作有Wang等人的綜述，感興趣的同學(xué)可以自行查閱[11]。

AI Agents and LLMs

(1)AI Agents

AI Agents應(yīng)該能夠自主化理解用戶的復(fù)雜意圖，并依賴歷史記憶信息進行任務(wù)規(guī)劃，而后調(diào)用相應(yīng)的外部工具自動完成相應(yīng)的目標任務(wù)。根據(jù)Weng[1]的定義，AI Agents應(yīng)該主要由LLMs、任務(wù)規(guī)劃（Task Planning）模塊、記憶利用（Memory Utilization）模塊和工具調(diào)用模塊（Tools Calling）組成。LLMs作為AI Agents的“大腦”，是整個代理運行的中樞組件，其負責(zé)配置系統(tǒng)信息，并理解用戶的輸入。任務(wù)規(guī)劃模塊則是利用LLMs，結(jié)合記憶模塊及工具調(diào)用的行動反饋，對目標任務(wù)進行規(guī)劃，將復(fù)雜任務(wù)分解為多個簡單的子任務(wù)，確定任務(wù)執(zhí)行流程。記憶模塊為LLMs提供歷史信息作為指導(dǎo)，以便更好地進行任務(wù)規(guī)劃工作。行動模塊則將代理的決策轉(zhuǎn)為具體的動作輸出，并將執(zhí)行反饋傳回LLMs進行新一輪規(guī)劃。LLMs、任務(wù)規(guī)劃模塊和記憶模塊三者協(xié)同工作負責(zé)控制工具調(diào)用模塊完成行為動作，而工具調(diào)用模塊的結(jié)果又會再次作用于其他模塊，實現(xiàn)AI Agents的整體運行。接下來，我們將詳細介紹這些模塊。

Large Language Models：語言模型（LM）是基于概率計算，旨在通過根據(jù)已經(jīng)出現(xiàn)的單詞來預(yù)測下一個（或缺失的）標記的概率。對于標準的語言模型，給定輸入和參數(shù)化的概率模型 p，我們的期望是最大化目標輸出的似然性，如下所示：

其中表示第 i 個標記，表示目標輸出的長度。

Task Planning：任務(wù)規(guī)劃模塊通常包括兩個子模塊：任務(wù)目標分解模塊及目標完善模塊。分解模塊負責(zé)將Agents接收到的復(fù)雜任務(wù)分解為多個較小、可管理的子目標任務(wù)，從而能夠完成整體的任務(wù)目標。完善模塊則使得代理可以對過去的行動進行自我評價和反思，從錯誤中汲取教訓(xùn)，并為未來的步驟進行改進，從而提高最終的質(zhì)量。該模塊的相關(guān)任務(wù)主要由LLMs完成。

Memory Utilization：記憶模塊主要負責(zé)存儲從環(huán)境中感知到的相關(guān)信息，并利用存儲的記憶來指導(dǎo)LLMs的行動策略，幫助代理積累經(jīng)驗實現(xiàn)自我演化，其在構(gòu)建AI代理中扮演著非常重要的角色，使得AI Agents能夠以更統(tǒng)一、合理和有效的方式行事。

Tools Calling：本模塊引入外部工具是指通過集成外部工具和擴展知識源來增強基于LLM的AI Agents的能力。負責(zé)將代理的決策轉(zhuǎn)化為具體的執(zhí)行結(jié)果，其與環(huán)境直接互動，決定了Agents完成任務(wù)的能力。如果將LLMs比喻成AI Agents的智能大腦，那么Tools調(diào)用則是AI Agents這個系統(tǒng)的手和腳。

圖1 LLM驅(qū)動的自主代理系統(tǒng)概覽[1]

(2)large language models

Transformer架構(gòu)的出現(xiàn)，使得語言模型進入了預(yù)訓(xùn)練階段。通過在大量無標注文本上進行預(yù)訓(xùn)練，使得語言模型在下游任務(wù)上展現(xiàn)出了非常強大的通用性能。根據(jù)架構(gòu)選擇，預(yù)訓(xùn)練模型有三個主要分支：encoder-only模型[12]、decoder-only模型[13]和encoder-decoder模型[14]。

隨著預(yù)訓(xùn)練模型規(guī)模的不斷擴大，研究人員發(fā)現(xiàn)增加LMs模型大小會持續(xù)改善各種下游任務(wù)的性能，并將其稱為語言模型的縮放定律（scaling-laws）。同時，人們也發(fā)現(xiàn)模型規(guī)模增大的同時，也會誘發(fā)出大語言模型（LLMs）的“涌現(xiàn)”能力：某些在大型模型中具備，但在較小模型中并不存在的能力。這些涌現(xiàn)出的能力使LLMs與早期的預(yù)訓(xùn)練模型得到了區(qū)分。隨著ChatGPT模型的公布，其強大的任務(wù)理解能力以及出色的對話能力引起了大家的廣泛關(guān)注，也預(yù)示著語言模型的研究正式進入了大語言模型（large language models）的時代。

在ChatGPT[15]發(fā)布之后不久，openAI進一步公布了其新一代的大語言模型—GPT4[6]。GPT4不僅具有更強大的語義理解能力和對話能力，還能夠處理多模態(tài)信息，并且具備了外部API調(diào)用的能力，使得其能夠開始與外界進行交互，為AI Agents及AGI的實現(xiàn)提供了可能性。直到目前為止，GPT4仍然是最為強大的大語言模型，感興趣的同學(xué)可以通過openAI提供的官方API進行嘗試[16]。除openAI外，也有許多研究團隊和組織開發(fā)并公布了自己的基礎(chǔ)大語言模型，比如PaLM2[17]、LLama[7]、GLM[18]、Baichuan-13B[19]等。

LLaMA作為少數(shù)開源大語言模型的一種，引起了來自研究界和工業(yè)界的廣泛關(guān)注。由于LLaMA模型在各種開放基準測試中的表現(xiàn)出色，其成為了最受歡迎的開放語言模型。比如，有許多研究人員通過指令調(diào)整或持續(xù)預(yù)訓(xùn)練來擴展LLaMA模型。特別是在指令微調(diào)方面，LLaMA已經(jīng)成為開發(fā)定制或?qū)I(yè)化模型的主要基礎(chǔ)模型之一[20][22]。也有部分工作為了在非英語語言中有效地適應(yīng)LLaMA模型（主要在英語語料庫上訓(xùn)練），使用目標語言數(shù)據(jù)擴展了原始詞匯表并進行了微調(diào)[21]。此外，LLama還在多模態(tài)領(lǐng)域得到了應(yīng)用[23][24]。最近發(fā)布的最新Llama2模型，由于其更為強大的性能表現(xiàn)，又引起了一股新的開源大語言模型浪潮。

截止到目前，已有工作從多個角度對LLMs的發(fā)展現(xiàn)狀進行了廣泛討論和調(diào)查[25]，并提供了非常全面的總結(jié)概括，涵蓋了模型設(shè)計、培訓(xùn)方法、在應(yīng)用中的利用以及評估技術(shù)等方面，感興趣的同學(xué)可以自行查閱。

Fine-tuning：雖然大語言模型通過大量的預(yù)訓(xùn)練文本具備了非常強的通用能力，但是其對于一些特定的領(lǐng)域知識掌握不足。為了增強LLMs的特定能力，與人類需求對齊，往往需要通過fine-tune的方式對模型進行微調(diào)訓(xùn)練。然而，由于LLMs巨大的參數(shù)量，對其所有參數(shù)進行微調(diào)將會非常昂貴。因此，高效的微調(diào)方法是非常有必要的，主流方法有：Adapter[26]、Prompt Tuning[27]、Low-Rank Adaptation (LoRA)[28]等。LoRA由于其可插拔的便利特性，成為了最常用的方法。

圖2 不同參數(shù)高效微調(diào)方法的示意圖[25]

Prompt Engineering：LLMs通常以自然語言為接口與人類進行交互，而這部分自然語言描述則被成為prompt。由于LLMs對prompt非常敏感，prompt細微的改動很可能就會帶來差別很大的結(jié)果，因此prompt工程對于LLMs的使用非常重要[29][30]。通常來說，一個好的prompt應(yīng)該是指令明確、需求清晰，操作具體、并且內(nèi)容詳盡的。推薦同學(xué)觀看吳恩達教授的prompt課程進行學(xué)習(xí)[31]。此外，LLMs可以通過In-context learning的方式進一步提高下游任務(wù)上的性能，是一種非常有效的學(xué)習(xí)方法[13]。

Task Planning

任務(wù)規(guī)劃模塊主要是依托于LLMs強大的任務(wù)處理能力，將復(fù)雜任務(wù)分解為多個簡單的子任務(wù)，然后逐個解決每個子任務(wù)。同時，在任務(wù)的規(guī)劃-執(zhí)行過程中引入一系列的反饋，對每個任務(wù)的目標進行完善。該模塊通過LLM賦予了AI Agents解決復(fù)雜任務(wù)的能力。

（1）Task Decomposition

任務(wù)分解模塊主要是通過prompt的使用，由LLMs來為復(fù)雜任務(wù)生成一系列的規(guī)劃序列，從而提高AI Agents執(zhí)行復(fù)雜任務(wù)的能力。Chain of Thought (CoT) [32]提出了一種簡單有效的方法，通過在prompt中提供少量逐步解決復(fù)雜推理問題的示例，極大提升了LLMs解決復(fù)雜任務(wù)的能力。Zero-shot-CoT[33]方法則是利用啟發(fā)式的prompt：“Let’s think step by step.”，使得LLM在零樣本的情況下自主生成復(fù)雜問題的推理過程，并保證了一定的性能穩(wěn)定。Least-to-Most CoT[34]則是初步嘗試了任務(wù)分解，將原問題分解為一系列簡單的子問題，并串行化解決這些相關(guān)聯(lián)的子問題。Decomposed Prompting[35]方法同樣采用了類似的思路。

以上的CoT方法通常是以單一線性的方式進行任務(wù)分解，然而復(fù)雜任務(wù)的多個子任務(wù)很可能存在依賴并且分解結(jié)果不唯一?？紤]到每個復(fù)雜問題會有多種推理方式來得到最終答案，Self-consistent CoT (CoT-SC)[37]使用CoT生成多個推理路徑和答案，選擇出現(xiàn)最多次數(shù)的答案作為最終答案輸出。Tree of Thoughts (ToT)[38]則是以樹狀的形式進行任務(wù)分解，而后通過廣度優(yōu)先和深度優(yōu)先搜索等搜索算法進行回溯，以得到一個較為可行的全局規(guī)劃。這些方法提高了LLM在復(fù)雜推理任務(wù)上的性能。此外，也有部分工作在子任務(wù)生成過程中引入額外的prompt對路徑的進行選擇，在受約束的情況下進行任務(wù)規(guī)劃[39][40]。

圖3 主流的CoT方法示意圖[38]

然而，自然語言通常是復(fù)雜多義的，基于自然語言的任務(wù)規(guī)劃無法保證準確執(zhí)行。雖然有些方法通過語義映射將生成的規(guī)劃限制到更小的結(jié)果空間中[41]，仍可能會導(dǎo)致規(guī)劃正確但執(zhí)行失敗的情況。為了生成更便于驗證的任務(wù)規(guī)劃，部分工作選擇以可執(zhí)行代碼為生成形式。Faithful CoT[43]、LLM+P[44]等方法使用形式化的規(guī)劃領(lǐng)域定義語言（PDDL）作為目標輸出。PAL[45]和PROGPROMPT[46]則是利用LLMs直接生成Python格式的任務(wù)規(guī)劃。然后由Agents根據(jù)生成的可執(zhí)行代碼來解決問題。

（2）Refinement

為了進一步完善目標任務(wù)，AI Agents需要學(xué)會接受外部反饋，從而提高其整體的任務(wù)規(guī)劃能力。最常見的反饋來自于Agent自身。ReAct[47]在任務(wù)規(guī)劃的過程中引入了行動反饋，其明確定義推理和行動是順序執(zhí)行的，如果某個行動的沒有獲得正確反饋時，將對規(guī)劃重新進行推理，直到獲得正確答案。RAP[48]則是通過評估每個候選計劃導(dǎo)致任務(wù)成功的可能性進行選擇。當(dāng)前環(huán)境狀態(tài)信息同樣可以幫助改善任務(wù)規(guī)劃結(jié)果[49]。除Agent環(huán)境外，反饋也可以來自于人類[50][51]。

此外，為了處理長期任務(wù)，可以結(jié)合記憶模塊將反饋存入長期記憶庫。例如，Reflexion [52]將反饋存儲到內(nèi)存中以便檢索。此外，部分方法引入技能庫，用于存儲正確執(zhí)行的任務(wù)規(guī)劃，同時這些規(guī)劃可以被重用或合成為更復(fù)雜的任務(wù)計劃[53]?？傊ㄟ^反饋信息的使用，特別是行動執(zhí)行結(jié)果的反饋，極大增強了任務(wù)規(guī)劃的成功概率。

Memory Utilization

記憶模塊通常負責(zé)存儲Agents運行中的歷史信息及額外的外部知識，為LLMs的任務(wù)規(guī)劃提供幫助，提高整個Agents環(huán)境運行的準確性。根據(jù)類型通?？梢苑譃槎唐谟洃浐烷L期記憶。其中短期記憶可以通過prompt注入或調(diào)用臨時歷史信息實現(xiàn)。而長期記憶則通常需要使用外部向量數(shù)據(jù)庫進行存儲和快速檢索。因此，可以通過記憶讀取及存儲的工程化實現(xiàn)，達到利用短期或長期記憶來改進LLMs和AI Agents的相關(guān)能力。

通常來說，長期記憶保存著Agent對整個環(huán)境的認知與總結(jié)，而短期記憶則是有關(guān)于某個事件的感知與體會。比如，Generative Agents[54]采用雙層的內(nèi)存結(jié)構(gòu)來分別存儲Agent的短期記憶與長期記憶。而AgentSims[55]則是把Agent的短期記憶存儲到LLMs的歷史對話中。當(dāng)然，有些工作不會對短期記憶和長期記憶加以區(qū)分，而是使用統(tǒng)一的方式進行管理。比如Atlas 基于雙向編碼器模型來檢索相關(guān)的文檔記憶[56]。增強型LLM 則使用統(tǒng)一的外部媒介來存儲其記憶，并使用prompt的方式進行訪問[57]。通過記憶的存儲、讀取可以實現(xiàn)Agent的自我反思。

而記憶的存儲方式也多種多樣。自然語言的形式可以實現(xiàn)方便快捷的存儲，同時保證記憶的語義豐富性[52]。Embedding的使用則可以大幅度提高記憶的檢索和匹配效率，雖然進行存儲的時候會花費額外的編碼時間[58]。常見的向量數(shù)據(jù)庫有weaviate[59]和milvus[60]。此外結(jié)構(gòu)化列表[61]和傳統(tǒng)數(shù)據(jù)庫[62]也可作為記憶存儲的載體。

Tools Calling

外部工具調(diào)用模塊則是通過使用外部工具完成規(guī)劃中的任務(wù)。作為AI Agents的手和腳，其 直接與真實世界發(fā)生交互，并為LLMs提供重要的執(zhí)行反饋信息。通過將可用工具封裝為API調(diào)用，Agent可以具備訪問和使用各種模型、數(shù)據(jù)庫、Web應(yīng)用程序和其他外部工具的能力。

（1）External Tools

WebGPT[63]可以在使用ChatGPT時將從網(wǎng)站檢索到的相關(guān)結(jié)果合并到提示中，從而實現(xiàn)更準確和及時的響應(yīng)。MRKL[64]則是包含了一組“專家”模塊，通過LLM充當(dāng)路由器，將查詢路由到最適合的專家模塊（這些模塊可以是例如深度學(xué)習(xí)模型、數(shù)學(xué)計算器、貨幣轉(zhuǎn)換器或天氣查詢API），以增強LLMs在若干特定任務(wù)上的性能。ChemCrow[65]則是一個化學(xué)領(lǐng)域的特定Agent，旨在借助十七種專家設(shè)計的工具完成有機合成、藥物發(fā)現(xiàn)和材料設(shè)計等領(lǐng)域的任務(wù)。此外，Toolformer[66]以自監(jiān)督的方式微調(diào)語言模型，在不失模型的通用性下，讓模型學(xué)會自動調(diào)用一系列API，包括計算器、問答系統(tǒng)、搜索引擎、翻譯系統(tǒng)和日歷等，實質(zhì)性改進了模型在下游任務(wù)上的零樣本性能。

此外，針對大量的模型API，HuggingGPT[67]則是利用LLM將Hugging Face社區(qū)中的多樣化AI模型連接起來，以解決復(fù)雜的AI任務(wù)。HuggingGPT通過訓(xùn)練LLM進行任務(wù)分解，從而生成一系列的代碼片段，然后使用這些片段從外部社區(qū)中調(diào)用所需的模型來完成任務(wù)。Gorilla[68]則是收集了三個主要的神經(jīng)網(wǎng)絡(luò)模型網(wǎng)站：Torch Hub、TensorFlow Hub 和 HuggingFace的API調(diào)用文檔，并進行了數(shù)據(jù)清洗及增強，在7B規(guī)模的模型微調(diào)后能夠有效地實現(xiàn)適當(dāng)?shù)腁PI調(diào)用。OpenAI在ChatGPT中同樣支持了插件的使用，這些插件可以為LLMs提供超越語言建模的更廣泛能力。

（2）Evaluation

API-Bank[69]是一個用于評估工具增強型LLM性能的測試集。它包含53個常用的API工具、完整的工具增強型LLM工作流程以及264個涉及568個API調(diào)用的帶注釋的對話。API的選擇非常多樣化，包括搜索引擎、計算器、日歷查詢、智能家居控制、日程管理、健康數(shù)據(jù)管理、帳戶驗證工作流程等。由于API數(shù)量眾多，LLM首先可以訪問API搜索引擎來查找要調(diào)用的正確API，然后使用相應(yīng)的文檔來進行調(diào)用。ToolBench[70]收集了一個包含上萬種API調(diào)用的數(shù)據(jù)集，可用于LLMs的微調(diào)工作。同時，其提出了一個通用框架ToolLLM用于數(shù)據(jù)構(gòu)建、模型訓(xùn)練以及一個自動評估器ToolEval用于評估模型的API調(diào)用能力。

開源框架

隨著人們對AI Agents的逐漸重視，部分項目致力于創(chuàng)建自主通用AI代理框架，以期開發(fā)人員能夠快速且可靠地構(gòu)建、管理和運行AI Agents。LangChain [71]是一個開源框架，旨在能夠自動化完成編碼、測試、調(diào)試和文檔生成任務(wù)。其通過prompt保證多個Agent之間的協(xié)作工作，實現(xiàn)了高效的軟件開發(fā)。AutoGPT[72]則是一個完全自動化的Agent框架，可以對目標任務(wù)實現(xiàn)自動分解及動作執(zhí)行，返回最終結(jié)果，但是可能會由于任務(wù)規(guī)劃錯誤導(dǎo)致陷入死機狀態(tài)。BMTools[73]則是一個基于語言模型的開源可擴展工具學(xué)習(xí)平臺。研究團隊將各種各樣的工具（例如文生圖模型、搜索引擎、股票查詢等）的調(diào)用流程都統(tǒng)一到一個框架上，使整個工具調(diào)用流程標準化、自動化。使得開發(fā)者可以通過 BMTools給所用的模型（如ChatGPT、GPT4）調(diào)用多種多樣的工具接口，實現(xiàn)特定的功能。

問題與挑戰(zhàn)：

(1)LLM的魯棒性

LLM的魯棒性對于確保AI代理的整體穩(wěn)定性至關(guān)重要。作為AI代理的大腦，LLM以自然語言為接口，并通過prompt保證內(nèi)部模塊通信并與外部世界進行交互，以確保整個系統(tǒng)的正確運行。然而，LLM對提示非常敏感，一些研究表明，即使對prompt進行微小的更改，便可能產(chǎn)生完全不同的結(jié)果。特別是在AI agent的框架下，這種敏感性尤為顯著，因為一個模塊的提示變化可以直接影響其他模塊的性能表現(xiàn)，甚至導(dǎo)致整個代理的崩潰。此外，不同LLMs的有效提示是不同的，這使得AI代理和LLM之間具有高度的耦合性。更換LLM時，便需要手動重新編寫大量prompt。因此，高效生成各種LLM的穩(wěn)定提示框架是這個領(lǐng)域的重要挑戰(zhàn)。此外，現(xiàn)有的LLM經(jīng)常存在幻覺問題，會引起性能下降甚至系統(tǒng)的崩潰，對實際部署造成潛在風(fēng)險[74]。識別幻覺并在LLM的使用中避免它們也至關(guān)重要。

(2)垂直領(lǐng)域表現(xiàn)不佳

盡管LLM已經(jīng)學(xué)會生成連貫的文本，并在一般領(lǐng)域取得了令人稱贊的結(jié)果，但在處理專業(yè)領(lǐng)域或任務(wù)時，它們的生成能力可能會受到限制。領(lǐng)域知識對于模型的專業(yè)化非常重要，然而將這種專業(yè)知識注入LLM并不容易。由于神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的災(zāi)難性遺忘問題，當(dāng)LLM被用于特定領(lǐng)域時，可能會損害其在別的領(lǐng)域上的性能。比如OpenAI指出，在使LLM與人類的價值觀保持一致的過程中可能需要支付“對齊稅”（即上下文學(xué)習(xí)能力的損失）。因此，構(gòu)建特定領(lǐng)域的AI代理的一個關(guān)鍵挑戰(zhàn)是如何增強LLM的專業(yè)化能力。

（3）安全性

盡管LLM具有出色的能力，但它們也面臨著更大的安全挑戰(zhàn)。LLM可能生成有害、偏見或有毒的文本，可能會被惡意系統(tǒng)濫用[75]。雖然基于人類反饋的強化學(xué)習(xí)方法（RLHF）已經(jīng)可以將LLM與人類需求進行一定程度的對齊，但仍然可以通過一些提示注入規(guī)避現(xiàn)有的安全措施?？傊捎贏I代理具有與外部環(huán)境互動的能力，可以自主制定規(guī)劃并調(diào)用外部工具，因此安全性應(yīng)始終是其開發(fā)的主要關(guān)注點。

總結(jié)

本文針對基于LLMs的AI Agents的構(gòu)建進行了簡要的綜述。首先描述了AI Agents的基本框架構(gòu)成以及LLMs的基礎(chǔ)知識。同時對于AI Agents的關(guān)鍵模塊：Task Planning、Memory Utilization、Tools Calling的部分相關(guān)工作分別進行了介紹，希望能為對該領(lǐng)域感興趣的讀者帶來一些幫助。

審核編輯：湯梓紅