摘自Deep（Learning）Focus

作者：CameronR.Wolfe

機(jī)器之心編譯

在今年的世界人工智能大會(huì)（WAIC）上，智能體是絕對(duì)的主角，從C端產(chǎn)品到企業(yè)級(jí)應(yīng)用，每家參展的AI廠商似乎都要提一下在智能體方向的布局。

這其實(shí)揭示了一個(gè)重要轉(zhuǎn)變：人們不再把AI大模型當(dāng)成一個(gè)單純的聊天機(jī)器人，而是希望它能像人一樣主動(dòng)思考、制定計(jì)劃、使用各種工具來(lái)完成任務(wù)，這是接下來(lái)大模型走向應(yīng)用的重要方向。

看來(lái)，對(duì)于AI從業(yè)者來(lái)說(shuō)，是時(shí)候系統(tǒng)了解一下「智能體」了。

剛好，我們找到了一篇寫得非常全面的博客。博客作者是Netflix高級(jí)研究科學(xué)家、萊斯大學(xué)博士CameronR.Wolfe。他從最基礎(chǔ)的LLM說(shuō)起，逐步引入工具、推理、自主規(guī)劃的能力，深度分析了AI智能體的底層邏輯。

博客地址：https://cameronrwolfe.substack.com/p/ai-agents

以下是博客的詳細(xì)內(nèi)容。

LLM及其能力

標(biāo)準(zhǔn)LLM的輸入輸出特征

標(biāo)準(zhǔn)LLM的功能如上所示。給定一個(gè)文本提示，LLM生成一個(gè)文本響應(yīng)。從許多方面來(lái)看，LLM的通用性是其最大的優(yōu)勢(shì)之一

這一部分將概述如何通過(guò)利用這種文本到文本的結(jié)構(gòu)，將推理或與外部API交互等新能力集成到LLM中?，F(xiàn)代AI智能體的高級(jí)能力在很大程度上是建立在這一基礎(chǔ)功能之上的。

工具使用

隨著LLM逐漸變得更強(qiáng)大，如何快速教會(huì)它們集成并使用外部工具已成為AI研究中的熱門話題。舉些例子，計(jì)算器、日歷、搜索引擎、代碼解釋器等有用工具均可以與LLM集成。

簡(jiǎn)單來(lái)說(shuō)，LLM顯然并不是解決所有任務(wù)的最佳工具。在很多情況下，執(zhí)行任務(wù)都存在更簡(jiǎn)單、更可靠的工具。但考慮到LLM在規(guī)劃和協(xié)調(diào)方面的優(yōu)勢(shì)，可以輕松地教會(huì)它們使用這些基本工具，并運(yùn)用工具作為解決問(wèn)題過(guò)程的一環(huán)。

LLM使用工具解決問(wèn)題的基本思想，是賦予LLM將子任務(wù)提交給更專業(yè)或更強(qiáng)大的工具的能力。LLM充當(dāng)「大腦/指揮官」，協(xié)調(diào)不同的專業(yè)工具協(xié)同工作。

1、針對(duì)工具使用的微調(diào)

早期的研究采用了針對(duì)性的微調(diào)，教會(huì)LLM如何利用一系列固定的工具，只需精心調(diào)整訓(xùn)練示例，將對(duì)某個(gè)工具的函數(shù)調(diào)用直接插入到LLM的token流中，如下圖所示。

大語(yǔ)言模型工具調(diào)用的結(jié)構(gòu)

在訓(xùn)練過(guò)程中，這些工具調(diào)用與其他任何token類似——它們都只是文本序列的一部分。LLM在推理時(shí)（inferencetime）生成工具調(diào)用時(shí)，將按照以下步驟處理它：

1.停止生成token。

2.解析工具調(diào)用（即確定正在使用的工具及其參數(shù)）。

3.使用這些參數(shù)調(diào)用該工具。

4.將工具返回的響應(yīng)添加到LLM的token流中。

5.繼續(xù)生成token。

調(diào)用的工具可以在LLM生成輸出時(shí)實(shí)時(shí)處理，工具返回的信息將直接添加到模型的上下文中

2、基于提示的工具使用

教會(huì)LLM通過(guò)微調(diào)來(lái)調(diào)用工具通常需要一個(gè)大規(guī)模的訓(xùn)練數(shù)據(jù)集，通常還需要人工注釋。隨著LLM能力的提升，后續(xù)的研究強(qiáng)調(diào)了基于上下文學(xué)習(xí)的方法來(lái)實(shí)現(xiàn)工具使用。

為什么我們要選擇對(duì)一個(gè)語(yǔ)言模型進(jìn)行微調(diào)，而不是簡(jiǎn)單地在模型的提示詞中解釋可供使用的工具呢？

Hugginggpt與Gorilla工作將LLM與工具集成。

基于提示詞的工具使用減少了人工干預(yù)，使得我們能夠大幅增加LLM可訪問(wèn)的工具數(shù)量。

例如，該領(lǐng)域的后續(xù)研究將LLM與數(shù)百個(gè)甚至數(shù)千個(gè)工具進(jìn)行了集成，如上圖所示。為了實(shí)現(xiàn)這一點(diǎn)，可以將每個(gè)工具視為一個(gè)通用API，并在模型的提示中提供相關(guān)API的架構(gòu)作為上下文。這種方法使得LLM能夠通過(guò)標(biāo)準(zhǔn)化結(jié)構(gòu)與互聯(lián)網(wǎng)上的任意API進(jìn)行集成，從而使得無(wú)數(shù)的應(yīng)用成為可能。例如，查找信息、調(diào)用其他ML模型、預(yù)訂假期、管理日歷等。

3、模型上下文協(xié)議（Modelcontextprotocol，MCP）

MCP由Anthropic提出，是一個(gè)受歡迎的框架，擴(kuò)展了讓LLM與任意工具互動(dòng)的理念。

簡(jiǎn)單來(lái)說(shuō)，MCP將外部系統(tǒng)將上下文提供給LLM提示的格式進(jìn)行了標(biāo)準(zhǔn)化。為了應(yīng)對(duì)復(fù)雜問(wèn)題，LLM需要隨著時(shí)間的推移集成更多的外部工具。為了簡(jiǎn)化這個(gè)過(guò)程，MCP提出了一種標(biāo)準(zhǔn)格式，并允許開發(fā)者創(chuàng)建預(yù)先建立的集成（稱為MCP服務(wù)器），可以被任何LLM調(diào)用，以連接各種自定義數(shù)據(jù)源，如下圖所示。

MCP的整體架構(gòu)示意圖

4、工具使用的局限性

盡管工具使用具有強(qiáng)大的能力，但仍受到LLM推理能力的限制。為了有效地利用工具，LLM必須具備以下能力：

1.將復(fù)雜問(wèn)題分解為較小的子任務(wù)。

2.確定應(yīng)使用哪些工具來(lái)解決問(wèn)題。

3.可靠地構(gòu)建對(duì)相關(guān)工具的調(diào)用，并確保格式正確。

復(fù)雜的工具使用要求LLM成為一個(gè)高效的指揮官，在很大程度上依賴于模型的推理能力和整體可靠性

推理模型

鑒于智能體特征與推理之間的關(guān)系，推理能力多年來(lái)一直是LLM研究的核心焦點(diǎn)。

有關(guān)當(dāng)前推理研究的更深入概述，請(qǐng)參閱以下博客：

博客鏈接：https://cameronrwolfe.substack.com/p/demystifying-reasoning-models

為了本文完整性，我們將在這里簡(jiǎn)要介紹推理模型背后的關(guān)鍵思想。

1、思維鏈（ChainofThought,CoT）

當(dāng)LLM出現(xiàn)時(shí)，最常見的批評(píng)之一是這些模型無(wú)法執(zhí)行復(fù)雜的推理。然而，關(guān)于思維鏈（ChainofThought，CoT）的研究揭示了，普通的LLM實(shí)際上比我們最初意識(shí)到的更擅長(zhǎng)推理。

CoT提示詞背后的思想很簡(jiǎn)單。我們并不是直接請(qǐng)求LLM給出最終的輸出，而是要求它在給出最終輸出之前，先生成一個(gè)推理過(guò)程或解釋，如下圖所示。

這種方法通過(guò)引導(dǎo)LLM進(jìn)行逐步推理，幫助其在解決問(wèn)題時(shí)更加系統(tǒng)地展示思維過(guò)程，從而提升其推理能力。通過(guò)展示思維鏈，模型能夠更好地理解問(wèn)題的各個(gè)方面，從而得出更為準(zhǔn)確和合理的結(jié)論。

CoT提示詞使LLM輸出推理過(guò)程

有趣的是，這種方法顯著提高了普通LLM在推理任務(wù)中的表現(xiàn)。如果我們能找到正確的方法來(lái)引導(dǎo)這些能力，LLM實(shí)際上是能夠在一定程度上進(jìn)行復(fù)雜推理的。

2、推理模型

CoT提示詞非常有效，是所有現(xiàn)代LLM的核心部分；例如，ChatGPT通常默認(rèn)會(huì)在其回答中輸出CoT。

然而，這種推理方法也有些過(guò)于簡(jiǎn)單。整個(gè)推理過(guò)程圍繞LLM生成的CoT展開，并且沒有根據(jù)待解決問(wèn)題的復(fù)雜性進(jìn)行動(dòng)態(tài)調(diào)整。

最近的研究引入了新的訓(xùn)練策略，創(chuàng)造了專門用于推理的LLM（即推理模型），例如DeepSeek。與標(biāo)準(zhǔn)LLM相比，這些模型在解決問(wèn)題時(shí)采取不同的方式——它們?cè)诮o出問(wèn)題答案之前，會(huì)花費(fèi)不定量的時(shí)間進(jìn)行「思考」

DeepSeek引入新的思考方式

推理模型的思考過(guò)程與標(biāo)準(zhǔn)的思維鏈條類似，但推理模型的CoT通常比標(biāo)準(zhǔn)LLM的長(zhǎng)得多（可以有數(shù)千個(gè)token），并且傾向于表現(xiàn)出復(fù)雜的推理行為（例如回溯和自我修正），還可以根據(jù)問(wèn)題的難度動(dòng)態(tài)調(diào)整——更難的問(wèn)題需要更長(zhǎng)的CoT。

使推理模型成為可能的關(guān)鍵進(jìn)展是通過(guò)可驗(yàn)證獎(jiǎng)勵(lì)強(qiáng)化學(xué)習(xí)（ReinforcementLearningfromVerifiableRewards，RLVR）進(jìn)行的大規(guī)模后訓(xùn)練，如下圖所示。

如果我們擁有一個(gè)包含可驗(yàn)證問(wèn)題（例如數(shù)學(xué)或編程）標(biāo)準(zhǔn)答案的數(shù)據(jù)集，就可以簡(jiǎn)單地檢查L(zhǎng)LM生成的答案是否正確，并利用這一信號(hào)來(lái)通過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練模型。推理模型自然就會(huì)通過(guò)強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的自我進(jìn)化來(lái)生成長(zhǎng)思維鏈，以解決可驗(yàn)證的推理問(wèn)題。

RLVR工作原理概述

我們探索了LLM在沒有任何監(jiān)督數(shù)據(jù)的情況下發(fā)展推理能力的潛力，重點(diǎn)關(guān)注它們通過(guò)純強(qiáng)化學(xué)習(xí)過(guò)程實(shí)現(xiàn)自我進(jìn)化。

3、推理軌跡

總之，通過(guò)使用RLVR進(jìn)行大規(guī)模后訓(xùn)練的推理模型，會(huì)改變標(biāo)準(zhǔn)LLM的行為，如下圖所示。

推理模型不是直接生成輸出，而是首先生成一個(gè)任意長(zhǎng)度的思維鏈，該鏈分解并解決推理任務(wù)——這就是「思考」過(guò)程。我們可以通過(guò)控制推理軌跡的長(zhǎng)度來(lái)改變模型思考的深度

例如，OpenAI的推理模型o系列提供了低、中、高三個(gè)不同級(jí)別的推理深度。

推理模型的輸入輸出特征

盡管模型在給定提示詞后仍然生成一個(gè)單一的輸出，但推理軌跡隱式地展示了多種高級(jí)行為；例如，規(guī)劃、回溯、監(jiān)控、評(píng)估等。

4、推理+智能體

一個(gè)足夠強(qiáng)大的LLM，能夠根據(jù)指令做出規(guī)劃并有效地對(duì)其指令進(jìn)行推理，應(yīng)該具備分解問(wèn)題、解決子任務(wù)，并最終自行得出解決方案的完整能力。為L(zhǎng)LM提供更多的自主性，并依賴它們的能力——而不是人工干預(yù)——來(lái)解決復(fù)雜問(wèn)題，是智能體系統(tǒng)的核心思想

為了更清楚地說(shuō)明智能體的概念，接下來(lái)將討論一個(gè)可以用來(lái)設(shè)計(jì)這類系統(tǒng)的框架。

ReAct框架

ReAct（REasoningandACTion）是第一個(gè)被提出的通用框架之一，旨在通過(guò)LLM智能體自主地分解并解決復(fù)雜問(wèn)題

我們可以將ReAct視為一個(gè)由LLM驅(qū)動(dòng)的順序的、多步的問(wèn)題解決過(guò)程。在每一個(gè)時(shí)間步驟t，LLM整合任何可用的反饋，并考慮問(wèn)題的當(dāng)前狀態(tài)，從而使其能夠有效地推理并選擇未來(lái)的最佳行動(dòng)方案。

為智能體創(chuàng)建框架

在某個(gè)特定的時(shí)間步t，我們的智能體從環(huán)境中接收一個(gè)觀察值o_t。基于這個(gè)觀察，智能體將決定采取某個(gè)行動(dòng)a_t，這個(gè)行動(dòng)可以是中間步驟——例如，通過(guò)搜索網(wǎng)絡(luò)來(lái)找到所需的數(shù)據(jù)——或者是解決當(dāng)前問(wèn)題的最終行動(dòng)。

我們定義智能體用于生成這一行動(dòng)的函數(shù)為策略π。該策略將上下文（智能體之前的行動(dòng)和觀察的串聯(lián)列表）作為輸入，預(yù)測(cè)下一個(gè)行動(dòng)a_t作為輸出，可以是確定性或者隨機(jī)性的。

如下圖所示，這個(gè)觀察與行動(dòng)的循環(huán)將持續(xù)進(jìn)行，直到智能體輸出最終行動(dòng)。

智能體的觀察-行動(dòng)循環(huán)

ReAct框架對(duì)上述觀察-行動(dòng)循環(huán)進(jìn)行了一個(gè)關(guān)鍵修改。其擴(kuò)展了行動(dòng)空間，允許語(yǔ)言作為行動(dòng)的一種形式，這樣智能體就可以選擇生成文本輸出作為行動(dòng)，而不是采取傳統(tǒng)的行動(dòng)。

換句話說(shuō)，智能體在輸出行動(dòng)之外可以選擇「思考」

ReAct框架

顧名思義，ReAct的主要?jiǎng)訖C(jī)是找到推理與行動(dòng)之間的平衡。類似于人類，智能體應(yīng)該能夠思考并規(guī)劃它在環(huán)境中采取的行動(dòng)，即推理與行動(dòng)之間具有共生關(guān)系

智能體是如何思考的？

傳統(tǒng)的智能體行動(dòng)空間是離散的，并且大多數(shù)情況下相對(duì)較小。例如，一個(gè)專門用于問(wèn)答的智能體可能只有幾種行動(dòng)選項(xiàng)：

*執(zhí)行Google搜索以檢索相關(guān)網(wǎng)頁(yè)。

*從特定網(wǎng)頁(yè)中抓取相關(guān)信息。

*返回最終答案。

智能體的行動(dòng)空間示例

相比之下，語(yǔ)言的空間幾乎是無(wú)限的

因此，ReAct框架要求使用強(qiáng)大的語(yǔ)言模型作為基礎(chǔ)。為了生成對(duì)性能有益的有用思考，智能體系統(tǒng)的LLM后臺(tái)必須具備先進(jìn)的推理和規(guī)劃能力。

1、思維模式

智能體可以生成的常見實(shí)用思維模式包括：分解任務(wù)、創(chuàng)建行動(dòng)計(jì)劃、跟蹤進(jìn)展，或僅僅輸出來(lái)自LLM隱式知識(shí)庫(kù)的（與解決問(wèn)題相關(guān)的）信息。

智能體利用其思考能力明確描述問(wèn)題解決方案，然后執(zhí)行計(jì)劃并同時(shí)監(jiān)控執(zhí)行情況。

在上述兩個(gè)例子中，智能體明確寫出了解決問(wèn)題時(shí)需要執(zhí)行的下一步操作；例如，「接下來(lái)，我需要……」或「我需要搜索……」。

給ReAct智能體的少樣本示例

在大多數(shù)情況下，智能體產(chǎn)生的思考模仿了人類解決問(wèn)題的過(guò)程

事實(shí)上，ReAct實(shí)驗(yàn)通過(guò)提供任務(wù)解決軌跡的上下文示例（即，行動(dòng)、思考和觀察）來(lái)指導(dǎo)智能體解決問(wèn)題。這些上下文是人類用來(lái)解決類似問(wèn)題的過(guò)程。以這種類型提示詞訓(xùn)練的智能體更有可能采用與人類相似的推理過(guò)程。

我們讓語(yǔ)言模型自行決定思維和行動(dòng)不同出現(xiàn)時(shí)機(jī)。

2、智能體在什么時(shí)候應(yīng)當(dāng)思考？

根據(jù)我們所解決的問(wèn)題，ReAct框架可以進(jìn)行不同的設(shè)置。

對(duì)于推理密集型任務(wù)，思考通常與行動(dòng)交替進(jìn)行——我們可以將智能體硬編碼，使其在每個(gè)行動(dòng)之前生成一個(gè)單獨(dú)的思考。然而，智能體也可以被賦予自我判斷是否需要思考的能力。對(duì)于需要大量行動(dòng)的任務(wù)（決策任務(wù)），智能體可能會(huì)選擇在其問(wèn)題解決軌跡中較少地進(jìn)行思考。

具體應(yīng)用案例

在ReAct論文中，考慮了ReAct框架的兩個(gè)應(yīng)用案例：

1.知識(shí)密集型推理：使用ReAct進(jìn)行問(wèn)答和事實(shí)驗(yàn)證任務(wù)（例如，HotpotQA和FEVER）。

2.決策制定：將ReAct應(yīng)用于交互式（基于語(yǔ)言的）決策任務(wù)；例如，ALFWorld用于模擬導(dǎo)航，WebShop用于完成自主購(gòu)物任務(wù)。

1、知識(shí)密集型推理

在這個(gè)領(lǐng)域，LLM智能體只接收一個(gè)問(wèn)題或命題作為輸入。為了回答問(wèn)題或評(píng)估命題的正確性，LLM必須依賴于其內(nèi)部知識(shí)庫(kù)或從外部環(huán)境中檢索必要的信息。

具體來(lái)說(shuō)，智能體的行動(dòng)空間如下圖所示。

ReAct在知識(shí)密集型推理中的行動(dòng)空間

在這里，我們看到作者通過(guò)智能體的行動(dòng)空間暴露了基本的信息檢索功能——這反映了人類如何在Wikipedia上查找信息。

與傳統(tǒng)的LLM不同，ReAct智能體不會(huì)每次提示時(shí)只生成一個(gè)輸出。相反，智能體按以下順序生成輸出：

1.選擇一個(gè)要執(zhí)行的行動(dòng)（可以是具體行動(dòng)或思考）。

2.根據(jù)這個(gè)行動(dòng)從環(huán)境中獲得反饋（例如，從搜索查詢中檢索到的信息）。

3.基于這個(gè)新的上下文繼續(xù)執(zhí)行下一個(gè)行動(dòng)。

最終，智能體會(huì)執(zhí)行最終行動(dòng)，以結(jié)束解決問(wèn)題的過(guò)程。

如下圖所示，這個(gè)有狀態(tài)、有順序的問(wèn)題解決方法是智能體的特征，顯著區(qū)分于標(biāo)準(zhǔn)LLM。

使用ReAct按順序解決問(wèn)題

2、決策制定

在決策制定任務(wù)中，ReAct的設(shè)置與知識(shí)密集型推理任務(wù)非常相似。對(duì)于這兩種任務(wù)，人工手動(dòng)注釋了多個(gè)推理軌跡，這些軌跡作為上下文示例提供給ReAct智能體。

然而，與知識(shí)密集型推理任務(wù)不同，ReAct在決策制定任務(wù)中使用的思維模式是稀疏的——模型在何時(shí)以及如何進(jìn)行思考時(shí)要自主判斷。

此外，對(duì)于WebShop數(shù)據(jù)集，ReAct智能體提供了更多種類的工具和行動(dòng)選項(xiàng)；例如，搜索、篩選、選擇產(chǎn)品、選擇產(chǎn)品屬性、購(gòu)買產(chǎn)品等。這個(gè)應(yīng)用為ReAct與更復(fù)雜環(huán)境的交互提供了一個(gè)很好的測(cè)試場(chǎng)景。

3、ReAct表現(xiàn)如何？

上面描述的ReAct智能體與幾個(gè)基準(zhǔn)模型進(jìn)行了比較：

Prompting：少量示例提示，去除思維、行動(dòng)和觀察，只留下問(wèn)題和答案。CoTPrompting：與上述相同，但模型被提示在輸出最終解決方案之前生成一條思維鏈。Act（僅行動(dòng)）：從ReAct軌跡中去除思維，僅保留觀察和行動(dòng)。Imitation（模仿）：通過(guò)模仿和/或強(qiáng)化學(xué)習(xí)訓(xùn)練的智能體，模擬人類的推理軌跡。

如下圖所示，ReAct框架始終優(yōu)于Act，揭示了智能體在行動(dòng)時(shí)進(jìn)行思考的能力是極其重要的。進(jìn)一步來(lái)看，我們發(fā)現(xiàn)CoT提示是一個(gè)強(qiáng)大的基準(zhǔn)，在某些情況下超過(guò)了ReAct的表現(xiàn)，但在LLM容易發(fā)生幻覺的場(chǎng)景中表現(xiàn)不佳，而ReAct能夠利用外部信息源避免這些幻覺的產(chǎn)生。

最后，我們看到ReAct智能體的性能仍有很大提升空間。事實(shí)上，ReAct探討的智能體系統(tǒng)相當(dāng)脆弱；例如，作者指出，僅僅檢索到了無(wú)信息量的信息就可能導(dǎo)致失敗。

ReAct框架的表現(xiàn)

4、ReAct+CoT

ReAct在解決問(wèn)題的過(guò)程中是客觀實(shí)際的。CoT提示在制定解決復(fù)雜推理任務(wù)的結(jié)構(gòu)方面表現(xiàn)出色。ReAct將嚴(yán)格的觀察、思維和行動(dòng)結(jié)構(gòu)強(qiáng)加于智能體的推理軌跡上，而CoT則在制定推理過(guò)程時(shí)具有更多的靈活性。

為了同時(shí)獲得兩種方法的優(yōu)點(diǎn)，我們可以在它們之間進(jìn)行切換。

例如，如果ReAct在N步后未能返回答案，可以默認(rèn)切換到CoT提示（即ReAct→CoT）；或者，如果多個(gè)CoT樣本之間存在分歧，則使用ReAct（即CoT→ReAct）。

無(wú)論是向ReAct還是向CoT切換，都能提升智能體的解決問(wèn)題能力

先前對(duì)智能體的嘗試

盡管ReAct可以說(shuō)是第一個(gè)長(zhǎng)期存在的AI智能體框架，但在智能體領(lǐng)域之前已有許多有影響力的論文和想法。這里將簡(jiǎn)要概述一些關(guān)鍵的方法以及它們的性能。

1、Innermonologue，IM

這是與ReAct最為相似的工作之一，并應(yīng)用于機(jī)器人領(lǐng)域，展示了將LLM作為一個(gè)通用問(wèn)題解決工具在自然語(yǔ)言以外的領(lǐng)域中的可行性。

如圖所示，IM將LLM與多個(gè)領(lǐng)域特定的反饋機(jī)制，如場(chǎng)景描述符或成功檢測(cè)器，進(jìn)行集成。與ReAct相似，LLM用于生成計(jì)劃并通過(guò)反復(fù)執(zhí)行、思考以及從外部環(huán)境獲取反饋來(lái)監(jiān)控任務(wù)的解決，例如拾取物體等。

IM工作示意圖

然而，相較于ReAct，LLM在IM中的「思考」能力是有限的，模型只能觀察來(lái)自環(huán)境的反饋并決定接下來(lái)需要做什么。ReAct通過(guò)賦予智能體輸出大量自由形式的思維，解決了這個(gè)問(wèn)題。

2、用于互動(dòng)決策的LLM(LID)

它使用語(yǔ)言作為規(guī)劃和行動(dòng)的通用媒介，通過(guò)提出一個(gè)基于語(yǔ)言的框架來(lái)解決有序的問(wèn)題。

我們可以將各種任務(wù)的上下文和行動(dòng)空間表述為一系列tokens，從而將任意任務(wù)轉(zhuǎn)換為與LLM兼容的標(biāo)準(zhǔn)化格式。然后，這些數(shù)據(jù)可以被LLM吸收，允許強(qiáng)大的基礎(chǔ)模型整合來(lái)自環(huán)境的反饋并做出決策，如圖所示。作者通過(guò)模仿學(xué)習(xí)對(duì)LID進(jìn)行微調(diào)，以正確預(yù)測(cè)跨多個(gè)領(lǐng)域的行動(dòng)。

LID工作示意圖

3、WebGPT

它探索了將LLM（GPT-3）與基于文本的網(wǎng)頁(yè)瀏覽器集成，以更有效地回答問(wèn)題。這項(xiàng)工作是工具使用的早期開創(chuàng)者，教會(huì)LLM如何進(jìn)行開放式搜索和瀏覽網(wǎng)頁(yè)。

然而，WebGPT通過(guò)大量來(lái)自人類的任務(wù)解決方案數(shù)據(jù)集進(jìn)行微調(diào)（即行為克隆或模仿學(xué)習(xí)）。因此，盡管這個(gè)系統(tǒng)表現(xiàn)出色（在超過(guò)50%的情況下產(chǎn)生的答案優(yōu)于人類），但需要大量的人工干預(yù)。

盡管如此，使用人類反饋微調(diào)LLM智能體仍然是今天的熱門研究話題，而WebGPT是這一領(lǐng)域的基礎(chǔ)性工作。

WebGPT工作示意圖

4、Gato

它受到LLM廣泛能力的啟發(fā)，是一個(gè)單一的「通用」智能體，能夠在多個(gè)模態(tài)、任務(wù)和領(lǐng)域中執(zhí)行操作。

例如，Gato可以用于玩Atari游戲、圖像描述、操控機(jī)器人手臂等。如報(bào)告中所述，Gato能夠「根據(jù)上下文決定是輸出文本、關(guān)節(jié)扭矩、按鈕按壓，還是其他標(biāo)記」。該模型確實(shí)朝著創(chuàng)建一個(gè)能夠解決幾乎任何問(wèn)題的自主系統(tǒng)的目標(biāo)邁進(jìn)。

然而，類似于WebGPT，Gato是通過(guò)模仿學(xué)習(xí)方法進(jìn)行訓(xùn)練的，收集了一個(gè)龐大的數(shù)據(jù)集，包含了多個(gè)問(wèn)題場(chǎng)景中的上下文和行動(dòng)——所有這些都表示為token序列。

Gato工作示意圖

5、通過(guò)規(guī)劃進(jìn)行推理（RAP）

這種方法旨在賦予LLM更好的世界模型以提高LLM規(guī)劃復(fù)雜、多步驟問(wèn)題解決方案的能力。

特別地，LLM用于構(gòu)建一個(gè)推理樹，可以通過(guò)蒙特卡洛樹搜索（MCTS）來(lái)探索，以找到能夠獲得高獎(jiǎng)勵(lì)的解決方案。在這里，LLM本身也被用來(lái)評(píng)估解決方案。在RAP中，LLM既充當(dāng)智能體，又充當(dāng)世界模型。

RAP工作示意圖

更全面地了解LLM推理與智能體系統(tǒng)交叉的研究，請(qǐng)參閱這篇綜述。

論文鏈接：https://arxiv.org/abs/2504.09037

什么是「智能體」？

基于語(yǔ)言模型的智能體的起點(diǎn)，最簡(jiǎn)單的理解，就是使用工具的語(yǔ)言模型。從這里開始，智能體的復(fù)雜性逐漸增加?！狽athanLambert

盡管智能體在行業(yè)中非常流行，但它們并沒有明確的定義。智能體定義不清晰的原因在于，我們?cè)诮裉斓氖澜缰杏龅礁鞣N不同類型的智能體，這些智能體在復(fù)雜性上有很大的差異

從高層次來(lái)看，智能體的功能在某些情況下可能與LLM類似，但智能體通常具有更廣泛的策略和工具可用于解決問(wèn)題。

基于我們到目前為止所學(xué)的信息，接下來(lái)將創(chuàng)建一個(gè)框架，用于理解AI智能體可能擁有的能力范圍，以及這些能力與標(biāo)準(zhǔn)LLM的區(qū)別。

從大語(yǔ)言模型到智能體

前文介紹了多種概念，包括：

i)標(biāo)準(zhǔn)LLMii)工具使用iii)推理模型，以及iv)自主解決問(wèn)題的系統(tǒng)。

從LLM的標(biāo)準(zhǔn)定義開始，我們將解釋這些概念如何在標(biāo)準(zhǔn)LLM的能力之上，創(chuàng)造出具有更多智能體性質(zhì)的系統(tǒng)。

1、[Level0]標(biāo)準(zhǔn)LLM

作為起點(diǎn)，我們可以考慮標(biāo)準(zhǔn)的LLM設(shè)置（如上圖所示），該設(shè)置接收文本提示作為輸入，并生成文本響應(yīng)作為輸出。為了解決問(wèn)題，該系統(tǒng)完全依賴于LLM的內(nèi)部知識(shí)庫(kù)，而不引入外部系統(tǒng)或?qū)?wèn)題解決過(guò)程施加任何結(jié)構(gòu)。

為了更好地解決復(fù)雜的推理問(wèn)題，我們還可以使用推理風(fēng)格的LLM或CoT提示方法來(lái)引導(dǎo)推理軌跡，如下圖所示。

2、[Level1]工具使用

依賴LLM的內(nèi)部知識(shí)庫(kù)存在風(fēng)險(xiǎn)——LLM有知識(shí)截止日期，并且會(huì)產(chǎn)生幻覺。

為了解決這個(gè)問(wèn)題，LLM可以通過(guò)將子任務(wù)的解決委托給更專業(yè)的系統(tǒng)來(lái)更強(qiáng)大地解決問(wèn)題，如下圖所示。

3、[Level2]問(wèn)題分解

期望LLM在單一步驟中解決復(fù)雜問(wèn)題可能是不現(xiàn)實(shí)的。相反，我們可以創(chuàng)建一個(gè)框架，規(guī)劃問(wèn)題應(yīng)該如何解決，并迭代地推導(dǎo)解決方案。

這樣的LLM系統(tǒng)可以是手工設(shè)計(jì)的，也可以通過(guò)使用像ReAct這樣的框架來(lái)設(shè)計(jì)，如下圖所示。

當(dāng)然，使用LLM分解和解決復(fù)雜問(wèn)題的問(wèn)題與工具使用和推理密切相關(guān)。在整個(gè)問(wèn)題解決過(guò)程中，LLM可能依賴于各種工具，而推理能力對(duì)于制定詳細(xì)且正確的解決問(wèn)題計(jì)劃至關(guān)重要。

進(jìn)一步說(shuō)，這種以LLM為中心的問(wèn)題解決方法引入了推理過(guò)程中的控制流概念——智能體的輸出是有序構(gòu)建的，智能體有狀態(tài)地通過(guò)一系列問(wèn)題解決步驟，逐步完成推理。

4、[Level3]增加自主性

上述框架概述了今天AI智能體的主要功能。然而，我們還可以通過(guò)賦予系統(tǒng)更高的自主性，使其變得更強(qiáng)大。例如，我們可以在智能體的行動(dòng)空間中加入代表我們采取具體行動(dòng)的能力（例如，購(gòu)買物品、發(fā)送電子郵件或提交拉取請(qǐng)求）。

智能體是任何能夠感知其環(huán)境并對(duì)該環(huán)境采取行動(dòng)的事物……這意味著，智能體的特征由其操作的環(huán)境和它能夠執(zhí)行的行動(dòng)集來(lái)定義。——ChipHuyen

到目前為止，我們所概述的智能體始終以人類用戶的提示作為輸入。這些智能體只有在人類用戶觸發(fā)的提示下才會(huì)采取行動(dòng)。然而，情況并不一定非得如此。我們可以構(gòu)建持續(xù)在后臺(tái)運(yùn)行的智能體

例如，已經(jīng)有很多關(guān)于開放式計(jì)算機(jī)使用智能體的研究，OpenAI宣布了Codex——一個(gè)基于云的軟件工程智能體，它可以并行處理多個(gè)任務(wù)，甚至具備自主向代碼庫(kù)提交PR的能力。

5、AI智能體體系

結(jié)合我們?cè)诒靖攀鲋杏懻摰乃懈拍睿覀兛梢詣?chuàng)建一個(gè)智能體系統(tǒng)，該系統(tǒng)：

在沒有任何人工輸入的情況下異步運(yùn)行。使用推理LLM制定解決復(fù)雜任務(wù)的計(jì)劃。使用標(biāo)準(zhǔn)LLM生成基本思維或綜合信息。代表我們?cè)谕獠渴澜绮扇⌒袆?dòng)（例如，預(yù)訂機(jī)票或?qū)⑹录砑拥饺諝v中）。通過(guò)搜索API（或任何其他工具）獲取最新信息。

每種類型的LLM以及任何其他工具或模型都有其優(yōu)缺點(diǎn)。這些組件為智能體系統(tǒng)提供了許多在不同問(wèn)題解決方面有用的能力。智能體系統(tǒng)的關(guān)鍵在于以無(wú)縫和可靠的方式協(xié)調(diào)這些組件。

AI智能體的未來(lái)

盡管AI智能體非常流行，但在這個(gè)領(lǐng)域的工作都處于起步階段。智能體通過(guò)順序的問(wèn)題解決過(guò)程來(lái)運(yùn)作。如果這個(gè)過(guò)程中任何一步出錯(cuò)，智能體就很可能會(huì)失敗。

去年，你說(shuō)制約[智能體]發(fā)展的因素是另外九成的可靠性……你依然會(huì)描述這些軟件智能體無(wú)法完成一整天的工作，但是它們能夠在幾分鐘內(nèi)幫你解決一些問(wèn)題?！狣warkeshPodcast

因此，可靠性是構(gòu)建有效智能體系統(tǒng)的前提，尤其是在復(fù)雜環(huán)境中。換句話說(shuō)，構(gòu)建穩(wěn)健的智能體系統(tǒng)將需要?jiǎng)?chuàng)造具有更高可靠性的LLM。

無(wú)論是LLM還是智能體系統(tǒng)，進(jìn)展都在迅速推進(jìn)。最近的研究特別集中在有效評(píng)估智能體、創(chuàng)建多智能體系統(tǒng)以及微調(diào)智能體系統(tǒng)以提高在特定領(lǐng)域中的可靠性。

鑒于該領(lǐng)域的研究進(jìn)展速度，我們很可能會(huì)在不久的將來(lái)看到這些智能體系統(tǒng)在能力和通用性方面的顯著提升。