官方网站-首页

2025 年是 agent 爆发之年。

基于处理复杂、多步骤任务以及与不同环境实时互动的能力，由大语言模型(xíng)（LLM）驱(qū)动(dòng)的(de) agent 系(xì)统(tǒng)，尤(yóu)其(qí)是(shì)多(duō) agent 系(xì)统(tǒng)（MAS），被(bèi)认(rèn)为(wèi)非(fēi)常(cháng)适(shì)合(hé)用(yòng)来(lái)解(jiě)决(jué)现(xiàn)实(shí)世(shì)界(jiè)中(zhōng)的(de)问(wèn)题(tí)，也(yě)因(yīn)此(cǐ)被(bèi)越(yuè)来(lái)越(yuè)多(duō)地(de)应(yīng)用(yòng)在(zài)各(gè)个(gè)领(lǐng)域中(zhōng)，如(rú)软(ruǎn)件(jiàn)工(gōng)程(chéng)、药(yào)物(wù)发(fā)现(xiàn)、科(kē)学(xué)模(mó)拟(nǐ)，以(yǐ)及(jí)通(tōng)用(yòng) agent 系(xì)统(tǒng)。

然(rán)而(ér)，相(xiāng)比(bǐ)于(yú)单(dān)个(gè) agent 系(xì)统(tǒng)甚至更简单的 baseline，多 agent 系统却在处理实际问题时更易出错。如下图所示，AppWorld 的故障率可高达 86.7%。

图｜使用 GPT-4o 和 Claude-3 的 5 种常用多 agent LLM 系统的故障率

这是为什么呢？来自加州大学伯克利分校和意大利联合圣保罗银行的研(yán)究(jiū)团(tuán)队(duì)给(gěi)出(chū)了(le)答(dá)案(àn)——

他(tā)们(men)首(shǒu)次(cì)对(duì)多(duō) agent 系(xì)统(tǒng)面(miàn)临(lín)的(de)挑(tiāo)战(zhàn)进(jìn)行(xíng)了(le)全面(miàn)研(yán)究(jiū)，并(bìng)确(què)定(dìng)了(le) 14 种(zhǒng)独(dú)特(tè)的(de)故(gù)障(zhàng)模(mó)式(shì)，并(bìng)划(huà)分(fēn)为(wèi) 3 大(dà)类(lèi)：（1）规(guī)范(fàn)和(hé)系(xì)统(tǒng)设(shè)计(jì)故(gù)障(zhàng)；（2）agent 间(jiān)错(cuò)位(wèi)；（3）任(rèn)务(wu)验(yàn)证(zhèng)和(hé)终(zhōng)止(zhǐ)。

相(xiāng)关研(yán)究(jiū)论(lùn)文以(yǐ)“Why Do Multi-Agent LLM Systems Fail?”为(wèi)题(tí)，已(yǐ)发(fā)表(biǎo)在(zài)预(yù)印(yìn)本(běn)网(wǎng)站(zhàn) arXiv 上(shàng)。

论(lùn)文链(liàn)接(jiē)：https://arxiv.org/abs/2503.13657

具(jù)体(tǐ)而(ér)言(yán)，他(tā)们(men)提(tí)出(chū)了(le)首(shǒu)个(gè)基(jī)于(yú)经(jīng)验(yàn)的(de)多(duō) agent 系(xì)统(tǒng)故(gù)障(zhàng)分(fēn)类(lèi)法(fǎ)——MASFT，理解和缓解多 agent 系统故障提供了一个结构化框架。

同时，他们也开发了一个可扩展的“LLM-as-a-judge”评估管道，用于分析新的多 agent 系统性能和诊断故障模式。

另外，针对 agent 规范、对话管理和验证策略，他们还进行了干预研究，尽管将任务完成率提高了 14%，但仍未能(néng)完(wán)全解(jiě)决(jué)多(duō) agent 系(xì)统故障问题，这凸显了结构性多 agent 系统重新设计的必要性。

此外，他们也将研究成果进行开源，包括：

150 多个标注的多 agent 系统会话轨迹；

可扩展的 LLM-as-a-judge 评估管道和 150 多个轨迹的 LLM 标注；

15 个选定轨迹的详细专家标注。

多达 14 种故障模式

在这项工作中，研究团队使用了扎根理论（Grounded Theory）这一定性研究方法，直接从经验数据中构建理论，而不是检验预定义的假设，使故障模式的识别有机地产生。

他们通过理论抽样、开放式编码、持续比较分析、备忘录和理论化等方法反复收集和分析多 agent 系统的执行轨迹，获得多 agent 系统跟踪记录并讨论初步发现后，通过收集观察到的故障模式得出了 MASFT。

图｜系统研究多 agent 系统的方法流程

为了实现自动故障识别，他们开发了基于 LLM 的标注器，并验证了它的可靠性。

然后，他们进行了标注器之间的协议研究，通过添加、删除、合并、拆分或修改定义反复调整故障模式和故障类别，直到达成共识。这一过程反映了一种学习方法，即不断完善分类法，直至达到稳定性，并通过 Kappa 系数来衡量标注器之间的一致性。

图｜多 agent 系统故障模式分类法

最终，MASFT 包含了 3 个总体故障类别：规范和系统设计故障；agent 间错位；任务验证和(hé)终(zhōng)止(zhǐ)，确(què)定(dìng)了(le)多(duō) agent 系(xì)统(tǒng)在(zài)执(zhí)行(xíng)过(guò)程(chéng)中(zhōng)可(kě)能(néng)遇(yù)到(dào)的(de) 14 种(zhǒng)细(xì)粒(lì)度(dù)故(gù)障(zhàng)模(mó)式(shì)。

MASFT 还(hái)将(jiāng)多(duō) agent 系(xì)统(tǒng)的(de)执(zhí)行(xíng)划(huà)分(fēn)为(wèi) 3 个(gè)阶(jiē)段(duàn)：执(zhí)行(xíng)前(qián)、执(zhí)行(xíng)中(zhōng)和(hé)执(zhí)行(xíng)后(hòu)，确(què)定(dìng)了(le)每(měi)个(gè)细(xì)粒(lì)度(dù)故(gù)障(zhàng)模(mó)式(shì)可(kě)能(néng)发(fā)生(shēng)的(de)多(duō) agent 系(xì)统(tǒng)执(zhí)行(xíng)阶(jiē)段(duàn)。

图(tú)｜多(duō) agent 系(xì)统(tǒng)故(gù)障(zhàng)类(lèi)别(bié)相(xiāng)关矩(ju)阵(zhèn)

另(lìng)外(wài)，他(tā)们(men)发(fā)现(xiàn)，多(duō) agent 系(xì)统(tǒng)面(miàn)临(lín)着(zhe)与(yǔ)复(fù)杂(zá)的(de)人(rén)类(lèi)组(zǔ)织(zhī)类(lèi)似(shì)的(de)问(wèn)题(tí)，其(qí)故(gù)障(zhàng)模(mó)式(shì)与(yǔ)在(zài)人(rén)类(lèi)组(zǔ)织(zhī)中(zhōng)观(guān)察(chá)到(dào)的(de)常(cháng)见(jiàn)故(gù)障(zhàng)模(mó)式(shì)一(yī)致(zhì)。“不(bù)要(yào)求(qiú)澄(chéng)清(qīng)”破(pò)坏(huài)了(le)“尊(zūn)重(zhòng)专(zhuān)业(yè)知(zhī)识(shi)”，“agent 错(cuò)位(wèi)”体(tǐ)现(xiàn)了(le)加(jiā)强(qiáng)等(děng)级(jí)区(qū)分(fēn)和(hé)协(xié)调(diào)角(jiǎo)色(sè)分(fēn)配(pèi)的(de)必(bì)要(yào)性(xìng)。

多(duō) agent 协(xié)作(zuò)的(de)有(yǒu)效(xiào)性(xìng)，仍(réng)有(yǒu)待(dài)提(tí)高(gāo)

针(zhēn)对(duì)以(yǐ)上(shàng)所(suǒ)有(yǒu)的(de)故(gù)障(zhàng)类(lèi)别(bié)，研(yán)究(jiū)团(tuán)队(duì)提(tí)出(chū)了(le)战(zhàn)术(shù)策(cè)略(è)和(hé)结(jié)构(gòu)策(cè)略(è)。

战(zhàn)术(shù)策(cè)略(è)涉(shè)及(jí)针(zhēn)对(duì)特(tè)定(dìng)故(gù)障(zhàng)模(mó)式(shì)的(de)直(zhí)接(jiē)修(xiū)改(gǎi)，如(rú)改(gǎi)进(jìn)提(tí)示(shì)、agent 网(wǎng)络(luò)的(de)拓(tà)扑(pū)结(jié)构(gòu)和(hé)对(duì)话(huà)管(guǎn)理(lǐ)。然(rán)而(ér)，两(liǎng)个(gè)案(àn)例(lì)研(yán)究(jiū)证(zhèng)明(míng)，这(zhè)些(xiē)方(fāng)法(fǎ)的(de)有(yǒu)效(xiào)性(xìng)并(bìng)不(bù)一(yī)致(zhì)。

结(jié)构(gòu)策(cè)略(è)，即(jí)对(duì)整(zhěng)个(gè)系(xì)统(tǒng)有(yǒu)影(yǐng)响(xiǎng)的(de)更(gèng)全面的方法：强验证、增强型通信协议、不确定性量化以及内存和状态管理。这些策略需要更深入的研究和细致的实施，仍是有待未来探索的研究课题。

图｜多 agent 系(xì)统(tǒng)的解决策略和故障分类

研究团队在两个案例研究中应用了这些策略方法。

在第一个案例中，他们使用 AG2 中的 MathChat 场景实现作为基线，在该场景中，学生 agent 与能够执行 Python 代码的助理 agent 合作解决问题。

为了进行基准测试，他们从 GSM-Plus 数据集中随机选取了 200 个练习。第一种策略是改进原始提示，使其具有清晰的结构和专门用于验证的新部分。第二种策略是将 agent 配置细化为一个更专业的系统，其中包含三个不同的角色：问题解决者（Problem Solver），不使用工具，使用思维链方法解决问题；编码者（Coder），编写并执行 Python 代码，得出最终答案；验证者（Verifier），审查讨论并批判(pàn)性(xìng)地(de)评(píng)估(gū)解(jiě)决(jué)方(fāng)案(àn)，要(yào)么(me)确(què)认(rèn)答(dá)案(àn)，要(yào)么(me)引(yǐn)发进一步讨论。

在这种情况下，一旦找到解决方案，只有验证人可以终止对话。

在第二个案例中，ChatDev 模拟了一个多 agent 软件(jiàn)公司，不同的 agent 有不同的角色定位，如首席执行官、首席技术官、软件工程师和审核员，他们试图合作解决一个软件生成任务。

他们实施了两种不同的干预措施。第一个是改进特定角色的提示，以强化层次(cì)结(jié)构(gòu)和(hé)角(jiǎo)色(sè)一(yī)致(zhì)性(xìng)；第(dì)二(èr)个(gè)是(shì)尝(cháng)试(shì)涉(shè)及(jí)对(duì)框(kuāng)架(jià)拓(tà)扑(pū)结(jié)构(gòu)的(de)根(gēn)本(běn)性(xìng)改(gǎi)变(biàn)，将(jiāng)框(kuāng)架(jià)的(de)停(tíng)止(zhǐ)结(jié)构(gòu)从(cóng)有(yǒu)向(xiàng)无(wú)环(huán)图(tú)（DAG）修(xiū)改(gǎi)为(wèi)循(xún)环(huán)图(tú)。

现(xiàn)在(zài)，只(zhǐ)有(yǒu)当(dāng) CTO agent 确(què)认(rèn)所(suǒ)有(yǒu)审(shěn)查(chá)都(dōu)得(de)到(dào)适(shì)当(dāng)满(mǎn)足(zú)时(shí)，该(gāi)过(guò)程(chéng)才(cái)会(huì)终(zhōng)止(zhǐ)，并(bìng)设(shè)定(dìng)了(le)最(zuì)大(dà)迭(dié)代(dài)截(jié)止(zhǐ)时(shí)间(jiān)，以(yǐ)防(fáng)止(zhǐ)出(chū)现(xiàn)无(wú)限(xiàn)循(xún)环(huán)。这(zhè)种(zhǒng)方(fāng)法(fǎ)可(kě)以(yǐ)实(shí)现(xiàn)迭(dié)代(dài)改(gǎi)进(jìn)和(hé)更(gèng)全面(miàn)的(de)质(zhì)量(liàng)保(bǎo)证(zhèng)。

图(tú)｜各(gè)种(zhǒng)方(fāng)案(àn)的(de)性(xìng)能(néng)准(zhǔn)确(què)度(dù)

研(yán)究(jiū)团(tuán)队(duì)表(biǎo)示(shì)，许(xǔ)多(duō)“显(xiǎn)而(ér)易(yì)见(jiàn)”的(de)解(jiě)决(jué)方(fāng)案(àn)实(shí)际(jì)上(shàng)存(cún)在(zài)严(yán)重(zhòng)的(de)局(jú)限(xiàn)性(xìng)，需(xū)要(yào)概(gài)述(shù)的(de)结(jié)构(gòu)性(xìng)策(cè)略(è)来(lái)实(shí)现(xiàn)更(gèng)加(jiā)一(yī)致(zhì)的(de)改(gǎi)进(jìn)。

考(kǎo)虑(lǜ)到(dào)目(mù)前(qián)多(duō) agent 协(xié)调(diào)中(zhōng)的(de)信(xìn)息(xi)冗(rǒng)余(yú)与(yǔ)冲(chōng)突(tū)，协(xié)作(zuò)中(zhōng)放(fàng)大(dà)的(de)模(mó)型(xíng)偏(piān)差(chà)，未(wèi)来(lái)的(de)多(duō) agent 系(xì)统(tǒng)需(xū)要(yào)做(zuò)到(dào)快(kuài)速(sù)响(xiǎng)应(yīng)、实(shí)时(shí)验(yàn)证(zhèng)和(hé)动(dòng)态(tài)协(xié)调(diào)，以(yǐ)提(tí)高(gāo)团(tuán)队(duì)协(xié)作(zuò)的(de)有(yǒu)效性。

“基于 LLM 的多 agent，在分布式科研协作、应急响应系统等领域仍具有一定的潜力。”

作者：与可