Lecture 15 · 多智能体为什么失败——失败分类、从众、归因与公平的评测 · Why Multi-Agent Systems Fail

对应 Maps to：CS486 课程描述的 “multi-agent collaboration” 与 “design, implement, and evaluate”。第 12–14 讲分别看到了相关错误、从众与鞅、传话游戏、隐含决策冲突和错误放大；这一讲把失败本身当作研究对象：怎样分类、怎样传播、怎样找到根因、怎样可靠地度量，以及怎样判断一个”修补”真的有效。 依据说明：CS486 没有公开的日程或讲义。本讲依据多智能体失败分析的主要工作（Cemri et al. 2025 的 MAST 与 MAST-Data、Zhang et al. 2025 的 Who&When 失败归因、Huang et al. 2024 的故障智能体与韧性）、群体决策的经典理论（Bikhchandani, Hirshleifer & Welch 1992 的信息级联）、LLM 从众与辩论失败的研究（Weng et al. 2025 的 BenchForm、Wynn et al. 2025），以及第 2 讲的评测方法。§3–§7 的实验是本讲义自己设计的模拟，数字全部来自配套代码的实际输出。 配套代码 Code：code/lecture15/（只用标准库；每个脚本几秒钟） 预计阅读时间：3 小时（含运行代码）

0. 本讲导航 · How to read this lecture

0.1 学习目标 Learning goals

学完这一讲，你应该能够：

1. 说出 MAST 失败分类的三大类、代表性的失败模式和它们的比例，以及这个分类是怎样建立和验证的。
2. 解释错误在多智能体系统里怎样传播：一个故障智能体的危害取决于它的错误要经过几道独立的检查；审查者为什么是最有效的修补。
3. 解释信息级联：为什么依次发言的、完全理性的智能体也会从众，以及 LLM 式的从众为什么可能更糟。
4. 描述失败归因的问题和三种方法（一次读完、一步一步读、二分），解释为什么”哪一步”比”哪个智能体”难得多，以及反事实重放的价值和成本。
5. 判断一个用 LLM 标注得出的失败比例是否可信（尤其是罕见的失败类型），知道怎样用一小批人工标注校正。
6. 判断一个在几十个任务上报告的”改进”是否可信：置信区间、配对检验、最小可检测效应。

0.2 先修与本讲范围 Prerequisites & scope

0.3 本讲地图 Map

§1  失败是常态
§2  MAST：多智能体系统的失败分类
§3  错误怎样传播：位置、检查、层级、审查者                 ← 代码 01
§4  从众：信息级联与 LLM 式的从众                         ← 代码 01
§5  失败归因：谁、在哪一步                                ← 代码 02
§6  度量失败：LLM 标注者与罕见的失败类型                   ← 代码 03
§7  一个"改进"可信吗：小样本上的统计                       ← 代码 03
§8  从失败到设计：一张对照表
§9  现状与开放问题
§10–14  小结、常见误区、练习、延伸阅读、下一讲预告

1. 失败是常态 · Failure is the norm

MAST 论文的第一句话是：尽管大家对多智能体系统很热情，它们在流行基准上的性能提升往往很小。前三讲已经从不同角度解释了为什么：

• 第 12 讲：同一个模型的多个实例错误高度相关，投票的收益饱和；
• 第 13 讲：同一个模型的实例之间的辩论是一个鞅，从众吃掉了投票的收益；
• 第 14 讲：交接丢细节、隐含决策冲突、没有人把关时错误被放大；协调的固定成本在强模型上不划算。

这些都是机制层面的解释。研究和工程还需要另一个层面：拿到一个具体的系统、一批具体的失败轨迹，怎样系统地知道它为什么失败、该改哪里？MAST 引用了托尔斯泰：“幸福的家庭都是相似的，不幸的家庭各有各的不幸”——并改写成”成功的系统都是相似的，失败的系统各有各的问题”。失败分类的作用，就是把”各有各的问题”整理成可以统计、可以比较、可以针对性修补的类别。

2. MAST：多智能体系统的失败分类 · The MAST taxonomy

2.1 怎样建立的

Cemri et al.（NeurIPS 2025 Datasets & Benchmarks，Why Do Multi-Agent LLM Systems Fail?）用的是社会科学里的扎根理论（grounded theory）方法：不预设类别，由专家反复阅读执行轨迹、开放式地记录失败，逐步归纳出类别，再用标注者之间的一致性检验类别的定义是否清楚。

• 在 7 个流行框架（包括 ChatDev、MetaGPT、AG2、HyperAgent 等）的 150 条轨迹上，由专家标注、多轮修订，直到标注者之间的一致性达到 κ = 0.88。
• 得到 14 种失败模式，归为 3 大类。
• 为了扩大规模，他们做了一个 LLM 标注者（o1，少样本）：和人类专家的一致率 94%、κ = 0.77；在两个没见过的系统和基准上 κ = 0.79。
• 用它标注了 1600 多条轨迹，发布为 MAST-Data。

2.2 三大类、十四种模式

几个值得注意的点：

• “系统设计问题”不全是模型的错。不遵守规格、步骤重复、不知道何时完成，听起来像是”指令遵循能力不够”，但作者的干预实验显示，改进角色规格和工作流程就能减少它们：例如 ChatDev 里的 CPO 智能体会不等 CEO 同意就结束对话（不遵守角色规格），调整流程让 CEO 拥有最终决定权，任务成功率提高 9.4%。
• “智能体之间的错位”对应第 13、14 讲的机制：不澄清就带着错误假设继续（隐含决策）、隐瞒信息和无视输入（交接丢失）、推理和行动不一致。
• “任务验证”对应第 14 讲的错误放大：没有人把关，或者把关的人自己出错。给 ChatDev 加上一个高层的任务目标验证（把流程从有向无环图改成一个循环：直到 CTO 确认所有评审意见都已解决才结束），ProgramDev 上成功率提高 15.6 个百分点。§7 会仔细看这个数字。

2.3 分类的用途和局限

失败分类是一个诊断工具：同样是”成功率 40%“，一个系统主要死于验证不足，另一个死于步骤重复，修补的方向完全不同。它的局限也很明显：类别之间并不独立（作者报告了失败模式之间的相关），一条轨迹往往同时有好几种失败；“占比”依赖于选了哪些框架、哪些任务；而大规模的比例依赖于 LLM 标注者——§6 会看到，这对罕见的失败类型影响很大。

3. 错误怎样传播 · How errors propagate

3.1 故障智能体与韧性

Huang et al.（2024，On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents）研究”笨拙”或恶意的智能体（它们的回答里被系统地注入错误）对不同结构的系统的影响：线性（A → B → C）、扁平（A ↔ B ↔ C）、层级（A → (B ↔ C)）。在代码生成、数学、翻译、评估四类任务上，层级结构的性能下降最小（5.5%），另外两种结构下降 10.5% 和 23.7%。他们提出两种防御：让每个智能体可以质疑别人的输出（Challenger），以及一个额外的审查者智能体检查并改正消息（Inspector）——最多能恢复 96.4% 由故障智能体造成的错误。

3.2 实验：错误要经过几道检查

代码 01 用一个最简单的模型：4 个智能体，正常的出错率 5%，一个故障智能体出错率 50%；下游的智能体收到产物时以 50% 的概率发现其中的错误并让上游重做一次。

没有任何检查时，一个故障智能体在哪里都一样：它的错误一路传到终点。有检查时，位置变得很重要：同一个故障智能体放在终点，后面没有人检查它，危害最大。MAST 的”任务验证”类失败（过早结束、没有验证）就是终点附近缺少检查的样子。

结构和审查者（代码 01 演示 2；层级 = 领导者 + 3 个工人，领导者检查每个工人的产物）：

（层级结构里第 1 个是领导者。）层级里每个工人的错误都直接面对领导者的检查，工人故障时比流水线的终点故障好得多（57.0% vs 47.9%）；但领导者本身是一个没人检查的单点，领导者故障时最差（45.7%）。Huang et al. 发现层级结构最有韧性；在这个模型里，答案取决于故障落在哪个角色上——这提示我们，评价”韧性”时要报告故障落在每个位置上的结果，而不只是平均。加一个审查者对两种结构都是最有效的修补，和 Inspector 的结果一致。

4. 从众：信息级联与 LLM 式的从众 · Conformity and cascades

4.1 理性的级联

第 13 讲的辩论里，智能体同时发言、互相看到。很多多智能体系统是依次发言的：后面的智能体看得到前面所有人的回答。Bikhchandani, Hirshleifer & Welch（1992）证明了一个令人不安的结论：即使每个人都完全理性、都按贝叶斯公式推理，依次行动的群体也会出现信息级联（information cascade）。

设一个二选一的问题，每个人有一个私有信号，以概率 q 指向正确答案。第一个人按自己的信号回答；第二个人如果信号和第一个人相同就跟着答，不同就打平（按惯例跟随自己的信号）；从第三个人开始，只要前面”推得出来的”信号有一方领先 2 个，他自己的一个信号就不足以扭转——他理性地放弃自己的信息、跟随前面的人。从这一刻起，后面每个人的回答都不再含有任何新信息，因为大家都知道他们只是在跟随。

代码 01 演示 3（15 个智能体）：

q = 0.7 时，独立投票 94.7%，依次回答只有 84.4%；94.6% 的群体在最后 10 个人进入了级联，其中 15.4% 是错误方向的级联。练习 4 把人数从 3 增加到 51：独立投票从 78.3% 升到 99.9%，依次回答停在约 84.5%——级联的正确率和人数无关，等于 $q^2 / (q^2 + (1-q)^2)$。讽刺的是，级联里每个人的正确率（84.4%）比他单独判断（70.2%）高：从众对个人是理性的，对群体是浪费。

4.2 LLM 式的从众

LLM 不是理性的贝叶斯智能体。Weng et al.（ICLR 2025，Do as We Do, Not as You Think: the Conformity of Large Language Models）用一个需要大量推理的基准 BenchForm 测量 LLM 在群体里的从众：设计了五种交互协议，测量从众率和独立率；发现交互的时长和多数的规模影响从众，并测试了两种缓解方法（增强人设、让模型在回答前反思）。Wynn et al.（ICML 2025 MAS Workshop，Talk Isn’t Always Cheap: Understanding Failure Modes in Multi-Agent Debate）在辩论里看到：模型常常在看到同伴的推理后从正确答案改成错误答案——偏好一致而不是挑战有缺陷的推理；辩论的准确率可能随轮数下降，即使强模型数量更多；加入一个弱模型会拖累强模型；在 CommonSenseQA 上辩论总是有害。

代码 01 演示 4 用一个简单的模型：每个智能体先按自己的信号回答，如果前面的多数和自己相反，以概率 c 改成多数——不管多数有多少证据：

c = 0.3 时还略好于理性的级联（84.4%），c ≥ 0.5 时就更糟：它在证据很弱的时候（多数只领先 1 票）也会跟随，而理性的智能体只在领先 2 个信号时才放弃自己的信息。

对策和第 12、13 讲一致：先独立作答、再汇总（保住独立性，例如让所有智能体在看到别人之前先提交答案）；如果要交流，交流证据而不是立场；必要时匿名化或打乱发言顺序，避免”第一个发言者”决定一切。

5. 失败归因：谁、在哪一步 · Failure attribution

5.1 问题

一条多智能体系统的执行轨迹可能有几十到几百步、好几个智能体。它失败了，是谁在哪一步犯了决定性的错误？Zhang et al.（ICML 2025，Which Agent Causes Task Failures and When?）把它定义为”自动失败归因”：决定性错误是这样一步——改正它，任务就会成功。他们发布了 Who&When 数据集：来自 127 个多智能体系统的失败日志，184 个标注了负责智能体和决定性步骤的失败任务。三种用 LLM 做归因的方法：

• 一次读完（all-at-once）：把整条日志交给 LLM，一次说出是谁、哪一步；
• 一步一步读（step-by-step）：让 LLM 按顺序读，每一步判断”这是不是决定性错误”，判定”是”就停；
• 二分（binary search）：让 LLM 判断错误在日志的前一半还是后一半，逐步缩小范围。

结果：最好的方法找对智能体 53.5%，找对步骤只有 14.2%，有些方法低于随机；一次读完在智能体层面最好，一步一步读在步骤层面最好；即使是 o1、DeepSeek R1 这样的推理模型，也达不到实用的水平。

5.2 实验：为什么”哪一步”这么难

代码 02 生成失败的轨迹：恰好一个决定性错误（根因）；其他步骤以一定概率有无害的错误（之后被纠正，或者不影响结果——但看起来也像错误）；根因之后的步骤以一定概率出现症状（错误的后果变得可见）。四种方法：怪最后一步；一次读完（可疑的地方越多，注意力越分散，认不出根因时选最显眼——最靠后——的症状）；一步一步读（看到根因时以”裁判能力”认出，看到无害错误时以 1 − 裁判能力误判）；反事实重放（从检查点重新运行系统，把前 m 步换成改正过的版本，看任务是否成功——二分查找，每个判断重放 3 次取多数）。

代码 02 演示 1（每格：步骤准确率 / 智能体准确率 / 平均成本）：

几个发现：

• 智能体层面的准确率有一部分是”碰巧”：4 个智能体轮流执行，猜错了步骤也有一定机会猜对人——“怪最后一步”的步骤准确率只有 2%–10%，智能体准确率却有 25%–30%。比较归因方法时，要和这种平凡的基线比。
• 越长越难：一次读完的方法（裁判能力 0.6）从 10 步的 54% 降到 40 步的 28%。
• 两种读法错的方向不同（演示 2，20 步、裁判能力 0.6）：一步一步读的裁判 41.1% 的时候停得太早——被前面的无害错误骗了；一次读完的裁判 60.9% 的时候选得太晚——被离失败最近、最显眼的症状吸引。
• 哪种读法更好取决于裁判的能力：裁判弱时一次读完略好，裁判强时一步一步读好得多。Who&When 用同一个裁判发现两种方法在两个层面上各有胜负；这个模型里同一个裁判下总是一种方法在两个层面都更好，没有复现这种交叉——它可能来自模型里没有的东西（例如读完整段对话更容易认出”谁”在负责）。

5.3 无害的错误与反事实重放

代码 02 演示 3（20 步，裁判能力 0.9）：没有无害错误时，一步一步读的步骤准确率 91.1%；每步 40% 的概率有无害错误时降到 62.7%。一次读完的方法也受影响（65.3% → 43.6%）；反事实重放几乎不受影响（88.5% → 88.2%）——它问的是”改正之后会不会成功”，而不是”这一步看起来像不像错误”。这正是 Who&When 对”决定性错误”的定义本身：归因是一个因果问题，不是一个”找错误”的问题。

代价：反事实重放需要能从检查点重新运行整个系统（第 11 讲），每次重放都是一次完整的多智能体执行；而且系统是随机的，单次重放可能给出错误的结论。代码 02 演示 4：单次重放出错 10% 时，20 步的轨迹归因准确率 87.5%，20% 时 60.8%，30% 时 33.9%（每个判断重放 3 次）；练习 2 把每个判断的重放次数从 1 提高到 9（单次出错 20%）：准确率从 37.3% 升到 91.2%，平均重放次数从 4.3 次升到 39.6 次。在开发阶段、对少量关键的失败，这个成本往往值得。

6. 度量失败：LLM 标注者与罕见的失败类型 · Measuring failures

MAST-Data 的规模来自 LLM 标注者。“用 LLM 给成千上万条轨迹打标签、再统计比例”在多智能体研究里越来越常见。它有多可靠？代码 03 演示 1 模拟 1600 条轨迹、四种失败模式（名字借用 MAST，比例是假设的），两位人类专家（相对于真相的灵敏度 0.95、特异度 0.99）和一个 LLM 标注者（灵敏度 0.85、特异度 0.95）：

一致率在每种模式上都超过 90%，但罕见的”隐瞒关键信息”被高估了约 4 倍：1600 条里真正的约 22 条，被约 79 条误报淹没。原因是基础比率：特异度 95% 意味着每 100 条没有这种失败的轨迹里有 5 条被误报，而这种失败本身只有 1–2%。κ 揭示了这一点（常见模式 0.71，罕见模式 0.24），一致率掩盖了它。MAST 报告的整体一致率 94%、κ = 0.77 是所有模式的平均数；罕见模式的比例需要单独核对。

能不能校正？只要知道 LLM 标注者的灵敏度和特异度，就可以用 Rogan–Gladen 公式从观察到的比例反推真实比例：

灵敏度和特异度要用一小批人工标注来估计。代码 03 演示 2（每种设置重复 1000 次）：常见模式用 200 条人工标注校正后平均 15.2%（90% 范围 11.1%–19.5%，真实 15.0%）；罕见模式（真实 1.0%）用 200 条时平均 2.9%（仍然偏高），范围 0.0%–10.4%，而且 18% 的时候根本无法校正——200 条随机抽样的人工标注里一个正例都没有，无法估计灵敏度；800 条时 2.2%（0.0%–5.4%）。

罕见的失败类型要估计得准，需要针对性地多标注疑似正例（按 LLM 的标签分层抽样），而不是随机抽样——第 2 讲的预测驱动推断（PPI）是同一个思路：用大量的模型标签加上少量的人工标签，得到无偏的估计，前提是人工标签覆盖了需要校正的情况。

7. 一个”改进”可信吗：小样本上的统计 · Is an improvement real?

MAST 的干预实验在 ProgramDev-v0（32 个编程任务）上报告了 ChatDev 的三个配置：基线 25.0%、改进提示 34.4%、改拓扑（加入高层的任务目标验证循环）40.6%——也就是 8、11、13 个任务成功。代码 03 演示 3：

• 两个区间大幅重叠；不配对的两比例检验 p = 0.18。
• 即使两种配置一样好（都是 25%），独立地各跑一次 32 个任务，“改进”达到 5 个任务或更多的概率也有 9.8%。
• 配对的 McNemar 检验需要逐题的结果，论文没有给出。即使在最有利的情况下（基线做对的题改拓扑也都做对、另外多对 5 题），p = 0.062；如果是”多对 8 题、有 3 题从对变错”，p = 0.227。
• 32 个任务、基线 25% 时，不配对检验以 80% 的功效能检测出的最小差别约 30 个百分点。

这不是在批评 MAST——作者自己写道，这些干预”并不构成实质性的改进”，他们的结论是”需要更根本的重新设计”，而不是”这个修补有效”。但它提醒我们，读多智能体论文里的改进数字时，先看任务数、是否配对、跑了几次（第 2 讲）。多智能体系统一次运行很贵，评测集常常很小；这正是第 2 讲的统计工具最需要的地方。

8. 从失败到设计：一张对照表 · From failures to design

把第 12–15 讲的机制和 MAST 的类别对起来：

9. 现状与开放问题 · State of the field

• 失败分类（MAST）让”为什么失败”可以统计和比较；它的大规模比例依赖于 LLM 标注者，罕见类型的比例需要谨慎。
• 失败归因（Who&When）在步骤层面还远不实用；反事实重放提供了因果的答案，但需要可重放的系统和不小的成本。
• 从众与级联是群体决策的老问题，LLM 让它更严重：模型倾向于一致。最简单的对策（先独立作答）常常最有效。
• 评测：很多多智能体的改进是在几十个任务、单次运行上报告的；计算量匹配的基线、配对检验、多次运行仍然不是常规。

研究问题：

1. 能不能把反事实重放变便宜？例如只重放决定性步骤附近的一小段，或者用一个学到的”世界模型”代替真实的重放（第 9 讲的世界模型，以及它的误差）。
2. 怎样设计对罕见失败类型可靠的标注流程？分层抽样、主动学习、PPI 在这里的最佳组合是什么？
3. LLM 的从众有多少来自训练（例如偏好”一致”和”礼貌”的人类反馈）？能不能训练出”该坚持时坚持、该改时改”的模型（第 16 讲）？
4. 失败分类能不能变成可执行的测试：给定一个新的多智能体系统，自动构造会触发每一类失败的输入（像软件测试的变异测试）？

10. 小结 · Summary

1. 多智能体系统在基准上的提升常常很小；MAST 把失败整理成 3 大类、14 种模式：系统设计问题 41.8%、智能体之间的错位 36.9%、任务验证 21.3%；人类标注者 κ = 0.88，LLM 标注者一致率 94%、κ = 0.77。
2. 错误传播：一个故障智能体的危害取决于它的错误要经过几道独立的检查——放在流水线终点最危险（48.3% vs 起点 65.1%）；层级结构的领导者是单点；审查者是最有效的修补。
3. 信息级联：依次发言的理性智能体也会从众（q = 0.7、15 人：独立 94.7%，依次 84.4%），级联的正确率和人数无关；LLM 式的从众在证据很弱时也跟随，可以更糟（c = 0.9：71.2%）。
4. 失败归因：步骤层面远比智能体层面难，智能体层面有”碰巧”的成分；一步一步读的裁判停得太早（无害的错误），一次读完的裁判选得太晚（显眼的症状）；反事实重放问的是因果问题，准确但贵。
5. LLM 标注的失败比例：一致率 94% 也可能把 1% 的罕见失败估计成 6%；校正需要人工标注，罕见类型需要分层抽样。
6. 32 个任务上的 8 → 13：区间大幅重叠、p = 0.18，一样好的两个配置也有 9.8% 的概率看到这样的”改进”。

11. 常见误区 · Common pitfalls

1. “多智能体系统失败，是因为模型不够强。” MAST 的大部分失败来自系统设计和协调；换更强的模型不能解决所有问题。
2. “系统里有一个检查者就够了。” 检查的位置很重要：终点之后没有检查的错误直接交付；层级的领导者自己也需要被检查。
3. “依次讨论比各自投票信息更充分。” 依次发言会产生信息级联，后面的人不再贡献新信息。
4. “归因到对的智能体就差不多了。” 智能体层面的准确率有碰巧的成分；要修 bug，需要找到步骤——而那要难得多。
5. “看起来最像错误的那一步就是根因。” 无害的错误和显眼的症状都会误导；根因是一个因果概念。
6. “LLM 标注者和人的一致率 94%，它统计出来的比例就可信。” 对罕见的类别，误报可以远远多于真的。
7. “成功率从 25% 提高到 40.6%，提高了 15.6 个点。” 在 32 个任务上，这个差别和噪声分不开；先看区间和检验。

12. 练习 · Exercises

练习 1（级联的算术）。按 §4.1 的规则（领先 2 个信号开始级联；打平时跟随自己的信号），信号准确率 q。(a) 前两个人的信号相同的概率是多少？此时级联朝哪个方向？(b) 证明最终进入正确级联的概率是 $q^2/(q^2+(1-q)^2)$。(c) q = 0.7 时是多少？和代码 01 演示 3 对照。

参考答案：(a) 两个都对：$q^2$，级联在正确方向；两个都错：$(1-q)^2$，级联在错误方向；不同：$2q(1-q)$，前两个人的信号互相抵消，第三个人就像第一个人一样从头开始。(b) 每两个人是一”轮”：以 $q^2$ 进入正确级联、$(1-q)^2$ 进入错误级联、其余回到起点。所以进入正确级联的概率是 $q^2 / (q^2 + (1-q)^2)$。(c) $0.49 / (0.49 + 0.09) = 0.845$——和演示 3 的 84.4%、练习 4 里 51 人的 84.5% 一致（15 人时还有很小的概率没有进入级联）。

练习 2（重放的预算）。反事实重放在单次重放出错 20% 时只有 60.8%。(a) 每个判断重放更多次（取多数）会怎样？(b) 20 步的轨迹，二分需要几次判断？每次判断重放 9 次，一共多少次重放？

参考答案（(a) 在草稿目录里实际运行，同样的 4000 条 20 步的轨迹）：每个判断重放 1 / 3 / 5 / 9 次，步骤准确率 37.3% / 61.7% / 76.1% / 91.2%，平均重放次数 4.3 / 13.1 / 21.9 / 39.6。(b) 二分把 20 个候选缩到 1 个需要约 $\lceil \log_2 20 \rceil = 5$ 次判断（实际 4–5 次），每次 9 次重放，约 40 次——和模拟的 39.6 一致。准确率随重放次数上升得很快，但成本线性增长；对一个每次运行要几分钟、几美元的多智能体系统，这是一个实实在在的预算问题。

练习 3（基础比率）。一个 LLM 标注者的灵敏度 0.9、特异度 0.97。(a) 一种失败的真实比例是 2% 时，标注者标出的比例是多少？其中多少是真的？(b) 比例是 20% 时呢？(c) 这对”用 LLM 标注的数据集研究罕见失败”意味着什么？

参考答案：(a) 标出的比例 $= 0.9 \times 0.02 + 0.03 \times 0.98 = 0.018 + 0.0294 = 0.047$；其中真的占 $0.018 / 0.047 \approx 38\%$——标出来的大部分是误报。(b) $0.9 \times 0.2 + 0.03 \times 0.8 = 0.18 + 0.024 = 0.204$；真的占 88%。(c) 研究罕见的失败时，LLM 标出的”例子”大部分可能是误报——拿它们去分析”这种失败长什么样”，分析的主要是标注者的错误。要么提高特异度（更严格的标准、多个标注者一致才算），要么人工复核所有标出的正例。

练习 4（人越多越好吗）。依次发言的理性群体，人数从 3 增加到 51，多数票的正确率会怎样？独立投票呢？先预测，再检验。

参考答案（草稿目录里实际运行，q = 0.7，每种 20000 次）：依次（理性）3 / 5 / 15 / 51 人：78.9% / 82.2% / 84.3% / 84.5%；独立投票：78.3% / 83.6% / 94.9% / 99.9%。依次回答的群体很快就进入级联，之后再多的人也不贡献信息，正确率停在练习 1 的 84.5%；独立投票按 Condorcet 定理趋于 100%（第 12 讲）。群体的规模只有在保持独立性时才有价值。

练习 5（设计一个失败分析）。你的团队的多智能体客服系统上线后，用户投诉”有时候答非所问”。设计一个失败分析的流程：收集什么数据、怎样分类、怎样找根因、怎样验证修补有效。

参考答案要点：(1) 收集：完整的执行轨迹（每个智能体的输入、输出、工具调用），以及一批成功的轨迹做对照；用户投诉只是症状，要从轨迹出发。(2) 分类：先由两三个人开放式地读几十条失败轨迹，建立（或借用 MAST 的）类别，测标注者之间的 κ；类别清楚之后再考虑 LLM 标注，并用人工标注估计它的灵敏度和特异度，尤其是罕见类别。(3) 找根因：对重要的类别，用反事实重放（从检查点改正某一步再运行）确认决定性的步骤，而不是只看”哪一步看起来错了”。(4) 修补：针对机制（交接、隐含决策、验证、从众）而不是症状。(5) 验证：在足够多的任务上、配对地比较修补前后（同样的任务、同样的种子），报告置信区间；先算最小可检测效应，确认评测集够大。

13. 延伸阅读 · Further reading

失败分类与归因

• M. Cemri et al. Why Do Multi-Agent LLM Systems Fail? NeurIPS 2025 Datasets & Benchmarks.
• S. Zhang et al. Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems. ICML 2025.
• J. Huang et al. On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents. 2024.

从众与级联

• S. Bikhchandani, D. Hirshleifer & I. Welch. A Theory of Fads, Fashion, Custom, and Cultural Change as Informational Cascades. Journal of Political Economy, 1992.
• Z. Weng, G. Chen & W. Wang. Do as We Do, Not as You Think: the Conformity of Large Language Models. ICLR 2025.
• A. Wynn, H. Satija & G. Hadfield. Talk Isn’t Always Cheap: Understanding Failure Modes in Multi-Agent Debate. 2025.

评测

• 第 2 讲的延伸阅读（置信区间、配对检验、PPI）；第 11 讲的 Kapoor et al. AI Agents That Matter.

14. 下一讲预告 · Next lecture

第 16 讲：训练会协作的模型——多智能体强化学习、自我博弈与社会智能。 第 12–15 讲里的智能体都是”现成的”模型，被提示、被编排；它们的很多失败（从众、不澄清、隐瞒信息、不知道何时停止）可能源于它们从来没有被训练过去协作。下一讲讨论训练：多个智能体一起学习时会发生什么（从零开始的通信协议、自我博弈、和陌生的伙伴协作的”零样本协调”难题）；LLM 的自我博弈训练（SPIN、SPAG、SPIRAL、Absolute Zero）；多智能体的强化学习微调；以及社会智能的评测——心智理论、合作与公地悲剧（GovSim）、外交游戏里的 CICERO。