Lecture 13 · 辩论与苏格拉底式协作——Multi-agent Debate、SocraSynth 与 EVINCE · Debate and Socratic Collaboration

对应 Maps to：CS486 课程描述的 “multi-agent collaboration”。第 12 讲的智能体互不交流、最后投票；这一讲让它们交流——看彼此的答案和理由、互相批评、修改自己的答案。辩论有两种用途，这一讲都讨论：作为推理方法（让答案更准），和作为监督方法（让一个弱的裁判判断强的模型）。 依据说明：CS486 没有公开的日程或讲义。本讲依据多智能体辩论的主要文献（Du et al. 2023、Liang et al. 2023、ReConcile、Smit et al. 2024、Wang et al. 2024、Choi et al. 2025 的 Debate or Vote）、Edward Y. Chang 的 SocraSynth（2024）与 EVINCE（2024 年初版，2026 年 9 月的第 5 版修订了其理论主张），以及作为可扩展监督的辩论（Irving et al. 2018、Michael et al. 2023、Khan et al. 2024、Kenton et al. 2024、Barnes 2020 的混淆论证问题）。§2–§5 的实验是本讲义自己设计的，数字全部来自配套代码的实际输出。 配套代码 Code：code/lecture13/（代码 01、02 只用标准库；代码 03 用 PyTorch，复用第 1 讲的三个模型；每个脚本几秒钟） 预计阅读时间：3 小时（含运行代码）

0. 本讲导航 · How to read this lecture

0.1 学习目标 Learning goals

学完这一讲，你应该能够：

1. 区分辩论的两种用途——推理（提高答案的正确率）和监督（让弱裁判判断强模型）——以及它们各自的成功标准。
2. 说出 Du et al. 的多智能体辩论的设置和结果，以及后来的批评：和同样调用次数的投票相比，辩论的收益大部分来自投票（Choi et al.）。
3. 解释 Choi et al. 的鞅定理：同一个模型的几个实例按邻居的回答做贝叶斯更新时，每个智能体”答对的概率”的期望不变；辩论让智能体趋同，反而吃掉了投票的集成收益；只有偏向正确的更新规则才能打破它。
4. 用修复率和破坏率写出讨论的效果：$\Delta = (1-p)r - pf$，并用它评价一个辩论协议。
5. 说明交流的价值来自私有信息：交换证据（带来源）能达到合并全部证据的最优，交换观点只能得到一部分，没有私有信息时交流毫无价值，不知道来源时共享的证据会被重复计算。
6. 描述 SocraSynth 的争论强度和 EVINCE 的信息论指标，以及 EVINCE 修订版的结论：收敛不等于正确。
7. 解释辩论作为可扩展监督的核心论证（裁判只需检查第一处分歧），它在什么条件下成立，以及”诚实但有错的论证”怎样让它失效。

0.2 先修与本讲范围 Prerequisites & scope

0.3 本讲地图 Map

§1  两种辩论：推理方法 vs 监督方法
§2  辩论能提高正确率吗？Du et al.、批评、鞅定理、从众、干预、修复与破坏    ← 代码 01
§3  交换什么：私有信息、证据 vs 观点、来源、信心加权                         ← 代码 02
§4  可控的辩论：SocraSynth 的争论强度、EVINCE 的信息论指标                  ← 代码 01、02
§5  辩论作为可扩展监督：只检查一步的裁判、辩手的能力、混淆论证              ← 代码 03
§6  怎样公平地评价一个辩论方法
§7  现状与开放问题
§8–12  小结、常见误区、练习、延伸阅读、下一讲预告

1. 两种辩论 · Two kinds of debate

“辩论”在 LLM 文献里指两件不同的事：

这两种辩论的数学完全不同。第一种是一群智能体的信念动力学：交流让信念怎样变化？第二种是一个博弈：两个对手各自选择策略，裁判的规则决定谁赢。我们先讨论第一种（§2–§4），再讨论第二种（§5）。

一个共同的思想来源是 Minsky 的”心智社会”（Society of Mind，1986）：智能来自很多简单的”智能体”的互动，而不是一个单一的机制。另一个是苏格拉底式的对话：通过提问和反驳暴露一个论证的弱点。Chang 的 SocraSynth 直接借用了这个名字。

2. 辩论能提高正确率吗？ · Does debate improve accuracy?

2.1 Du et al. 的多智能体辩论

Du et al.（ICML 2024，Improving Factuality and Reasoning in Language Models through Multiagent Debate）的协议很简单：几个 LLM 实例各自回答一个问题；然后每个实例看到其他实例的回答，被要求”参考别人的回答，给出更新后的回答”；重复几轮；最后取多数。在 ChatGPT（gpt-3.5-turbo）上，3 个智能体、2 轮辩论：

辩论在两个任务上都好于投票。注意两个细节：每个任务只评测了 100 道题（±4 个点的误差条）；“多数票”用的是 3 个智能体的第一轮回答——而辩论一共调用了 3 × 3 = 9 次。

同时期的 Liang et al.（EMNLP 2024，Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate）从另一个角度出发：他们观察到自我反思的”思维退化”（Degeneration-of-Thought）——模型一旦对自己的答案有了信心，反思也想不出新东西，即使最初的立场是错的（第 7 讲的结论）。他们让两个智能体”针锋相对”地辩论、一个裁判管理过程，在反直觉的算术题和常识机器翻译上有提升；他们也发现”适度的针锋相对”和”自适应地结束辩论”是必要的。ReConcile（Chen et al. 2024）用不同的模型（ChatGPT、Bard、Claude 2）做圆桌讨论，按信心加权投票，在 7 个基准上比单智能体和多智能体基线最多高 11.4%；他们的消融说明，来自不同模型的多样性是收益的关键。

2.2 批评：和同样计算量的投票比

后来的几项系统性比较给出了冷静得多的结论：

• Smit et al.（ICML 2024，Should we be going MAD?）比较了多种辩论协议和提示策略：多智能体辩论在目前的形式下不能可靠地胜过自洽性投票、多条推理路径的集成等方法；调参之后某些协议更好，说明辩论对超参数很敏感、难以优化。
• Wang et al.（ACL 2024，Rethinking the Bounds of LLM Reasoning: Are Multi-Agent Discussions the Key?）：一个带强提示的单智能体，在多种推理任务和模型上几乎达到最好的多智能体讨论方法的水平；只有在提示里没有示例时，多智能体讨论才明显更好。
• Choi et al.（NeurIPS 2025，Debate or Vote: Which Yields Better Decisions in Multi-Agent Large Language Models?）把多智能体辩论拆成两个组件——多数投票和智能体之间的辩论——在 7 个基准上发现：多数投票本身解释了辩论的大部分收益。例如 Qwen2.5-7B-Instruct 的 5 个智能体，7 个基准的平均准确率：单智能体约 72.1%（0.7205）、多数投票 76.9%，2/3/5 轮辩论都没有可靠地超过投票；在算术题上，2 轮辩论 76%、多数投票 99%。

第 12 讲 §7 的纪律在这里直接适用：一个用了 9 次调用的辩论，应该和”9 次调用 + 投票”比较。

2.3 鞅定理

Choi et al. 不只是做了比较，还给出了一个解释。他们把每个智能体建模成狄利克雷–多项式（DCM）模型：智能体对 $K$ 个选项有一个信念 $\alpha \in \mathbb{R}_+^K$；回答时先抽 $\theta \sim \text{Dirichlet}(\alpha)$，再抽答案 $y \sim \text{Categorical}(\theta)$（$\alpha$ 表示模型内部的不确定性，第二步表示采样的随机性）。辩论的每一轮，智能体看到邻居的回答，把它们当作观测计数加到 $\alpha$ 上——这是狄利克雷分布的共轭贝叶斯更新：

记 $p_{i,t}$ 为智能体 $i$ 在第 $t$ 轮”答对的概率”（$\alpha$ 归一化后在正确选项上的值）。定理：如果邻居的平均信念等于智能体自己的信念（例如所有智能体是同一个模型的实例），那么

$\{p_{i,t}\}$ 是一个鞅（martingale）：辩论不会系统地提高（也不会系统地降低）智能体答对的概率。直觉来自经典的 Pólya 罐子：从罐子里摸一个球、放回去再加一个同色的球——每种颜色的比例会随机漂移，但期望不变。辩论的每一轮，智能体把邻居的回答”加进罐子”，而邻居的回答是从和它自己一样的信念里抽出来的。

2.4 实验：智能体不变，投票变差

代码 01 在 DCM 模型里做了 6000 道题：5 个智能体（同样的初始信念）、4 个选项，每道题的难度不同（第 12 讲 §3 的题目异质性）。

智能体的平均正确率从头到尾是 55%——这就是鞅。但多数票从 66.1% 降到 61.9%：辩论让智能体互相趋同，5 个独立的意见变成了几个相关的意见（第 12 讲 §3.3 的有效人数下降），投票的集成收益被吃掉了。同样的 30 次回答（5 个智能体 × 6 轮）如果全部用来独立作答再投票，准确率是 76.8%。（草稿目录里跑到 20 轮：多数票在 60.9% 附近停住，智能体平均正确率仍是 55.2%。）

按题目拆开（代码 01 演示 2）更能看清发生了什么：第 0 轮多数票正确的 3601 道题，5 轮之后多数票只剩 85.4% 正确；第 0 轮多数票错误的 2399 道题，5 轮之后有 27.2% 翻成了对的。趋同像抽签：多数派可能被少数派拉走，少数派也可能把多数拉过来。易题多于难题时（模型的平均水平不差时），净效果是负的。这和 Choi et al. 表里 Qwen2.5-7B 在算术题上的结果（辩论 76%、投票 99%）方向一致。

2.5 打破对称：偏向正确的更新

鞅定理也指出了出路：要让辩论超过投票，更新规则必须不对称地偏向正确的答案。Choi et al. 试了三种干预，代码 01 演示 3 在同一个模型里复现：

Conformist 和 Follower 用”多数”作为正确性的代理：它们让智能体收敛到第 0 轮的多数票——终点就是投票本身，避免了 vanilla 的损失，但不能超过投票。oracle 说明，如果有一个不来自多数的正确性信号（答对了就不再动摇），辩论可以远远超过投票。现实中这个信号要来自别处：验证器、工具、可检查的证据。这正是第 7、8 讲的结论在多智能体里的样子：没有外部信号的”互相检查”，和自我纠错一样有限。

2.6 修复与破坏

第 7 讲用四个参数描述纠错：初始正确率 $p$、修复率 $r$（错 → 对）、破坏率 $f$（对 → 错）。EVINCE 的第 5 版（Chang，2026 年 9 月修订）把同一个恒等式写成”辩论应该优化的量”：

讨论有益当且仅当 $(1-p)r > pf$。它不需要任何独立性假设，只是把题目分成”初始对”和”初始错”两类。代码 01 演示 5：vanilla 辩论的多数票修复了 21.8% 的初始错误，却破坏了 18.2% 的初始正确——修复率并不低，但初始正确率是 66.0%，可破坏的远多于可修复的：$7.4 - 12.0 = -4.6$ 个点。oracle 的破坏率是 0。

这个恒等式还说明一件重要的事：模型越强（$p$ 越大），讨论越要谨慎地改答案——可修复的越来越少，可破坏的越来越多。评价一个辩论协议，应该报告 $r$ 和 $f$，而不只是最终的准确率。

3. 交换什么：证据 vs 观点 · What should agents exchange?

3.1 私有信息是关键

鞅定理的前提是”邻居的平均信念等于自己的信念”——所有智能体知道的东西一样。如果智能体手里的信息不一样呢？检索到的文档不同、调用的工具不同、读过的材料不同。Khan et al.（§5）的辩手能读原文、裁判读不到，就是”私有信息”最极端的情况。

代码 02 用一个”线索世界”研究这个问题：每道题 4 个选项；5 个智能体每人私下拿到 3 条线索，每条以 45% 的概率指向正确答案，否则随机指向一个错误答案。单个智能体只看自己的 3 条线索，正确率 51.8%。讨论 3 轮：

有私有信息时，交流有价值：交换证据 3 轮后达到理论最优——每条线索都被所有人看到，每个人的信念就是全部证据的后验。交换观点也有用（76.4%），因为每个智能体把”别人的答案”和”自己的证据”结合起来，而别人的答案里确实有自己没有的信息；但答案是证据的”压缩”，丢了信息，而且多轮之后会重复计算（第 2 轮别人的答案里已经含有第 1 轮我自己的影响）。“大嗓门”（一个从不改变、而别人把它的答案当作 3 条线索的智能体）让结果比不交流还差：话语权和正确性无关（第 12 讲 §4.3）。

没有私有信息，交流就没有价值。 代码 02 演示 2 改变”共有的线索”的比例：

三条线索全部共有——同一个模型、同一个提示的几个实例就是这种情况——投票、交换观点、交换证据都和单个智能体一样。这就是 §2.3 的鞅的另一种说法：它们交流的是同一个信念。要让辩论有用，先要让智能体知道不同的东西：不同的检索结果、不同的工具、不同的材料，或者至少是不同的模型（ReConcile 的消融说多样性来自不同的模型）。

3.2 来源：同一条证据不能算两次

表里最值得注意的一格是 54.5%：1 条线索共有时，如果智能体不知道证据的来源，每个人都把自己手里那份共有线索当作新证据公开，它被算了 5 次，交换证据的结果比不交流的投票（59.1%）还差。知道来源（共有的线索只算一次）时是 74.0%，等于理论最优。

这是第 12 讲 §4.4”要合并得好，必须知道哪些信息是重复的”在辩论里的样子。多个智能体检索到同一篇文档、引用同一个网站、来自同一份训练数据时，“大家都找到了证据”可能只是同一条证据的回声。一个可行的工程做法是让智能体在论证里引用来源（文档编号、URL、工具调用的 ID），汇总时按来源去重。

3.3 信心加权

ReConcile 按每个智能体报告的信心加权投票。代码 02 演示 4（不讨论，只在第 0 轮投票）：信心取智能体自己的后验最大概率（校准的）时，加权投票 78.4%，比多数票 70.7% 高；如果有一个智能体总是报告 99% 的信心（它的正确率和别人一样是 51.4%），加权投票降到 72.6%。按信心加权要求信心是校准的；LLM 自己报告的信心常常不校准（第 7 讲），用之前要在开发集上检查。

3.4 小结：交流的价值从哪里来

把 §2 和 §3 合起来：讨论能改进答案，来源只有两个——新的信息（私有的证据、不同的模型、工具的结果）和偏向正确的信号（验证器、可检查的论证）。两者都没有时，讨论是一个鞅加上从众，最好的结果是投票，常见的结果比投票差。

4. 可控的辩论：SocraSynth 与 EVINCE · Moderated debate

4.1 SocraSynth：可调的争论强度

Chang（2024，SocraSynth: Multi-LLM Reasoning with Conditional Statistics）的平台通常由一个人类主持人和两个持相反立场的 LLM 智能体组成，分两个阶段：

1. 知识生成：主持人设定议题和争论强度（contentiousness），两个智能体为各自的立场构建论证、互相反驳。高争论强度迫使模型离开它默认的”最可能”的立场，提出新的论点。
2. 推理评估：用苏格拉底式的提问和形式逻辑的原则（CRIT 算法）评估双方论证的质量。

争论强度从 0.9 开始，每轮除以 1.2，对话从对抗逐渐转向合作；当争论强度降到”和解”的水平、或论证质量不再提高时结束，最后收集双方的和解性结论，供人类决策参考。论文用三个领域的案例研究展示它的效果，没有和基线做受控的数值比较。

4.2 EVINCE：用信息论度量辩论

EVINCE（Entropy and Variation IN Conditional Exchanges；Chang 2024 年 8 月初版）把争论强度的调节交给信息论的信号：

• Wasserstein 距离、交叉熵、KL / JS 散度：两个智能体的预测分布差多远；
• 熵：每个智能体的预测有多分散；
• 互信息：在一组题上，两个智能体的预测标签共享多少信息（它是一组题上的量，不是一对分布的量）；
• CRIT：单独评估论证质量的通道。

调节规则：分歧大、共享信息少时，促进对抗性的交流以暴露不同的观点；散度下降、互信息趋于平稳时，转向和解阶段并结束。初版还提出一个”熵对偶”原则：把一个高熵（不确定、保留多种可能）和一个低熵（自信）的智能体配对最好；论文用疾病诊断和新闻偏见评估两个案例研究展示。

2026 年 9 月的第 5 版修订了理论主张，这次修订本身就是很好的研究方法案例：

• 支撑”熵对偶”的两个不等式（熵的凹性、KL 散度的凸性）只保证混合预测不比两者的加权平均差，不保证比更好的那一个好；所以熵对偶是一个需要在每个设置里测量的设计启发，不是定理。
• 辩论控制器真正应该提高的量是 §2.6 的 $\Delta = (1-p)r - pf$。
• 收敛不能作为成功的信号：两个持有相同错误分布的智能体散度为 0、错误不变；信息论指标度量的是交流的”几何”，不度量 $r$ 和 $f$——后者只能通过和单智能体答案的受控比较来估计。
• 两个案例研究保持不变，文章最后列出了支持一个确证性结论所需要的受控实验。

4.3 实验：争论强度和信息论指标

争论强度在”同一个信念”的世界里没有用。 代码 01 演示 4 在 DCM 模型里给每个智能体一个”固执”的概率 $s$（这一轮不看别人）——这是争论强度在这个模型里的样子。20000 道题：

固执只在第 1 轮让下降略慢一点；SocraSynth 式的递减日程第 1 轮最高、最后接近最低——和解阶段集中地趋同。没有哪种争论强度能让辩论超过第 0 轮的投票：交流的只是同一个信念的样本，争论得多激烈都不带来新信息。

争论强度在”私有证据”的世界里买的是证据。 代码 02 演示 6 在交换证据的协议里，让每个还在争论的智能体每轮以概率 $1-c$ 让步（采用当前多数、不再公开线索）：

这里争论强度有价值，因为每条消息都是新的证据；它的最佳值取决于消息的成本和证据的价值，而这两者都要在具体任务上量出来。

收敛不等于正确。 代码 02 演示 5 逐轮记录 EVINCE 的指标。交换观点时，两两 JS 散度从 0.1428 降到 0.0004 比特、平均熵从 1.623 降到 0.011 比特——智能体越来越一致、越来越自信；而在”全体一致但错误”的 1175 道题上，JS 散度（0.0006）和”全体一致且正确”的 3816 道题（0.0002）几乎一样。交换证据时，最后所有人的信念完全相同（JS 散度 0），但熵保留了有用的信息：全体一致而错误的题平均熵 1.145 比特，正确的题 0.559 比特——错的时候它”知道自己没把握”；交换观点之后，错的题平均熵也只有 0.022，所有人都很自信。这和 EVINCE 第 5 版的结论一致：散度适合当停止的信号，不适合当成功的信号；而交换证据比交换观点更能保住校准的不确定性。

5. 辩论作为可扩展监督 · Debate as scalable oversight

5.1 问题与提议

如果 AI 在某个任务上比人强，人怎样判断它的答案对不对？这是可扩展监督（scalable oversight）的问题，第 19 讲会完整讨论。Irving, Christiano & Amodei（2018，AI safety via debate）的提议：让两个 AI 为相反的答案辩论，人当裁判。他们的论证有两层：

• 复杂度理论的类比：在双方都最优的情况下，一个多项式时间的裁判通过辩论能判断 PSPACE 里的问题（直接判断只能做 NP，类似”检查一个证明”）。
• 直觉：说谎比揭穿谎言难。如果诚实的一方总能指出对方论证里那一步错误，裁判只需要检查那一步。

他们在 MNIST 上做了一个小实验：裁判是一个只能看到少数几个像素的分类器；两个辩手轮流揭示像素，争论图片是哪个数字。6 个像素时，辩论把裁判的准确率从 59.4% 提高到 88.9%；4 个像素时从 48.2% 到 85.2%。

5.2 实证：辩论 vs 咨询

后来的实验用一个非对抗的基线做比较——咨询（consultancy）：只有一个顾问，一半时间被指定为正确答案辩护、一半时间为错误答案辩护，裁判可以提问。

• Michael et al.（2023，Debate Helps Supervise Unreliable Experts）：人类辩手和人类裁判，阅读理解题（裁判看不到原文，辩手能引用原文片段）。辩论 84%、咨询 74%，辩论也更高效。
• Khan et al.（ICML 2024，Debating with More Persuasive LLMs Leads to More Truthful Answers）：在 QuALITY 阅读理解上，“专家”能读到原文，“非专家”裁判读不到。辩论让非专家 LLM 裁判达到 76%、人类裁判 88%（不看辩论的基线 48% 和 60%）。更重要的是：用无监督的方式优化辩手的说服力，会提高裁判找到真相的能力——说服力和真实性在辩论里是对齐的。
• Kenton et al.（NeurIPS 2024，On scalable oversight with weak LLMs judging strong LLMs）把任务扩展到数学、代码、逻辑和多模态推理：辩论在所有任务上都好于咨询；但和”裁判直接回答”相比，结果取决于任务——在有信息不对称的阅读理解上辩论更好，在没有信息不对称的任务上结果不一。更强的辩手提高裁判准确率，但幅度比之前的研究小。

5.3 实验：只检查一步的裁判

代码 03 在第 1 讲的多跳指针追踪题上把这个协议做出来。题目：n 个字母组成的环，从起点走 k 跳。裁判不会自己走 k 跳，但能查一次题面（检查”x 的下一个是 y”这一步对不对），预算是 c 次检查。论证是一条推理链（k 个字母）。诚实的辩手为正确答案辩护；说谎的辩手为一个错误答案辩护，用”只撒一个谎”的链：前面照实走，在第 j 步跳到一个精心选择的字母，之后照实走、恰好停在错误答案上——整条链只有一步是假的。

辩论的裁判从头比较两条链，找到第一次分歧：分歧之前两条链完全相同，所以分歧的那一步两人从同一个字母出发、说出不同的下一个字母——题面里这个字母只有一条出边，查一次就知道谁在说谎。

完美的诚实辩手（呈上真实的链），1000 道分布外的题（n = 9–12，k = 3–8，平均 5.6 跳）：

辩论只需要检查一步，无论谎撒在哪里。咨询的漏洞是说谎者只需要一个谎、可以藏在任何一步：随机抽查 c 步抓到它的概率是 c/k，准确率 ≈ 1/2 + c/(2k)。裁判自己解题要查 k 次，预算不够时只能猜。这就是 Irving et al. 的核心直觉的一个精确版本：辩论把”检查整个论证”变成了”检查一步”。

5.4 真实的辩手：会写论证 ≠ 会给答案

现在让诚实的一方用第 1 讲的思维链模型自己写的链：模型写对了，论证就是真实的链；写错了，论证就带着错误（辩手仍然必须为正确答案辩护）。说谎者仍然只撒一个谎。代码 03 演示 2（c = 1）：

两个发现：

• 会写论证不等于会给答案。 三个种子自己答对的比例是 39.7% / 53.5% / 69.0%，但链的前 k 步全对的比例是 83.2% / 86.6% / 77.8%——它们的主要错误是不知道何时停下（第 4 讲 §3.3），而不是走错。辩论里诚实的一方被告知要为哪个答案辩护，只需要截取前 k 步。“论证的质量”和”答题的准确率”把三个种子排成了不同的顺序：评价一个模型能不能当辩手，要测它的论证，而不是它的答案。
• 辩手越强，裁判越准（Khan et al. 的发现）：按论证的质量排序（77.8% → 83.2% → 86.6% → 100%），辩论的裁判准确率（晚谎）完全跟着走；咨询一直在 55%–65%。在这里，“说服力”就是能写出每一步都经得起检查的论证。

5.5 辩论什么时候失败：诚实但有错的论证

表里”第 k 步撒谎”的辩论准确率恰好等于诚实辩手写对论证的比例。代码 03 演示 3 拆开来看：诚实辩手的链正确时，裁判全部判对；链有错、说谎者把谎撒在最后一步时，四种设置合计判对 0/524。原因很简单：两条链的第一处分歧就是诚实一方自己的错误——裁判看到”诚实的一方在这一步说错了”，于是判它输；给裁判再多的检查次数也一样，因为第一处分歧已经分出了胜负。说谎者把谎撒在第 1 步时，同样这些题判对 476/524（输掉的 48 题主要来自诚实一方也错在第 1 步的 81 题，两边都错，裁判只能猜）。聪明的说谎者会把谎撒在后面。

这是辩论最重要的限制的一个简单版本。辩论的保证要求诚实的一方能写出无懈可击的论证，或者至少能指出对方论证里的错误。Barnes（2020）的”混淆论证问题”（obfuscated arguments problem）说的是更难的情况：说谎者可以给出一个很长的、每一步看起来都合理的论证，错误藏在某处，而诚实的一方也不知道错在哪里——它只知道结论是错的。这时裁判无法区分”诚实的一方找不到错误”和”论证本来就是对的”。后来的理论工作（如 Brown-Cohen, Irving & Piliouras 2023 的”双重高效辩论”）试图在诚实一方只有有限计算能力的情况下恢复保证。

6. 怎样公平地评价一个辩论方法 · Evaluating debate fairly

把这一讲的结论变成一张检查表：

1. 计算量匹配的投票基线：同样的调用次数（和同样的 token 预算）下的多数投票（Choi et al.；第 12 讲 §7）。辩论只在超过它时才说明”交流”有用。
2. 修复率和破坏率：报告 $r$、$f$ 和 $\Delta = (1-p)r - pf$，而不只是最终准确率（EVINCE v5、第 7 讲）。
3. 智能体知道不同的东西吗？ 同一个模型、同一个提示的实例之间的辩论，理论上是一个鞅。如果用了不同的模型、检索、工具，要说清楚，并做”同样的多样性、不交流、只投票”的对照（第 12 讲 §7 的分解）。
4. 证据的来源：智能体引用的证据是否重复？汇总时是否去重？
5. 足够多的题目和种子：Du et al. 每个任务 100 道题，误差条约 ±4 个点；一个 3 个点的改进需要几百到上千道题（第 2 讲）。
6. 超参数在开发集上决定：轮数、智能体数、争论强度、提示——辩论对它们很敏感（Smit et al.），在测试集上调它们会带来赢家的诅咒（第 12 讲 §6.4）。
7. 监督用途的辩论：报告和咨询、和裁判直接回答的比较；报告诚实一方论证有错时的表现，而不只是平均值。

7. 现状与开放问题 · State of the field

• 作为推理方法：早期的大幅提升（Du et al.）在计算量匹配的比较下大部分消失了（Smit et al.、Wang et al.、Choi et al.）。理论上，同一个模型的实例之间的辩论是一个鞅；改进需要偏向正确的信号或新的信息。不同模型、不同工具、不同检索的辩论（ReConcile 一类）更有希望，但需要和同样多样性的投票比较。
• 作为监督方法：受控实验（Michael et al.、Khan et al.、Kenton et al.）一致发现辩论好于咨询；和裁判直接回答相比的结果取决于任务是否有信息不对称。理论上最大的障碍是混淆论证问题：诚实的一方也会犯错、也会不知道错在哪里。
• 可控的辩论（SocraSynth、EVINCE）提供了调节交流的旋钮和度量交流的指标，但它们的证据主要是案例研究；EVINCE 的作者在第 5 版里明确把理论主张降级为启发，并列出了需要的受控实验——这本身是一个值得学习的研究诚实的例子。

研究问题：

1. LLM 的”更新规则”是什么？Choi et al. 的 DCM 是一个理想化的模型；真实的 LLM 读到别人的答案后，修复率和破坏率怎样依赖于对方的信心、理由的质量、对方是不是同一个模型？
2. 能不能训练偏向正确的更新——让模型在看到可检查的证据时改答案、在只看到别人的观点时不轻易改？（第 16 讲的多智能体训练。）
3. 怎样在辩论里自动地追踪证据的来源、避免重复计算？
4. 混淆论证问题在真实的 LLM 辩论里有多严重？诚实的辩手论证有错时，什么样的协议（交叉询问、递归分解、允许”我不知道”）能保住裁判的准确率？
5. 争论强度、轮数、何时结束：能不能用 $r$ 和 $f$ 的在线估计（而不是散度）来决定？

8. 小结 · Summary

1. 辩论有两种用途：推理（让答案更准）和监督（让弱裁判判断强模型）；数学和成功标准都不同。
2. Du et al. 的辩论在算术和 GSM8K 上好于 3 个智能体的投票；但和计算量匹配的投票比，辩论的收益大部分来自投票（Smit et al.、Wang et al.、Choi et al.）。
3. 鞅定理：同一个模型的实例按邻居回答做贝叶斯更新，每个智能体答对的概率是鞅。实验：智能体平均正确率始终 55%，多数票从 66.1% 降到 61.9%——趋同吃掉了集成收益；易题被破坏、难题偶尔被修复。只有偏向正确的更新（oracle 92.5%）能超过投票；Conformist / Follower 的终点就是投票。
4. $\Delta = (1-p)r - pf$：vanilla 辩论修复 21.8%、破坏 18.2%，初始 66.0% 时净损失 4.6 个点。
5. 交流的价值来自私有信息：交换证据达到合并全部证据的最优（81.7% vs 投票 70.3%）；信息完全共有时交流毫无价值；不知道来源时共享证据被重复计算，结果比投票还差（54.5% vs 59.1%）。按信心加权要求信心校准。
6. SocraSynth 的争论强度、EVINCE 的信息论指标：在”同一个信念”的世界里争论强度没有用；在私有证据的世界里它买的是证据，代价是消息。收敛不等于正确（EVINCE v5）。
7. 辩论作为监督：完美的辩手下，裁判只查 1 次就 100% 判对，咨询只有 60.5%；辩手越强裁判越准；诚实但有错的论证遇到把谎撒在后面的说谎者时全部判错（0/524）——混淆论证问题的一个简单版本。

9. 常见误区 · Common pitfalls

1. “辩论比单个模型好，所以交流有用。” 要和同样调用次数的投票比；收益可能全部来自投票。
2. “讨论之后大家都同意了，答案更可靠了。” 同一个模型的实例趋同只是从众；JS 散度为 0 的群体可以一起错。
3. “多给几轮，辩论就会收敛到正确答案。” 没有偏向正确的信号时，辩论是一个鞅；轮数越多，趋同越严重，投票的收益越少。
4. “让模型更’固执’（提高争论强度），辩论就更好。” 只在交流的是新证据时才成立；交流的是同一个信念的样本时，争论强度没有用。
5. “每个智能体都找到了支持这个结论的证据。” 先查来源：可能是同一篇文档。
6. “按信心加权总比不加权好。” 只有信心校准时才成立；一个过度自信的智能体会拖垮加权投票。
7. “辩论保证诚实的一方会赢。” 只在诚实的一方能写出无懈可击的论证时成立；诚实但有错的论证会输给把谎撒在后面的说谎者。
8. “一个模型答题准确率低，就不适合当辩手。” 论证的质量和答题的准确率可以不同（§5.4）；要直接测论证。

10. 练习 · Exercises

练习 1（鞅）。Pólya 罐子里有 2 个红球、1 个蓝球。每次随机摸一个、放回，再加一个同色的球。(a) 第一次摸之后，红球比例的期望是多少？(b) 这和 §2.3 的鞅定理有什么关系？(c) 如果规则改成”摸到红球加 2 个红球、摸到蓝球加 1 个蓝球”，期望还是不变吗？这对应 §2.5 的哪种干预？

参考答案：(a) 以 2/3 的概率摸到红，比例变成 3/4；以 1/3 的概率摸到蓝，比例变成 2/4。期望 $= \frac23 \cdot \frac34 + \frac13 \cdot \frac12 = \frac12 + \frac16 = \frac23$——不变。(b) 罐子是一个智能体的信念 α，“加一个同色的球”是看到一个邻居的回答后加计数；邻居的回答从同样的信念里抽出，所以比例是鞅。(c) 期望变成 $\frac23 \cdot \frac45 + \frac13 \cdot \frac24 = \frac{8}{15} + \frac16 = 0.7 > \frac23$：不对称的更新打破了鞅。如果红色是正确答案，这就是 §2.5 的”偏向正确的信号”（oracle 是极端情况：答对后不再更新）。问题在于现实中不知道哪种颜色是”正确的”——Conformist 用”多数”代替正确，所以它偏向的是多数。

练习 2（修复与破坏）。一个辩论协议在开发集上：单个模型的初始正确率 80%，辩论修复了 40% 的错误，破坏了 8% 的正确。(a) 辩论后的正确率是多少？(b) 换一个更强的模型（初始正确率 95%），如果 r、f 不变，辩论还有益吗？(c) 这说明了什么？

参考答案：(a) $0.8 \times 0.92 + 0.2 \times 0.4 = 0.736 + 0.08 = 0.816$，提高 1.6 个点。(b) $0.95 \times 0.92 + 0.05 \times 0.4 = 0.874 + 0.02 = 0.894$，降低 5.6 个点。(c) 同样的协议，对强模型有害：可修复的错误少了，可破坏的正确多了。要对强模型有益，破坏率必须降到 $(1-p)r/p = 0.05 \times 0.4 / 0.95 \approx 2.1\%$ 以下。这是 EVINCE v5 说的”模型越强，控制器越要谨慎地改答案”，也是第 7 讲自我纠错的同一个结论。

练习 3（信任别人多少）。代码 02 的”交换观点”假设别人的答案可靠度是 53%（接近实际）。如果智能体过度信任别人（假设可靠度 90%），或者不太信任（40%），结果会怎样？先预测，再检验。

参考答案（草稿目录里实际运行，同样的 5000 道题，讨论 3 轮）：假设可靠度 40% 时多数票 76.8%，53% 时 76.1%，70% 时 73.8%，90% 时 72.2%——过度信任别人的观点让结果变差（第 3 轮全体一致率都在 99% 以上，越信任别人，越早锁定在第 1 轮的多数上）。不太信任别人反而略好：别人的答案已经部分包含了”别人的别人”的影响，多轮之后被重复计算；低估它的可靠度部分抵消了重复计算。

练习 4（辩论的保证）。§5.3 的辩论协议在诚实辩手完美时 100% 判对。(a) 如果说谎者撒两个谎（第 2 步和第 5 步），裁判还是查 1 次就够吗？(b) 如果题面里有一个字母有两条出边（题目本身有歧义），协议会怎样？(c) 咨询协议里，说谎者撒一个谎还是多个谎对它更有利？

参考答案：(a) 够。第一处分歧在第 2 步，诚实的一方在那一步是对的。说谎者撒多少谎都只会让第一处分歧更早出现。(b) 分歧的那一步可能两条链都”对”（都是题面里存在的边），裁判分不出来——协议的保证依赖于”每一步都有唯一的正确答案可以检查”。真实的论证里，“一步是否成立”本身可能有争议，这时辩论就要递归下去（对那一步再辩论）。(c) 一个谎：随机抽查抓到它的概率是 c/k；谎越多越容易被抽到。

练习 5（会写论证 vs 会给答案）。§5.4 发现模型的论证（前 k 步）比它的答案准得多。(a) 为什么诚实的辩手”截取前 k 步”是合理的？它利用了什么信息？(b) 设计一个对照：如果诚实的辩手不知道 k、只能呈上自己写出的完整链，辩论的裁判准确率会怎样？

参考答案要点：(a) 辩论里辩手知道自己要为哪个答案辩护，题面里写着 k；“走 k 步”是结构知识（第 4 讲 §3.3 的”强制在第 k 步停下”把准确率从 29.5% 提到 84.5%，是同一件事）。辩论把”决定何时停下”这个模型做不好的部分交给了协议。(b) 诚实辩手呈上完整的链：走过头的链长度不等于 k、最后一个字母不是它要辩护的答案——这样的论证在第 k + 1 步（或最后一步）就和说谎者的链分歧，裁判检查时诚实一方的”多出来的步骤”本身可能都是对的边，协议需要规定”长度不对”怎样判。草稿目录里实际运行（代码 03 的 1000 道分布外的题、晚谎、c = 1）：诚实辩手原样呈上自己的链，长度不是 k 或结尾不是正确答案就直接判负，辩论的裁判准确率是 39.7% / 53.5% / 69.0%（种子 0 / 2 / 1）——恰好回落到”自己恰好走 k 步并答对”的比例。协议替辩手做了”何时停下”这一步，裁判准确率就从 78%–87% 降到 40%–69%：辩论能监督到什么程度，一部分取决于协议本身提供了多少结构。

练习 6（设计实验）。你想证明”不同公司的三个模型辩论两轮”比”同一个模型三个实例辩论两轮”好。列出你需要的条件和对照，以及每个对照回答的问题。

参考答案要点：(1) 同一个模型 × 9 次独立回答 + 投票；(2) 三个模型各 3 次独立回答 + 投票（有模型多样性、没有交流）；(3) 同一个模型三个实例辩论两轮；(4) 三个模型辩论两轮。(2) vs (1) 是模型多样性的收益；(3) vs (1) 是同一模型内交流的收益（理论上 ≈ 0 或负）；(4) vs (2) 是多样的模型之间交流的收益——这才是你要的。再加：报告每种条件的 r、f；token 匹配（辩论的 token 更多）；在开发集上决定提示和轮数；题目足够多、配对检验。

11. 延伸阅读 · Further reading

作为推理方法的辩论

• Y. Du et al. Improving Factuality and Reasoning in Language Models through Multiagent Debate. ICML 2024.
• T. Liang et al. Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate. EMNLP 2024.
• J. Chen et al. ReConcile: Round-Table Conference Improves Reasoning via Consensus among Diverse LLMs. ACL 2024.
• A. Smit et al. Should we be going MAD? A Look at Multi-Agent Debate Strategies for LLMs. ICML 2024.
• Q. Wang et al. Rethinking the Bounds of LLM Reasoning: Are Multi-Agent Discussions the Key? ACL 2024.
• H. K. Choi, X. Zhu & S. Li. Debate or Vote: Which Yields Better Decisions in Multi-Agent Large Language Models? NeurIPS 2025.

SocraSynth 与 EVINCE

• E. Y. Chang. SocraSynth: Multi-LLM Reasoning with Conditional Statistics. 2024.
• E. Y. Chang. EVINCE: Optimizing Multi-LLM Dialogues Using Conditional Statistics and Information Theory. 2024；第 5 版（2026 年 9 月）修订了理论主张。

作为监督方法的辩论

• G. Irving, P. Christiano & D. Amodei. AI Safety via Debate. 2018.
• J. Michael et al. Debate Helps Supervise Unreliable Experts. 2023.
• A. Khan et al. Debating with More Persuasive LLMs Leads to More Truthful Answers. ICML 2024.
• Z. Kenton et al. On Scalable Oversight with Weak LLMs Judging Strong LLMs. NeurIPS 2024.
• B. Barnes. Debate Update: Obfuscated Arguments Problem. AI Alignment Forum, 2020.
• J. Brown-Cohen, G. Irving & G. Piliouras. Scalable AI Safety via Doubly-Efficient Debate. 2023.

12. 下一讲预告 · Next lecture

第 14 讲：多智能体系统的架构——角色、通信拓扑、编排与自动设计。 这两讲的智能体都是”对等”的：每个人做同样的事（回答同一个问题），只是交流的方式不同。真实的多智能体系统常常是分工的：一个”产品经理”写需求、一个”架构师”设计、几个”程序员”实现、一个”测试员”检查（MetaGPT、ChatDev）；一个”编排者”把研究任务拆给几个并行的”子智能体”（Anthropic 的多智能体研究系统）。分工带来了新的问题：谁和谁说话（通信拓扑）？信息在传递中丢了多少？什么任务适合拆、什么任务拆了反而更差？能不能让算法自动搜索最好的架构（ADAS、AFlow），而不在小开发集上过拟合？