Lecture 16 · 训练会协作的模型——多智能体强化学习、自我博弈与社会智能 · Training Models That Collaborate

对应 Maps to：CS486 课程描述的 “multi-agent collaboration” 和 “enhance LLM reasoning”。第 12–15 讲的智能体都是现成的模型，被提示、被编排；这一讲问：如果让多个智能体一起学习，会学到什么——好的约定、坏的约定、搭便车、公地悲剧——以及 LLM 怎样用自我博弈和多智能体强化学习来训练推理与协作。这是多智能体部分的最后一讲。 依据说明：CS486 没有公开的日程或讲义。本讲依据多智能体学习的经典工作（Lewis 信号博弈、Foerster et al. 2016 与 Lazaridou et al. 2017 的涌现通信、COMA 与差分奖励、Hu et al. 2020 的 Other-Play、Carroll et al. 2019 的 Overcooked），LLM 的自我博弈与多智能体训练（SPIN、SPAG、SPIRAL、Absolute Zero、多智能体微调、MAPoRL、Sarkar et al. 2025 的社交推理游戏），以及社会智能的评测（GovSim、CICERO、Generative Agents、心智理论之争）。§2–§5 的实验是本讲义自己设计的，数字全部来自配套代码的实际输出。 配套代码 Code：code/lecture16/（只用标准库；策略是小的表格，用手写的 REINFORCE 训练；最慢的脚本约 26 秒） 预计阅读时间：3 小时（含运行代码）

0. 本讲导航 · How to read this lecture

0.1 学习目标 Learning goals

学完这一讲，你应该能够：

1. 说出多智能体学习比单智能体学习多出来的难题：约定与均衡选择、对新伙伴的泛化（零样本协调）、信用分配、非平稳性、个体利益与集体利益的冲突。
2. 解释自我博弈为什么会形成”只有彼此懂”的约定；Other-Play 怎样利用对称性避免任意的约定，以及它的目标和优化之间的差距。
3. 解释共享的先验（例如自然语言）为什么是跨伙伴协调的关键，以及多智能体微调怎样让它”漂移”。
4. 解释团队奖励的信用分配问题和差分奖励（反事实基线）的作用。
5. 描述 LLM 的几种自我博弈训练（SPIN、SPAG、SPIRAL、Absolute Zero），说明出题者的奖励怎样决定课程，以及”对抗式出题”的陷阱。
6. 用公地博弈（GovSim）说明个体理性与集体结果的冲突，以及共享奖励带来的分配问题；了解社会智能（CICERO、Generative Agents、心智理论）的评测与争议。

0.2 先修与本讲范围 Prerequisites & scope

0.3 本讲地图 Map

§1  为什么要"训练"协作：多智能体学习的五个难题
§2  约定与零样本协调：杠杆游戏、Other-Play、Lewis 信号博弈、共享的先验与漂移   ← 代码 01
§3  信用分配：团队奖励 vs 差分奖励；LLM 的多智能体训练                         ← 代码 02
§4  自我博弈：SPIN、SPAG、SPIRAL、Absolute Zero；出题者的奖励                  ← 代码 02
§5  社会智能：公地（GovSim）、外交（CICERO）、小镇（Generative Agents）、心智理论 ← 代码 03
§6  评测会协作的模型
§7  现状与开放问题
§8–12  小结、常见误区、练习、延伸阅读、下一讲预告

1. 为什么要”训练”协作 · Why train for collaboration?

第 12–15 讲的很多失败——从众（第 13、15 讲）、不澄清就带着假设继续、隐瞒信息、不知道何时停止（第 15 讲的 MAST）——可能有一个共同的根源：现在的 LLM 主要是作为单个助手训练的（预训练 + 指令微调 + 人类反馈），从来没有为”和别的智能体一起工作”被训练过。一个自然的想法是：让多个智能体在一起学习。

多智能体学习比单智能体学习多出几个难题，这一讲的实验各对应一个：

1. 约定与均衡选择：很多协作问题有多个同样好的解（“大家都靠右行驶”和”大家都靠左行驶”），一起学习的智能体会选中某一个——这是任意的。
2. 对新伙伴的泛化（零样本协调）：和训练伙伴配合得好，不代表能和陌生的伙伴（另一个模型、一个人）配合。
3. 信用分配：团队只得到一个总奖励时，每个智能体不知道自己做得好不好。
4. 非平稳性：每个智能体都在学习，对另一个智能体来说，“环境”一直在变（自我博弈的出题者和解题者，§4）。
5. 个体利益与集体利益的冲突：每个人最大化自己的收益，集体可能一无所获（公地悲剧，§5）。

2. 约定与零样本协调 · Conventions and zero-shot coordination

2.1 杠杆游戏

Hu et al.（ICML 2020，“Other-Play” for Zero-Shot Coordination）用一个极简的例子说明问题：你要和一个从未见过的陌生人各自独立地从 10 个杠杆里选一个，两人选中同一个才有收益。9 个杠杆收益 1.0，1 个杠杆收益 0.9。你选哪个？

人会选 0.9 的那个——它是唯一的、可以不经商量就想到一起的选择（Schelling 所说的”焦点”）。自我博弈的智能体不会：它和自己的副本一起训练，约定一个 1.0 杠杆——哪一个是随机的——和自己配合拿满分，和陌生人配合时只有约 1/9 的机会选到同一个。

代码 01 演示 1（20 个种子，REINFORCE 训练）：

自我博弈完全符合预期：和自己配合 99.9%，和别的种子配合 12.6%（理论值约 0.11）。这就是 Hu et al. 说的”高度特化的约定”，也是 Carroll et al.（NeurIPS 2019，On the Utility of Learning about Humans for Human-AI Coordination）在协作烹饪游戏 Overcooked 里看到的：自我博弈和基于种群训练的智能体和自己配合很好，和人类模型配合明显变差；专门为人类模型训练的智能体好得多，真人实验里也有同样的趋势（只是弱一些）。和自己配合的分数不能说明和别人配合的能力。

2.2 Other-Play：目标对了，优化不一定

Other-Play 的想法：问题里有一些对称性——这 9 个 1.0 杠杆在规则上没有任何区别，任何一种重新编号都不改变游戏。训练时，让伙伴的动作经过一个随机的对称变换。于是”约定好拉第 3 个 1.0 杠杆”不再有用——伙伴眼里的”第 3 个”是随机的——只有选那个独一无二的 0.9 杠杆才能稳定地协调。Hu et al. 在合作卡牌游戏 Hanabi 上发现，Other-Play 的智能体和独立训练的伙伴（以及人类玩家）配合得更好。

可是表里 Other-Play 只有 5/20 个种子收敛到 0.9 杠杆。代码 01 演示 2 解释了原因。记 q 为拉 1.0 杠杆的总概率，Other-Play 的目标是

它在 q = 0（只拉 0.9 杠杆）时最大（0.9），在 q = 1 时只有 1/9。但它是凸的：从均匀策略（q = 0.9）出发，梯度指向 q = 1——只有拉 0.9 杠杆的概率超过约 0.11 时，梯度才转向正确的方向。练习 2 在草稿目录里验证了这个阈值：初始概率 0.100 时 20 个种子里 1 个收敛到 0.9 杠杆，0.109 时 10 个，0.119 时 16 个，0.155 时 20 个。

但 Other-Play 有一个好处：它的目标不需要任何外部伙伴就能计算。用它给 20 个运行打分、挑出最好的两个，它们彼此交叉配对就是 89.9%。一个好的目标加上一个好的选择标准，比指望优化一次成功更可靠。

2.3 从零开始的语言

Lewis 信号博弈（Lewis 1969）是”语言从零开始形成”的最小模型：说话者看到 K 个物体之一，发出 K 个符号之一；听者只看到符号，猜是哪个物体；猜对两人都得分。任何一个”物体 ↔ 符号”的一一对应都是最优的。深度学习时代的涌现通信研究（Foerster et al. 2016 的可微分通信；Lazaridou et al. 2017 的多智能体指称游戏）用神经网络和更复杂的环境研究同一个问题。

代码 01 演示 3（8 个物体、8 个符号、8 个种子）：每个种子都和自己的伙伴达到 99% 左右，都用满了 8 个符号，但对应关系各不相同；说话者和另一个种子的听者配对，成功率 13.4%——和随机猜（12.5%）几乎一样。从零开始形成的约定是任意的。

2.4 共享的先验，以及漂移

那为什么两个从没见过的 LLM 智能体能立刻用自然语言协作？因为它们共享一个巨大的先验：同一种自然语言（以及大量相同的常识）。代码 01 演示 4 在初始化时给”物体 i ↔ 符号 i”加一点偏好（prior），模拟两个智能体共享的预训练语言：

先验够强时，所有种子都保留了先验的约定，和陌生伙伴的配合几乎完美；先验太弱时，自我博弈很快就覆盖了它。这就是语言漂移（language drift）：两个用自然语言初始化的智能体一起优化任务奖励，会慢慢发展出只有彼此懂的”暗语”——任务分数上升，人（和别的模型）却看不懂了。这对用自我博弈或多智能体强化学习微调 LLM 是一个直接的警示：要防止共享的语言先验被冲掉。

一个常用的对策是第 5 讲的 KL 惩罚——让策略不要离参考模型太远。演示 4 用”每一步把参数往初始值拉回一点”近似它：先验 0.2、拉回 0.002 时交叉配对从 39.4% 提高到 66.9%，但和自己伙伴的成功率从 97.8% 降到 85.9%；拉回 0.0005 时交叉配对是 32.9%（8 个种子，噪声很大，不足以下结论）。保持可理解性是有代价的——这是一个取舍，不是免费的。

3. 信用分配 · Credit assignment

3.1 团队奖励的信噪比

一群智能体只得到一个团队奖励时，每个智能体的学习信号里，只有很小一部分来自自己的动作，其余是别人的随机性和环境的噪声。代码 02 演示 1：n 个智能体各自选择出力（1）或偷懒（0），团队奖励 = 出力的比例 + 噪声；每个人都应该学会出力。

团队越大，团队奖励越难学。差分奖励（difference reward，Wolpert & Tumer）——“把我的动作换成默认动作、别人的不变，团队奖励会差多少”——把别人的随机性和共同的噪声都抵消掉，学习速度和团队大小无关。COMA（Foerster et al. 2018）的反事实基线是同一个想法的一般化：用一个学到的评价函数估计”如果我换一个动作，期望的团队奖励是多少”。

3.2 LLM 的多智能体训练

训练多个 LLM 一起讨论、一起解题时，“讨论的功劳归谁”是同一个问题：

• 多智能体微调（Subramaniam et al.，ICLR 2025，Multiagent Finetuning）：从同一个基础模型出发，用多智能体互动产生的数据分别微调每个模型，让它们专门化（有的负责生成、有的负责批评）。单个模型的自我改进做几轮就到头了；保持一个多样化的模型群体，能在更多轮里持续改进——这和第 12 讲”多样性是集成的燃料”一致。
• MAPoRL（Park et al. 2025）：多个 LLM 先各自作答，再多轮讨论改进答案；一个验证者给答案和讨论本身打分（鼓励纠正别人、有说服力的讨论），作为多智能体强化学习的奖励来一起训练。他们指出，只训练单个模型、指望它在讨论中协作，效果不如一起训练。
• SPIRAL（Liu et al.，ICLR 2026）在多角色的自我博弈里提出”按角色的优势估计”（role-conditioned advantage estimation），按角色分别归一化奖励来稳定训练——这也是一种减小信用分配噪声的办法。
• Sarkar et al.（2025，Training Language Models for Social Deduction with Multi-Agent Reinforcement Learning）在一个类似 Among Us 的社交推理游戏里训练 LLM 讨论”谁是内鬼”：把沟通拆成”听”（训练模型根据讨论预测关于环境的有用信息）和”说”（按一条消息对其他智能体的影响给它奖励）。这给了每一条消息一个直接的信号，相比标准的强化学习把胜率提高了一倍。

4. 自我博弈 · Self-play

4.1 从 AlphaZero 到 LLM

自我博弈在棋类游戏里大获成功（第 9 讲：AlphaZero 和自己下棋，产生无穷无尽的、难度随自身能力增长的训练数据）。LLM 的自我博弈有几种不同的形式：

• SPIN（Chen et al.，ICML 2024，Self-Play Fine-Tuning）：从一个监督微调过的模型出发，让模型区分”自己上一轮生成的回答”和”人类写的回答”，并让自己的回答越来越像人类的——“对手”是上一轮的自己。他们证明训练目标的全局最优当且仅当模型的分布等于人类数据的分布；在 Hugging Face Open LLM 排行榜上把平均分从 58.14 提高到 63.16，不需要额外的人工标注。
• SPAG（Cheng et al.，NeurIPS 2024，Self-playing Adversarial Language Game）：一个对抗性的语言游戏”禁忌词”——攻击者知道一个目标词，要诱导防守者不知不觉地说出它；防守者要从攻击者的话里推断目标词。让 LLM 扮演双方和自己对弈、按胜负做强化学习，模型在一系列推理基准上的表现普遍提高，并且可以多轮迭代。
• SPIRAL（Liu et al.，ICLR 2026）：在多轮零和游戏（井字棋、库恩扑克、简单谈判）上和不断进步的自己对弈，自动产生越来越强的对手；在 4 个模型、8 个推理基准上最多提高 10%，超过用 25,000 条专家对局做监督微调；不同的游戏发展出互补的认知模式。
• Absolute Zero（Zhao et al. 2025）：一个模型既出题又解题：它提出代码推理任务（用代码执行器验证任务和答案），再去解自己出的题；不用任何外部数据，在代码和数学推理上达到当时”零数据”设置下的最好水平。出题者的奖励是可学习性：解题者做 G 次，平均成功率 $\bar r$；$\bar r = 0$ 时奖励为 0，否则为 $1 - \bar r$——太容易的题（$\bar r = 1$）和做不出来的题（$\bar r = 0$）都没有价值。

4.2 实验：出题者的奖励决定了课程

代码 02 演示 2 用一个最小的出题者–解题者模型：解题者能力 s 从 0 开始，做难度 d 的题以 $\sigma(s - d)$ 的概率做对，做对时能力增加 $\eta(1 - p)$（越难的题做对了学到的越多，期望增益 ∝ $p(1-p)$）；出题者是 13 个难度上的 softmax，用 REINFORCE 学习。

• 对抗式的出题者会出无解的题：如果出题者的奖励是”让解题者失败”，它很快学会出解题者做不出来的题（平均难度 8.4），解题者几乎学不到东西（2.49）。“和自己对弈”要有效，出题者不能单纯以难倒对方为目标。SPAG、SPIRAL 的零和游戏之所以可行，是因为双方是同一个模型、能力同步增长，而且游戏有可以赢的结局。
• 可学习性奖励有效（10.06，好于随机难度的 6.82 和最简单的题的 4.47），但离参照（15.68）还远。原因有两个。第一，它偏爱”难但做得出来”的题（代码 02 演示 3）：G = 8 次尝试时，出题奖励的期望在 p ≈ 0.257 时最大，而解题者从 p = 0.5 的题学得最多（p(1 − p) = 0.25，p = 0.257 时只有 0.191）。第二，出题者跟不上解题者：600 步时解题者的能力 10.06，出题者的平均难度只有 7.1——题已经太容易了（成功率约 95%），奖励很小，出题者的策略却已经集中在旧的难度上、很难再探索；把出题者的学习率调大反而更糟（它更早地锁定在一个难度上）。

参照需要知道解题者的真实能力，现实中做不到；可学习性奖励只需要几次尝试的成功率。但”出题者和解题者的共同进化要保持同步”本身是一个需要设计的问题——这也是第 18 讲开放式学习的核心问题之一。

5. 社会智能 · Social intelligence

5.1 公地：GovSim

GovSim（Piatti et al.，NeurIPS 2024，Cooperate or Collapse）把公地问题做成 LLM 智能体的模拟：5 个渔夫共享一个湖，湖里最多 100 吨鱼；每个月各自决定捕多少，月底剩下的鱼翻倍（不超过 100）；鱼少于 5 吨时崩溃。可持续的上限是每人每月 10 吨（共 50 吨）。他们测试了主流的开源和闭源模型：除了最强的几个，所有模型都无法维持可持续的均衡，最好的存活率（12 个月都没崩溃的比例）也低于 54%；智能体之间的交流对合作至关重要；失败的根源是模型无法推理”自己的行动对群体均衡的长期影响”；让智能体使用普遍化推理（“如果每个人都这样做会怎样”，一种道德推理）显著改善了可持续性。

代码 03 用同样的规则做实验。固定的策略（演示 1）：

可持续的边界是一条刀刃：每人只多捕 2 吨，湖就在第 3 个月崩溃，总共只捕到 160 吨。普遍化推理可持续，但挡不住一个贪心者；以牙还牙更糟——它模仿别人上个月的平均，把贪心传染给了所有人。

一起学习（演示 2，5 个种子，每人从 0–30 吨里选一个每月的捕获量）：

• 个人奖励（最大化自己的总捕获）：5 个种子全部学会了每月捕最多的 30 吨，平均存活 1.0 个月——第一个月就把湖捕空。你少捕的鱼不会留给你，只会被别人捕走：这是囚徒困境的结构，个体理性导致集体非理性。
• 共享奖励（最大化大家的总捕获）：所有种子都学会了可持续（12 个月、600 吨），但分配很不平均（演示 3：基尼系数 0.40–0.56），每个种子都有人一条鱼都不捕。共享奖励只在乎总量，不在乎谁捕。练习 4 在草稿目录里把其中一个渔夫换成”个人奖励”：湖仍然存活，但这个自私的渔夫捕得最多（5 个种子里 180–360 吨）——合作者学会了迁就搭便车的人。

用共享的团队奖励训练多智能体系统时，“谁做了什么”不在目标里，就不会被学到：可能是懒惰的智能体（第 15 讲的”隐瞒信息、无视输入”），也可能是被利用的分工。

5.2 外交：CICERO

Meta 的 CICERO（Bakhtin et al.，Science 2022）在《外交》（Diplomacy）这个以谈判、结盟和背叛著称的 7 人游戏里达到了人类水平：它把一个对话模型和一个策略推理模块结合起来——推理模块预测其他玩家会怎么做、规划自己的行动，对话模型生成和这个计划一致的消息。在一个匿名的在线联赛里，它玩了 40 局，平均得分是人类玩家的两倍多，在玩过不止一局的参与者中排名前 10%。CICERO 说明”会说”和”会算”的结合可以做到社会性的协作；它的对话被约束为和自己的计划一致（不撒谎），这本身是一个重要的设计选择。

5.3 小镇：Generative Agents

Park et al.（UIST 2023，Generative Agents）在一个叫 Smallville 的沙盒小镇里放了 25 个 LLM 驱动的智能体，每个都有记忆流（记录经历）、反思（把经历总结成更高层的认识）和计划。智能体之间涌现出了社会行为：信息在人群中扩散、形成新的关系、协调组织一场情人节聚会（一个智能体的想法通过一传十、十传百变成了几个人的共同计划）。这类模拟让研究社会现象成为可能，但它们的”真实性”很难评测——行为看起来可信，不等于它们像真实的人群。

5.4 心智理论之争

协作需要推测别人知道什么、想要什么（心智理论，theory of mind）。Kosinski（PNAS 2024）用 40 个定制的错误信念任务测试 11 个 LLM，报告 GPT-4 解决了约四分之三的任务，相当于 6 岁儿童的水平，并推测这种能力可能是语言能力提高的副产品。Ullman（2023）的反驳：对任务做一些保持心智理论原则不变的微小改动（例如把不透明的袋子换成透明的），模型的结果就反了过来——他主张评测直觉心理学时应该默认怀疑，失败的反例比平均的成功率更有说服力。后续的工作（Pi et al. 2024）发现，把隐含的推理（例如”看了透明的容器就知道里面是什么”）写明，模型的表现就能保持——失败可能来自缺少某些隐含推理，而不是完全不会推断信念。这场争论是第 6 讲”推理还是捷径”在社会智能上的版本。

6. 评测会协作的模型 · Evaluating collaborative models

把这一讲的结论变成一张检查表：

1. 交叉配对：和独立训练的伙伴、其他模型、人类配合，而不只是和训练伙伴（自我博弈的分数说明不了什么，§2.1）。
2. 保持可理解性：用多智能体强化学习微调后，检查语言是否漂移——人和其他模型还看得懂吗？（§2.4）
3. 信用与贡献：报告每个智能体的贡献（例如反事实的”去掉它会怎样”），而不只是团队的总分；检查是否有智能体在搭便车（§3、§5.1）。
4. 分配与公平：团队目标之外，看收益和工作怎样分配（§5.1）。
5. 自我博弈的课程：报告出题者的难度怎样随解题者变化，检查是否出现”故意出无解的题”或者”出题者停滞”（§4.2）。
6. 对抗与鲁棒：加入一个自私的、或者有缺陷的智能体，系统还好吗？（§5.1、第 15 讲 §3）
7. 从众与修复 / 破坏：训练后的模型在讨论中改答案时，修复率和破坏率各是多少？（第 13 讲）

7. 现状与开放问题 · State of the field

• LLM 的自我博弈（SPIN、SPAG、SPIRAL、Absolute Zero）显示：和自己对弈产生的数据能提高推理，而且不需要人工标注；它们的共同挑战是课程的设计（出题者的奖励、共同进化的同步）和防止退化。
• 多智能体强化学习训练 LLM（多智能体微调、MAPoRL、社交推理游戏）刚刚起步：信用分配、语言漂移、对新伙伴的泛化都是开放问题。
• 社会智能的评测（GovSim、CICERO、Generative Agents、心智理论）显示模型能做出令人印象深刻的社会行为，也在简单的改动下失败；“行为看起来对”和”有稳健的能力”之间的距离仍然很大。

研究问题：

1. 怎样让 LLM 一起训练、同时不丢掉共享的语言先验？KL 惩罚之外，交叉配对（和冻结的参考模型配合）、人类在环的约束是否更有效？
2. 多智能体讨论里，怎样给每一条消息分配功劳？“一条消息对别人的影响”（Sarkar et al.）是否是一个通用的答案？
3. 自我博弈的出题者怎样跟上解题者？能不能让出题者直接估计”这道题能让解题者学到多少”，而不只是成功率？
4. 怎样训练出”该坚持时坚持、该改时改”的讨论者——降低第 13、15 讲的从众和破坏率？
5. 在公地式的场景里，交流、声誉、惩罚这些人类社会的机制，能不能被多个 LLM 智能体学会？GovSim 发现交流至关重要——交流里的什么起了作用？

8. 小结 · Summary

1. 多智能体学习的特有难题：约定与均衡选择、对新伙伴的泛化、信用分配、非平稳性、个体与集体利益的冲突。
2. 自我博弈形成任意的约定：杠杆游戏里和自己配合 99.9%，和独立训练的伙伴配合 12.6%。Other-Play 的目标指向唯一的 0.9 杠杆，但梯度训练从均匀策略出发常常到不了（5/20）；用 Other-Play 分数挑选运行，交叉配对 89.9%。
3. 从零开始的语言是任意的（Lewis 博弈交叉配对 13.4%，随机 12.5%）；共享的先验让约定能跨伙伴迁移（先验 0.5：99.4%）；先验太弱时被自我博弈覆盖——语言漂移；拉回参考是一种有代价的取舍。
4. 团队奖励的信噪比随团队变大而下降（128 个智能体：300 步只到 61.8%）；差分奖励（反事实基线）与团队大小无关（24 步）。
5. LLM 的自我博弈：SPIN（58.14 → 63.16）、SPAG、SPIRAL（最多 +10%）、Absolute Zero（可学习性奖励）。实验：对抗式的出题者出无解的题（2.49）；可学习性奖励有效（10.06），但偏爱 p ≈ 0.26 的题、而且出题者跟不上解题者。
6. 公地：个人奖励一起学习的结果是第一个月就捕空；共享奖励可持续但分配不平均（基尼 0.40–0.56），合作者会迁就搭便车的人。CICERO、Generative Agents、心智理论之争显示了社会智能的进展和它的脆弱。

9. 常见误区 · Common pitfalls

1. “和自己配合得好的智能体，就会和别人配合。” 自我博弈的约定是任意的；要用独立训练的伙伴、其他模型或人来评测。
2. “Other-Play（或任何一个好的目标）会自动得到好的策略。” 目标对了，优化可能停在坏的均衡上；要用目标本身来挑选和诊断运行。
3. “一起训练会让智能体的语言越来越好。” 一起优化任务奖励可能让语言漂移成只有彼此懂的暗语。
4. “团队奖励就够了，智能体会自己学会分工。” 团队越大信号越弱；而且团队奖励不在乎谁做了什么，可能学出搭便车和不公平的分工。
5. “自我博弈里，让出题者尽量难倒解题者，课程就会越来越难。” 出题者会学会出无解的题；奖励要针对”可学习性”。
6. “每个智能体都理性，结果就是好的。” 公地问题里，个体理性导致集体崩溃。
7. “模型通过了心智理论测试，就有心智理论。” 微小的改动可能让结果反转；看失败的反例，而不只是平均分。

10. 练习 · Exercises

练习 1（杠杆游戏的算术）。(a) 两个自我博弈的智能体各自约定了一个 1.0 杠杆（独立地、均匀地选），它们配合的期望收益是多少？(b) 两个都选 0.9 杠杆呢？(c) 一个选 0.9、另一个约定了某个 1.0 杠杆呢？(d) 这说明 Other-Play 选 0.9 杠杆是什么意义上的”最优”？

参考答案：(a) 选到同一个的概率 1/9，期望收益 1/9 ≈ 0.111。(b) 0.9。(c) 0——永远不会选到同一个。(d) 在”不知道伙伴是谁、伙伴也是用同样的方法独立训练的”这个前提下，选 0.9 杠杆的期望收益最高（0.9 > 0.111）。Hu et al. 说 Other-Play 是”元策略上的均衡”：如果大家都用 Other-Play 训练，没有人会想偏离。但如果伙伴碰巧和你约定了同一个 1.0 杠杆（比如你们一起训练过），选 1.0 更好——“最优”依赖于你对伙伴的假设。

练习 2（Other-Play 的吸引域）。§2.2 说只有拉 0.9 杠杆的初始概率超过约 0.11 时梯度才转向。(a) 从 $J(q) = q^2/9 + 0.9(1-q)^2$ 推出这个阈值。(b) 预测：如果初始化时给 0.9 杠杆一点”领先”，收敛到它的种子会怎样变化？然后检验。

参考答案：(a) $dJ/dq = 2q/9 - 1.8(1-q)$，令它为 0：$q(2/9 + 1.8) = 1.8$，$q^* = 1.8 / 2.022 \approx 0.89$。q > 0.89（拉 0.9 杠杆的概率 < 0.11）时梯度为正，往 q = 1 走；反之往 q = 0 走。(b)（草稿目录里实际运行，每种 20 个种子）：0.9 杠杆的初始概率 0.100 / 0.109 / 0.119 / 0.130 / 0.155 时，收敛到它的种子数是 1 / 10 / 16 / 18 / 20。阈值附近一半一半，正如理论预测（抽样的噪声让一些种子越过了阈值）。实际意义：好的初始化（例如来自预训练的先验，§2.4）可以让正确的约定落在吸引域里。

练习 3（差分奖励）。n 个智能体，团队奖励 $R = \frac{1}{n}\sum_j a_j + \varepsilon$，$a_j \in \{0, 1\}$ 以概率 $\pi_j$ 取 1，$\varepsilon \sim N(0, \sigma^2)$。(a) 智能体 i 的差分奖励 $D_i = R(a) - R(a_{-i}, 0)$ 是什么？(b) 用团队奖励时，智能体 i 的学习信号里，“别人的动作”贡献的方差是多少？它和 i 自己的贡献比，随 n 怎样变化？

参考答案：(a) $D_i = a_i / n$——噪声和别人的动作都抵消了，只剩自己的贡献。(b) 别人的动作贡献 $\frac{1}{n}\sum_{j \ne i} a_j$，方差 $\frac{1}{n^2}\sum_{j\ne i}\pi_j(1-\pi_j) \approx \frac{(n-1)}{n^2} \cdot 0.25$；自己的贡献 $a_i/n$ 的方差 $\approx 0.25/n^2$。比值（噪声 : 信号）约为 $n - 1$，再加上 $\sigma^2$ 相对于 $0.25/n^2$ 的 $4\sigma^2 n^2$。团队越大，信号被淹没得越厉害——代码 02 演示 1 的 128 个智能体 300 步只到 61.8%。

练习 4（一个自私的渔夫）。§5.1 的共享奖励学会了可持续。如果 5 个渔夫里有 1 个用个人奖励（只在乎自己的捕获），其他 4 个用共享奖励，会怎样？先预测，再检验。

参考答案（草稿目录里实际运行，5 个种子）：所有种子都存活了 12 个月（总捕获 540–600 吨），但自私的渔夫学会了每月捕 15–30 吨，12 个月共 180–360 吨，是所有人里最多的；共享奖励的 4 个人相应地少捕，有的人一条鱼都不捕。合作者学会了迁就搭便车的人——在这个模型里，这让湖活了下来；但如果自私的人更多（练习：试试 2 个、3 个），合作者能迁就的空间就不够了。现实的类比：一个只优化自己指标的智能体，可以被一个”好说话”的团队一直纵容下去。

练习 5（设计一个实验）。你想用多智能体强化学习训练两个 LLM 在讨论中更好地纠错。设计训练目标和评测，说明你怎样避免本讲的三个陷阱：语言漂移、搭便车、从众。

参考答案要点：(1) 目标：答案正确性的奖励 + 按”一条消息让对方从错改对”给分（修复，第 13 讲的 r），按”让对方从对改错”扣分（破坏，f）；这给了每条消息直接的信用（§3）。(2) 防漂移：对参考模型的 KL 惩罚；定期让训练中的模型和一个冻结的、没训练过的模型讨论，监控交叉配对的效果；人工抽查对话的可读性。(3) 防搭便车：分别记录两个模型的修复和破坏；如果一个模型总是同意对方、从不提出新论点，它的消息信用应该接近 0。(4) 防从众：让两个模型在看到对方之前先独立作答（第 15 讲 §4）；测量训练前后的从众率（对方给出错误答案时改口的比例）。(5) 评测：在留出的题上，和独立训练的伙伴、和其他模型配对；计算量匹配的投票基线（第 12、13 讲）。

11. 延伸阅读 · Further reading

约定、零样本协调与涌现通信

• H. Hu et al. “Other-Play” for Zero-Shot Coordination. ICML 2020.
• M. Carroll et al. On the Utility of Learning about Humans for Human-AI Coordination. NeurIPS 2019.
• J. Foerster et al. Learning to Communicate with Deep Multi-Agent Reinforcement Learning. NeurIPS 2016.
• A. Lazaridou, A. Peysakhovich & M. Baroni. Multi-Agent Cooperation and the Emergence of (Natural) Language. ICLR 2017.
• J. Lee, K. Cho & D. Kiela. Countering Language Drift via Visual Grounding. EMNLP 2019.

信用分配与多智能体训练

• J. Foerster et al. Counterfactual Multi-Agent Policy Gradients（COMA）. AAAI 2018.
• V. Subramaniam et al. Multiagent Finetuning: Self Improvement with Diverse Reasoning Chains. ICLR 2025.
• C. Park et al. MAPoRL: Multi-Agent Post-Co-Training for Collaborative Large Language Models with Reinforcement Learning. 2025.
• B. Sarkar et al. Training Language Models for Social Deduction with Multi-Agent Reinforcement Learning. 2025.

自我博弈

• Z. Chen et al. Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models（SPIN）. ICML 2024.
• P. Cheng et al. Self-playing Adversarial Language Game Enhances LLM Reasoning（SPAG）. NeurIPS 2024.
• B. Liu et al. SPIRAL: Self-Play on Zero-Sum Games Incentivizes Reasoning via Multi-Agent Multi-Turn Reinforcement Learning. ICLR 2026.
• A. Zhao et al. Absolute Zero: Reinforced Self-play Reasoning with Zero Data. 2025.

社会智能

• G. Piatti et al. Cooperate or Collapse: Emergence of Sustainable Cooperation in a Society of LLM Agents（GovSim）. NeurIPS 2024.
• Meta FAIR Diplomacy Team（A. Bakhtin et al.）. Human-Level Play in the Game of Diplomacy by Combining Language Models with Strategic Reasoning（CICERO）. Science, 2022.
• J. S. Park et al. Generative Agents: Interactive Simulacra of Human Behavior. UIST 2023.
• M. Kosinski. Evaluating Large Language Models in Theory of Mind Tasks. PNAS, 2024；T. Ullman. Large Language Models Fail on Trivial Alterations to Theory-of-Mind Tasks. 2023.

12. 下一讲预告 · Next lecture

第 17 讲：衡量通往 AGI 的进展——定义、基准、时间跨度与饱和。 多智能体部分到此结束。课程描述的最后一个关键词是”toward AGI”。什么是 AGI，怎样知道我们离它多近？下一讲讨论 AGI 的几种定义（Levels of AGI、Chollet 的”技能获取效率”）、为抵抗饱和而设计的基准（ARC-AGI 1/2/3、Humanity’s Last Exam、FrontierMath）、第 11 讲 METR 时间跨度的完整分析和它的假设，以及用项目反应理论（IRT）分析一个基准——题目的难度、区分度，以及”一个分数到底测了什么”。