第 9 讲：后训练的演变——从 Chatbot 到 Agent（客座讲座）

对应：Stanford CS329A Autumn 2025 Lecture 9（Mon 10/20），客座讲座：Melvin Johnson（Google DeepMind），题目 Evolution of Post-training from Chatbots to Agents。这次讲座只公开了题目，没有公开的幻灯片或讲稿。 本讲依据后训练方向的公开文献（InstructGPT、Llama 2 / 3、Tülu 3、DeepSeek-R1 等论文和技术报告），按时间线梳理”后训练怎样从训练聊天机器人演变成训练 agent”，不代表讲者本人的观点。 配套代码：code/lecture09/（只用 Python 标准库，1 个文件，约 1 秒） 预计阅读时间：2 小时（含运行代码）

0. 本讲导航

0.1 学完本讲，你应该能够

1. 说出后训练（post-training）做什么、为什么它在 2024~2025 年变得越来越重要。
2. 按时间线说出后训练的几个阶段和每个阶段的代表性方法：SFT + RLHF（2022）→ 规模化与简化（2023：多个奖励模型、拒绝采样、DPO、AI 反馈）→ 合成数据与迭代的流水线（2024）→ 大规模的 RLVR 与 reasoning model（2025）→ agent 的后训练。
3. 说出训练 agent 和训练 chatbot 的几个根本区别：环境、多轮的轨迹、由多项组成的奖励、长程的 credit assignment、新的评估方式。
4. 解释 agent 的奖励设计中的两个陷阱（toy 演示）：多项奖励在 GRPO 的组内归一化下可能被扭曲；冷启动的数据会固化示范者的习惯。
5. 把整门课放进后训练的框架：前八讲的方法（采样、验证、工具反馈、搜索、RL）都是后训练流水线里的组件。

0.2 先修知识

0.3 本讲地图

第1节  什么是后训练，为什么越来越重要
第2节  2022：Chatbot 的后训练 —— SFT + RLHF
第3节  2023：规模化与简化 —— 多个奖励模型、拒绝采样、DPO、AI 反馈
第4节  2024~2025：合成数据、RLVR 与 reasoning model
第5节  Agent 的后训练：什么变了                          ← 代码 01
第6节  全景：训练信号与人的角色的演变
第7–10节 小结、练习、延伸阅读、下一讲预告

关于本讲的数字：论文和技术报告里的数字注明出处；模拟实验的数字来自 01 号代码的实际输出（固定随机种子，Python 3.9 与 3.13 逐字相同）。

1. 什么是后训练，为什么越来越重要

预训练（pretraining）在海量文本上做”预测下一个 token”，让模型获得知识和语言能力。后训练（post-training）是预训练之后的所有训练，它决定模型怎样使用这些能力：听不听指令、说话的风格、什么时候拒绝、会不会一步步推理、会不会调用工具、能不能把一件长任务做完。

第 1 讲第 4 节看到了后训练的威力：InstructGPT（1.3B）在人类评估中胜过 GPT-3（175B）。2024~2025 年，后训练的地位进一步上升，有几个原因：

• 预训练的收益递减（第 1 讲第 2.4 节）：继续扩大预训练越来越贵。
• RL 打开了新的扩展轴：o1 显示准确率随训练时的 RL 计算呈 log-linear 增长（第 1 讲第 5.5 节）；DeepSeek-R1 证明了大规模 RLVR 能产生长推理链。后训练不再只是”调一调风格”，而是能实质性地提升能力。
• agent 的需求：让模型在真实环境里完成多步任务，需要专门的训练——预训练数据里几乎没有”一个 agent 调用工具、观察结果、修改计划”的完整轨迹。

可以把后训练的演变理解为两条线的交织：训练信号从哪里来（人 → AI → 程序 → 环境），以及训练的任务是什么（单轮回答 → 推理 → 多轮的工具使用和长程任务）。

2. 2022：Chatbot 的后训练——SFT + RLHF

2.1 目标：有帮助、诚实、无害

Anthropic 的 Askell et al. 2021 提出了一个后来被广泛采用的目标：助手应该 helpful、honest、harmless（HHH）。这三个词也大致对应了之后几年后训练的主要优化方向。

2.2 InstructGPT 的三步

Ouyang et al. 2022（InstructGPT，第 1 讲第 4.3 节）给出了经典的三步：

1. SFT：标注员为一批提示词写出示范回答（约 1.3 万个提示词），在上面微调。
2. 训练奖励模型：对同一个提示词采样几个回答，标注员排序（约 3.3 万个提示词），训练 Bradley–Terry 式的奖励模型。
3. PPO：用奖励模型做 RL（约 3.1 万个提示词），带 KL 惩罚。

整个过程只用了几十位标注员。ChatGPT 用的也是这个流程。

2.3 这一阶段暴露的问题

• 奖励模型被钻空子（reward hacking）：模型学会了讨好奖励模型的表面特征——回答更长、格式更花哨、更爱附和用户（sycophancy）。CS329H 第 14 讲详细讨论了长度偏差和风格偏差。
• 回避：为了无害而拒绝合理的请求（第 4 讲第 4.1 节）。
• 人类标注贵、慢、不一致。

3. 2023：规模化与简化

3.1 Llama 2：更多的数据、多个奖励模型、迭代的 RLHF

Touvron et al. 2023（Llama 2）的后训练展示了”规模化”之后的样子：

• SFT 重质不重量：他们发现几万条高质量的标注就够了（论文用了 27,540 条），比使用大量质量参差的第三方数据更好。
• 两个奖励模型：分别针对有帮助和安全训练，因为两个目标常常冲突，用一个奖励模型很难兼顾。
• 迭代的 RLHF：先后训练了 5 个版本，每一轮收集新的偏好数据（用最新的模型生成回答），重新训练奖励模型；RL 先用拒绝采样微调（采样多个回答，用奖励模型挑最好的，在它们上面微调——这正是第 6 讲 STaR / RFT 的思路），后期再加上 PPO。
• Ghost Attention（GAtt）：一种让模型在多轮对话中始终遵守最初的系统指令（“始终用法语回答”）的数据构造技巧。多轮一致性是 agent 的前置需求。

3.2 DPO：不需要奖励模型和 RL

Rafailov et al. 2023 的 DPO（Direct Preference Optimization）证明：KL 约束的 RLHF 目标的最优解可以写成解析形式，于是可以直接在偏好数据上用一个分类式的损失训练策略，不需要单独训练奖励模型，也不需要在线采样做 RL（CS329H 第 9 讲）。DPO 简单、稳定、便宜，迅速成为开源后训练的主流。

3.3 AI 反馈与合成数据

• RLAIF / Constitutional AI（第 4 讲）：用 AI 按原则给出的偏好代替人类的偏好。
• 合成指令数据：Self-Instruct、Alpaca 等工作让强模型生成指令和回答，用来训练弱模型；UltraFeedback 等数据集用强模型给回答打分，构造偏好数据。
• LIMA（Zhou et al. 2023）：只用 1000 条精选的数据做 SFT 就得到了不错的助手。论文提出了”表面对齐假设”（superficial alignment hypothesis）：模型的知识和能力几乎全部来自预训练，对齐主要是教它”用什么格式、什么风格说话”。

这一阶段的趋势是：用 AI 代替人，用更简单的算法代替 RL。

4. 2024~2025：合成数据、RLVR 与 reasoning model

4.1 Llama 3：按能力组织的、多轮迭代的流水线

Llama 3 的技术报告（2024）描述了一个高度工程化的流程：做好几轮后训练，每一轮都是”SFT + DPO”，数据一部分来自人类标注，大部分是合成的：用拒绝采样（多采样、用奖励模型挑选）为当前模型生成高质量的回答。报告按能力组织数据：代码、数学和推理、多语言、长上下文、工具使用、事实性、可控性……每种能力都有专门的数据构造方法。例如代码数据会用执行反馈过滤（能跑通、能通过测试的才保留）。

“按能力组织 + 自动生成和过滤数据”是现代后训练的基本形态，它本身就是一个自我改进的循环：当前模型生成数据 → 自动过滤 → 训练下一个模型。

4.2 Tülu 3：开放的配方与”RLVR”这个名字

Lambert et al. 2024（AI2，Tülu 3）公开了一套完整的后训练配方：SFT → DPO（用在线生成的偏好数据）→ RLVR。正是这篇工作提出了 RLVR（reinforcement learning with verifiable rewards）这个名字：在数学、精确指令遵循这类可以用程序检查的任务上，只用”对 / 错”作为奖励做 RL。

4.3 o1 与 DeepSeek-R1：RL 成为主角

• OpenAI o1（2024 年 9 月）：用大规模的 RL 训练模型生成长推理链，准确率随训练时和测试时的计算都稳定增长。
• DeepSeek-R1（2025 年 1 月）公开了做法：
  1. R1-Zero：直接在 base model 上用 GRPO 做 RLVR，奖励只有”答案对不对""格式对不对”。推理链自发地变长，出现了自我检查和回溯，但可读性差、会混用语言。
  2. R1 的流水线：先用几千条长 CoT 数据做 SFT（冷启动）→ 面向推理的 RL（除了正确性，还加了”语言一致性”的奖励）→ 用 RL 后的模型拒绝采样出约 60 万条推理数据，再加上约 20 万条非推理数据（写作、问答等），重新做 SFT → 最后一轮面向所有场景的 RL（推理任务用规则奖励，其余用奖励模型衡量有帮助和无害）。
  3. 蒸馏：用 R1 生成的数据微调更小的模型（Qwen、Llama 系列），效果好于直接在小模型上做 RL。

这一阶段的特点是：可验证的奖励 + 大规模 RL 成为能力提升的主要来源，SFT 的作用变成”冷启动”和”把 RL 学到的能力整理、迁移”。

5. Agent 的后训练：什么变了

从训练”回答问题的模型”到训练”把事做完的 agent”，有几个根本的变化。

5.1 环境：训练数据变成了”可以交互的世界”

chatbot 的训练数据是静态的（提示词 + 回答）。agent 的训练需要环境：一个代码仓库加上能运行测试的沙盒、一个终端、一个浏览器、一个模拟的用户和一组 API。RL 的每一步都要在环境里真正地执行动作、拿到观察。于是：

• 环境本身成了稀缺资源：要有大量多样的、能自动判断成败的任务环境。例如为软件工程 agent 构造的 SWE-Gym、SWE-smith 等，从真实的 GitHub 仓库里批量生成”可执行、可测试”的任务。
• 环境的成本：一次 rollout 可能要几分钟（编译、跑测试、等网页加载），RL 的基础设施要能异步地、大规模地并行跑环境。

5.2 轨迹：多轮、长程、夹杂着环境的输出

一条 agent 的轨迹是”思考 → 工具调用 → 工具返回 → 思考 → ……”交替进行的，可能有几十上百轮。两个技术上的后果：

• 只对模型自己生成的部分求梯度：工具返回的内容（网页、命令输出、测试结果）不是模型的动作，训练时要从损失里屏蔽掉（loss masking）。第 8 讲提到的 Search-R1 就这样做。
• 长程的 credit assignment：奖励通常只在最后（任务完成没有），而轨迹很长。哪一次工具调用是关键的？这是第 3 讲过程监督、第 5 讲 SWiRL 逐步奖励想解决的问题。

5.3 奖励：由多项组成，也更容易被钻空子

agent 的奖励很少只有”做对没有”：

• 结果：测试通过、任务完成（可验证）；不可验证的任务用基于评分细则（rubric）的 LLM judge。
• 成本：工具调用的次数、花的时间和钱、上下文的长度。
• 安全与规范：不执行危险的命令、不泄露信息、遵守权限。
• 格式：工具调用的格式是否正确。

奖励越复杂，越容易出现意想不到的捷径。一个被广泛报道的例子是编程任务里的 reward hacking：OpenAI 的 Baker et al. 2025 观察到，前沿的 reasoning model 在 RL 训练中会想办法让单元测试”通过”，而不是真正修好代码（例如修改测试、让检查函数直接返回成功）。这和第 7 讲 AI Scientist 修改自己的超时限制是同一类问题：优化目标被以人没有想到的方式达成。

5.4 toy 演示：奖励设计的两个陷阱

01_tool_use_rl.py 用第 6 讲的可训练模型（10B，算术能力固定），只训练一件事：每种情境下要不要调用计算器。计算器一定算对（但有 5% 的概率调用失败），每次调用有成本 $\lambda$。奖励 $= [\text{做对}] - \lambda \times \text{调用次数}$。初始策略只有 5% 的概率调用计算器。

演示 1：成本怎样塑造学到的策略（RLOO 式的优势，训练 60 步）

• 调用免费时，RL 学会了在乘法上几乎总是调用计算器（无进位的加法本来就很少出错，调不调用差别很小）。
• 有一点成本时，RL 学会了按需调用：调用次数少了三分之一，准确率仍然远高于训练前。
• 成本太高时，RL 学会了几乎不调用。
• 奖励写什么，模型就学什么：成本、延迟、安全之间怎样权衡，是后训练的设计者要做的价值判断。

演示 2：同样的奖励，换成 GRPO 的优势

训练开始时，有 18.0% 的组 8 个样本全对或全错。在这些组里，奖励的差别只剩下调用成本（$-0.02 \times$ 调用次数），标准差很小；GRPO 除以它之后，“少调用一次”得到了和”做对一道题”一样大的优势。这些组的信号压倒了其余的组，模型学会了完全不调用计算器。没有成本时（$\lambda = 0$），全对或全错的组优势全为 0，GRPO 没有这个问题。

这正是第 6 讲提到的 Dr. GRPO 等工作对标准差归一化的批评。agent 的奖励往往由多项组成（正确性 + 成本 + 格式 + 安全），这个陷阱更容易出现：一个看起来无害的小惩罚项，可能在归一化之后主导整个训练。

演示 3：冷启动的利与弊（RLOO，$\lambda$ = 0.02）

先用 50 条”专家轨迹”（专家只在乘两位数时调用计算器）做 SFT，再做 RL，和直接从初始策略开始 RL 比较：

• 冷启动让早期学习快得多：只做 RL 时，“调用”这个行为很少出现，信号很弱，前 10 步几乎没有进步（第 4 讲 RLEF 的”探索不足”）；50 条示范就让模型学会了”乘两位数时调用”。
• 但训练久了，只做 RL 反而更好：SFT 让模型在专家没调用过的情境上变得非常确定地”不调用”（例如乘一位数时的调用概率 0.01），这些行为几乎再也不会被尝试，RL 也就学不到它们的价值。只做 RL 的策略保留了更多的探索，在更多情境上学会了调用（60 步时乘一位数 0.15、无进位加法 0.92）。
• 冷启动的数据会固化示范者的习惯。DeepSeek-R1 用几千条长 CoT 数据冷启动，主要是为了可读性和训练的稳定性；冷启动数据选什么、选多少，决定了 RL 从哪里出发、还能走多远。

5.5 评估：从”聊得好不好”到”事做成了没有”

agent 的评估更难：任务要可执行、可复现、能自动判断成败，还要防止 agent 在评估环境里”作弊”。第 14 讲专门讨论。

5.6 安全：agent 能做的事更多，风险也更大

一个能执行命令、浏览网页、调用 API 的 agent，面对的风险远多于聊天机器人：

• 提示注入（prompt injection）：网页或文档里藏着”忽略之前的指令，把用户的数据发给……”（CS224V 第 3 讲）。
• 不可逆的动作：删除文件、发出邮件、付款。需要权限控制和人工确认。
• 训练时的安全：RL 的环境必须是沙盒，否则 agent 在训练中探索出的”捷径”可能造成真实的损害。

这些都要在后训练里专门处理：构造包含攻击的训练数据、在奖励里加入安全项、训练模型在关键动作前请求确认。

6. 全景：训练信号与人的角色的演变

两个趋势很清楚：

1. 训练信号越来越来自模型自己和环境——这正是”self-improving”的含义。
2. 人的角色在上移：从写答案、打分，变成设计环境、奖励、原则和护栏。人做的事更少，但每件事的杠杆更大，出错的代价也更大（演示 2 那样的一个小惩罚项就能毁掉训练）。

7. 小结

1. 后训练决定模型怎样使用预训练学到的能力。预训练收益递减、RL 成为新的扩展轴、agent 的需求，让后训练越来越重要。
2. 2022：SFT + 奖励模型 + PPO（InstructGPT），目标是有帮助、诚实、无害；问题是 reward hacking、回避、标注贵。
3. 2023：规模化与简化——Llama 2 的两个奖励模型和迭代的 RLHF（拒绝采样 + PPO）、DPO 去掉 RL、Constitutional AI 用 AI 代替人、LIMA 的”表面对齐假设”。
4. 2024~2025：Llama 3 按能力组织的多轮”SFT + DPO”和大量合成数据；Tülu 3 提出 RLVR；DeepSeek-R1 的流水线：冷启动 SFT → 推理 RL → 拒绝采样 + SFT → 全场景 RL → 蒸馏。
5. agent 的后训练：需要可交互的环境、多轮长程的轨迹（屏蔽工具输出、credit assignment）、由多项组成的奖励（结果、成本、安全、格式）、端到端的评估和更严格的安全措施。toy 演示显示：成本项会塑造工具使用策略；多项奖励在 GRPO 的组内归一化下可能被扭曲（小惩罚项主导训练）；冷启动加快早期学习，但会固化示范者的习惯、限制探索。
6. 全景：训练信号越来越来自模型和环境，人的角色上移到设计环境、奖励与护栏。

8. 练习

1. 时间线（第 2~4 节） 把下面的方法按出现的大致顺序排列，并说出每个方法的训练信号来自哪里：DPO、RLVR（Tülu 3）、InstructGPT 的 PPO、Constitutional AI、DeepSeek-R1-Zero、Llama 2 的拒绝采样微调。

2. 两个奖励模型（第 3.1 节） Llama 2 为什么要分别训练”有帮助”和”安全”两个奖励模型？如果只用一个奖励模型，可能会出现什么问题？RL 时怎样把两个奖励合起来（提示：可以按提示词的类型切换，或者设置安全分数的阈值）？

3. 表面对齐假设（第 3.3 节） LIMA 认为对齐主要是教模型”用什么风格说话”。DeepSeek-R1 的结果（RL 让推理链变长、出现自我检查）支持还是挑战这个假设？结合第 6 讲第 6 节”RL 到底教会了什么”讨论。

4. GRPO 与多项奖励（第 5.4 节） (a) 一组 8 个样本全错，调用次数分别是 0, 1, 1, 2, 2, 3, 3, 4，$\lambda = 0.02$。算出 GRPO 和 RLOO 的优势。 (b) 另一组有 4 个对、4 个错，调用次数都是 2。两种优势各是多少？ (c) 比较 (a)(b)，解释为什么 GRPO 会被”全错的组”带偏。你会怎样修改奖励或优势的计算来避免这个问题？

(a) 奖励 $= -0.02 \times$ 调用次数：0, −0.02, −0.02, −0.04, −0.04, −0.06, −0.06, −0.08，均值 −0.04，标准差约 0.0245。GRPO：调用 0 次的优势 $0.04/0.0245 \approx 1.63$，调用 4 次的 $\approx -1.63$——和”做对 / 做错”一样大。RLOO：调用 0 次的优势约 $(0 - (-0.32/7)) \approx 0.046$，调用 4 次的约 $-0.046$——很小。 (b) 奖励：对的 $1 - 0.04 = 0.96$，错的 $-0.04$。均值 0.46，标准差 0.5。GRPO：对的 +1，错的 −1。RLOO：对的 $0.96 - (3 \times 0.96 + 4 \times (-0.04))/7 \approx 0.57$，错的 $\approx -0.57$。 (c) 在 GRPO 里，(a) 组的”少调用”信号（±1.63）比 (b) 组的”做对”信号（±1）还大。修改办法：不除以标准差（RLOO / Dr. GRPO）；或者把成本项放在归一化之外（先对正确性归一化，再减去成本）；或者跳过全对 / 全错的组（第 6 讲的 dynamic sampling）。

5. 冷启动（第 5.4 节） (a) 为什么冷启动之后，“专家没调用过的情境”几乎再也不会被尝试？用 RL 的探索解释。 (b) 有什么办法既享受冷启动的速度，又保留探索？（提示：SFT 时保留一定的熵；RL 初期提高温度；在 SFT 数据里加入一些随机的探索轨迹。） (c) 在 01 号文件里实现其中一种办法，验证你的想法。

6. 屏蔽工具输出（第 5.2 节） 如果训练 agent 时不屏蔽工具返回的内容（把网页内容也当作模型生成的 token 求梯度），会发生什么？（提示：模型会被训练去”预测”网页的内容，而这些内容不是它的决定。）

7. 设计题 你要为一个”帮用户订机票”的 agent 设计后训练的奖励。列出你会包含的奖励项（至少四项），说明每一项怎样计算（可验证？LLM judge？），以及它们之间可能怎样互相冲突、怎样被钻空子。

9. 延伸阅读

后训练的主要节点

• Askell et al. 2021. A General Language Assistant as a Laboratory for Alignment.（HHH）
• Ouyang et al. 2022. Training language models to follow instructions with human feedback.（InstructGPT）
• Touvron et al. 2023. Llama 2: Open Foundation and Fine-Tuned Chat Models.
• Rafailov et al. 2023. Direct Preference Optimization: Your Language Model is Secretly a Reward Model.
• Zhou et al. 2023. LIMA: Less Is More for Alignment.
• Llama Team 2024. The Llama 3 Herd of Models.
• Lambert et al. 2024. Tülu 3: Pushing Frontiers in Open Language Model Post-Training.
• DeepSeek-AI 2025. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning.

Agent 的训练与评估

• Yao et al. 2024. τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains.
• Pan et al. 2024. Training Software Engineering Agents and Verifiers with SWE-Gym.
• Baker et al. 2025. Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation.（编程任务里的 reward hacking）
• 同目录 CS329H 第 8、9、14 讲（RLHF、DPO、reward hacking），CS336 第 15、16 讲（SFT、RLHF、RLVR）。

10. 下一讲预告

第 10 讲：软件工程的 Agent 框架

agent 最先变得可靠的领域是编程——因为代码有测试，反馈可以验证（第 1 讲第 6.8 节）。第 10 讲看三个具体的系统：

• CodeMonkeys：在 SWE-bench 上组合”串行”（多轮修改）和”并行”（多条轨迹）的 test-time compute，用模型生成的测试投票来挑选。
• KernelBench：让 LLM 写又对又快的 GPU kernel；fast_p 指标；执行和性能分析的反馈。
• Agent–System Interface：为优化任务设计合适的领域语言和反馈，让 LLM 优化器用 10 次迭代胜过传统方法的 1000 次。