第 16 讲：机器人中的多模态 Agent——从 PaLM-E、RT-2 到 π0 与从经验中改进

对应：Stanford CS329A Autumn 2025 Lecture 19（Mon 12/1），客座讲座：Danny Driess（Physical Intelligence），题目 Multimodal AI Agents in Robotics。课程主页没有列阅读材料，也没有公开幻灯片。讲者是 PaLM-E 的第一作者、RT-2 的作者之一，现在在 Physical Intelligence（π）工作，是 Knowledge Insulating Vision-Language-Action Models 的第一作者。本讲依据这些公开的论文和 Physical Intelligence 的公开技术报告（π0、π0-FAST、π0.5、π*0.6 与 Recap）编写，不代表这次课堂的具体内容。 配套代码：code/lecture16/（只用 Python 标准库，每个文件 1 秒以内） 预计阅读时间：2.5 小时（含运行代码）

0. 本讲导航

0.1 学完本讲，你应该能够

1. 说出机器人比数字世界的 agent 难在哪里：没有”互联网规模”的动作数据、不同机器人的身体不同、要实时控制、动作有物理后果、自我改进的数据很贵。
2. 说出两条把大模型用于机器人的路线：VLM 做规划（PaLM-E）和 VLM 直接输出动作（RT-2，vision-language-action 模型，VLA），以及跨机器人数据（Open X-Embodiment）的作用。
3. 解释为什么机器人的动作需要生成模型：示范的动作分布是多峰的，回归会输出”平均”。说出两种表示方式——离散成 token（RT-2、FAST）和流匹配生成连续动作（π0）——各自的优缺点，以及动作分块（action chunking）。
4. 说出 π0 的结构（VLM + 流匹配的动作专家）、训练配方（大规模跨机器人预训练 + 高质量数据后训练），π0.5 怎样追求开放世界的泛化，以及”知识隔离”（knowledge insulation）要解决的问题。
5. 说出 Recap（π*0.6）怎样让机器人从示范、自主经验和人的纠正中改进：价值函数 + 以优势为条件的策略；并能把它和整门课的自我改进方法（STaR、RLVR、Decision Transformer）联系起来。

0.2 先修知识

0.3 本讲地图

第1节  为什么机器人难
第2节  把大模型用于机器人：PaLM-E、RT-2、Open X-Embodiment
第3节  动作怎样表示：回归、离散化、流匹配；动作分块              ← 代码 01
第4节  π0 系列：VLM + 动作专家；π0.5；知识隔离
第5节  在物理世界里自我改进：Recap 与 π*0.6                     ← 代码 02
第6节  和整门课的联系
第7–10节 小结、练习、延伸阅读、下一讲预告

0.4 本讲的代码

• 01_flow_matching_actions.py：机器人前面有障碍，一半的示范从左边绕、一半从右边绕。比较回归（MSE）、离散化 + 采样、流匹配（不同的积分步数）。流匹配用核回归估计最优的速度场，不训练神经网络。
• 02_learning_from_experience.py：一个 5 个阶段的”做咖啡”任务，每个阶段可以选稳、快、糙。比较模仿所有数据、过滤的模仿、优势条件化（Recap 式）在自我改进循环里的表现，有 / 没有人的纠正。数值都是设定的。

关于本讲的数字：论文和技术报告里的数字注明出处；模拟实验的数字都来自 01、02 号代码的实际输出（固定随机种子，Python 3.9 与 3.13 逐字相同）。

1. 为什么机器人难

1.1 莫拉维克悖论

“让计算机在智力测验上表现得像成年人相对容易，让它在感知和行动上像一岁的孩子却很难。“——这就是莫拉维克悖论（Moravec’s paradox）。今天的 LLM 能解 IMO 题（第 13 讲），但叠一件衣服、在陌生的厨房里收拾碗筷，仍然是机器人研究的前沿。

1.2 和数字世界的 agent 比

所以，机器人是检验”自我改进”最严格的场景：每一条经验都很贵。

2. 把大模型用于机器人

2.1 PaLM-E：会看、会想的语言模型

PaLM-E（Driess et al. 2023）是一个具身的多模态语言模型（embodied multimodal language model）：

• 把图像、机器人的状态等连续的观测编码成向量，像词一样插进文字序列里（“多模态的句子”），交给预训练的语言模型（PaLM）处理；
• 最大的版本有 5620 亿参数（PaLM 540B + 一个 22B 的视觉编码器）；
• 它输出的是文字形式的计划（“1. 打开抽屉 2. 拿出薯片……”），由底层的控制策略执行；
• 主要发现：在机器人任务、视觉问答、纯语言任务上一起训练，会产生正迁移——互联网数据帮助了机器人任务，而且模型保留了通用的语言和视觉能力。

这条路线是”VLM 做大脑（规划），专门的策略做小脑（控制）”。

2.2 RT-2：直接输出动作的 VLA

RT-2（Brohan et al. 2023，讲者是作者之一）走得更远：让视觉-语言模型直接输出动作。

• 动作就是 token：把机械臂的动作（位置变化、旋转、夹爪开合）每个维度离散成 256 个格子，每个格子对应一个 token，动作就变成了一串”文字”；
• 联合微调（co-fine-tuning）：在互联网的视觉问答数据和机器人轨迹数据上一起微调 VLM（PaLI-X、PaLM-E），让它既不忘记网上学到的知识，又学会输出动作；
• 这样的模型叫 vision-language-action 模型（VLA）。

结果：RT-2 在没见过的物体、背景、指令上的泛化明显好于之前只用机器人数据训练的 RT-1（论文报告，未见过的场景上的成功率从 32% 提高到 62%），并出现了语义推理能力：例如”把灭绝的动物捡起来”，它会去拿桌上的恐龙玩具——这个知识来自互联网，不来自机器人数据。

2.3 跨机器人的数据：Open X-Embodiment

机器人数据少，而且分散在不同实验室的不同机器人上。Open X-Embodiment（2023）汇集了 21 个机构、22 种机器人的 100 多万条轨迹。在这些混合数据上训练的 RT-1-X、RT-2-X 比只在单一机器人数据上训练的模型更好——不同身体的数据可以互相帮助，就像不同语言的文本可以互相帮助一样。

3. 动作怎样表示

3.1 示范是多峰的

同一个场景下，人的做法常常不止一种：从左边绕还是从右边绕；先拿杯子还是先拿盘子；抓衣服的这个角还是那个角。所以示范的动作分布是多峰的（multimodal）。

如果用最简单的办法——回归，最小化均方误差（MSE）——学到的是条件平均：在每个状态下，输出示范动作的平均值。两种做法都对，它们的平均却可能是错的（从中间直直地撞上障碍）。

所以机器人的动作需要生成模型：能表示一个分布，并从中采样。

3.2 两种生成方式

离散成 token（RT-2）：每个动作维度切成 256 格，像语言模型一样预测 token 的分布再采样。

• 优点：直接复用语言模型的结构和训练方法；能表示多峰分布。
• 缺点：精度受格子宽度限制；控制频率高、动作维度多时，每秒要生成的 token 非常多，推理慢；简单的逐维、逐时刻离散化让相邻的 token 高度相关，训练效果差。FAST（Pertsch et al. 2025）用离散余弦变换（DCT）+ BPE 把一段动作压缩成更少、更有信息量的 token，π0-FAST 训练得快得多。

流匹配（flow matching，π0）：从噪声出发，沿着一个学到的”速度场”走到动作。

• 训练：取一个示范动作 x₁ 和一个噪声 x₀，在它们的连线上取一点 $x_t = (1-t)x_0 + t x_1$，让网络 $v_\theta(x_t, t)$ 去拟合方向 $x_1 - x_0$：

$\mathcal{L} = \mathbb{E}_{t, x_0, x_1} \big\| v_\theta(x_t, t) - (x_1 - x_0) \big\|^2$

• 生成：从 $x \sim \mathcal{N}(0, I)$ 出发，用欧拉法积分 $x \leftarrow x + v_\theta(x, t)\,\Delta t$，走到 t = 1。
• 优点：连续、精确、能表示多峰分布；积分步数不多（例如 10 步），一次生成一整段动作。
• 缺点：需要多步积分；对数似然不容易计算（第 5 节会看到这对 RL 的影响）。

3.3 动作分块

π0 等模型一次生成一段未来的动作（action chunk，例如 50 步，在 50 Hz 的控制频率下就是 1 秒），而不是一次只生成一步。好处：

• 时间上一致：一段动作是一起生成的，不会这一步选”左”、下一步选”右”；
• 效率：大模型不必每 20 毫秒推理一次；
• 减少错误累积：需要做决策的次数少了（ACT 等工作的观察）。 代价是反应变慢：一段动作执行完之前，新的观测不会改变它。

3.4 toy world：回归、离散化和流匹配

01 号代码：机器人前面有障碍，400 个示范里一半向左绕（横向速度约 −1）、一半向右（约 +1）；|速度| < 0.5 就会撞上。流匹配用核回归直接估计最优的速度场（“给定 $x_t$ 时 $x_1 - x_0$ 的条件期望”），不训练神经网络。

实际输出（每种方法生成 300 个动作）：

读这张表：

1. 回归输出平均：每次都撞（“向左的比例”是 1.000，只是因为平均值碰巧略小于 0）。
2. 离散化和流匹配都能表示两个峰，几乎不撞，左右各占一半。
3. 积分步数太少，流匹配也会退化成平均：只走 1 步时，起点 x₀ 和终点还没有任何关联，速度场只能指向示范的平均，97% 撞上障碍；5 步以上才把两个峰分开。生成模型的采样步数是精度和推理速度之间的权衡——机器人每秒要输出几十个动作。

4. π0 系列

4.1 π0：VLM + 流匹配的动作专家

π0（Black et al. 2024，Physical Intelligence）：

• 结构：一个预训练的视觉-语言模型（PaliGemma，约 30 亿参数）读入图像和语言指令；一个约 3 亿参数的动作专家（action expert）用流匹配生成连续的动作块（每次 50 步，最高 50 Hz）。
• 数据：在约 1 万小时、7 种机器人配置、68 个任务的自有数据上预训练，再加上 Open X-Embodiment 等公开数据。
• 配方：和 LLM 很像——大规模、多样的预训练学到通用的物理能力和恢复错误的行为，再在少量高质量的数据上后训练，学会特定任务的熟练动作（第 9 讲的预训练 + 后训练）。
• 能力：叠衣服、收拾餐桌、组装纸箱、装袋这些长时间、需要灵巧操作的任务；可以按语言指令行动，也可以由一个高层的 VLM 给它下指令。

4.2 π0.5：开放世界的泛化

π0.5（2025）的目标是在完全陌生的家庭里完成清洁厨房、整理卧室这样的长任务。关键是异构数据的联合训练：不同机器人的数据、互联网的图文数据、高层的语义标注（“现在应该做什么子任务”）、人的口头指令。推理时它先用语言预测下一个子任务（“拿起盘子”），再生成执行这个子任务的动作——一个模型内部的”规划 + 控制”，相当于把 PaLM-E 的两层结构合在了一起。

4.3 知识隔离：别让动作专家破坏 VLM 的知识

讲者的 Knowledge Insulating Vision-Language-Action Models（Driess et al. 2025）研究了一个具体的问题：在预训练好的 VLM 上直接加一个动作专家一起训练，会怎样？

• 发现：动作专家的梯度会破坏 VLM 从互联网学到的知识，训练也变慢——RT-2 那种”从网上学到的语义知识迁移到机器人”的好处被削弱了。
• 做法：停止从动作专家流向 VLM 主干的梯度（stop gradient，“隔离”）；同时用 FAST 离散化的动作 token 训练 VLM 主干，让它快速学到好的动作表示；动作专家在旁边学着生成连续的动作。推理时只用动作专家，离散的 token 丢掉。
• 结果：训练得快、推理得快、泛化得更好（论文标题：Train Fast, Run Fast, Generalize Better）。

这和第 9 讲的一个主题呼应：后训练会不会损害预训练学到的能力（灾难性遗忘、“对齐税”）。

5. 在物理世界里自我改进：Recap 与 π*0.6

5.1 为什么难

前面的 π0 系列主要靠模仿人的示范。模仿有天花板：机器人最多和示范的人一样好，而且它自己犯的错误、遇到的新情况，示范里都没有。整门课讨论的自我改进方法（STaR、RLVR、test-time RL）在机器人上都遇到额外的困难：

• 每次尝试都要真实的时间和人的复位；
• 失败可能有代价（打碎东西）；
• 奖励往往要人判断；
• 流匹配这样的生成模型，动作的对数似然不容易算，标准的策略梯度（第 6 讲）难以直接使用。

5.2 Recap：从经验和纠正中学习

π*0.6（Physical Intelligence 2025）提出 Recap（RL with Experience and Corrections via Advantage-conditioned Policies）。它使用三种数据：

1. 示范：人遥控机器人；
2. 自主经验：机器人自己做，成功和失败都记录；
3. 纠正：机器人自己做时，人在关键时刻接管（远程操作）纠正它的错误。

学习的方式：

• 用所有数据训练一个价值函数：在某个状态下，按目前的做法，期望能得到多好的结果（例如离成功还有多远）；
• 每个动作的优势 = 这个动作之后的实际结果 − 价值函数的预测：比”平常”好还是差；
• 训练策略时，把”优势是否为正”作为一个条件输入；部署时总是要求”好的那一类”。

为什么用”以优势为条件”而不是策略梯度？它只需要普通的模仿学习（有监督的训练），不需要计算对数似然，对流匹配这样的模型很自然；而且所有数据（包括失败的）都能用上——失败的数据让价值函数更准，也让模型知道”什么是不好的”。这和第 15 讲提到的 Decision Transformer（以回报为条件的策略）是同一类思路。

结果：π*0.6 能在真实的家里叠各种衣服、可靠地组装纸箱、用专业的咖啡机做意式咖啡；在最难的任务上，Recap 让吞吐量提高一倍以上、失败率大约减半。

5.3 toy world：从混合质量的数据中改进

02 号代码：做一杯咖啡有 5 个阶段，每个阶段选”稳”（成功率 0.97，2 个时间单位）、“快”（1 个时间单位，有的阶段很稳、有的阶段容易出错）、“糙”（0.7 个时间单位，更容易出错）。目标是吞吐量（每 100 个时间单位做成几杯）。人的示范比较谨慎但不是最优；最优策略（上帝视角）是”取杯糙、磨豆稳、压粉快、萃取稳、打奶快”，吞吐量 13.74。每轮机器人自己做 200 次，共 5 轮。

实际输出（每格：成功率 / 吞吐量；人的示范本身：0.545 / 8.66）：

（第 0 轮三种方法用的是同一个策略，差别是评估的随机波动，约 ±0.1。）

读这两张表：

1. 不加区分地模仿所有数据：没有纠正时原地踏步——模仿自己的数据，学到的还是自己。有纠正时缓慢变好，因为纠正把危险的动作换成了”稳”。
2. 过滤的模仿（第 6 讲 STaR / 拒绝采样微调的机器人版本）：成功率提高得快，但吞吐量提高有限——它只看”成没成”，不看”快不快”，成功的回合里大量是又稳又慢的动作。
3. 优势条件化同时利用了成功、失败和用时，吞吐量提高得最多：学到的策略在”快也稳”的打奶阶段几乎总是用快，在容易出错的磨豆、萃取阶段主要用稳。
4. 人的纠正对所有方法都有帮助：它在关键时刻提供正确的做法，正是自主经验里最缺的数据。
5. 离最优还有距离：表格式的策略保留着早期示范的影子，每轮只有 200 次数据——在物理世界里，自我改进是渐进的、昂贵的。

6. 和整门课的联系

7. 小结

1. 机器人难：没有互联网规模的动作数据，身体各不相同，要实时控制，动作有物理后果，验证和自我改进的数据都很贵。
2. PaLM-E：把连续的观测插进语言模型，输出文字的计划；多任务联合训练有正迁移。RT-2：VLA，动作离散成 token，在网上数据和机器人数据上联合微调，带来语义泛化（未见过的场景 32% → 62%）。Open X-Embodiment：22 种机器人的 100 多万条轨迹，跨身体的数据互相帮助。
3. 动作的表示：示范是多峰的，回归输出平均（toy：100% 撞障碍）；离散化（RT-2、FAST）和流匹配（π0）都能表示多峰分布；流匹配的积分步数太少也会退化成平均（toy：1 步 97% 撞，5 步以上几乎不撞）。动作分块让一段动作时间上一致、推理更高效。
4. π0：PaliGemma + 流匹配的动作专家，约 1 万小时、7 种机器人的数据预训练，再用高质量数据后训练。π0.5：异构数据联合训练，在陌生的家里完成长任务。知识隔离：阻断动作专家到 VLM 的梯度，用 FAST token 训练主干——训练快、推理快、泛化好。
5. Recap / π*0.6：从示范、自主经验和人的纠正中学习；价值函数 + 以优势为条件的策略，不需要策略梯度，失败的数据也有用；最难的任务上吞吐量翻倍、失败率减半。toy world 显示：模仿自己的数据原地踏步；过滤只看成败；优势条件化同时利用成败和效率；人的纠正对所有方法都有帮助。

8. 练习

1. 多峰与回归（第 3.1、3.4 节） (a) 证明：在一个状态下，最小化 $\mathbb{E}[(a - a_{\text{demo}})^2]$ 的 a 是示范动作的平均值。 (b) 如果三分之二的示范从左边绕（−1）、三分之一从右边（+1），回归会输出什么？会撞吗？ (c) 除了生成模型，还有什么办法避免”平均”的问题？（提示：把状态描述得更细，或者让模型先选一个”模式”。）

(a) 对 a 求导：$2\,\mathbb{E}[a - a_{\text{demo}}] = 0$，得 $a = \mathbb{E}[a_{\text{demo}}]$。 (b) 输出 $\frac{2}{3}(-1) + \frac{1}{3}(+1) = -\frac{1}{3}$，|−1/3| < 0.5，仍然会撞。 (c) 例如：给状态加上更多信息（例如人习惯的方向、更早的历史），让每个状态下的示范变成单峰；或者用”混合模型”先预测选哪个模式、再回归这个模式内的动作（混合密度网络）；或者用分层的策略，先用语言决定”从左边绕”。

2. 流匹配的一步积分（第 3.4 节） (a) 解释：为什么只走 1 步时，流匹配的样本会集中在示范的平均附近？（提示：t = 0 时 $x_t = x_0$，和 $x_1$ 独立。） (b) 真实的扩散 / 流匹配模型怎样减少需要的步数？（提示：蒸馏、一致性模型、更好的 ODE 求解器。）

(a) t = 0 时 $x_t = x_0$，它和 $x_1$ 独立，所以 $v(x, 0) = \mathbb{E}[x_1 - x_0 \mid x_0 = x] = \mathbb{E}[x_1] - x$。走 1 步：$x + v(x, 0) = \mathbb{E}[x_1]$，正好是示范的平均。 (b) 例如：把多步的模型蒸馏成少步的模型；一致性模型（consistency models）直接学”从任意 $x_t$ 一步到终点”；用更高阶的 ODE 求解器；让”流”的路径更直（rectified flow），欧拉法的误差更小。

3. 动作分块的权衡（第 3.3 节） 一个机器人以 50 Hz 控制，策略每次推理要 100 毫秒。 (a) 如果一次只输出一步动作，会发生什么？ (b) 动作块的长度怎样选？太短、太长各有什么问题？

(a) 推理比控制周期（20 毫秒）慢 5 倍，要么控制频率被迫降到 10 Hz，要么每一步都用 100 毫秒前的观测，动作滞后、不平稳。 (b) 至少要覆盖推理的延迟（≥ 5 步），通常更长以保证平滑和时间上的一致；太长则在一段动作执行完之前无法对新情况（物体被碰歪了、人插手了）做出反应。常见的做法是块很长，但每隔几步就重新推理，用新的块替换旧块的剩余部分（或者把重叠的部分平滑地混合）。

4. 知识隔离（第 4.3 节） (a) 为什么动作专家的梯度会”破坏”VLM 的知识？ (b) 停止梯度之后，VLM 主干还怎样学到和动作有关的表示？

(a) 动作专家是新加的、随机初始化的，训练初期它的梯度又大又杂乱；这些梯度流进 VLM，会改写主干里大量和动作无关的参数，相当于在一个很窄的任务上大幅微调整个模型，造成遗忘（第 9 讲）。 (b) 用离散化的动作 token（FAST）在主干上做 next-token 预测——这是语言模型熟悉的训练方式，学得快、对主干的扰动小；动作专家再读取主干的表示，学着生成连续的动作。

5. 三种从经验学习的方法（第 5.3 节） (a) 为什么”模仿所有数据”在没有纠正时原地踏步？ (b) 举一个”过滤的模仿”会学错的例子（提示：一个回合成功了，但其中某一步其实很危险，只是这次运气好）。 (c) 优势条件化是怎样处理这个例子的？

(a) 自主经验来自当前的策略本身。把它们一视同仁地加入模仿，学到的分布就是”示范 + 当前策略”的混合，不会比当前策略更好。 (b) 在”萃取”阶段用”快”（成功率 0.55），这一回合碰巧成功了。过滤的模仿会把这个危险的动作当作好的例子学下来。 (c) 优势看的是”这个动作之后的结果比平均好多少”，需要在很多回合上平均：在萃取阶段用”快”的回合大多数失败，平均的优势是负的，所以它不会被当作”好的那一类”（虽然单次的成功仍会被计入，但比例很小）。

6. 机器人的 test-time RL（第 5.1 节、第 13 讲） 第 13 讲的 AlphaProof 在比赛时生成几百万个变体做 RL。机器人能不能这样做？列出至少三个障碍，以及可能的解决办法（提示：仿真、世界模型、人的纠正）。

7. 动手改代码 (a) 01 号：把示范改成三个峰（−1、0.3、+1，其中 0.3 是”稍微偏一点就能擦过”的做法），比较各种方法。 (b) 02 号：把”人的纠正”改成只在磨豆和萃取阶段发生（人只盯着危险的阶段），纠正的价值还剩多少？ (c) 02 号：在优势条件化里，把”优势 > 0”改成”优势 > 0.1”（更挑剔），改进会更快吗？有什么风险？

9. 延伸阅读

讲者的工作

• Driess et al. 2023. PaLM-E: An Embodied Multimodal Language Model.
• Brohan et al. 2023. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control.
• Driess et al. 2025. Knowledge Insulating Vision-Language-Action Models: Train Fast, Run Fast, Generalize Better.

Physical Intelligence 的公开工作

• Black et al. 2024. π0: A Vision-Language-Action Flow Model for General Robot Control.
• Pertsch et al. 2025. FAST: Efficient Action Tokenization for Vision-Language-Action Models.
• Physical Intelligence 2025. π0.5: a Vision-Language-Action Model with Open-World Generalization.
• Physical Intelligence 2025. π0.6: a VLA That Learns From Experience.*（Recap）

相关工作

• Open X-Embodiment Collaboration 2023. Open X-Embodiment: Robotic Learning Datasets and RT-X Models.
• Zhao et al. 2023. Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware.（ACT，动作分块）
• Chi et al. 2023. Diffusion Policy: Visuomotor Policy Learning via Action Diffusion.
• Lipman et al. 2023. Flow Matching for Generative Modeling.
• 同目录 CS224V、CS336 的相关章节（多模态模型与生成模型）。

10. 下一讲预告

第 17 讲：未来的研究方向与研究方法

这是课程的最后一讲。我们把 16 讲的内容放在一起，看看哪些问题还远没有解决：不可验证领域的验证、长程的 credit assignment、持续学习、开放式演化的安全、高效的 test-time compute、多 agent……然后讨论怎样做这个领域的研究：怎样提出可检验的假设，怎样设计公平的（计算量相同的）基线，怎样做消融实验，怎样判断”我的方法比基线好”不是随机波动。