Lecture 15 · 机器人的训练数据：Open X-Embodiment、DROID 与 π0.5 · Training Data for Robotics

对应 Maps to：Stanford CS525 Winter 2026 Training Data for AI，2/11 客座讲座 Training data for robotics：Karl Pertsch（Physical Intelligence、UC Berkeley / Stanford）Data for Scalable Robot Learning（68 页 slides）。阅读：Open X-Embodiment: Robotic Learning Datasets and RT-X Models（2023）、DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset（2024）、π0.5: a Vision-Language-Action Model with Open-World Generalization（2025）。 依据说明：slides 的文字可读，但大部分内容是图片和视频（网站上另有带视频的 Keynote 版本，我无法播放）。讲义的骨架来自 slides 的四个部分（现代机器人学习怎样训练、前沿模型的训练数据、可扩展的具身数据来源、在线数据）和总结页。三篇阅读论文的数字核对过论文正文；slides 里引用的其他工作（FAST、RTC、π-ego、UMI、RoboCasa、π0.6*、TRI 的共同训练研究、RoboArena 等）核对过摘要或公开的报告，π0.6* 的数字来自 Physical Intelligence 的公开报告（经过二手报道核对）。第 9 节”统一的视角”、第 10 节”延伸与前沿”和全部代码是我补充的。 配套代码 Code：code/lecture15/（numpy；3 个脚本 + 1 个模块；最长的约 20 秒） 预计阅读时间：2.5 小时（含运行代码）

0. 本讲导航 · How to read this lecture

0.1 学习目标 Learning goals

1. 说清楚机器人的数据为什么比视觉和语言难得多：互联网上几乎没有”动作”，机器人必须收集而不是爬取训练数据。
2. 了解现代机器人策略的训练方式：模仿学习、动作块、视觉-语言-动作模型（VLA），以及近一两年的几个关键改进（FAST 动作分词、流匹配的动作专家、实时分块）。
3. 理解 DROID 的核心论点——场景多样性本身就是数据质量——以及共同训练和示范质量的影响。
4. 理解跨具身汇集（Open X-Embodiment）的收益和难点：异构的动作空间、模型容量、谁受益最多。
5. 理解 π0.5 的训练配方：目标机器人数据 + 其他机器人数据 + 网页数据；网页数据为什么帮助”认出没见过的物体”。
6. 了解可扩展的具身数据来源（人类视频、手持采集工具、仿真和世界模型），以及在线数据（DAgger、π0.6*）为什么能以很少的标注解决复合误差。
7. 理解为什么机器人的评测这么难，以及众包、分布式评测（RoboArena）的思路。

0.2 先修与本讲范围 Prerequisites & scope

0.3 本讲地图 Map

§1  为什么机器人的数据这么难
§2  现代机器人策略怎样训练：模仿学习与 VLA
§3  收集示范：DROID、场景多样性、共同训练、示范质量      ← 代码 01
§4  跨具身汇集：Open X-Embodiment                        ← 代码 02
§5  π0.5 的训练配方：网页数据与共同训练                  ← 代码 03 演示 1
§6  可扩展的具身数据：人类视频、手持工具、仿真
§7  在线数据：复合误差、DAgger 与 π0.6*                  ← 代码 03 演示 2
§8  评测：为什么难、怎么办                                ← 代码 03 演示 3
§9  一个统一的视角
§10 延伸与前沿
§11–15  小结、常见误区、练习、延伸阅读、下一讲预告

0.4 关于数字

论文的数字来自论文正文。代码的数字来自一个小小的”机器人世界”（robot_world.py）：平面上的机械臂末端要移动到一个物体旁边。策略看不到真实的位置，只能看到 24 维的”相机观测”，它由两部分组成：

• 几何特征：在所有场景里含义相同（物体在左边就是在左边），但比较吵；
• 外观特征：由场景决定（背景、桌面、相机角度、光照），在一个场景里很精确，换一个场景就完全变了。

这是”可迁移的特征 vs 只在训练环境里有用的特征”的最简单版本——它让”场景多样性”变得可以量化。策略用行为克隆训练（线性 + 随机傅里叶特征的岭回归），评测是闭环的：策略自己控制机器人 25 步，离目标不到 0.08 算成功。真实的机器人策略是几十亿参数的 VLA，物理世界也复杂得多；讲义会说清楚哪些结论能推广。代码固定了随机种子，同一台机器上重复运行输出逐字相同。

1. 为什么机器人的数据这么难 · Why robot data is hard

1.1 机器人学习的三类问题

Pertsch 从机器人学习的版图讲起：

本讲主要讲操作：机器人用手（夹爪）和物体交互——拿、放、开、关、叠、插。操作是”通用机器人”的核心，也是数据问题最尖锐的地方。

1.2 为什么数据这么难

slides 第 7 页用五句话说明了问题：

1. 大多数数字数据是从互联网上爬来的；
2. 互联网是为人的消费设计的，它关注的是人觉得有趣的东西；
3. 机器人要学的恰恰相反：平凡、无聊的任务（把碗放进水槽、叠衣服、擦桌子）；
4. 所以机器人需要的数据在互联网上很少；
5. 机器人必须收集训练数据，而不是爬取 + 过滤。

还有一层更根本的原因：即使互联网上有很多”人做家务”的视频，视频里也没有动作——没有关节角度、没有力、没有夹爪的开合。机器人策略要输出的正是这些。这和语言模型形成了鲜明的对比：网页上的文字本身就是语言模型要输出的东西。

规模的对比（数量级）：

Pertsch 的总结页列出了机器人数据和其他领域的两个不同：(1) 几乎所有数据都是有目的地收集的——这意味着我们可以塑造数据的分布；(2) 以数据为中心的研究很难（因为评测难），但潜在的影响很大。还有两个相似：(1) 大量、多样的数据帮助泛化；(2) 来自”其他领域”的数据（其他机器人、网页、人类视频）的迁移是关键，至少在中短期内。

2. 现代机器人策略怎样训练 · How modern robot policies are trained

2.1 模仿学习

机器人学习的问题：给一个指令（“把茄子放进碗里”）和当前的观测（相机图像、关节角度），输出动作。最常用的方法是模仿学习（imitation learning），也叫行为克隆（behavior cloning）：收集人类操作者遥控机器人完成任务的示范数据集 $\mathcal D$，最大化

$\max_\theta \sum_{(a, o, T) \in \mathcal D} \log \pi_\theta(a \mid o, T)$

• 观测 $o$：RGB 相机（通常 2–3 个：外部相机 + 手腕相机）、本体感觉（关节角度）；
• 任务 $T$：自然语言指令；
• 动作 $a$：和机器人有关，例如 7 维的末端位移（x, y, z, 滚转, 俯仰, 偏航, 夹爪）。现代策略一次输出未来一段时间的动作——动作块（action chunk）。

这是一个纯粹的监督学习问题：数据就是规格说明（第 1 讲）。模型学到的是示范者的行为，包括示范者的习惯和错误（§3.4）。

2.2 从专用模型到 VLA

早期（以及今天仍然常见）的做法是专用模型：一个任务、一个场景、几十到几百条示范、千万参数级的网络（ACT、Diffusion Policy，2023）。它们在自己的设置里可以做得很好，但很脆弱——换个光线、换个相机角度就失败。

视觉-语言-动作模型（vision-language-action model，VLA；RT-2 2023、OpenVLA 2024）把动作当作另一种”语言”：从一个在网页数据上预训练的视觉-语言模型出发，让它在”图像 + 指令”之后输出动作 token。好处：输入输出灵活（多个相机、语言指令）、训练可扩展、直接继承互联网规模的预训练。规模从约 1000 万参数跳到 30–70 亿参数。

slides 列出了近一年半 VLA 训练的三个关键改进，它们都和”怎样把连续的动作变成可学的数据”有关：

1. 更好的动作分词（FAST，Pertsch et al. 2025）：把一个动作块（每个维度一行）做离散余弦变换（DCT），量化成一个稀疏的频率矩阵，再用 BPE 压缩成 token。高频的抖动被压缩掉，相邻时刻高度相关的动作变成了少量 token。这和第 4 讲的列式存储、语言模型的 BPE 分词是同一个思路：好的编码让数据更容易学。
2. 扩散 / 流匹配的动作解码（“动作专家”，π0）：用一个小的流匹配网络生成连续的动作。同时训练 FAST 的离散 token 预测和流匹配的动作专家，并且不让动作专家的梯度流回视觉-语言骨干（“知识隔离”，Driess et al. 2025）：训练像 FAST 一样快，推理像动作专家一样快，还保护了骨干从网页数据学到的知识。
3. 实时分块（RTC，Black et al. 2025）：模型推理需要时间，机器人不能停下来等。在生成新的动作块时，以”推理期间将要执行的动作”为条件，让前后两个动作块平滑地衔接。

代码里的对应物：robot_world.py 的 Policy 是最简单的行为克隆——$u \approx \phi(o)^\top W$，岭回归的闭式解。它当然不是 VLA，但”从示范数据学到观测 → 动作的映射、闭环执行”是一样的，足以研究”什么样的数据让策略泛化”。

3. 收集示范：DROID · Collecting demonstrations

3.1 机器人数据怎样收集

slides 第 24 页把收集方式分成三个时代：

遥操作的数据质量高（动作就是人想做的），但贵：每条示范都要一个人实时操作，一小时的数据就是一小时的人工。这决定了机器人数据研究的核心问题：有限的采集预算花在哪里？

3.2 DROID：走出实验室

此前的大型机器人数据集大多在少数几个实验室环境里收集，场景和任务的多样性有限。DROID（Distributed Robot Interaction Dataset，Khazatsky, Pertsch et al. 2024）的设计目标就是多样性：

• 7.6 万条成功的示范，约 350 小时（另有约 1.6 万条”不成功”的轨迹单独发布，不计入数据集）；
• 564 个场景、分布在 52 栋建筑里；86 种任务（按去重后的动词计）；
• 50 个数据采集者、18 台同型号的机器人（Franka Panda）、北美、亚洲和欧洲的十几个机构，历时 12 个月；
• 场景包括厨房、浴室、客厅、办公室……；每条示范有三路立体相机（两个外部、一个手腕），外部相机的视角有 1417 种；
• 每条示范最多有三条众包的语言指令；采集者给每条示范标”成功 / 失败”，只有成功的计入数据集。

和此前的数据集比较场景数：DROID 564、Open X-Embodiment 311、DobbE 216、BridgeData V2 24、RoboSet 11、RH20T 7，其他大多只有 1–2 个——多了一个数量级。

DROID 的两个关键实验：

1. 共同训练：在 4 个地点的 6 个任务上，用扩散策略比较”不共同训练""和 DROID 共同训练（批次里各占一半）""和 Open X-Embodiment 共同训练”。和 DROID 共同训练比次好的方法在分布内高 22 个百分点、分布外高 17 个百分点。
2. 场景多样性 vs 数量：两个各 7362 条轨迹的子集——“示范最多的 20 个场景”和”均匀随机抽样（覆盖更多场景）“——在分布外的任务版本上，后者更好；完整的 DROID 在三个任务上都不差于两个子集。

slides 第 26 页展示了 DROID 带来的零样本泛化：一个在 DROID 上训练的检查点，开箱即用地在蒙特利尔、斯坦福、宾大、华盛顿大学、伯克利、KAIST 的新场景里完成用自然语言描述的任务（“打开柜子""把餐具放到盘子上""叠毛巾”）。

3.3 代码：数量 vs 多样性、共同训练

代码 01 演示 1 在示范总数和场景数的网格上训练策略（每格：训练场景里的成功率 / 20 个新场景里的成功率）：

1. 在同一个地方收集更多数据，解决不了泛化问题：只有 1 个场景时，示范从 120 条加到 1920 条，新场景只从 0.13 变成 0.18——策略记住了这个场景的外观。
2. 多样性迫使策略依赖可迁移的特征：示范总数固定为 480 条，场景从 1 个增加到 100 个，新场景从 0.14 升到 0.58。
3. 代价：数量固定时，场景越多，每个场景分到的示范越少，训练场景里的成功率下降（480 条：0.90 → 0.63）。这就是”专用模型在自己的场景里很好但很脆弱”的另一面。

代码 01 演示 2：目标任务只有 40 条示范，都在一个实验室场景里；再加上 2000 条其他任务的示范（12 个任务 = 把手移到物体的 12 个不同方向）：

别的任务的数据也帮助了目标任务（“看懂场景、找到物体”是共享的）；同样 2000 条，多样的数据池帮助大得多——方向和 DROID 的”+22 / +17”一致。混合比例本身也是一个超参数：目标任务的 40 条示范全在一个场景里，比重太大时策略又会去记这个场景的外观（第 10 讲的数据混合）。这个世界里任务之间只差一个偏移，共享非常充分；真实的任务差别更大，共同训练的收益依赖任务之间有多少共同的技能。

3.4 示范质量

行为克隆会忠实地模仿数据里的一切，包括操作者的习惯和错误。π0（Black et al. 2024）的论文明确区分了两类数据：预训练数据应该多样（覆盖各种行为，包括从错误中恢复），后训练（SFT）数据应该高质量、策略一致（slides 第 33 页 “High Performance SFT”）。只用高质量数据，模型学不会从错误中恢复；只用参差的数据，模型学不会高效、稳定地完成任务。

代码 01 演示 3：30 个场景，每个场景熟练的操作者和新手各 8 条示范。新手手抖（动作噪声 0.06），而且每一步有 40% 的概率犹豫、停下来。示范本身的成功率：熟练 99%，新手 41%。

1. 数据翻倍，结果变差（0.43 → 0.33）：新手的停顿被学成了”有时候不动”，很多试验在时限内到不了目标。
2. 只保留成功的示范（DROID 的做法）恢复到 0.38，但没有回到只用熟练示范的水平：成功的新手示范里仍然有很多停顿。“成功”是一个很粗的质量标准。
3. 什么样的”坏”才有害？ 一次额外的运行（见 代码 README）发现：如果新手只是手抖（零均值的噪声）、不停顿，混入新手数据反而从 0.43 升到 0.49——更多的数据，噪声被平均掉了。只停顿、不手抖时是 0.38。零均值的噪声会被平均掉，系统性的偏差不会——这和第 4 讲”标签噪声 vs 系统性错误”、第 14 讲”错标怎样改变排名”是同一个道理。

4. 跨具身汇集：Open X-Embodiment · Pooling across embodiments

4.1 数据集

每个实验室的数据都太少、太单一。Open X-Embodiment（Vuong, Pertsch et al. 2023）把 21 个机构、34 个实验室的 60 个已有数据集汇集起来：

• 22 种机器人（单臂、双臂、四足），100 万条以上的轨迹，527 种技能（160,266 个任务），约 1000 小时；
• 统一成 RLDS 格式（tfrecord），支持不同的动作空间和传感器；每个数据集选一个规范的相机视角、缩放到统一的分辨率；
• 动作统一成 7 维的末端动作（x, y, z, 滚转, 俯仰, 偏航, 夹爪），每个数据集单独归一化——但没有对齐坐标系：同一个动作向量在不同的机器人上可能对应很不同的运动（绝对或相对的位置或速度）。模型要从图像里推断”这是哪台机器人”。

Pertsch 在 slides 里提醒：这个数据集仍然比 CV / NLP 的数据集小得多、多样性也差得多。

4.2 RT-X 的结果

• 数据少的领域受益最多：3500 万参数的 RT-1-X 在 5 个小数据集里有 4 个超过了原来的方法，平均成功率比原来的方法或 RT-1 高 50%；在跨机构的评测里（USC、伯克利、NYU、弗莱堡……），一个模型超过了各机构自己的最好方法。
• 数据多的领域，小模型欠拟合：在 Bridge 数据上，原方法 13%、RT-1 40%、RT-1-X 27%、550 亿参数的 RT-2-X 50%；在 RT-1 自己的数据上，RT-1 92%、RT-1-X 73%、RT-2-X 91%。作者把 RT-1-X 的下降归因于欠拟合：一个小模型要同时装下 22 种机器人。
• 涌现的技能：RT-2-X 在”只在别的机器人（Bridge）的数据里出现过的技能”上，成功率是 RT-2 的约 3 倍（75.8% vs 27.3%）。消融：去掉 Bridge 数据降到 42.8%；50 亿参数的模型只有 44.4%；从头训练（不用网页预训练）几乎是 0。

4.3 代码：汇集的收益与难点

代码 02 有 6 台机器人，数据量从 600 条到 10 条，各在自己实验室的 1–6 个场景里；动作坐标系相对标准坐标系转了 0° 到 150° 不等。演示 1（每台机器人在自己的场景里，新的起点和目标；“小数据 4 台”是数据最少的 4 台的平均）：

1. 原样汇集伤害了所有机器人：同一个画面在不同的机器人上对应方向不同的动作指令，标签互相矛盾。
2. 告诉模型机器人编号，大机器人恢复了，小机器人仍然没有获益：从 10 条示范里学会”这台机器人的坐标系转了 150°“太难了。
3. 把动作换算到统一的坐标系（需要知道每台机器人的标定），汇集让小机器人大幅提高（0.41 → 0.64），大机器人也略有提高。统一之后再加编号反而更差：编号减少了共享。标准化数据是一种数据工作，而且往往比改模型更直接。

演示 2（10 个从没见过的场景）：各自训练时，小数据 4 台平均 0.10、最大的那台 0.35；统一坐标系汇集后 0.44 和 0.50。对一个只有 1 个场景的实验室来说，别的实验室的数据是它能得到的最便宜的多样性。

演示 3（容量；坐标系不统一 + 编号，即 Open X-Embodiment 的情况）：随机特征 K = 300 时，最大的机器人汇集后从 0.76 掉到 0.68；K = 1500 时恢复到 0.80。这对应 RT-1-X 的欠拟合和 RT-2-X 的恢复。但加大容量没有让小机器人从原样汇集中获益（K = 4000：0.36 vs 各自 0.35）——矛盾的标签不会因为模型变大而消失。

这个模拟有一个局限：真实的 RT-1-X 没有对齐坐标系，小数据领域仍然平均提高了 50%；我的模拟里原样汇集从不帮助小机器人。可能的原因是我设的坐标系旋转很大（最大 150°），而真实的很多机器人对”前后左右”的约定相近，真实的模型也能从图像推断是哪台机器人。

4.4 之后：工业界的规模化

slides 第 30–32 页：此后，跨具身的数据收集在工业界被大规模地扩展（Physical Intelligence、丰田研究院 TRI 的”大型行为模型”LBM 等）。π0 的预训练混合了 Physical Intelligence 自己的 7 种机器人配置、68 个任务的数据和 Open X-Embodiment，约 1 万小时。

5. π0.5 的训练配方：网页数据与共同训练 · The π0.5 recipe

5.1 三类数据

slides 用一张图概括了前沿机器人模型的训练数据：目标机器人的数据 + 跨具身的机器人数据 + 视觉-语言数据。π0.5（Physical Intelligence 2025）把它细分成六类：

第一阶段的训练样本里，97.6% 不是来自”移动操作机器人在家里做家务”——目标数据只占很小一部分，大部分是”其他来源”。

5.2 π0.5 的发现

1. 环境的数量：用 3、12、22、53、82、104 个地点的数据训练，四个测试任务的平均表现随地点数增加；104 个地点的模型和直接在测试的家里收集数据训练的模型差不多。语言跟随的成功率也随地点数稳步提高，见过的物体比没见过的提高得快。
2. 消融：去掉其他机器人的数据（ME、CE，或两者都去掉）显著降低任务成功率；去掉网页数据（WD）对”模拟的家”里的任务成功率没有显著影响，但明显降低了对分布外物体的语言跟随；去掉 WD 或 VI 都显著降低高层推理的表现。
3. 开放世界的泛化：π0.5 是第一个在完全没见过的家里完成长时程、灵巧操作（打扫厨房、整理卧室）的端到端学习系统。

slides 第 38 页引用了 TRI 2026 年的系统研究（A Systematic Study of Data Modalities and Strategies for Co-training Large Behavior Models）：约 4000 小时的机器人和人类操作数据、5000 万个视觉-语言样本、89 个策略、5.8 万次仿真试验和 2835 次真实试验。结论：视觉-语言数据和跨具身数据显著改善对分布偏移、新任务和语言指令的泛化；离散动作 token 的变体没有显著帮助；只用机器人数据训练会破坏视觉-语言骨干原有的能力，共同训练能恢复它。

5.3 代码：网页数据为什么帮助”认出没见过的物体”

代码 03 演示 1 只模拟了”识别物体”这一部分：40 类物体，机器人数据里只有 6 类；指令”把 X 拿起来”，桌上有 4 个物体，策略要认出 X。网页数据是”说明文字 + 照片”，覆盖全部 40 类，但照片和机器人相机看到的样子不一样（领域差距）：

（随机猜是 0.25。）机器人数据里只有 6 类物体，学到的”名字 → 样子”的映射只在这 6 类张成的子空间里是对的；网页数据教会了”这是什么”，机器人数据教会了”它在我的相机里长什么样”；共同训练兼得两者。这正是 π0.5 消融里”去掉网页数据，分布外物体的语言跟随变差、任务本身不受影响”的形状。

5.4 机器人数据的”科学”

slides 第 40 页提到两类”以数据为中心”的机器人研究，它们和本课的前几讲直接对应：

• ReMix（Hejna et al. 2024）：自动选择各个机器人数据集的混合权重，以最大化学习进度——第 10 讲数据混合的机器人版本（思路接近 DoReMi）。
• CUPID（Agia et al. 2025）：用影响函数整理机器人示范数据，找出对策略表现有害的示范——第 13 讲数据归因的应用。

6. 可扩展的具身数据 · Scalable embodied data sources

遥操作贵；互联网上的视频没有动作。有没有介于两者之间的数据来源？

6.1 人类视频

π-ego（Kareer et al. 2025，Emergence of Human to Robot Transfer in Vision-Language-Action Models）：用第一人称的人类视频和机器人数据共同训练。关键发现：人到机器人的迁移是”涌现”的——只有当 VLA 的预训练覆盖了足够多的场景、任务和具身时，人类视频才开始有用；预训练的多样性越大，迁移越好。在只出现在人类视频里的泛化设置（没见过的公寓、新的物体类别、新的任务语义）上，表现接近翻倍。作者的解释是：多样的预训练产生了与具身无关的表示，人和机器人的数据在其中对齐了。

这和第 2 讲”数据决定鲁棒性”、第 11 讲”合成数据要真实数据锚定”有相同的结构：一种数据能不能用，取决于模型已经从其他数据里学到了什么。

6.2 手持采集工具

UMI（Universal Manipulation Interface，Chi et al. 2024；更早的 Song et al. 2019）：人拿着一个和机器人夹爪一样的手持工具，上面装着相机，在真实的环境里完成任务。数据”像机器人数据”（同样的夹爪、同样的视角），但不需要机器人在场，可以带到任何地方收集。slides 的评价是”两全其美？“——仍然像机器人数据，但更可扩展。

6.3 合成数据：仿真与世界模型

• 仿真：RoboCasa（Nasiriany et al. 2024）用生成式模型造出大量厨房场景和物体，在仿真里大规模生成示范。难点是仿真和真实之间的差距（物理、外观）。
• 世界模型：Ctrl-World（Guo et al. 2025）、Runway 的世界模型（2026）等学习”给定动作，世界会怎样变化”，可以用来生成数据、评测策略。这是第 11 讲”合成数据”在机器人上的对应物，也有同样的问题：生成器的知识从哪里来、错误会不会被放大。

7. 在线数据：复合误差、DAgger 与 π0.6* · On-policy data

7.1 复合误差

行为克隆有一个经典的问题：训练数据来自专家访问的状态，测试时策略访问的是它自己造成的状态。专家总是走在正确的路上，示范里几乎没有”已经偏了”的状态；学到的策略一旦有一点误差，就走进示范没覆盖的地方，在那里错得更多——误差随时间复合（compounding error）。Ross, Gordon & Bagnell（2011）证明，在最坏情况下，行为克隆的代价随任务长度 $T$ 平方增长（每步误差 $\epsilon$ 时约 $T^2\epsilon$），而 DAgger（Dataset Aggregation）可以做到线性：

1. 用示范训练策略 π₁
2. 第 i 轮：让 πᵢ 自己执行，记录它访问过的状态；请专家标注"在这些状态下应该怎么做"
3. 把新的标注加入数据集，重新训练得到 πᵢ₊₁；重复

7.2 π0.6*：让策略告诉你它在哪里失败

slides 第 56–61 页：要把性能推到很高（例如连续十几个小时做咖啡），“收集正确的数据”变得很难。办法是让策略告诉你它在哪里失败：掉了咖啡粉手柄、洒了牛奶、插不进去、按早了……π0.6*（Physical Intelligence 2025）的 RECAP 方法把三种数据结合起来：示范、机器人自己执行时操作员在出错处接管的纠正、以及机器人的自主经验；一个在全部数据上训练的价值函数给经验打分，策略以”优势”为条件学习。PI 报告：在最难的一些任务（做咖啡、叠各种衣服、组装纸箱）上，吞吐量翻倍以上、失败率减半；“只有 SFT”和”经过几轮 RL”之间的差别在 slides 里很明显。

7.3 代码：同样的标注预算，标在哪里

我先在”够物体”的世界里比较了”多收集示范”和 DAgger，DAgger 没有明显优势——那里策略失败的主要原因是感知误差，而不是状态分布偏移（示范的起点和目标遍布整个平面，几乎覆盖了所有状态）。复合误差需要一个不稳定、需要持续纠正的任务。代码 03 演示 2 用了这样一个任务：沿直线走，朝向的偏差不纠正的话每步放大 10%（像端着装满水的托盘），偏离超过 0.3 就算失败，一共 150 步。专家的成功率 1.00；只用 5 条示范（750 个标注）训练的策略只有 0.34。

DAgger 用 284 个标注就到了 1.00；多收集示范也有帮助，但不稳定，要 2250 个标注（15 条示范）才到 1.00——新的示范还是走在正中间，补不上”已经偏了”的那些状态。数据的价值取决于它覆盖的是不是策略会遇到的状态。 代价是：在线数据要求机器人真的去执行、人一直在旁边看着，比离线收集示范更贵、也更有风险；这个模拟只数了标注的个数。

8. 评测：为什么难、怎么办 · Evaluation

Pertsch 的总结里，“以数据为中心的机器人研究很难”的头号原因是评测（“evals 🥲”）。和语言模型相比：

• 每次评测都是一次物理实验：要摆好场景、让机器人执行、人来判断成功与否。一次试验几分钟，一个策略几十次试验就是几个小时。
• 场景和策略有交互：一个策略恰好擅长某个实验室的光线和桌面。只在一个地方评测，测到的是”在这里的表现”。
• 难以复现：别人没有你的机器人、你的厨房。

代码 03 演示 3：

• 10 次试验成功 6 次，95% 置信区间（Wilson）是 [0.31, 0.83]。真实成功率 0.5 和 0.7 的两个策略，10 次试验时能宣布差别显著的只有 13%，100 次时 83%（第 14 讲 §3 的统计）。
• 8 个策略、50 个场景，前两个策略的训练数据来自”实验室”那个场景（主场优势），策略和场景之间还有交互。评测总预算都是 160 次试验：在一个实验室里每个策略 20 次，排名和真实排名的 Spearman 相关 0.57；分散到随机场景，0.79；分散到随机场景、80 次同一场景的两两比较，0.57（每次比较只给出”谁赢了”一个比特，平局时只能抛硬币，信息太少）。

RoboArena（Atreya, Pertsch et al. 2025）的思路是把第 14 讲的 Chatbot Arena 搬到真实的机器人上：7 个机构的评测者在各自的场景里、自己选任务，对两个匿名策略做双盲的 A/B 比较，给出偏好和文字解释，再汇总成全局排名和每个策略的优缺点。在 600 多次比较、7 个通用策略上，这种众包排名比集中式的评测更准确。真实的评测者能看到整个执行过程，判断”谁做得更好”用到的信息比”成功 / 失败”多得多——这可能是我的模拟里两两比较没有优势的原因。slides 的资源页列出了开放的数据（DROID、Open X-Embodiment）、开放的基准（RoboArena）和开放的模型（π0.5 已经在 openpi 里开源）。

9. 一个统一的视角（补充） · A unified view

把机器人数据的问题和这门课前面的话题对照：

和其他领域相比，机器人数据有一个独特的性质：几乎所有数据都是有目的地收集的。语言模型的研究者只能从网页里选数据；机器人研究者可以设计数据分布——去哪里收集、谁来收集、收集什么任务、在哪里请人纠正。这让以数据为中心的研究在机器人上更有杠杆：每一个”什么数据有用”的发现，都能直接变成采集的方案。

10. 延伸与前沿 · Beyond the original lecture

本节是我补充的。

人类视频的扩展律。 NVIDIA 的 EgoScale（2026）用超过 2 万小时带动作标注的第一人称人类视频预训练 VLA，报告了人类数据规模和验证损失之间的对数线性关系，并且验证损失和真实机器人的表现强相关。如果这一类结果成立，“互联网上没有动作数据”的瓶颈可能部分被”大规模的、专门采集的人类数据”缓解。

世界模型作为评测器。 真实的机器人评测太贵，一个方向是用学到的世界模型评测策略（“在视频生成模型里执行策略、看它成不成功”）。它的风险和第 14 讲的大模型当评委一样：评测器自己的偏差会变成排行榜的偏差。

数据收集的经济学。 遥操作的成本（人、机器人、场地）决定了数据规模。π0.6* 的方向是让机器人在部署中自己产生数据，人只在出错时介入——数据收集变成了部署的副产品。这和第 9 讲的”环境即数据”、第 12 讲的”数据墙”是同一个问题的不同侧面。

安全与数据。 一个在家里工作的机器人会看到人的私人空间；DROID 这类”走进真实的家和办公室”的数据集需要隐私保护（人脸模糊、知情同意）。第 18、19 讲会讨论数据的隐私和伦理。

11. 小结 · Summary

1. 机器人必须收集而不是爬取训练数据。 互联网上几乎没有动作；遥操作贵；数据规模比语言和视觉小几个数量级。
2. 现代策略：模仿学习 + VLA（从视觉-语言模型出发输出动作）；FAST 动作分词、流匹配的动作专家、实时分块。
3. DROID：564 个场景，场景多样性和数量一起带来泛化；和 DROID 共同训练比和 Open X-Embodiment 共同训练高 22 / 17 个百分点。在同一个地方收集更多数据解决不了泛化（代码：0.13 → 0.18 vs 多样化后 0.73）。
4. 示范质量：行为克隆模仿一切；系统性的坏习惯（停顿）有害，零均值的噪声会被平均掉；预训练数据要多样，后训练数据要高质量、一致。
5. Open X-Embodiment：22 种机器人、100 万条轨迹；数据少的领域受益最多（+50%）；小模型在数据多的领域欠拟合；异构的动作空间是汇集的主要障碍，标准化数据比加大模型更直接。
6. π0.5：目标数据只占 2.4%；其他机器人的数据帮助任务本身，网页数据帮助认出没见过的物体；104 个地点的数据 ≈ 在测试的家里收集。
7. 在线数据：复合误差让行为克隆在长任务上失败；DAgger、π0.6* 的纠正数据以很少的标注覆盖了策略真正会遇到的状态。
8. 评测是瓶颈：10 次试验的置信区间很宽；单一实验室的评测有偏；众包、分布式评测（RoboArena）更可靠。

12. 常见误区 · Common pitfalls

1. “收集更多示范总会让策略更好。” 在同一个场景里收集更多，几乎不改善新场景（代码 01 演示 1）；混入系统性的坏示范还会变差（代码 01 演示 3）。
2. “把所有机器人的数据放在一起就有正迁移。” 动作空间不统一时，原样汇集会伤害所有机器人（代码 02 演示 1）。
3. “模型够大就能消化异构的数据。” 大模型能避免欠拟合，但消除不了矛盾的标签（代码 02 演示 3）。
4. “网页数据能教会机器人动作。” 网页数据主要帮助语义和识别；动作要靠机器人数据（π0.5 的消融）。
5. “只保留成功的示范就够了。” 成功是很粗的质量标准（代码 01 演示 3）。
6. “示范数据越多越好，在线纠正只是锦上添花。” 在需要持续纠正的任务上，标在策略会遇到的状态上的数据价值高得多（代码 03 演示 2）。
7. “10 次试验成功 7 次比成功 5 次好。” 这个差别通常不显著（代码 03 演示 3）。

13. 练习 · Exercises

练习 1（采集预算） 你有 2000 小时的遥操作预算，要训练一个能在陌生的家里整理桌面的策略。根据代码 01 演示 1 的表格和 DROID 的结论，你会怎样分配”场景数”和”每个场景的示范数”？还需要考虑哪些表格里没有的因素？

表格显示，在固定的示范总数下，新场景的成功率随场景数单调增加（480 条：1 个场景 0.14 → 100 个场景 0.58），而训练场景的成功率下降；1920 条、100 个场景时新场景 0.73。所以目标是”陌生的家”时，应该尽量多的场景、每个场景较少的示范，只要每个场景的示范足够覆盖那里的任务变化。

表格里没有的因素：(1) 换场景本身有成本（运输机器人、搭设、找愿意配合的家庭），所以”场景数”和”示范数”的单价不同；(2) 任务的多样性（DROID 有 86 种任务）；(3) 操作者的多样性和质量（演示 3）；(4) 隐私和许可（在别人家里录像）。

练习 2（坐标系） 代码 02 演示 1 里，“汇集：统一坐标系”比”汇集：统一坐标系 + 机器人编号”更好（小数据平均 0.64 vs 0.49）。(a) 解释原因。(b) 在什么情况下机器人编号是必要的？(c) Open X-Embodiment 没有对齐坐标系，为什么 RT-X 仍然能从汇集中获益？

(a) 统一坐标系之后，不同机器人的”观测 → 位移”映射几乎相同（只差一点相机安装的偏差），编号没有提供必要的信息，反而让模型（随机特征把不同编号的数据推开）在不同的机器人之间共享得更少。

(b) 当机器人之间的差别不能被一个简单的换算消除时：不同的手（夹爪 vs 灵巧手）、不同的自由度、不同的动力学（重的机械臂、移动底盘），或者相机位置差别很大、模型无法从图像推断具身。

(c) 几种可能：很多机器人对坐标系的约定相近（并非任意旋转）；模型能从图像（看到的机械臂外观）推断是哪台机器人，相当于隐式的编号；RT-2-X 的容量大，能为不同的具身学不同的映射；共享的主要是视觉和语义（“看懂场景”），而动作映射的差别由大量数据各自学会。

练习 3（新手数据） 根据代码 01 演示 3 和 README 里的额外运行：(a) 为什么新手只手抖时，混入新手数据反而有帮助（0.43 → 0.49），只停顿时有害（0.38）？(b) 设计一个比”只保留成功的示范”更好的过滤规则。

(a) 行为克隆是回归：手抖是零均值的噪声，在许多样本上平均后不改变学到的平均动作，而更多的数据（更多的场景、状态）让策略更好；停顿让一部分样本的标签系统性地变成 0，回归学到的是”正常动作和 0 的加权平均”——动作幅度系统性地变小，到不了目标。

(b) 例如：(1) 按”完成任务用的步数”或”平均动作幅度”过滤，去掉过慢的示范；(2) 不去掉整条示范，而是去掉其中的停顿片段（动作接近 0、状态不变的时刻）；(3) 不扔数据，给每条示范打质量分，让策略以质量分为条件（π0.6* 的优势条件），部署时只要求”高质量”的行为。

练习 4（复合误差） (a) 为什么在”够物体”的世界里 DAgger 没有优势，在 BalanceTask 里优势巨大？(b) 如果 π0.6* 的纠正数据只在机器人出错时由人接管产生（不是每一步都标注），和 DAgger 相比有什么好处和坏处？

(a) “够物体”的示范起点和目标遍布整个平面，几乎所有 (末端, 目标) 组合都出现在某条示范里，策略访问的状态基本在示范覆盖的范围内，失败主要来自感知误差——DAgger 的标注和新示范差不多。BalanceTask 的专家总是在正中间，示范只覆盖一条很窄的带；动力学不稳定，策略的小误差被放大，走进示范从没覆盖的状态。DAgger 的标注恰好落在这些状态上。

(b) 好处：人只在必要时介入，标注成本低；纠正集中在真正的失败附近；机器人的大部分经验是自主产生的，可以规模化。坏处：只有”人发现出错并接管”的那些状态有标注，人反应之前的那几步没有；接管的时机和方式因人而异（又是数据质量问题）；没有标注的自主经验需要价值函数来判断好坏，价值函数本身可能出错。

练习 5（评测设计） 你要比较 4 个策略，总共只能做 200 次真实试验，有 5 个实验室可以用。根据代码 03 演示 3，设计评测方案，并说明你会怎样报告结果。

把试验分散到 5 个实验室（甚至每个实验室里多个场景），每个策略在每个实验室做约 10 次；同一个场景里尽量让 4 个策略都执行（配对，控制场景难度）。报告每个策略的总成功率和 Wilson 置信区间，以及配对比较的差和它的置信区间；单个实验室的结果作为补充，不作为结论。演示 3 显示，分散评测的排名相关（0.79）明显高于在一个实验室里评测（0.57）；但即使这样，200 次试验也只能可靠地区分差别较大的策略（10 次试验时 0.5 vs 0.7 只有 13% 的概率显著）。

14. 延伸阅读 · Further reading

原课阅读

• Open X-Embodiment Collaboration, Open X-Embodiment: Robotic Learning Datasets and RT-X Models（2023）：arXiv:2310.08864。
• Khazatsky, Pertsch et al., DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset（RSS 2024）：arXiv:2403.12945。
• Physical Intelligence, π0.5: a Vision-Language-Action Model with Open-World Generalization（2025）：arXiv:2504.16054。

slides 里引用的工作

• Zhao et al., Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware（ALOHA / ACT，2023）；Chi et al., Diffusion Policy（2023）。
• Brohan et al., RT-1（2022）、RT-2（2023）；Kim, Pertsch, Karamcheti et al., OpenVLA（2024）。
• Black et al., π0: A Vision-Language-Action Flow Model for General Robot Control（2024）。
• Pertsch et al., FAST: Efficient Action Tokenization for Vision-Language-Action Models（2025）；Driess et al., Knowledge Insulating VLAs（2025）；Black et al., Real-Time Chunking（2025）。
• Kareer et al., Emergence of Human to Robot Transfer in Vision-Language-Action Models（2025）：arXiv:2512.22414。
• Chi et al., Universal Manipulation Interface（UMI，2024）；Nasiriany et al., RoboCasa（2024）。
• Hejna et al., Re-Mix: Optimizing Data Mixtures for Large Scale Imitation Learning（2024）；Agia et al., CUPID（2025）。
• A Systematic Study of Data Modalities and Strategies for Co-training Large Behavior Models for Robot Manipulation（TRI，2026）：arXiv:2602.01067。
• Physical Intelligence, π*0.6: a VLA That Learns From Experience（RECAP，2025）。
• Atreya, Pertsch et al., RoboArena: Distributed Real-World Evaluation of Generalist Robot Policies（CoRL 2025）：arXiv:2506.18123。

本讲补充

• Ross, Gordon & Bagnell, A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning（DAgger，AISTATS 2011）。
• EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data（NVIDIA，2026）：arXiv:2602.16710。

15. 下一讲预告 · Next lecture

机器人的数据难在”互联网上没有动作”。下一讲的领域难在”互联网上几乎没有 3D”：网上有几十亿张图片，3D 模型却只有几百万个，而且格式五花八门、质量参差不齐。

第 16 讲：3D 数据——从 ShapeNet 到 Objaverse-XL。 ShapeNet 的 5 万个干净的 CAD 模型、Objaverse 从 Sketchfab 收集的 80 万个物体、Objaverse-XL 从 GitHub 和 Thingiverse 收集的 1000 万个物体；把 3D 物体渲染成多视角的图片来训练”从一张图想象 3D”的模型（Zero-1-to-3）；质量过滤和去重；以及用一百万个 360 度视频代替 3D 模型。Matt Deitke 的建议也会让你吃一惊：“大概别去做 3D 了”。代码会用一个小小的 3D 世界研究多样性、规模和质量过滤对新视角预测的影响。