第 26 讲 · 交互式世界模型 + 对齐科学 · Interactive World Models + Science of Alignment

对应 Maps to：CMU 10-423 / 10-623 / 10-723 Generative AI（Matt Gormley、Aran Nayebi），Lecture 26 · Mon 20-Apr · Interactive World Models + Science of Alignment（slides：lecture26-world-models、lecture26-alignment）。 阅读材料：Mildenhall et al. (2020), NeRF；Kerbl et al. (2023), 3D Gaussian Splatting；Poole et al. (2022), DreamFusion；Bruce et al. (2024), Genie: Generative Interactive Environments；Google DeepMind (2024, 2025), Genie 2 / Genie 3 博客；Bardes et al. (2024), V-JEPA；Assran et al. (2025), V-JEPA 2；PAN 团队 (2025), PAN: A World Model for General, Interactable, and Long-Horizon World Simulation；Nayebi (2025), Intrinsic Barriers and Practical Pathways for Human-AI Alignment: An Agreement-Based Complexity Analysis；Nayebi (2025), Core Safety Values for Provably Corrigible Agents；Irving, Christiano & Amodei (2018), AI Safety via Debate；Hadfield-Menell et al. (2016), Cooperative Inverse Reinforcement Learning；Hadfield-Menell et al. (2017), The Off-Switch Game；Soares et al. (2015), Corrigibility。 依据说明：本讲按原课第 26 讲公开的两份 slides 展开。第一部分（Matt Gormley）：什么是世界模型、用途、数据、三种范式（生成 3D 场景再渲染、可交互的视频、隐空间的世界表示），NeRF 与高斯泼溅、DreamFusion、GSGen、Marble，Genie 1–3，V-JEPA 1–2，PAN。第二部分（Aran Nayebi 的客座讲座”迈向对齐科学”）：基于”一致”的对齐复杂度框架及其下界、“压缩目标、压缩状态空间”的建议、可纠正性的字典序方法，以及对经济和未来智能体的展望。对齐部分的 slides 大多是文字和图，本讲义按 slides 的结构讲解，细节以两篇论文的摘要为准；代码里的对齐实验是抽象的决策论玩具，不是对任何真实系统的评估。所有实验是本讲义自己设计的，不代表课堂上讲了什么。 配套代码 Code：code/lecture26/（4 个脚本 + 1 个模块；02 约 1.5 分钟，其余几秒到 20 秒） 预计阅读时间：2 小时（含运行代码）

0. 本讲导航 · How to read this lecture

0.1 学习目标 Learning goals

学完这一讲，你应该能够：

1. 写出世界模型的定义 $s' \sim p(s' \mid s, a)$，说出它的用途和三种范式的区别。
2. 说明 NeRF 和高斯泼溅怎样表示 3D 场景，DreamFusion 怎样从文字生成 3D。
3. 描述 Genie 的三个组件，尤其是”从没有动作标签的视频里学出潜动作”的潜动作模型；解释自回归世界模型的累积误差和”在想象里规划”。
4. 解释 JEPA 为什么会坍缩、EMA / VICReg 怎样防止它，以及”在隐空间预测”和”在观察空间预测”（PAN）的取舍。
5. 用 Nayebi 的框架说出对齐的三个复杂度来源（任务数 M、智能体数 N、状态空间大小 D），以及对应的实践建议。
6. 解释可纠正性的含义，以及为什么”字典序的效用”比”把所有规范加权成一个标量”更能保证服从。

0.2 先修与本讲范围 Prerequisites & scope

0.3 本讲地图 Map

第一部分：交互式世界模型
§1  什么是世界模型：定义、用途、数据、三种范式                     ← 代码 01
§2  范式一：先生成 3D 场景，再渲染（NeRF、高斯泼溅、DreamFusion）
§3  范式二：可交互的视频（Genie 1–3）                               ← 代码 01、02
§4  范式三：隐空间的世界表示（V-JEPA、PAN）                        ← 代码 03
第二部分：对齐科学
§5  对齐的内在障碍：⟨M, N, ε, δ⟩-一致框架                           ← 代码 04
§6  可纠正性：字典序的安全价值                                      ← 代码 04
§7  展望；§8 全课回顾
§9–13  小结、误区、练习、延伸阅读

世界模型部分的实验都在一个 7 × 7 的网格世界里（world_lab.py）：四周是墙、中间有几块障碍、一个目标格子；智能体每步可以不动或上下左右走一格。模型只看”画面”（墙、目标、智能体三个通道），不知道坐标和规则。

第一部分：交互式世界模型

1. 什么是世界模型 · What is a world model?

slides 先引了一段科幻小说里关于”世界模型”的描述，然后回到心理学：心理学文献长期把我们的世界模型称为假设性思考（hypothetical thinking）——非正式地说，就是”思想实验”：在脑子里想象”如果我这样做，会发生什么”。

定义。 世界模型接收上一个世界状态 $s$ 和一个动作 $a$，从一个分布里采样（或用一个函数预测）下一个状态：

$s' \sim p(s' \mid s, a).$

“世界状态里有什么？“取决于你要建模什么：可以是所有地缘政治实体、它们的领导人和决策，也可以是三维世界里的物理交互。slides 和本讲关注后者。

用途（slides 列了六条）：为机器人生成模拟的训练数据；为自动驾驶生成模拟的训练数据；通过提示创造可交互的世界（也就是电脑游戏）；自动生成、编辑、精修 3D 动画和图形；让一个”会思考”的模型对真实世界里的物理交互做假设；更快地为虚拟现实和增强现实搭建环境。

数据：大规模图像数据集（数百万）、大规模视频数据集（数百万小时）、较小规模的 3D 场景数据集，以及文字、音频、多模态数据。

三种范式（slides 的表）：

01 先在网格世界里做最朴素的版本：从随机游走的录像里学一个动力学模型 (画面, 动作) → 下一帧智能体在哪，在 20 种没见过的墙壁布局上测试。

模型不知道坐标，也不知道”墙挡路”这条规则——全部要从录像里学。数据多了以后大部分对了，最难的是”撞墙时留在原地”（要看懂动作方向上那一格是不是墙）。

2. 范式一：先生成 3D 场景，再渲染

NeRF 与高斯泼溅（slides）：两者的目标都是从二维图像合成三维场景，并且定义一个可微的渲染器。

• NeRF：一个连续的神经场，把（三维位置，观察方向）映射到（密度，发出的颜色）；渲染时沿每条光线积分。缺点是体渲染很慢，不适合实时交互。
• 高斯泼溅（Gaussian Splatting）：把场景表示成一团三维高斯（“泼溅”），每个有位置、形状、不透明度、颜色；渲染就是把这些高斯高效地光栅化到屏幕上，能做到实时或接近实时。

DreamFusion：从文字生成 3D 场景。关键想法是直接生成 NeRF 的参数，并且对每一个文字描述从零开始训练——因为 NeRF 是可微的，可以从各个视角渲染出图像，再用一个预训练的文字到图像扩散模型判断”这些图像像不像描述”，把梯度传回 NeRF 的参数。GSGen 做的是同样的事，只是生成高斯泼溅而不是 NeRF（渲染更快）。Marble（World Labs）是一个生成可探索三维世界的产品。

这一范式的好处是产出一个明确的三维表示（点云、网格、高斯），可以交给现有的游戏引擎、物理模拟器去渲染和交互。

3. 范式二：可交互的视频——Genie（代码 01、02）

3.1 Genie-1

slides：Genie 是一个可交互的视频生成模型。测试时：它接收一张图像作为提示；每个时间步接收用户给的一个动作；根据当前帧和动作生成下一帧——就像在玩一个电子游戏。

• 训练数据：680 万段 16 秒的 2D 平台游戏录像（3 万小时）。2D 平台游戏（例如超级马里奥）就是玩家控制一个角色在平面世界里跑、跳、躲避障碍。这些录像没有动作标签——只有画面。
• 规模：110 亿参数。
• 三个组件：
  1. 视频 tokenizer / detokenizer：一个 VQ-VAE，把 T 帧视频编码成 T 帧离散 token（码本大小 D），用时空 Transformer（ST-Transformer，第 25 讲的分解注意力）做骨干；
  2. 潜动作模型（LAM）：另一个 VQ-VAE。编码器看前 t + 1 帧，输出 t 个”潜动作”；解码器只看前 t 帧和潜动作，重建第 t + 1 帧。测试时 LAM 被丢掉，动作来自用户；
  3. 动力学模型：仅解码器的 MaskGIT（第 14 讲的并行解码），以之前的视频 token 和动作为条件，预测下一帧的 token（交叉熵训练）；动作嵌入是加到 token 上的，而不是拼接。

潜动作为什么能学出来？ 解码器看不到下一帧，而潜动作只有很少的几个码字（Genie 用 8 个），编码器被迫把”从这一帧到下一帧发生了什么变化”压缩进这几比特——也就是动作。02 在网格世界的随机游走录像上训练了一个 8 个码字的 LAM，不给任何动作，然后在没见过的布局上数一数码字和真实效果的对应：

（码字 1、5、7 从没被选中——VQ 里常见的”死码字”。）每个码字取它最常对应的效果，97.5% 的转移被解释对了，只有码字 0 混进了一部分”上”。两点值得注意：LAM 学到的是效果而不是意图——“往上走但撞了墙”和”不动”在画面上一样，落在同一个码字里；而且没有人告诉模型有几个动作，“动作”是从”什么样的变化最能解释下一帧”里自己冒出来的。

（为了在小模型上得到干净的潜动作，我们给 LAM 的编码器加了很强的结构偏好：它只看两帧之差、再在整张画面上取最大值。第一版用 MLP 看两帧，重建完全正确，但码字和动作对不上——同一个码字在不同位置代表不同的方向，解码器也能读懂。Genie 用时空 Transformer 和很小的码本，在海量数据上得到了一致的潜动作；code README 记录了我们的几个版本。）

3.2 Genie 的结果与”潜动作能迁移吗”

slides 的例子：用文字到图像模型生成的图片当提示，Genie 就能让用户直接在里面互动；潜动作被映射到键盘上的几个键，用户可以探索它们各自做什么。02 第 2 部分做了同样的事：从同一帧出发，分别给每个用到的码字，模型画出了向右、向上、向左、不动、向下的下一帧。

机器人：在 13 万条机器人演示、一个模拟数据集和 20.9 万条真实机器人轨迹（都没有动作）上训练 Genie，得到一个能”玩”机械臂的模拟器。

潜动作能迁移吗？（CoinRun，一个程序生成的平台游戏）三种策略：(1) 行为克隆——用每一帧配上专家的真实动作训练策略（上限）；(2) 随机动作（基线）；(3) 基于 LAM 的策略——用 Genie 的潜动作标注专家录像、训练策略，再用少量带真实动作的样本学一个”潜动作 → 真实动作”的映射。Genie 论文报告，只用 200 个带标签的样本，基于 LAM 的策略就追平了行为克隆。

02 第 3 部分在没有障碍的房间里重复了这个实验（目标位置随机，20 个没见过的房间，200 局，20 步内走到目标算成功）：

带标签的转移覆盖了全部码字以后，潜动作策略补上了从随机到行为克隆之间 76%（重新学的 LAM）和 50%（前一个 LAM）的差距：专家录像里关于”怎么走”的信息相当一部分都在潜动作里，真实标签只用来”翻译”。方向上和 Genie 一致，但我们的小 LAM 没有完全追平——两个 LAM 都各有一个方向只有约 80% 的转移被标成了它自己的码字，而模仿学习对这种标签错误很敏感。这个实验背后的想法很重要：互联网上有海量的视频，却几乎都没有动作标签；如果能从视频里学出潜动作，再用少量标注把它们翻译成机器人的控制信号，就能用视频来教机器人行动。

（为什么用没有障碍的房间：在有障碍、布局没见过的房间里，一个只看当前画面的小策略需要”规划”才能绕过障碍，直接用真实动作做行为克隆都不如随机走——那样就比不出潜动作的作用了。）

3.3 “玩”世界模型、累积误差、在想象里规划（代码 01）

01 第 2 部分像 Genie 那样”玩”学到的动力学模型：给一个起始画面和一串动作（下、不动、左、左、上、不动），模型一帧一帧地画，6 步和真实世界完全相同。

累积误差。 但如果让模型自己往下推，每一步都用自己上一步的预测作为输入（开环），越往后越偏：

（“还和真实的一样”的比例。）如果每一步独立地以 p = 0.895 的概率对，推 20 步还没出错的概率只有 $p^{20}\approx 0.11$；实测 0.47 高得多——可能是因为错误集中在少数难的情形（撞墙），而且走错以后有时还会”撞回”正确的轨迹。但趋势一样：一旦走错一格，后面的预测都建立在错误的状态上。这就是自回归世界模型的核心难题——slides 列的 Genie 3 的局限里第一条就是”交互窗口只有很短的时间（几分钟）”。

在想象里规划。 世界模型的一大用途是”先想后做”：在模型预测的世界里搜索一条去目标的路，再到真实世界里执行（Dreamer、MuZero 的思路）。01 第 4 部分用模型预测的后继状态做广度优先搜索：

模型越准，想象出来的计划在真实世界里越走得通；模型错了，计划可能”穿墙而过”，到了真实世界就卡住。

3.4 Genie 2、Genie 3 和它们的局限

slides：Genie-2 的技术描述相当模糊，这可能意味着主要的变化是规模（更多参数、更多数据）；它生成的是三维的、可交互的世界。Genie-3 是一个可以实时交互的世界模型，slides 列出的局限：

• 交互窗口只有很短的时间（几分钟）；
• 动作（很可能）是潜动作、来自一个固定的集合，不能定义新的动作；
• 可以用提示改变世界（这是一个开放集合）——于是”封闭的动作集”和”开放的世界变化集”之间不对称；
• （看起来）只能有一个角色；
• 本质上只是一个视频模型：不提供游戏引擎能解释的世界表示（点云、网格、高斯泼溅）；
• 计算需求极高。

4. 范式三：隐空间的世界表示（代码 03）

4.1 V-JEPA

slides：V-JEPA 1–2 是一个非生成式的世界模型。关键想法：始终在隐空间里工作；最小化”原始视频里被遮住区域的真实表示”和”从遮住了的视频预测出的被遮住区域的表示”之间的损失——损失定义在两个表示 $E(x)$ 和 $E(y)$ 之间，而不是像素之间。目标是得到可以迁移到其他任务的表示。V-JEPA 2 还在机器人数据上训练了一个以动作为条件的版本，用来在隐空间里规划。

为什么不预测像素？ 像素里有大量不可预测、也不重要的细节（树叶怎样晃、水面的反光）；在像素上做预测，模型要花大量容量去建模这些细节。在隐空间里预测，表示可以只保留”可以预测、有用”的部分。

代价：坍缩。 如果目标表示和上下文表示用同一个编码器、梯度也流进目标，有一个省事的解：把所有输入都映射到同一个点——预测损失为 0，表示里什么都没有。防止坍缩的常见办法：

• EMA 目标编码器 + 停止梯度（I-JEPA、V-JEPA、BYOL）：目标表示由一个”慢”的编码器给出（上下文编码器参数的指数滑动平均），梯度不流进它；
• 方差 / 协方差正则（VICReg）：要求表示的每一维方差不能太小、各维之间不要相关。

4.2 PAN：目标留在观察空间

slides 的 PAN：一个面向长时间、有条件模拟的交互式世界模型，由三部分组成：视觉编码器 $h$（把观察映射到结构化的隐状态）、自回归的世界模型 $f$（以动作和历史为条件预测下一个隐状态，负责长时间）、视频扩散解码器 $g$（从隐状态重建高质量的画面，负责短时间）。和 JEPA 不同，PAN 的训练目标留在观察空间：比较的是”预测的下一个观察” $g(f(h(o_t), a_t))$ 和”真实的下一个观察”。PAN 的作者认为，JEPA 的目标容易坍缩、需要仔细的正则化；观察空间的目标迫使模型和训练数据里真实的观察挂钩。

4.3 一个小实验：表示到底记住了什么

03 在网格世界里训练”上下文编码器 f + 预测器”，四种目标：naive（同一个编码器、不加防护）、EMA、VICReg、像素（预测下一帧智能体在哪）。用线性探针读表示里”智能体在哪”和”这是哪一种墙壁布局”。30 种墙壁布局、训练 8000 步：

• 不加防护的会坍缩：表示的标准差缩到 0.0006。（线性探针先把每一维标准化，所以还能从这一小团里读出一些信息；坍缩首先是”尺度”缩到 0，这么小的尺度在数值上很脆弱。）
• 没坍缩不等于学到了有用的东西：VICReg 的表示能完美地分出布局，却几乎读不出智能体在哪（0.046）；EMA 读出位置 0.662。我们的解释是：“下一帧的表示”里最容易预测的部分是不会变的墙——布局在 t 和 t + 1 完全相同，把它编码进表示，预测损失就很小，方差的要求也满足了；智能体的位置要靠动作和墙才能预测，更难，于是被”省掉”了。
• 像素目标必须知道智能体在哪，探针 0.990。

对照：只有一种墙壁布局时（表示里没有”布局”可学），EMA、VICReg、像素三种的位置探针都是 1.000，不加防护的仍然坍缩（标准差 0.0001）。所以隐空间预测会学到什么，取决于数据里什么最容易预测——背景、纹理、不动的东西往往比我们关心的物体更容易。这正是 PAN 和 JEPA 两条路线争论的核心：V-JEPA 遮住大块的时空区域、只预测被遮住的部分，一部分用意就是不让”抄旁边的背景”这类捷径奏效；PAN 则干脆把目标留在观察空间。

第二部分：对齐科学（Aran Nayebi）

5. 对齐的内在障碍（代码 04 第 1 部分）

5.1 问题与路线

slides 从两个问题开始：怎样让 AI 系统按照我们的价值观行事？这些价值观本身应该是什么？ 然后用 Geoffrey Irving 的一张示意图说明”对齐有多难”：讲座的第一部分要量化难度曲面的边界，第二部分要刻画一个”盆地”（可纠正性）。

现有的方法聚焦于特定的模型家族（例如 LLM），甚至特定模型里的特定特征（例如第 20 讲的机制可解释性）；除了某些有强假设的特殊设定，几乎没有理论保证。slides 举了一个例子：RLHF 在分布外的智能体场景里会失效（ROGUE 基准，Tien, Tuan, Anand, Shen & Kolter：评估智能体是否会推翻资源限制、破坏防护措施）。

Nayebi 的路线：在一个一般的框架里研究对齐本身的复杂度；在”最好的情况”（智能体计算能力无限、完全理性）下找出不可能性和复杂度障碍；再设计避开这些障碍的实用策略。操作原则：如果一件事在”计算能力无限的贝叶斯理性智能体”这种理想设定下都已经低效，那么在实践中就应该避免它。

5.2 ⟨M, N, ε, δ⟩-一致

slides 回顾了两个主要的理论框架：AI 安全辩论（Irving, Christiano & Amodei, 2018：两个 AI 辩论，人做裁判）和合作逆强化学习（CIRL，Hadfield-Menell et al., 2016：人和机器合作，机器不确定人的奖励函数）。它们背后有四个共同的抽象：迭代推理、相互更新、公共知识（而不是共同的先验）、在共享框架下收敛。

Nayebi 把它们统一成 ⟨M, N, ε, δ⟩-一致问题：

• M 个对齐目标（每个任务 j 一个奖励函数 $f_j$）：有用、无害、诚实、拒绝、隐私……
• N 个智能体：人类评分者（通才和 / 或专家）和 AI 智能体；奖励模型可以看成”一致性 / 偏好聚合”的一个智能体；
• 每个任务有一个大小为 D 的状态空间（提示 / 轨迹 / 工具调用的上下文；稀有的危险会让 D 变大）；每个智能体有自己的私有知识（对状态空间的一个划分）；
• 智能体交换 T 条消息——标量判断 token（成对偏好、李克特评分、安全标记）——直到以至少 1 − δ 的概率在每个 $f_j$ 上达到 ε 以内的一致。

5.3 下界与建议

• 一般下界（无界智能体）：只要任务数 M 或智能体数 N 足够大，即使智能体的计算能力无限，也不可能高效地对齐——“我们必须明智地选择任务和智能体”。
• 更细的下界：对一大类自然的通信协议（只交换有界、离散的消息似然），下界还额外依赖于状态空间的大小 D。
• “没有免费午餐”：对齐到”人类的全部价值”是做不到的，必须通过共识来缩减、或者对目标排优先级。
• 奖励投机：在大的任务空间、有界的智能体和有限的样本下，奖励投机全局不可避免——稀有的、高损失的状态会被采样系统性地覆盖不到。

建议（slides 的”目前的结论”）：对齐受三个量约束——任务数 M、智能体数 N、状态空间大小 D。

• M 和 N：压缩你的目标！ 例如在每个场景里只确定一小组与情境相关的价值观，或者选一个”中性而普适”、容易达成共识的小目标集合——例如可纠正性 / 人的控制（§6）。
• D：压缩你的状态空间！ 不存在全局不可投机的奖励函数。利用任务结构，把注意力放在安全关键的切片上，而不是均匀覆盖——例如在极端情形下用大量交互对智能体做压力测试，而不是一次性的评估，以弥补后训练数据的不足。

04 第 1 部分用一个抽象的玩具看”D”的论点：每个状态有 8 维特征，真实奖励是特征的线性函数，但有 5 个”危险”状态恰好在特征上看起来最好、实际最糟（真实奖励减 10）。人给 100 个状态打分，拟合一个线性的代理奖励，优化器选代理奖励最高的状态：

状态空间小时，随便抽的标注里大概率有危险状态，代理奖励学会了”危险 = 很糟”；状态空间大了，危险状态几乎一定抽不到，优化器恰好挑中了它们——这就是第 12 讲”奖励投机”在有限样本下的形状。把一部分预算用来检查”优化器最可能去的地方”（代理奖励最高的那些状态），投机就消失了：监督要集中在安全关键的切片上。

6. 可纠正性：字典序的安全价值（代码 04 第 2、3 部分）

6.1 什么是可纠正性

slides 从 Turing 1951 年的一次广播讲话讲起：他设想，如果机器能思考，可能比我们更聪明；即使我们能让机器处于从属地位（例如在关键时刻切断电源），人类也应该感到深深的谦卑。可纠正性（corrigibility，Soares et al., 2015）把”能在关键时刻关掉它”形式化：一个可纠正的智能体会容忍、甚至协助人修改或关闭它；不会试图阻止关机、不会操纵或欺骗人、会保留人纠正它的能力。

经典的关机按钮博弈（off-switch game，Hadfield-Menell et al., 2017）：机器人可以直接行动、等人决定（人可能按下关机按钮）、或者先禁用按钮再行动。

6.2 字典序的方法

Nayebi (2025) 的设计：智能体有五个结构上分开的效用头，按字典序组合（用严格的权重差距）：

1. 服从（deference）；
2. 保留开关的可用性（switch-access preservation）；
3. 诚实（truthfulness）；
4. 低影响（基于信念的”可达效用保持”的扩展）；
5. 有界的任务奖励。

论文声称给出了关机按钮博弈里可纠正性的第一个完整的形式化解：定理 1 在部分可观察的单轮关机按钮博弈里给出精确的可纠正性；定理 3 推广到多步、会自我复制的智能体——即使每个头只学到均方误差 ε、规划器 ε-次优，违反任何安全性质的概率都有上界，并且仍然保证人的净收益。slides 的说法是：“RLHF / RLAIF 不行”——它们把所有规范合并成一个学出来的标量，不能保证服从和影响限制在冲突时胜出。

04 第 2 部分用一个单步的玩具看这个论点：保留按钮（人有 30% 的可能按下，任务只完成 70%）还是禁用它（任务价值 V 全拿到）？

加权求和时，只要任务的赌注大过服从和开关的权重之和，智能体就会禁用按钮——无论权重定多大，总有一个足够大的 V 让它”值得”推翻人。字典序先比较服从，分出高下就不看后面的头。这也解释了为什么第五个头必须是有界的任务奖励：任务奖励有界时，有限的权重差距就足以让前面的头始终占优。

头是学出来的、有噪声时呢？ 04 第 3 部分给每个头的每次估计加上标准差 σ 的高斯噪声：

（禁用按钮的概率。）加权求和的犯错概率随赌注 V 上升；字典序只在服从头的估计错到”把禁用看得比保留更服从”时才犯错，概率只取决于噪声（约 $\Phi(-1/(\sigma\sqrt2))$），和赌注无关——这就是定理 3 的形状。赌注小的时候加权求和反而略稳（它把两个头的噪声平均了）：字典序的好处不在”任何时候都更准”，而在”错误的概率有一个和赌注无关的上界”。

6.3 安全过滤器与审计

论文还证明：如果对手可以任意修改智能体，判断”改过以后的智能体会不会违反可纠正性”是不可判定的（归约到停机问题）；但存在一个有限时间范围内可判定的”孤岛”，可以在随机化多项式时间里认证安全，并用保护隐私的常数轮零知识证明来验证。slides 的总结是：不存在通用的安全过滤器，但重复的（多项式时间的）审计是可行的、可以保护隐私的；下一步是构建这样的安全过滤器，把前沿的智能体包起来。

7. 展望

slides 的最后几页：

• 对齐的经济含义：Nayebi 的另一篇论文分析了”AI 自动化的经济里，靠 AI 租金支撑的全民基本收入在什么能力门槛上可行”——对齐成本越高，这个门槛越高。
• 智能体越来越强时会出现什么：论文《有能力的智能体必须知道什么》（What Capable Agents Must Know）论证，足够有能力的智能体必然会形成世界模型（即使在部分可观察的环境里）、类似信念的记忆，以及在任务混合下和情绪相关的核心原语。slides 还引用了一份前沿模型的系统卡作为佐证。

这把本讲的两部分连了起来：世界模型不只是我们为了模拟、规划而造的工具；当智能体足够强时，它们会自己长出世界模型——而对齐要处理的，正是这些有世界模型、有记忆、会规划的智能体。

8. 全课回顾 · Course recap

这门课从”生成式 AI 就是概率建模”出发（大纲 §0），反复回答四个问题。26 讲之后，可以这样回顾：

1. 怎样表示一个分布？ 文本用自回归分解（第 1–4 讲：RNN → Transformer → 现代 LLM）；图像用隐变量（第 5–9 讲：GAN、扩散、VAE）；多模态把不同模态变成同一种 token 或同一个空间（第 12–15 讲）；音频和视频是同样的思路加上更长的序列（第 24、25 讲）；世界模型给分布加上动作条件 $p(s' \mid s, a)$（本讲）。
2. 怎样学习它？ 能算似然就最大化似然；算不了就换目标——对抗、ELBO、对比学习（CLIP）、偏好（RLHF / DPO，第 11、12 讲）、可验证的奖励（第 20、23 讲）、隐空间预测（JEPA，本讲）。
3. 怎样用好一个预训练模型？ 微调与 PEFT（第 10 讲）、上下文学习与提示（第 11 讲）、检索增强（第 22 讲）、工具和智能体（第 23 讲）、测试时计算（第 20 讲）。
4. 怎样把它做大、做快，以及它会怎样出错？ 规模定律、MoE、分布式训练、FlashAttention、长上下文、SSM（第 15–21 讲）；记忆与版权、对抗攻击、幻觉、偏见、能耗（第 22 讲）；以及本讲的对齐科学——当模型足够强时，“让它做我们想要的事”本身就成了一个需要科学研究的问题。

9. 小结 · Summary

1. 世界模型 $s' \sim p(s' \mid s, a)$；三种范式：生成 3D 场景再渲染、可交互的视频、隐空间的表示。
2. NeRF 用连续神经场、高斯泼溅用一团三维高斯表示场景；DreamFusion 用可微渲染 + 文字到图像扩散模型从文字生成 3D。
3. Genie = 视频 tokenizer + 潜动作模型 + 动力学模型，从无动作标签的视频里学出潜动作；潜动作加少量标注可以迁移成真实控制（我们的小实验补上了 50–76% 的差距）。
4. 自回归世界模型有累积误差；在想象里规划的效果取决于模型多准。
5. 隐空间预测（JEPA）不加防护会坍缩；EMA / VICReg 防止坍缩，但表示会优先编码最容易预测的东西（例如不变的背景）；PAN 把目标留在观察空间。
6. 对齐受任务数 M、智能体数 N、状态空间 D 约束：压缩目标、压缩状态空间、把监督集中在安全关键的切片上。
7. 可纠正性：字典序的安全价值（服从 → 保留开关 → 诚实 → 低影响 → 有界的任务奖励）让服从在冲突时胜出，错误概率和赌注无关；加权求和总有一个足够大的赌注让它推翻人。

10. 常见误区 · Common pitfalls

• “世界模型就是视频生成模型。” 视频模型是一种范式；还有生成显式 3D 表示的、只在隐空间里预测的（§1）。
• “潜动作就是真实的动作。” 它是”效果”：撞墙和不动落在同一个码字里；它们还可能不干净，需要少量标签翻译（§3.1、§3.2）。
• “一步预测很准，长时间模拟就很准。” 自回归的误差会累积（§3.3）。
• “没坍缩的表示就是好表示。” 它可能只编码了最容易预测、却无关紧要的东西（§4.3）。
• “奖励模型足够好，就不会被投机。” 在大的状态空间和有限的样本下，总有覆盖不到的地方；监督要集中在优化器会去的地方（§5.3）。
• “把’服从’的权重调得足够大，加权求和也能保证可纠正。” 任务奖励无界时，总有一个足够大的赌注压过任何有限的权重（§6.2）。

11. 练习 · Exercises

练习 1（累积误差）。 一个世界模型每一步独立地以 0.95 的概率预测正确。(a) 推 10 步、50 步还没出错的概率各是多少？(b) 要让 100 步不出错的概率达到 0.5，每一步的准确率至少要多少？

(a) $0.95^{10}\approx 0.60$，$0.95^{50}\approx 0.077$。(b) $p^{100} = 0.5$ ⇒ $p = 0.5^{1/100}\approx 0.9931$。长时间的一致性对每一步的准确率要求极高。

练习 2（潜动作的信息量）。 一个潜动作模型有 8 个码字。(a) 每个潜动作最多携带多少比特？(b) 如果真实的动作有 5 种、其中一种是”不动”，而”撞墙”和”不动”在画面上一样，潜动作能区分的”效果”最多几种？(c) 为什么码本太大（例如 1024 个）反而可能让潜动作变得不像”动作”？

(a) $\log_2 8 = 3$ 比特。(b) 5 种（不动 / 撞墙、上、下、左、右）。(c) 码本大时，编码器可以把下一帧的更多细节（例如精确的位置、背景的变化）直接塞进潜动作，解码器只要”抄”它就能重建——潜动作就变成了”下一帧的压缩”，而不是”动作”。小码本是逼它只编码变化的关键。

练习 3（坍缩）。 JEPA 的损失是 $\|g(f(x_t)) - f(x_{t+1})\|^2$，f、g 都可以训练、梯度也流进目标。证明存在一个让损失为 0 的平凡解。EMA 目标编码器为什么能避免它（直觉即可）？

令 f 把所有输入映射到同一个常向量 c，g 把 c 映射到 c：损失恒为 0。用 EMA 目标时，目标 $\bar f(x_{t+1})$ 不随当前梯度改变，f 不能”同时移动预测和目标”去凑；而 $\bar f$ 是 f 的慢平均，只要 f 在任何时刻还有区分输入的能力，目标就不是常数，f 就必须保留信息去预测它。（为什么这样能稳定地避免坍缩，严格的分析比较微妙，BYOL 的后续工作有讨论。）

练习 4（安全关键的切片）。 状态空间有 D 个状态，其中 h 个危险状态。均匀抽 n 个标注、至少抽到一个危险状态的概率约是多少？D = 10,000、h = 5、n = 100 时是多少？要让这个概率达到 0.9，n 至少多大？

约 $1 - (1 - h/D)^n$。代入得 $1 - 0.9995^{100}\approx 0.049$（04 的表里”一个都没抽到”的概率是 0.95）。$1 - 0.9995^n \ge 0.9$ ⇒ $n \ge \ln 0.1 / \ln 0.9995 \approx 4604$——要标注近一半的状态。均匀覆盖在大状态空间里代价极高，这正是”把监督集中在安全关键的切片上”的理由。

练习 5（加权求和的权重）。 关机按钮博弈里，人按下按钮的概率是 q，任务价值是 V，服从和开关两个头的权重都是 λ（保留时各得 1，禁用时各得 0），任务头权重 1。(a) 智能体什么时候会禁用按钮？(b) 如果任务奖励有界 $V \le V_{\max}$，λ 至少要多大才能保证永远保留按钮？

(a) 禁用的总效用 V，保留的总效用 $2\lambda + (1 - q)V$；当 $qV > 2\lambda$ 时禁用。(b) 需要 $2\lambda \ge qV_{\max}$，即 $\lambda \ge qV_{\max}/2$。任务奖励无界时不存在这样的 λ——这就是 Nayebi 要求”有界的任务奖励 + 严格的权重差距”的原因。

12. 延伸阅读 · Further reading

• 3D 场景：Mildenhall et al. (2020), NeRF；Kerbl et al. (2023), 3D Gaussian Splatting；Poole et al. (2022), DreamFusion；Chen et al. (2024), GSGen。
• 可交互的视频：Bruce et al. (2024), Genie；Valevski et al. (2024), GameNGen；Hu et al. (2023), GAIA-1；Hafner et al. (2023), DreamerV3；Schrittwieser et al. (2020), MuZero。
• 隐空间的世界模型：LeCun (2022), A Path Towards Autonomous Machine Intelligence；Assran et al. (2023), I-JEPA；Bardes et al. (2024), V-JEPA；Assran et al. (2025), V-JEPA 2；Grill et al. (2020), BYOL；Bardes, Ponce & LeCun (2022), VICReg；PAN (2025)。
• 对齐：Nayebi (2025) 的两篇论文；Irving, Christiano & Amodei (2018)；Hadfield-Menell et al. (2016, 2017)；Soares et al. (2015), Corrigibility；Turner et al. (2020), Conservative Agency via Attainable Utility Preservation；Aaronson (2005), The Complexity of Agreement。

全课到此结束。 回到 课程大纲 或 README。