Lecture 5 · 隐变量模型（一）：混合模型、边际似然与 ELBO · Latent Variable Models I

对应 Maps to：Stanford CS236 Deep Generative Models（Fall 2023，Stefano Ermon），Lecture 5 · 2023-10-11 · Latent Variable Models（课表上写作 VAEs；slides：cs236_lecture5.pdf，29 页）。 依据说明：本讲按原课 slides 的顺序展开：回顾自回归模型的优缺点 → 隐变量的动机 → 深度隐变量模型 → 高斯混合与无监督聚类 → 混合模型的表达力、“无穷多个高斯的混合” → 部分观测数据的边际似然 → 朴素蒙特卡洛 → 重要性采样 → log 带来的偏差 → Jensen 不等式与证据下界（ELBO）→ 下界何时是紧的、差距 = KL → 变分推断 → 小结。slide 23 只用一句旁注提到的 EM 算法，本讲义单独写成 §7（原课在 CS228 里讲过，这里把它和 ELBO 的关系讲透，因为第 6 讲的 VAE 就是”EM 用不了时怎么办”）。总相关、χ² 散度、“偏窄的提议分布”、平均场坐标上升（CAVI）、Fisher 恒等式都是本讲义补充的。全部实验在第 1 讲的像素世界（177 个离散的 z，一切都能精确计算）和本讲新增的二维玩具分布、“笔画世界”上进行。 配套代码 Code：code/lecture05/（PyTorch；2 个模块 + 4 个演示脚本，每个都在 10 秒以内） 预计阅读时间：3 小时（含运行代码）

0. 本讲导航 · How to read this lecture

0.1 学习目标 Learning goals

学完这一讲，你应该能够：

1. 说清楚为什么要引入隐变量 $z$：数据里有大量看不见的变化因素；”$z$ 选得好，$p(x \mid z)$ 就比 $p(x)$ 简单得多”；训练好以后可以用后验 $p(z \mid x)$ 得到特征。
2. 写出高斯混合的生成过程，用后验做软聚类；解释为什么”无监督学习是一个不适定的问题”；理解混合模型的表达力（“简单分布的混合 = 复杂分布”）和 VAE 作为”无穷多个高斯的混合”。
3. 写出边际似然 $p(x) = \sum_z p(x, z)$，说明它为什么难算（项数随隐变量个数指数增长、后验只集中在极少数 $z$ 上），以及为什么梯度也难算。
4. 说明朴素蒙特卡洛为什么”理论上可行、实践中不行”；推导重要性采样估计的无偏性和方差（$\chi^2$ 散度）；知道”提议分布宁宽勿窄”。
5. 解释为什么 $\mathbb{E}[\log \hat{p}] \neq \log \mathbb{E}[\hat{p}]$；用 Jensen 不等式推导证据下界（ELBO）；证明 $\log p(x) = \text{ELBO} + D_{\mathrm{KL}}(q \Vert p(z \mid x))$，以及”$q$ = 后验时下界是紧的”。
6. 理解变分推断：在一族好处理的 $q(z; \phi)$ 里挑最接近后验的那个；它最小化的是反向 KL，所以会”模式寻找”。
7. 把 EM 算法理解成在 ELBO 上做坐标上升；知道它的单调性、局部最优，以及它怎样精确地处理缺失数据；知道”$\nabla_\theta \log p(x)$ 也需要后验”。

0.2 先修与本讲范围 Prerequisites & scope

0.3 本讲地图 Map

§1  为什么要隐变量：看不见的变化因素；深度隐变量模型；像素世界本来就是隐变量模型        ← 代码 01
§2  混合模型：高斯混合与聚类；“不适定”；简单分布的混合 = 复杂分布；无穷多个高斯的混合   ← 代码 01
§3  边际似然：部分观测的数据；log Σ_z；项数的指数爆炸                                    ← 代码 02
§4  用采样近似 p(x)：朴素蒙特卡洛；重要性采样；log 带来的偏差                            ← 代码 02
§5  证据下界 ELBO：Jensen；推导；q = 后验时是紧的；差距 = KL                             ← 代码 03
§6  变分推断：高斯 q 近似双峰后验；缺失像素与因子化的 q；坐标上升                        ← 代码 03
§7  EM 算法：ELBO 上的坐标上升；局部最优；缺失数据；似然的梯度也要后验                    ← 代码 04
§8  回顾（原课 slide 29）
§9  2023 年之后
§10–14  小结、常见误区、练习、延伸阅读、下一讲预告

0.4 记号 Notation

0.5 关于数字 · About the numbers

像素世界与前几讲相同（8×8 黑白图，177 个配置，翻转噪声 $\varepsilon = 0.05$，熵 $H(X) \approx 25.59$ bit/图）。本讲新增两个”知道真相”的世界：二维玩具分布（toy2d.py：双月牙、8 个高斯的圆环、3 个高斯团、香蕉形，密度都能精确计算，第 6–10 讲还会用）和笔画世界（lvm.py：16 个可以同时出现的二值隐特征，$2^{16}$ 种隐状态）。所有数字来自作者机器的实际输出（单线程 CPU，重复运行逐字节相同，计时除外）。有几处结果和预想不同（例如 4 个簇按位置而不是形状划分、“缺失当 0”和”扔掉不完整的图”的对比），讲义按实际结果写，并记录在 代码 README 的”关于实验结果”里。

1. 为什么要隐变量 · Why latent variables

1.1 回顾：自回归模型缺了什么

原课第 2 页回顾了第 3–4 讲：自回归模型用链式法则分解，完全通用；用条件独立或神经网络参数化得到紧凑的表示；似然容易算、容易训练。但它有三个缺点：必须选一个顺序；生成是逐个进行的；没有办法无监督地学到特征。

第三点是本讲的出发点。PixelCNN 能把一张图的概率算得很准，可你问它”这张图里是什么形状、在哪里”，它答不出来——它的内部状态是”已经看过的像素的某种摘要”，不是对整张图的高层描述。

1.2 看不见的变化因素

原课第 4–5 页：一张人脸照片的千变万化，来自性别、眼睛颜色、发色、姿态……这些变化因素（factors of variation）。除非图片被标注过，否则它们不出现在数据里——它们是隐的（latent）。想法很直接：把这些因素显式地建模成隐变量 $z$。

画成贝叶斯网络（第 2 讲）：$z \to x$，只有 $x$（像素）是观测到的（slide 5 里涂了阴影的节点）。这样做有两个好处：

1. 如果 $z$ 选得好，$p(x \mid z)$ 可以比 $p(x)$ 简单得多。 知道”这是一张金发、蓝眼、侧脸的女性照片”以后，剩下的不确定性小得多，结构也简单得多。
2. 训练好以后，可以用后验 $p(z \mid x)$ 识别特征，例如 $p(\text{EyeColor} = \text{Blue} \mid x)$。这就是”表示学习”：$z$ 是 $x$ 的一个有意义的摘要。

困难在于：手工指定这些条件分布非常困难（slide 5）。谁能写出”给定发色和姿态，每个像素的分布”？

1.3 深度隐变量模型

原课第 6 页的答案和前几讲一样：用神经网络去表示条件分布。

其中 $\mu_\theta$、$\Sigma_\theta$ 是神经网络。我们不再规定 $z$ 的每一维代表什么，只给它一个最简单的先验（标准高斯），然后希望训练之后 $z$ 会自己对应到有意义的变化因素上——这叫无监督表示学习。特征同样通过 $p(z \mid x)$ 得到。

这里有一个关键的”为什么”：为什么先验可以是这么简单的 $\mathcal{N}(0, I)$？因为复杂性全部可以交给解码器 $\mu_\theta$。第 2 讲代码 05 第 4 部分已经看到：一个一维的 $z \sim \mathcal{N}(0, 1)$ 经过一个小网络，边缘分布就可以是多峰的、弯曲的。

1.4 像素世界本来就是一个隐变量模型

第 1 讲的像素世界，生成过程正是 $z \to x$：先选一个配置 $z$（形状 + 位置 + 大小，177 种），再画出模板、加独立的翻转噪声。所以我们可以精确地检验 slide 5 的那句话：”$z$ 选得好，$p(x \mid z)$ 就简单”。

衡量”像素之间还剩多少依赖”的一个好指标是总相关（total correlation）：

即”把像素当成独立的、分别编码”比”整体编码”多付的比特。像素独立时它为 0。条件版本 $\mathrm{TC}(x \mid c) = \sum_i H(x_i \mid c) - H(x \mid c)$ 衡量”知道 $c$ 以后还剩多少依赖”。代码 01 第 1 部分：

（单位 bit/图；$H(x)$ 是 10 万个样本的蒙特卡洛估计。）

三个观察：

1. 知道完整的配置以后，像素之间的依赖完全消失：$p(x \mid z)$ 就是 64 个独立的伯努利。复杂性全被 $z$ 吸收了。剩下的 18.33 bit 是纯噪声（$64 \times h(0.05)$）；$H(x) - H(x \mid z) = 7.25$ bit 是 $z$ 携带的关于 $x$ 的信息。
2. 只知道形状，总相关反而升高了（10.00 → 11.22）。这一点乍看反直觉：知道更多，依赖怎么更多了？原因是形状是一个”整体”的信息——单个像素几乎不透露形状（$\sum_i H(x_i)$ 只降了 0.68 bit），整张图却几乎决定了形状（$H(x)$ 降了 1.90 bit）。知道形状去掉的是整体的不确定性，像素之间的依赖一点没少：$p(x \mid \text{形状})$ 仍然是几十个位置的混合。
3. 所以”$z$ 选得好”是一个实实在在的要求：太粗的 $z$ 不能让条件分布变简单。真实的深度隐变量模型希望 $z$ 能捕捉到”全部”重要的变化因素，让解码器只需要处理局部的、近似独立的细节。

2. 混合模型 · Mixture models

2.1 高斯混合：一个”浅层”隐变量模型

原课第 7 页：

生成过程：先抽一个成分 $k$，再从那个高斯里抽一个点。贝叶斯网络还是 $z \to x$。

它为什么叫”浅层”？因为 $p(x \mid z)$ 没有神经网络，只是查表：第 $k$ 个成分对应一组固定的 $(\mu_k, \Sigma_k)$。

聚类（slide 8）：后验 $p(z \mid x)$ 告诉我们一个点属于哪个成分。它是一个软分配：两团之间的点可以”一半属于这团、一半属于那团”。代码 04 第 1 部分在三个高斯团上训练了 $K = 3$ 的混合，点 $(0, 0.4)$ 落在左右两团之间，后验是 0.512 : 0.488；点 $(-0.3, -0.9)$ 是 0.011 : 0.788 : 0.201（slide 10 的图就是这样的”每个点属于每个成分的概率”）。

2.2 无监督学习是”不适定”的

slide 8 说：“我们希望从无标签的数据里学习——这是一个不适定的问题（ill-posed problem）。“slide 11 展示了在 MNIST 上无监督聚类的结果，簇大致对应数字。可数据并没有规定”该按什么分”。

代码 01 第 2 部分做了一个直接的实验：像素世界的 5,000 张图，不给形状标签，训练 $K = 4$ 的伯努利混合（每个成分是一个”原型”，每个像素独立地按原型的概率取值）。四种形状、四个簇，它能自己找到形状吗？

完全没有。 每个簇里四种形状的比例都和总体差不多；“纯度”（每个簇按多数形状去猜的正确率）只有 0.324，和不看图、全猜”横线”的 0.30 几乎一样。打印出来的 4 个原型揭示了它按什么分：按位置——“东西在左下 / 右上 / 左上 / 右下”。

这不是优化的偶然：

三个随机初始化收敛到同一个解；按形状分组的似然低 2.14 bit/图；从”按形状分组”出发跑 EM，它会离开那里、走到按位置分组的解。最大似然真心偏爱按位置分。

为什么？对 4 个模糊的原型来说，“东西大概在哪个角落”比”是什么形状”更能解释像素：一个”左下角原型”能给所有画在左下角的图（不论形状）合理的概率，而一个”横线原型”必须把概率摊在 8 行上，每一行都很淡。最大似然只奖励”把 $p(x)$ 拟合好”；隐变量最后代表什么，取决于什么最能压缩数据，不一定是人关心的那个因素。 这是理解所有无监督表示学习（包括 VAE 的隐空间）的一个重要提醒。$K = 16$ 时纯度升到 0.411，但那只是切得更碎。

2.3 另一种动机：简单分布的混合 = 复杂分布

原课第 12 页：

即使不关心聚类，混合也是一个把简单模型组合成更有表达力的模型的通用办法。代码 01 第 3 部分 (a) 用 EM 拟合二维”双月牙”（2,000 个训练点；真实分布已知，可以算 KL）：

一个高斯只能画出一个椭圆；8 个椭圆拼起来就能描出两个弯曲的月牙。但成分不是越多越好：$K = 32$ 在训练集上的 KL 是负的（比真实分布还”好”），新样本上反而比 $K = 16$ 差——2,000 个点不够估计 191 个参数，这是第 4 讲的过拟合。

像素世界里也一样（(b)，1 万张训练图，伯努利混合）：

最后两行值得多看一眼。同样是 177 个原型——模型族里明明包含（几乎）正确的答案——随机初始化的 EM 只找到了 130 个真实配置（有的原型重复，有的是两个配置的”平均”），训练集似然也比从真实模板出发的解低 0.47 bit：它停在了一个更差的局部最优。隐变量模型的似然是非凸的。而即使从真实模板出发，测试集上仍比真实分布差 0.82 bit（训练集上反而好 0.84 bit）：每个原型平均只分到五六十张图，估计 64 个概率的方差很大。真正的”图形引擎”只有 $\varepsilon$ 和形状概率两类参数——这是”正确的先验”的价值（第 1 讲 §2.2）。

2.4 VAE：无穷多个高斯的混合

原课第 13 页把混合推到极限：让 $z$ 连续，

例如（slide 13 的具体写法，$x$ 二维）：

每一个 $z$ 对应一个高斯成分，$z$ 有无穷多个取值，所以 $p(x) = \int p(z)\,p(x \mid z)\,dz$ 是无穷多个高斯的混合。即使 $p(x \mid z)$ 很简单，边缘分布 $p(x)$ 也可以非常复杂、灵活。 第 2 讲代码 05 第 4 部分已经画过一个例子：一维 $z$ 经过一个小网络，边缘分布有三个峰，二维时样本落在一条弯曲的曲线附近；同一个 $x$ 的后验 $p(z \mid x)$ 可以有好几个峰。

和有限混合相比，这里的”成分”不再是 $K$ 个独立的参数组，而是由同一个网络 $\mu_\theta$ 共享参数地生成——相邻的 $z$ 给出相似的成分。这正是”深度”隐变量模型比高斯混合强的地方：成分的个数不再受参数量限制，而且隐空间是连续的、可以插值的（第 6 讲）。

2.5 回顾（原课 slide 14）

隐变量模型：

• 让我们用简单的积木 $p(x \mid z)$ 定义复杂的模型 $p(x)$；
• 天然适合无监督任务（聚类、无监督表示学习）；
• 没有免费的午餐：比完全观测的自回归模型难学得多。 §2.2–2.3 已经看到两个代价：隐变量学到什么不由我们决定；似然非凸、有局部最优。下一节是第三个、也是最根本的代价：似然本身难算。

3. 边际似然 · Marginal likelihood

3.1 部分观测的数据

原课第 15 页从一个更具体的场景切入：假设训练时有些像素缺失（例如上半张）。记 $X$ 为观测到的变量，$Z$ 为没观测到的（也叫隐藏的、隐的）。假设我们有一个联合分布的模型 $p(X, Z; \theta)$（例如 PixelCNN）。观测到一个训练样本 $\bar{x}$ 的概率是多少？

要考虑补全这张图的所有可能方式。缺失的像素就是隐变量——“隐变量”不一定是抽象的”变化因素”，任何没观测到的东西都是。对于 32 个缺失像素，这是 $2^{32} \approx 43$ 亿种补全；对 PixelCNN 来说，就是 43 亿次前向计算。

第 3 讲代码 05 已经遇到过这个问题：自回归模型算”顺着顺序”的条件很容易，算 $p(\text{下半张})$（要对上半张求和）只能用重要性采样估计，而且偏低。

3.2 VAE 的边际似然

slide 16：VAE 的 $z$ 是连续的，求和变成积分：

这个积分没有闭式解（$\mu_\theta$ 是神经网络），只能近似。

3.3 最大似然 = 对每个数据点做一次求和

slide 17：数据集 $\mathcal{D} = \{x^{(1)}, \dots, x^{(M)}\}$，每个数据点的 $X$ 观测到、$Z$ 从未观测到。最大似然：

和第 4 讲相比，多了一个藏在 $\log$ 里面的求和。它有三个麻烦：

1. 求和的项数随隐变量个数指数增长。 30 个二值隐特征就是 $2^{30}$ 项；连续变量的积分一般根本没有闭式解。
2. 梯度也难算（§7.4 会看到：$\nabla_\theta \log p(x)$ 需要后验）。
3. 每个训练样本都要做一次，每个梯度步都要做一次。所以近似必须便宜。

代码 02 第 1 部分用”笔画世界”感受第 1 点：8×8 画布上有 $m$ 条可能的笔画（整行或整列），每条以 0.15 的概率独立出现，叠在一起再加翻转噪声。隐状态有 $2^m$ 种，精确计算 100 张图的 $\log p(x)$：

（计时依机器而定。）而这些项里几乎全是 0：

一张图的后验平均只落在一个多一点的 $z$ 上。精确求和把几乎全部时间花在加 0 上——如果能直接找到那几个重要的 $z$，就不用全加。这是下面所有近似方法的出发点。

4. 用采样近似边际似然 · Monte Carlo for the marginal likelihood

4.1 第一种尝试：朴素蒙特卡洛

slide 18：把求和改写成一个期望，

然后用第 4 讲的蒙特卡洛：均匀地抽 $z^{(1)}, \dots, z^{(k)}$，

它是无偏的。slide 18 的评价：“**理论上可行，实践中不行。**对大多数 $z$，$p_\theta(x, z)$ 非常小（大多数补全没有意义）；有些补全的 $p_\theta(x, z)$ 很大，但均匀随机地抽，我们永远抽不中。”

代码 02 第 2 部分 (a)：像素世界，500 张测试图，每个 $k$ 重复估计多次；$\log_2(\hat{p}/p)$ 是估计值比真实值大（正）或小（负）多少 bit，−6.6 bit 相当于”小了 100 倍”。

“无偏”这句话在这里几乎没用：$k = 10$ 时，87% 的估计比真实值小 100 倍以上——绝大多数时候一个”对的”配置都没抽到，只看到”某个别的形状 + 二十个翻转”这类噪声解释的极小概率；偶尔抽中一次，估计又一下子大出 $177/k$ 倍。平均是对的，单次估计几乎总是错的。$k = 1000$ 时总算够了，可这已经比精确求和（177 项）还贵。

(b) 笔画世界里改用先验做提议（$p(x) = \mathbb{E}_{z \sim p(z)}[p(x \mid z)]$，这是更常见的”朴素”写法）：先验知道笔画很少，比均匀分布聪明，$k = 1000$ 时多数图的中位数误差已接近 0；但笔画多的图，先验抽中那个正确组合的概率极小——$k = 10{,}000$ 时仍有 12.2% 的估计小了 100 倍以上。一张图抽一万次，只为估一个数，在训练循环里是负担不起的。

4.2 第二种尝试：重要性采样

slide 19：换一个”会挑”的分布 $q(z)$ 来抽样，

（只要 $q(z) > 0$ 处覆盖了所有 $p_\theta(x, z) > 0$ 的 $z$。）$w = p_\theta(x, z)/q(z)$ 叫重要性权重：$q$ 抽得太多的地方权重小、抽得太少的地方权重大，正好补偿。它是无偏的：$\mathbb{E}_q[w] = \sum_z q(z) \cdot p(x, z)/q(z) = p(x)$。

什么样的 $q$ 好？ slide 19 的直觉：“多抽那些在给定 $x$ 时可能的 $z$（补全）。“可以说得更精确：估计的相对方差是

（练习 3）——一个叫 $\chi^2$ 散度的量。$q = p(z \mid x)$ 时它为 0：每一个权重都恰好等于 $p(x)$，抽一个样本就够了。代码 02 第 3 部分比较了 6 种提议分布（像素世界，500 张图）：

所有提议的 $\mathbb{E}[\hat{p}/p]$ 都在 1 附近（无偏），区别全在方差。三个要点：

1. $q$ 越像后验越好。 “回火后验”比后验宽一些，$\chi^2 = 0.43$，$k = 10$ 时几乎每次都准。“½ 后验 + ½ 均匀”保证 $q \geq \frac{1}{2}$ 后验，于是 $\chi^2 \leq 1$——只要 $q$ 在后验有质量的地方不太小，估计就稳定（“防御性”重要性采样）。
2. “偏窄的 $q$“是一个陷阱。 “锐化后验”的 $\chi^2$ 和均匀分布一模一样（162.41，这不是巧合，练习 4），实测的标准差却是最小的。它的方差藏在哪里？代码给出了诊断：二阶矩的 98.6% 来自 $q(z) < 10^{-6}$ 的那些 $z$，而它们加起来被抽中的概率只有 $6.7 \times 10^{-8}$——几千万次才抽到一次。估计看起来又稳又准，理论方差却极大。在像素世界里那些 $z$ 的后验质量只有 $3 \times 10^{-4}$，看不出偏差；在真实模型里，后验的尾部可能有不可忽视的质量，偏窄的 $q$ 会让估计系统性地偏低，而样本方差不会给你任何警告。经验法则：$q$ 宁宽勿窄。
3. 那我们为什么还要估计 $p(x)$？ 如果知道后验，$p(x)$ 本来就能算。重要性采样的价值在于：一个近似的后验就足以把估计变得又快又准。第 6 讲的 VAE 会训练一个推断网络 $q_\phi(z \mid x)$，它既用来训练，也用来做这种重要性采样，估计测试集上的 $\log p(x)$。

4.3 训练要的是 $\log p(x)$

slide 20：训练需要的是对数似然 $\log p_\theta(x)$。很自然地想用 $\log \hat{p}_k$ 去估计它：

但是 $\mathbb{E}\left[\log \frac{p_\theta(x, z^{(1)})}{q(z^{(1)})}\right] \neq \log \mathbb{E}\left[\frac{p_\theta(x, z^{(1)})}{q(z^{(1)})}\right]$。$\hat{p}$ 对 $p$ 无偏，$\log \hat{p}$ 对 $\log p$ 却有偏。偏向哪边？代码 02 第 4 部分（表中是 $\mathbb{E}[\log_2 \hat{p}_k] - \log_2 p(x)$，500 张图平均）：

1. 每一格都是负的：$\log \hat{p}$ 系统性地偏低——下一节的 Jensen 不等式会说明为什么。
2. $k = 1$ 时，$\mathbb{E}[\log \hat{p}_1] = \mathbb{E}_q[\log p(x, z) - \log q(z)]$——这就是下一节的 ELBO（第二行是精确计算的 ELBO，和第一行的蒙特卡洛一致）。“用一个样本做重要性采样、再取 log”的期望，就是证据下界。
3. $k$ 越大偏差越小，单调地逼近 0：$\mathbb{E}[\log \hat{p}_k]$ 是一族越来越紧的下界（Burda et al. 2016 的 IWAE 下界，第 6 讲）。$k$ 很大时偏差 $\approx -\chi^2/(2k)$（用 $\log$ 的二阶泰勒展开即得）；“形状对”那一列的预测和实测接近，“锐化后验”那一列对不上——预测依赖方差，而它的方差藏在永远抽不到的尾部。
4. 还有一个对比：ELBO 喜欢偏窄的 $q$（锐化后验的 ELBO 最紧），重要性采样怕偏窄的 $q$。这两种”好”的标准不同，第 6 讲还会回到这一点。

5. 证据下界 · The evidence lower bound (ELBO)

5.1 Jensen 不等式

slide 21：$\log$ 是凹函数，$\log(px + (1-p)x') \geq p\log x + (1 - p)\log x'$——“弦在曲线下方”。推广到任意分布：

先平均再取 log ≥ 先取 log 再平均，等号当且仅当 $f$ 在 $q$ 下是常数。代码 03 第 1 部分：$f \in \{1, 100\}$ 各一半时，左边 $\log 50.5 = 3.922$，右边 $\frac{1}{2}(\log 1 + \log 100) = 2.303$；$f$ 是常数 5 时两边相等；$f$ 的取值越分散，差距越大。

5.2 推导 ELBO

slide 22：取 $f(z) = p_\theta(x, z)/q(z)$，

右边叫证据下界（evidence lower bound，ELBO）。“证据”（evidence）就是 $p(x)$——观测到的数据的概率。这一步正是 §4.3 观察到的现象：$\log$ 的期望 ≤ 期望的 $\log$。

5.3 ELBO 的结构

slide 23：对任意 $q$ 成立，

第一项是期望的完整数据对数似然：如果 $z$ 被观测到了，对数似然就是 $\log p(x, z)$；我们不知道 $z$，就按 $q$ 对各种可能的 $z$ 取平均。第二项是 $q$ 的熵，它奖励”不要把赌注全压在一个 $z$ 上”。（第 6 讲 slide 5 正是这样标注这两项的：“Log-likelihood as if fully observed” 和 “Entropy H(q) of q”。）

这个形式的好处：$\log$ 现在作用在 $p(x, z)$ 上，不再作用在一个求和上。对大多数模型，$\log p(x, z) = \log p(z) + \log p(x \mid z)$ 很容易算——难算的求和被一个期望代替了，而期望可以用采样估计。

5.4 为什么 $q$ = 后验时下界是紧的

slide 24：令 $q(z) = p(z \mid x; \theta)$，

直觉上：$q =$ 后验时，比值 $f(z) = p(x, z)/p(z \mid x) = p(x)$ 是常数，Jensen 不等式取等号。这也印证了 §4.2 的结论：应该挑可能的补全。

5.5 差距就是 KL

slide 25：对任意 $q$，“一点代数”给出

移项：

这一个等式同时说明了三件事：(1) ELBO 是下界（KL ≥ 0）；(2) $q =$ 后验时等号成立（KL = 0）；(3) 差距恰好是 $q$ 到后验的 KL——$q$ 越接近后验，ELBO 越接近真实的对数似然。

代码 03 第 2 部分在像素世界里对 7 种 $q$ 逐张图验证（1,000 张测试图的平均，bit）：

（平均 $\log_2 p(x) = -25.54$；恒等式在每张图、每个 $q$ 上的最大误差 $1.2 \times 10^{-13}$ nat。）

• “差距”和”KL”两列逐位相同。
• 点质量（只猜一个最可能的配置）的熵是 0，ELBO 就是 $\log p(x, \hat{z})$，差距 $= -\log_2 p(\hat{z} \mid x) = 0.09$ bit。后验很集中时，“只猜一个解释”几乎不损失什么——这是”硬 EM”和 k-means 背后的近似。
• 先验当 $q$（不看 $x$ 就猜 $z$）差距 32 bit：先验把质量摊在 177 个配置上，而对一张具体的图，绝大多数配置的后验概率小到 $2^{-30}$ 量级。

5.6 ELBO 的另一种写法

表的最后两列来自另一种拆法（把 $\log p(x, z) = \log p(x \mid z) + \log p(z)$ 代进去）：

（恒等式最大误差 $5.7 \times 10^{-14}$。）两项在拔河：$q$ = 先验让第二项为 0，但随便猜的配置解释不了这张图，第一项极差（−57.84）；$q$ = 后验时第一项最好（−18.28），代价是离先验有 7.26 bit 的距离（约 $\log_2 177$，“从 177 个里选出了一个”）。第 6 讲会把这个写法解读成自编码器：第一项是”编码再解码能不能还原”，第二项是”编码不要离先验太远”。

6. 变分推断 · Variational inference

6.1 后验算不出来怎么办

像素世界的后验能精确算，是因为 $z$ 只有 177 种。VAE 的后验需要”把神经网络 $\mu_\theta$ 反过来”（第 6 讲 slide 7），算不出来。slide 26 的办法：

设 $q(z; \phi)$ 是一个好处理的分布族，由变分参数 $\phi$ 参数化，例如均值和协方差由 $\phi$ 给出的高斯 $q(z; \phi) = \mathcal{N}(\phi_1, \phi_2)$。变分推断：挑 $\phi$，让 $q(z; \phi)$ 尽可能接近 $p(z \mid x; \theta)$。

“好处理”指两件事：能从 $q$ 采样，能算 $\log q$。由 §5.5，“让 $q$ 接近后验”和”让 ELBO 最大”是同一件事——$\log p(x)$ 和 $q$ 无关，ELBO 增加多少，KL 就减少多少。所以变分推断 = 关于 $\phi$ 最大化 ELBO，而 ELBO 是我们算得出来（至少能用采样估计）的。

注意它最小化的是 $D_{\mathrm{KL}}(q \Vert p(z \mid x))$——$q$ 在前，是第 4 讲 §2.3 的反向 KL。这决定了变分推断的性格。

代码 03 第 3 部分构造了一个一维的例子：$z \sim \mathcal{N}(0.3, 1.5^2)$，$x \mid z \sim \mathcal{N}(z^2/2, 0.5^2)$，观测到 $x = 2$。因为 $z^2/2 = 2$ 有两个解，后验有两个峰（$z \approx \pm 2$），先验偏向正数，右峰占 62%。在 $z$ 的细网格上可以精确算出一切：

（$\log p(x = 2) = -2.116$ nat。）

• $\mathcal{N}(2, 2)$ 远好于 $\mathcal{N}(-4, 0.75)$：前者至少盖住了主峰，后者放在后验几乎为 0 的地方（slide 26）。
• “矩匹配”的高斯（均值、方差都和后验一样）横跨两个峰，把大量质量放在两峰之间后验几乎为 0 的地方——反向 KL 对此惩罚极重。
• ELBO 最大的高斯只盖住右峰，完全忽略左峰。 漏掉一个峰的代价只是 $\approx -\ln(\text{右峰的质量}) = -\ln 0.623 = 0.47$ nat（实测差距 0.49）。这就是模式寻找：变分推断”宁缺毋滥”——宁可只解释一种可能，也不把质量放在不可能的地方。

这个性格有利有弊：$q$ 的样本总是”合理的”，但 $q$ 会低估后验的不确定性，在多峰的后验上只看到一个峰。

6.2 缺失像素当隐变量（slide 27）

slide 27 的例子：假设 $p(x^{\text{top}}, x^{\text{bottom}}; \theta)$ 给”像数字的图”高概率；上半张 $z = x^{\text{top}}$ 缺失（隐变量）。用一个因子化的伯努利分布近似后验：

• $\phi_i = 0.5$（全部）是好的近似吗？不是。
• $\phi_i = 1$（全部）呢？不是。
• 只在”数字 9 上半部分”对应的像素上 $\phi_i \approx 1$？是。

这种”每个隐变量独立”的 $q$ 叫平均场（mean-field）近似。代码 03 第 4 部分在像素世界里原样重做：下半张只有第 4 行第 2–5 列的一条横线，上半张 32 个像素是隐变量。真实后验在两种解释之间：“就是一条横线”（上半张空白，0.575）和**“一个 4×4 方框的底边”**（上半张有方框的上边和两条竖边，0.377）。

（$\log_2 p(x^{\text{bottom}}) = -8.63$ bit，精确；ELBO 用 4,000 个样本估计。）

• $\phi = 0.5$ 让上半张变成随机噪声，$\phi = 1$ 让上半张全黑：都很差，和 slide 27 一致。
• $\phi$ = 后验边缘看起来”最诚实”（方框的像素都是 0.39–0.41），ELBO 却很差：因子化的 $q$ 无法表达”这些像素要么一起出现、要么一起不出现”，从它采样得到的是半个、缺角的方框——在真实分布下几乎不可能。（后验边缘恰好是前向 KL $D(p \Vert q)$ 在因子化族里的最优解，练习 5。）
• 用坐标上升（下面）优化出来的 $q$ 收敛到一种解释：$\phi$ 接近 0 或 1，差距只剩约 $-\log_2(\text{那种解释的后验概率})$：选”横线”时 $-\log_2 0.575 = 0.80$，选”方框”时 $-\log_2 0.377 = 1.41$（再加一点误差）。这就是 slide 27 的”是”——$\phi \approx 1$ 只放在”该是笔画”的像素上。从不同起点出发停在不同的峰，ELBO 更高的对应后验概率更大的解释。

平均场坐标上升（CAVI）。固定其他 $\phi_{-i}$，ELBO 对 $\phi_i$ 的最优解是（练习 6）

直觉：$z_i$ 取 1 比取 0 “好多少”，在其他像素按 $q$ 随机补全的情况下平均。代码里用 600 个样本估计这个期望，把 32 个坐标轮流更新 6 遍。

6.3 下一步：同时优化 $\theta$ 和 $\phi$

slide 28：

$q(z; \phi)$ 越能逼近后验，KL 越小，ELBO 越接近 $\log p(x; \theta)$。到目前为止我们固定了模型 $\theta$，只优化 $\phi$（推断）。学习要的是 $\theta$。下一步：在整个数据集上，对 $\theta$ 和 $\phi$ 一起最大化 ELBO——这是第 6 讲。在那之前，先看一个经典的特例：$q$ 恰好能取到后验的时候。

7. EM 算法 · The EM algorithm

7.1 E 步、M 步 = ELBO 上的坐标上升

slide 23 的旁注：“这正是 EM 算法的 E 步要算的东西。“把 ELBO 看成 $q$ 和 $\theta$ 两组变量的函数 $\mathcal{L}(q, \theta)$，交替地优化：

• E 步：固定 $\theta_t$，关于 $q$ 最大化。由 §5.5，最优的 $q$ 就是后验：$q_t = p(z \mid x; \theta_t)$。这时下界是紧的，$\mathcal{L}(q_t, \theta_t) = \log p(x; \theta_t)$。
• M 步：固定 $q_t$，关于 $\theta$ 最大化。熵 $H(q_t)$ 和 $\theta$ 无关，只剩 $\sum_z q_t(z) \log p(x, z; \theta)$——“按后验加权的完整数据对数似然”。它和第 4 讲的完全观测 MLE 几乎一样，常常有闭式解。

于是

第一个不等号是 M 步的定义，第二个是 ELBO ≤ log p。对数似然每一轮都不下降，而且不需要学习率。

对高斯混合，M 步是：记 $r_{nk} = p(z = k \mid x^{(n)}; \theta_t)$（第 $k$ 个成分对第 $n$ 个点的”责任”），$N_k = \sum_n r_{nk}$，

和”知道每个点属于哪个成分”时的 MLE 一模一样，只是把 0/1 的归属换成了软的责任（练习 2）。

代码 04 第 1 部分（三个高斯团，600 个点，$K = 3$）逐轮打印了这条链：

（每个点平均，nat。）整条链上最小的一步增量是 $2.1 \times 10^{-10}$——没有一步下降。学到的均值和权重和真实值吻合（例如真实 $(-1.60, 0.90)$、权重 0.45，学到 $(-1.61, 0.87)$、0.448）。

两个细节：提升并不是一路变小——第 4–6 轮每轮不到 0.01 nat，第 7–10 轮又加快，然后迅速收敛；最后几轮每轮提升缩小约 10 倍，EM 在最优点附近是线性收敛的。“单调不降”只保证不会变差，不保证走得快。

7.2 局部最优

EM 只会往上爬。代码 04 第 2 部分：8 个高斯排成一圈，2,000 个点，$K = 8$，10 个随机初始化——

• 4 次找到了全部 8 个团，$D_{\mathrm{KL}} = 0.014$ nat；
• 5 次只找到 6 个（两个成分挤在同一个团里，另一个成分只好横跨两个团），KL ≈ 0.13；
• 1 次只找到 4 个，KL = 0.256。

训练似然和 KL 的排序完全一致。所以标准做法是多跑几个初始化，留训练（或验证）似然最高的；更好的初始化（如 k-means++）也有帮助。第 6 讲用梯度训练 VAE 时同样只能找到局部最优。

7.3 训练数据有缺失

slide 15 的场景：训练图缺一部分像素。对”给定 $z$ 像素独立”的伯努利混合，EM 能精确地处理：E 步只用观测到的像素算责任，M 步只在”观测到第 $i$ 个像素”的图里估计 $\mu_{ki}$——缺失的像素被精确地边缘化了。代码 04 第 3 部分（$K = 64$，在完整的测试图上评估）：

• “缺失当 0”是灾难：模型学到”上半张常常是空白的”——这不是世界的规律，而是缺失机制留下的假象。
• 在 A 里，“扔掉不完整的图”只比边缘化差 0.03 bit：缺上半张的图对”上半张长什么样”没有贡献，而 64 个原型用 5 千张完整的图已经估得差不多了。
• 在 B 里差别是根本性的：没有一张完整的图，扔掉就什么都不剩；边缘化只比完整数据差 0.5 bit——每张图都贡献了它看到的那一半。
• 这里能精确边缘化，全靠”给定 $z$ 像素独立”。对 PixelCNN，缺上半张的图的似然要对 $2^{32}$ 种补全求和——§3.1 的难题又回来了。

7.4 似然的梯度也需要后验

slide 17 说”梯度也难算”。为什么？对任何隐变量模型，

（第二步用了 $\nabla p = p\,\nabla \log p$。）对数似然的梯度 = “如果 $z$ 被观测到”时的梯度，按后验加权平均——这叫 Fisher 恒等式。代码 04 第 4 部分对高斯混合的均值验证：自动求导的 $\nabla \log p(x)$ 和”后验加权的完整数据梯度”最大差 $2.8 \times 10^{-14}$；而用均匀分布加权，得到的是一个完全不同的方向（那是 $\mathrm{ELBO}(q = \text{均匀})$ 的梯度）。

所以：后验算不出来，梯度就算不出来。 EM 的 M 步在当前点的梯度恰好等于 $\log p$ 的梯度，因为 E 步刚把 $q$ 设成了后验。

7.5 EM 什么时候用不了

EM 需要两件事：(1) E 步能算出后验；(2) M 步能（至少近似地）最大化。高斯混合、伯努利混合、隐马尔可夫模型都满足。VAE 两条都不满足：后验要”反转神经网络”，M 步没有闭式解。这时只能退一步：

• 用一个近似的 $q(z; \phi)$ 代替后验（变分推断，§6）；
• 不再交替地”精确最大化”，而是对 $\theta$ 和 $\phi$ 一起做梯度上升（ELBO 对两者都可导，至少能用采样估计梯度）。

这就是第 6 讲的变分 EM / 随机变分推断 / VAE。代价是：ELBO 和 $\log p$ 之间永远隔着一个 KL，模型 $\theta$ 是按”下界”训练的。

8. 回顾（原课 slide 29）· Summary of the original lecture

隐变量模型的优点：

• 容易构造灵活的模型；
• 适合无监督学习。

缺点：

• 似然难算；
• 难以直接用最大似然训练；
• 根本的困难在于后验推断 $p(z \mid x)$ 很难，通常需要变分近似。

另一条路：放弃 KL 散度和似然——生成对抗网络（GAN，第 9–10 讲）。

9. 2023 年之后 · Since 2023

• 隐变量模型成了”压缩器”：潜空间生成。 今天主流的图像、视频生成模型几乎都不在像素空间里生成，而是先用一个带 KL 正则的自编码器（本质上是一个 VAE，第 6 讲）把图像压缩到一个小得多的潜空间，再在潜空间里训练扩散模型或流匹配模型（latent diffusion，Rombach et al. 2022；Stable Diffusion 3、FLUX.1 都沿用了这个结构，并把潜空间的通道数从 4 增加到 16）。之后的工作（如 Chen et al., ICLR 2025 的 Deep Compression Autoencoder）专门研究怎样把潜空间压得更小而不损失细节。§1.4 的”$z$ 吸收复杂性、$p(x \mid z)$ 只管细节”在这里变成了一个工程上的分工。
• 离散隐变量与”视觉 token”。 把图像编码成离散的 token 序列，再交给自回归 Transformer，是多模态大模型生成图像的一条主要路线（例如 Meta 的 Chameleon，2024）。离散化的方法也在简化：Mentzer et al.（ICLR 2024）的有限标量量化（FSQ）用简单的取整代替了 VQ-VAE 的码本学习。离散隐变量模型是第 17 讲的主题。
• 用无监督的隐变量解释神经网络：稀疏自编码器。 可解释性研究用稀疏自编码器在大语言模型的激活上学习”特征”（Bricken et al. 2023 Towards Monosemanticity；Templeton et al. 2024 Scaling Monosemanticity；Gao et al. 2024）。§2.2 的提醒在那里同样适用：学到什么样的特征，取决于目标函数（重构 + 稀疏）和结构，不一定对应人预设的概念；如何评估这些特征是一个活跃的问题。
• 名字相似、但不是一回事：混合专家（MoE）。 Mixtral、DeepSeek-V3 等”混合专家”大模型里，路由器为每个 token 选几个”专家”子网络，形式上像 §2 的混合模型里选一个成分。但它的路由是确定性的 top-k 选择，用普通的反向传播训练，不对”选哪个专家”做边缘化，也不是一个 $p(x) = \sum_z p(z)p(x \mid z)$ 的生成模型。读论文时要分清”混合”的这两种用法。
• ELBO 无处不在。 第 16 讲会看到，扩散模型（DDPM）的训练目标正是一个很深的隐变量模型的 ELBO；本讲的 $\log p = \text{ELBO} + \text{KL}$ 是理解它的钥匙。

10. 小结 · Summary

1. 隐变量 $z$ 建模数据里看不见的变化因素。$z$ 选得好，$p(x \mid z)$ 就简单（像素世界：知道配置后总相关从 10 bit 降到 0）；$z$ 太粗则不然（只知道形状，总相关反而升到 11.2 bit）。后验 $p(z \mid x)$ 给出特征；深度隐变量模型用 $z \sim \mathcal{N}(0, I)$ 加神经网络解码器。
2. 混合模型是浅层隐变量模型：后验 = 软聚类。无监督学习是不适定的：最大似然只奖励拟合 $p(x)$，像素世界的 4 个簇按位置而不是形状划分（按形状分组的似然低 2.1 bit/图）。混合有表达力（8 个高斯描出双月牙），但成分太多会过拟合；似然非凸，EM 会停在局部最优。VAE 是”无穷多个高斯的混合”。
3. 边际似然 $\log \sum_z p(x, z)$ 难算：项数随隐变量个数指数增长，而后验只集中在约 1 个 $z$ 上；梯度同样需要后验（Fisher 恒等式）。
4. 朴素蒙特卡洛无偏但几乎总是错（$k = 10$ 时 87% 的估计小了 100 倍）。重要性采样无偏，相对方差 $= \chi^2(p(z \mid x) \Vert q)/k$：$q$ 越像后验越好，$q$ = 后验时方差为 0；$q$ 宁宽勿窄（偏窄的 $q$ 方差藏在看不到的尾部）。
5. $\log \hat{p}$ 系统性地偏低（Jensen）；$k = 1$ 时 $\mathbb{E}[\log \hat{p}_1]$ 就是 ELBO，$k$ 越大下界越紧（IWAE）。
6. ELBO $= \mathbb{E}_q[\log p(x, z)] + H(q) = \mathbb{E}_q[\log p(x \mid z)] - D_{\mathrm{KL}}(q \Vert p(z))$；$\log p(x) = \text{ELBO} + D_{\mathrm{KL}}(q \Vert p(z \mid x))$，$q$ = 后验时是紧的。
7. 变分推断在一族好处理的 $q(z; \phi)$ 里最大化 ELBO = 最小化反向 KL：模式寻找、低估不确定性（双峰后验只盖住一个峰；因子化的 $q$ 只选一种解释，而不是”后验边缘”）。
8. EM = ELBO 上的坐标上升：E 步令 $q$ = 后验，M 步最大化期望的完整数据对数似然；对数似然单调不降，但只到局部最优；能精确处理缺失数据（前提是能边缘化）。后验算不出来时 EM 用不了——第 6 讲。

11. 常见误区 · Common pitfalls

1. “隐变量越细越好 / 越粗越好。” 太粗的 $z$（只知道形状）不能让 $p(x \mid z)$ 变简单（§1.4）；太细的 $z$（每张图一个 $z$）就是背训练集。好的 $z$ 刚好吸收”全局的”结构。
2. “无监督学习会自动找到人关心的类别。” 最大似然只关心 $p(x)$ 拟合得好不好；像素世界的 4 个簇按位置分，而且这是似然真心偏爱的解（§2.2）。
3. “成分越多，混合模型越好。” 有限数据下会过拟合（双月牙 $K = 32$ 比 $K = 16$ 差）；而且成分多了，EM 更容易停在局部最优。
4. “无偏估计就是好估计。” 朴素蒙特卡洛无偏，可 $k = 10$ 时绝大多数估计差了 100 倍以上（§4.1）。要看方差，而且要看”方差藏在哪里”。
5. “样本方差小，重要性采样估计就可靠。” 偏窄的 $q$ 可以有极大的理论方差、极小的样本方差（§4.2 的锐化后验）。$q$ 宁宽勿窄。
6. ”$\log \hat{p}$ 是 $\log p$ 的无偏估计。” 它系统性地偏低；$k = 1$ 时的期望就是 ELBO（§4.3）。报告”重要性采样估计的测试 $\log p$“时，要说明 $k$，它是一个下界。
7. “ELBO 高，说明 $q$ 很好地描述了后验的不确定性。” 反向 KL 模式寻找：ELBO 最大的高斯完全忽略了后验的一个峰（§6.1）；因子化的 $q$ 只选一种解释（§6.2）。
8. “后验边缘就是最好的因子化近似。” 它是前向 KL 的最优解；按 ELBO（反向 KL）它很差，因为它的样本是”半个方框”（§6.2）。
9. “EM 会找到最大似然解。” 只保证单调不降，到局部最优为止（§7.2：10 次里 6 次没找全 8 个团）。
10. “缺失的数据当作 0（或均值）填上就行。” 会让模型学到缺失机制的假象（§7.3：7.4 bit vs 边缘化的 3.7 bit）。