前置讲 P2 · 生成模型的概率工具箱 · A Probability Toolbox for Generative Models

这是一篇前置讲，不对应原课的某一次课。原课从第 6 讲开始进入图像生成：GAN（第 6 讲）、扩散模型（第 7、8 讲）、VAE（第 9 讲），之后是 RLHF 与 DPO（第 11、12 讲）、推理模型的强化学习（第 20 讲）。这些推导反复用到同一批概率工具：贝叶斯公式、高斯分布、最大似然、熵与 KL 散度、隐变量与证据下界（ELBO）、蒙特卡洛估计、重参数化与得分函数、马尔可夫链与朗之万动力学。原课的 slides 在第 8 讲列出了两篇变分推断的入门读物（Blei et al. 2018、Eisner 2011）和一篇 VAE 教程（Doersch 2016），说明课程期待学生对这些工具有基本的掌握。这篇把它们从直觉讲起，每一个都用代码采样或数值计算验证。 依据说明：本讲讲的是标准的概率与统计知识；与生成模型的联系参考了上面三篇读物，以及 DDPM（Ho et al., 2020）、REINFORCE（Williams, 1992）、Metropolis et al. (1953) / Hastings (1970)。例子（农场语言、天气链、八高斯圆环等）是本讲义自己设计的。 配套代码 Code：code/prereq2/（6 个脚本 + 1 个模块；只需要 numpy；每个脚本 1–2 秒） 预计阅读时间：4–5 小时（含运行代码和推导） 建议阅读时机：第 6 讲之前；第 7–9 讲时可以回来查。

0. 本讲导航 · How to read this lecture

0.1 为什么生成模型需要这些工具

第 1 讲说过，生成式 AI 就是概率建模：表示一个分布、从数据里学习它、从中采样。语言模型很幸运：链式法则让 $p(\text{句子})$ 可以精确地写成一串条件概率的乘积，训练就是数数（n-gram）或最大似然（RNN、Transformer）。

图像就没这么幸运了。一张图有几十万个像素，它们之间的依赖关系极其复杂；更自然的想法是假设图像由一些看不见的原因（隐变量 $z$：画的是什么、什么姿势、什么光照）生成。可是一旦引入隐变量，似然就变成了一个算不动的积分 $p(x) = \int p(x \mid z) p(z)\, dz$。于是：

• GAN 干脆不算似然，换成对抗博弈——它背后的散度是什么？为什么它容易模式崩塌？（§3.5）
• VAE 和扩散模型最大化一个下界（ELBO）——它是怎么来的、为什么能代替似然？（§4）
• VAE 训练要对”从一个分布里采样”求梯度——重参数化技巧怎样让梯度穿过采样？（§5.3）
• 扩散模型先给数据一点点加噪声、再学会一点点去噪——加噪为什么有闭式解？（§2.5）采样为什么像朗之万动力学？（§6.4）
• RLHF 和训练推理模型要对”生成了哪些 token”求梯度，而 token 是离散的——为什么只能用得分函数估计，为什么要减去基线？（§5.4）

这篇前置讲的每一节，都对应后面某几讲的一个关键步骤。

0.2 学习目标 Learning goals

1. 熟练使用联合、边缘、条件分布，求和法则、乘积法则和贝叶斯公式；区分独立和条件独立。
2. 掌握高斯分布的几个封闭性质：线性变换、相加、条件化、相乘都还是高斯；会用重参数化 $x = \mu + \sigma\varepsilon$ 和 Cholesky 分解采样。
3. 理解最大似然估计；会算熵、交叉熵和 KL 散度，知道 KL 非负、不对称，知道最大似然 = 最小化前向 KL，以及前向 KL 和反向 KL 拟合出来的分布为什么一个”覆盖”、一个”寻模”。
4. 理解隐变量模型、边缘似然和后验；能推导 $\log p(x) = \mathrm{ELBO}(q) + \mathrm{KL}(q \Vert p(z \mid x))$，并用它解释 EM 算法为什么单调。
5. 会用蒙特卡洛估计期望，知道误差按 $1/\sqrt{N}$ 下降；会用重要性采样；能写出得分函数估计和重参数化估计，说出它们的适用条件和方差差别，知道基线为什么不改变期望。
6. 理解马尔可夫链的平稳分布与收敛；能解释 Metropolis–Hastings 为什么正确、步长怎样影响它；能写出朗之万动力学，并说明噪声项为什么必不可少。

0.3 本讲地图 Map

§1  概率的基本语言：联合 / 边缘 / 条件、贝叶斯、独立与条件独立、基础比率   ← 代码 01
§2  高斯分布：重参数化、线性变换、相加（扩散的前向过程）、条件化、相乘      ← 代码 02
§3  最大似然、熵与 KL：MLE、交叉熵、KL 的性质、前向 KL vs 反向 KL           ← 代码 03
§4  隐变量与 ELBO：边缘似然、后验、ELBO 恒等式、EM、变分推断                ← 代码 04
§5  蒙特卡洛与梯度估计：1/√N、重要性采样、得分函数、重参数化、基线          ← 代码 05
§6  马尔可夫链与采样：平稳分布、Metropolis–Hastings、朗之万动力学            ← 代码 06
§7  工具箱在后面哪里用   §8 小结   §9 常见误区   §10 练习   §11 延伸阅读   §12 下一篇

0.4 先修与记号

需要高中水平的概率（事件、概率、期望）和一点微积分（求导、积分的含义）。第 1 讲的内容有帮助但不是必需的。

1. 概率的基本语言 · The language of probability

1.1 联合、边缘、条件

用第 1 讲农场语言的两个随机变量做例子：句子的主语动物 $A$（8 种），和句末的时间/地点短语 $T$（night、morning、day、barn、field）。生成器先均匀地选一种动物，再按这种动物的习性选时间短语，所以我们确切知道它们的联合分布 $p(a, t) = p(a)\, p(t \mid a)$。01 第 1 部分把它和 2 万句训练语料里的频率并排列出（节选）：

（括号里是语料频率；真实分布和语料频率的总变差距离 $\frac{1}{2}\sum |p - \hat{p}| = 0.0134$。）

三个基本概念：

• 联合分布 $p(a, t)$：表格里的每一格，所有格加起来等于 1。
• 边缘分布：把不关心的变量”加掉”。$p(t) = \sum_a p(a, t)$ 是每一列的和，$p(a) = \sum_t p(a, t)$ 是每一行的和。这叫求和法则（sum rule）或边缘化（marginalization）；连续变量时求和换成积分。
• 条件分布：$p(t \mid a) = p(a, t) / p(a)$——固定一行，再把这一行归一化。反过来就是乘积法则（product rule）$p(a, t) = p(a)\, p(t \mid a)$；用很多次就是第 1 讲的链式法则。

整门课的生成模型都是这两条法则的反复应用：乘积法则用来定义模型（先抽这个、再抽那个），求和法则用来算边缘似然（把看不见的变量加掉）。

1.2 贝叶斯公式：反过来推理

模型通常告诉我们”原因 → 结果”的方向：$p(t \mid a)$（某种动物在什么时候出现）。但我们常常需要反过来：“听到 at night，主语最可能是谁？“把乘积法则从两个方向各写一遍，$p(a, t) = p(a)\,p(t \mid a) = p(t)\,p(a \mid t)$，就得到贝叶斯公式：

01 第 2 部分：$p(\text{night}) = 0.3597$；

分母 $p(t)$（“证据”，evidence）只负责把后验归一化，它要用求和法则把所有可能的原因都加一遍。这一项正是生成模型的麻烦所在：动物只有 8 种，加一遍很容易；但如果”原因”是一个几百维的连续向量，这个求和就变成了算不动的高维积分（§4）。生成模型里的”推断”（inference），指的就是从结果反推原因的后验 $p(z \mid x)$。

1.3 独立、互信息与条件独立

两个变量独立，当且仅当 $p(x, y) = p(x)\, p(y)$——知道一个，对另一个毫无帮助。怎样度量”有多不独立”？用互信息：

（KL 散度见 §3.3。）它等于 0 当且仅当独立，含义是”知道 $Y$ 之后，$X$ 的不确定性平均减少了多少”。

01 第 3 部分有一个值得细想的结果：

在生成过程里，动词和时间短语互不影响——它们都只由主语决定。但它们并不独立：听到 at night，你会猜主语是猫头鹰、狐狸或蝙蝠，于是动词 see 的概率从 0.144 升到 0.195。一旦知道了主语，两者就独立了：$p(v, t \mid a) = p(v \mid a)\, p(t \mid a)$。这叫条件独立（conditional independence），主语是它们的共同原因。

两条教训：(1) 统计相关不等于有直接的因果联系，可能只是共同原因造成的；(2) 条件独立是让概率模型可以计算的关键结构。第 6 讲的概率图模型就是用一张图把”谁依赖谁”画出来：$A \to V$、$A \to T$，从图上就能读出 $V$ 和 $T$ 在给定 $A$ 时条件独立。

1.4 基础比率

01 第 4 部分：一个 AI 文本检测器，AI 写的文本 95% 会被标记（真阳性率），人写的文本 5% 会被误标记（假阳性率）。被标记的文本真是 AI 写的概率是多少？由贝叶斯公式，答案取决于 AI 文本本来占多少（先验，也叫基础比率 base rate）：

AI 文本只占 1% 时，被标记的文本里 84% 其实是人写的。只看”检测器准确率 95%“而忽略先验，是最常见的概率错误之一（“基础比率谬误”）。第 22 讲讨论水印和 AI 文本检测时，这个问题会再次出现。

2. 高斯分布 · The Gaussian

2.1 一维高斯、标准化与重参数化

一维高斯（正态）分布 $\mathcal{N}(\mu, \sigma^2)$ 的密度和对数密度是

对数密度是 $x$ 的二次函数，所以尾部衰减极快：约 68% / 95% / 99.7% 的概率落在 1σ / 2σ / 3σ 之内（02 第 1 部分用 20 万个样本验证：0.6837 / 0.9544 / 0.9969，精确值 0.6827 / 0.9545 / 0.9973）。代码里总是算对数密度：密度本身可能小到下溢（前置讲 P1 §2.5），而且乘积变成求和更方便。

高斯分布有一个看似平凡、却极其重要的性质：

从右往左读是标准化 $\varepsilon = (x - \mu)/\sigma$；从左往右读是重参数化（reparameterization）：把”从 $\mathcal{N}(\mu, \sigma^2)$ 采样”变成”从一个和参数无关的标准正态采样，再做一个关于参数可导的变换”。§5.3 会看到，这个改写让梯度可以穿过采样传回 $\mu$ 和 $\sigma$——它是 VAE 能够训练的关键（第 9 讲）。

2.2 多维高斯、协方差与 Cholesky 采样

$d$ 维高斯 $\mathcal{N}(\mu, \Sigma)$ 由均值向量 $\mu$ 和协方差矩阵 $\Sigma$（对称正定）决定：

$\Sigma_{ij} = \mathrm{Cov}(x_i, x_j)$；对角线是各维的方差，非对角线描述维度之间的相关。

线性变换规则：若 $x \sim \mathcal{N}(\mu, \Sigma)$，则 $y = Ax + b \sim \mathcal{N}(A\mu + b,\ A\Sigma A^\top)$。02 第 2 部分用 20 万个样本验证：例如 $A = [[1,1],[0,2]]$ 时，公式给出的协方差 [[5.4, 4.4], [4.4, 4.0]]，样本给出 [[5.403, 4.402], [4.402, 4.002]]。

怎样采样一个相关的高斯？ 把 $\Sigma$ 做 Cholesky 分解 $\Sigma = LL^\top$（$L$ 是下三角矩阵），然后 $x = \mu + L\varepsilon$，$\varepsilon \sim \mathcal{N}(0, I)$。由线性变换规则，$\mathrm{Cov}(L\varepsilon) = L I L^\top = \Sigma$。同样的分解也让对数密度更好算：$\log\det\Sigma = 2\sum_i \log L_{ii}$，马氏距离 $(x-\mu)^\top\Sigma^{-1}(x-\mu) = \lVert L^{-1}(x-\mu)\rVert^2$——比直接求逆更快、更稳定（prob_lab.mvn_logpdf；和直接求逆的结果一致到 $10^{-6}$）。

2.3 相加：方差相加

两个独立的高斯相加还是高斯，均值相加、方差相加：

注意是方差相加，不是标准差相加：两个标准差为 1 的独立噪声相加，标准差是 $\sqrt{2}$ 而不是 2。（更一般地，任何独立随机变量相加方差都相加；“还是高斯”是高斯特有的。）

2.4 条件化：还是高斯

二维高斯 $(x_1, x_2)$，标准差 $\sigma_1, \sigma_2$，相关系数 $\rho$。给定 $x_2 = a$ 时，$x_1$ 的条件分布还是高斯：

02 第 4 部分（$\sigma_1 = 1$、$\sigma_2 = 2$、$\rho = 0.8$）：取 $x_2 \approx a$ 的一窄条样本，条件均值随 $a$ 线性移动（$a = 3$ 时公式 1.200、样本 1.194），条件标准差是 0.600，比无条件的 1 小，而且和 $a$ 无关。知道了一个相关的变量，不确定性就减少了——和 §1.2”听到 at night 就更确定主语是谁”是同一件事。

2.5 扩散模型的前向过程：加 1000 次小噪声

把 §2.3 的”方差相加”反复用 1000 次，就得到了扩散模型（第 7 讲）的前向加噪过程。DDPM（Ho et al., 2020）的做法是：

$\beta_t$ 从 $10^{-4}$ 线性增加到 0.02，$T = 1000$。每一步把信号缩小一点、再加一点独立噪声。两个关键性质：

1. 方差的不动点是 1。 $\mathrm{Var}(x_t) = (1 - \beta_t)\mathrm{Var}(x_{t-1}) + \beta_t$。如果数据已经标准化成单位方差，每一步之后方差都还是 1（“保方差”，variance preserving）；否则方差会逐渐被拉向 1。
2. 任意一步都有闭式解。 把递推展开、用”独立高斯相加方差相加”合并所有噪声项，令 $\bar{\alpha}_t = \prod_{s=1}^{t}(1 - \beta_s)$：

02 第 3 部分从一个很不像高斯的数据分布出发（±2 两个尖峰）：

（标准正态里 $\lvert x \rvert > 1$ 的比例是 0.317。）逐步模拟和闭式解一致；1000 步之后，两个尖峰被完全抹平成了 $\mathcal{N}(0, 1)$，和 $x_0$ 几乎不再相关。训练扩散模型时，正是用这个闭式解一步把任意一张图加噪到任意一步。扩散模型要学的，是把这个过程倒过来：从纯噪声出发，一步步去噪，回到数据分布。

2.6 相乘：精度加权平均

两个高斯密度相乘（再归一化）还是高斯：

精度（precision，方差的倒数）相加，均值是按精度加权的平均。这是贝叶斯更新的样子：先验 $\mathcal{N}(0, 2^2)$（不太确定）乘以一次观测给出的似然 $\mathcal{N}(3, 1^2)$（比较确定），后验是 $\mathcal{N}(2.4, 0.894^2)$——更靠近更确定的一方，而且比两者都更确定（02 第 5 部分，数值积分与公式一致到小数点后四位）。第 8 讲推导扩散模型的后验 $q(x_{t-1} \mid x_t, x_0)$ 时，就是把两个高斯这样相乘。

3. 最大似然、熵与 KL 散度 · MLE, entropy and KL

3.1 最大似然估计

给定数据 $x_1, \dots, x_N$（假设独立同分布）和一个带参数的模型 $p_\theta$，最大似然估计（MLE）选择让数据出现的概率最大的参数：

（取对数把乘积变成求和，除以 $N$ 不改变最优点。）两个经典结果（03 第 1 部分）：

• 硬币：$p_\theta(\text{正面}) = \theta$，$N$ 次里 $k$ 次正面。对数似然 $k\log\theta + (N-k)\log(1-\theta)$ 在 $\theta = k/N$ 处最大——频率。抛 50 次出现 13 次正面，MLE 是 0.260（真实值 0.3）。第 1 讲 n-gram 的”数数”就是这个结论。
• 高斯：MLE 是样本均值 $\bar{x}$ 和样本方差 $\frac{1}{N}\sum(x_i - \bar{x})^2$。后者有偏：$N = 20$ 时重复 2 万次，平均 3.787，而真实方差是 4（理论期望 $\sigma^2 (N-1)/N = 3.8$）。原因是均值也是从同一批数据估出来的，数据离自己的均值总比离真实均值更近；除以 $N-1$ 的版本是无偏的（平均 3.987）。

MLE 不保证无偏，但在样本多时有很好的性质（一致、渐近有效）。更重要的是，它和信息论里的量有一个漂亮的联系（§3.4）。

3.2 熵与交叉熵

信息量（也叫惊奇度，surprisal）：一个概率为 $p$ 的事件发生时，带来 $-\log p$ 的”意外”。确定的事（$p = 1$）毫不意外；罕见的事很意外。

熵是平均惊奇度：

03 第 2 部分：公平硬币 1 bit、偏硬币 [0.9, 0.1] 0.469 bit、8 面骰子 3 bit、确定的结果 0 bit。越不确定，熵越大；$K$ 个结果时均匀分布的熵最大（$\log K$）。熵也是”平均要用多少比特来编码一个结果”的下限（香农的信源编码定理）。

交叉熵是”数据来自 $p$、却按 $q$ 去预测（或编码）“时的平均惊奇度：

训练分类器和语言模型时用的”交叉熵损失”就是它：$p$ 是数据（真实标签），$q$ 是模型的预测。第 1 讲的困惑度就是交叉熵的指数。

3.3 KL 散度

它是”用 $q$ 代替真实的 $p$ 时，平均每个样本多付出的惊奇度”。三个性质：

1. 非负（Gibbs 不等式），等于 0 当且仅当 $p = q$。证明只用 Jensen 不等式（对凹函数 $\log$，$\mathbb{E}[\log Y] \le \log \mathbb{E}[Y]$）：

03 随机抽了 1 万对 5 类分布，KL 的最小值是 0.0051，从未为负。 2. 不对称：$p = [0.9, 0.1]$、$q = [0.5, 0.5]$ 时 $\mathrm{KL}(p \Vert q) = 0.531$ bit，$\mathrm{KL}(q \Vert p) = 0.737$ bit。所以它不是距离（叫”散度”）。 3. 零概率会让它爆炸：$p$ 认为可能、$q$ 却分配 0 概率的事件，会让 $\mathrm{KL}(p \Vert q) = \infty$（03：$\mathrm{KL}([0.5, 0.5] \Vert [1, 0]) = \infty$）——这就是第 1 讲里不平滑的 n-gram 困惑度无穷大的原因。

两个高斯之间的 KL 有闭式解（练习 3 让你推导）：

03 第 4 部分把它和蒙特卡洛估计 $\mathbb{E}_{x \sim p}[\log p(x) - \log q(x)]$（20 万个样本）对照，例如 $\mathrm{KL}(\mathcal{N}(0,1) \Vert \mathcal{N}(1,1)) = 0.5000$（蒙特卡洛 0.5027）。不对称性也很明显：$\mathrm{KL}(\mathcal{N}(0,1) \Vert \mathcal{N}(0, 2^2)) = 0.318$，反过来是 0.807——用窄分布去近似宽分布，漏掉了尾部，代价大得多。$\mathrm{KL}(\mathcal{N}(\mu, \sigma^2) \Vert \mathcal{N}(0, 1))$ 正是 VAE 损失里的那一项（第 9 讲）。

3.4 最大似然 = 最小化交叉熵 = 最小化 KL(p_data ‖ p_θ)

把 MLE 的目标改写一下。数据来自（我们看不见的）真实分布 $p_{\text{data}}$，样本平均是期望的估计：

$H(p_{\text{data}})$ 和模型无关，所以

03 第 3 部分验证：2000 个样本来自 $[5,3,2,1,1]/12$，模型 $q_\theta = \mathrm{softmax}(\theta)$ 从均匀分布出发，用梯度下降（梯度 $= q - \hat{p}$，第 1 讲练习 4）最小化平均负对数似然。每一步都有 平均 NLL = $H(\hat p) + \mathrm{KL}(\hat p \Vert q)$；50 步后 KL 降到 0，$q$ 等于经验分布，NLL 降到它的下限 $H(\hat p) = 1.41834$。这就是第 1 讲说的”困惑度有理论下界”：下界是数据自身的熵。

注意 KL 的方向：期望是对数据取的，所以 MLE 最小化的是前向 KL $\mathrm{KL}(p_{\text{data}} \Vert p_\theta)$。方向重要吗？非常重要。

3.5 前向 KL vs 反向 KL：覆盖 vs 寻模

03 第 5 部分：目标 $p = \frac{1}{2}\mathcal{N}(-2, 0.5^2) + \frac{1}{2}\mathcal{N}(2, 0.5^2)$ 是双峰的，而我们只允许用一个高斯 $q = \mathcal{N}(\mu, \sigma^2)$ 去拟合它。在网格上搜索最优的 $(\mu, \sigma)$：

（$p$ 自己在山谷里只有 0.0225 的概率；$p$ 的标准差是 $\sqrt{0.25 + 4} = 2.06$。）

• 前向 KL（最大似然）选了 $\mu = 0$、$\sigma = 2.06$：正好是 $p$ 的均值和标准差（矩匹配）。它覆盖了两个峰（mode-covering），代价是在 $p$ 几乎为 0 的山谷里放了 37% 的概率——从 $q$ 采样会得到大量”不像真数据”的点。
• 反向 KL 选了 $\mu = 2$、$\sigma = 0.5$：只盯住一个峰（mode-seeking），把它拟合得完美，却完全无视另一个峰。（它的 KL 最小值是 0.693 = $\ln 2$：$q$ 和右峰完全重合，只差了”右峰只占一半质量”带来的 $\log 2$。）

为什么？ 看被积函数在哪里大：

• $\mathrm{KL}(p \Vert q) = \mathbb{E}_{p}[\log p - \log q]$ 在 $p$ 的样本上计算。凡是 $p > 0$ 而 $q \approx 0$ 的地方，$-\log q$ 巨大——所以 $q$ 必须在 $p$ 有质量的每个地方都有质量，宁可铺得很宽。
• $\mathrm{KL}(q \Vert p) = \mathbb{E}_{q}[\log q - \log p]$ 在 $q$ 的样本上计算。凡是 $q > 0$ 而 $p \approx 0$ 的地方，$-\log p$ 巨大——所以 $q$ 绝不能把质量放到 $p$ 没有的地方（比如山谷），宁可缩在一个峰里。

这是理解生成模型的一把钥匙：

• 最大似然训练的模型（自回归语言模型、VAE、扩散模型的 ELBO）倾向于覆盖所有模式：不会漏掉数据的任何一部分，但当模型容量不够时，会把概率”抹”到模式之间，样本显得模糊或出现奇怪的组合（第 9 讲 VAE 的模糊图像）。
• GAN 的目标更接近反向 KL / JS 散度：样本清晰，但容易模式崩塌——只生成数据的一部分（第 6 讲）。
• 第 11–12 讲 RLHF 里的 KL 约束 $\mathrm{KL}(\pi_\theta \Vert \pi_{\text{ref}})$ 是反向的：策略可以集中到参考模型的某些高概率区域，但不能跑到参考模型认为不可能的地方。

4. 隐变量与证据下界 · Latent variables and the ELBO

4.1 隐变量模型

隐变量模型假设数据 $x$ 由一个看不见的变量 $z$ 生成：先 $z \sim p(z)$，再 $x \sim p(x \mid z)$。最简单的例子是高斯混合模型（GMM）：$z$ 是”属于哪一类”，$x \mid z = k \sim \mathcal{N}(\mu_k, \sigma_k^2)$。04 用一个三分量的例子：

我们只看得到 $x$。两个基本量：

• 边缘似然（marginal likelihood）$p(x) = \sum_z p(z)\, p(x \mid z)$：把看不见的 $z$ 加掉（§1.1 的求和法则）。
• 后验 $p(z \mid x) = p(x, z)/p(x)$：看到 $x$ 之后，它来自哪个分量（§1.2 的贝叶斯公式）。EM 里叫”责任”（responsibility）。

04 第 1 部分：$x = 0$ 时后验几乎全部在 $z = 1$（0.985）；$x = -1.0$ 时 $z = 0$ 和 $z = 1$ 的后验分别是 0.453 和 0.544——此时”它属于哪一类”本身就不确定。即使用真实参数，按后验猜 $z$ 也只能猜对 97.3%。

在 GMM 里 $z$ 只有 3 个取值，求和很容易。但在图像生成模型里，$z$ 是几百维的连续向量，$p(x \mid z)$ 是一个神经网络，$p(x) = \int p(z)\, p(x \mid z)\, dz$ 算不出来——既不能直接最大化似然，也不能精确算后验。下面的 ELBO 就是为此而生的。

4.2 Jensen 不等式

对凹函数 $f$（例如 $\log$），$f(\mathbb{E}[Y]) \ge \mathbb{E}[f(Y)]$：“先平均再取对数”不小于”先取对数再平均”。直觉：$\log$ 的曲线向下弯，任意两点连线都在曲线下方。§3.3 已经用它证明了 KL 非负。

4.3 ELBO：两种推导

推导一（Jensen）：引入任意一个关于 $z$ 的分布 $q(z)$（要求在 $p(x, z) > 0$ 的地方 $q > 0$），

它叫证据下界（Evidence Lower BOund）：$p(x)$ 是”证据”（§1.2 贝叶斯公式的分母），ELBO 是它的对数的下界。

推导二（恒等式）：Jensen 只告诉我们”≥“，差多少？对任意 $q$，

第一个等号因为 $\log p(x)$ 不依赖 $z$；第二个等号就是贝叶斯公式 $p(z \mid x) = p(x, z)/p(x)$ 移项；第三个等号是在分子分母同乘 $q(z)$ 后拆开。这是一个恒等式，不是近似。

04 第 2 部分对 $x = -1.5$（$\log p(x) = -2.6959$）试了 5 种 $q$：

这个恒等式告诉我们三件事：

1. ELBO ≤ log p(x)，差距恰好是 $q$ 和真实后验之间的 KL。$q$ 等于后验时下界取到等号。
2. 最大化 ELBO 是一个好的替代目标：ELBO 变大，要么是 $\log p(x)$ 变大了（模型更好地解释了数据），要么是 KL 变小了（$q$ 更接近后验）——两者都是我们想要的。
3. ELBO 只需要 $p(x, z)$（模型的联合分布，按生成过程直接写出来），不需要算不动的 $p(x)$。

ELBO 还常写成另一种形式（把 $p(x, z) = p(x \mid z)\, p(z)$ 代入）：

第 9 讲 VAE 的损失函数就是这个式子（取负号），其中第二项用 §3.3 的高斯 KL 闭式解计算。

4.4 EM 算法

如果后验 $p(z \mid x)$ 能精确算（像 GMM 这样），就可以交替做两步：

• E 步：固定参数 $\theta$，令 $q(z) = p_\theta(z \mid x)$。由 §4.3 的恒等式，此时 KL = 0，ELBO 贴紧 $\log p_\theta(x)$。
• M 步：固定 $q$，对 $\theta$ 最大化 ELBO。对 GMM，就是把后验 $r_{ik} = p(z_i = k \mid x_i)$ 当作”软标签”，按权重重新估计：$\pi_k = \frac{1}{N}\sum_i r_{ik}$，$\mu_k = \frac{\sum_i r_{ik}x_i}{\sum_i r_{ik}}$，$\sigma_k^2 = \frac{\sum_i r_{ik}(x_i - \mu_k)^2}{\sum_i r_{ik}}$——如果知道每个点属于哪一类，最大似然就是这样”数”出来的。

为什么似然单调不降？ 设第 $n$ 轮参数为 $\theta_n$。E 步后 $\mathrm{ELBO}(q_n, \theta_n) = \log p_{\theta_n}(x)$；M 步让 $\mathrm{ELBO}(q_n, \theta_{n+1}) \ge \mathrm{ELBO}(q_n, \theta_n)$；而对任意 $q$ 都有 $\log p_{\theta_{n+1}}(x) \ge \mathrm{ELBO}(q_n, \theta_{n+1})$。三者连起来，$\log p_{\theta_{n+1}}(x) \ge \log p_{\theta_n}(x)$。

04 第 3 部分：1000 个样本，从一个糟糕的初始猜测（$\mu = [-1, 0.5, 1]$、$\sigma = [2, 2, 2]$）出发：

100 次迭代中似然从未下降。注意第 10 到 20 次迭代几乎停滞，之后才跳到好的解——EM 有时会在”几个分量挤在一起”的状态里徘徊很久。最终的平均对数似然 −2.21949 略高于真实参数下的 −2.22190：MLE 在这 1000 个样本上比”真理”拟合得更好一点（过拟合了样本的偶然性），这是正常的。

局部最优（04 第 4 部分）：从数据里随机挑 3 个点当初始均值，10 个起点里 6 个到达最好的解（−2.21949），其余停在 −2.35 附近（例如两个分量都挤在 −3 附近、右边的峰没人管）。EM 保证不下降，不保证全局最优；实践中用多个起点（或 k-means 初始化）然后挑最好的。

4.5 当后验算不出来：变分推断

EM 的 E 步要求精确算出后验。04 第 5 部分列了几种情况：

后验算不出来时，退而求其次：让 $q$ 来自一个可以调参数的分布族（例如对角高斯 $q_\phi(z) = \mathcal{N}(\mu_\phi, \mathrm{diag}(\sigma_\phi^2))$），把 ELBO 同时对模型参数 $\theta$ 和变分参数 $\phi$ 求梯度、一起优化。这叫变分推断（variational inference，Blei et al. 2018 的综述）。VAE 是它的神经网络版本：用一个神经网络（编码器）直接从 $x$ 输出 $q$ 的参数（“摊销推断”，amortized inference）。

对 ELBO 中的 $\mathbb{E}_{q_\phi}[\cdots]$ 求关于 $\phi$ 的梯度时，期望本身依赖于 $\phi$——这正是下一节的问题。

5. 蒙特卡洛估计与梯度估计 · Monte Carlo and gradient estimators

5.1 蒙特卡洛估计

期望 $\mathbb{E}_{x \sim p}[f(x)]$ 往往算不出闭式解（高维积分）。蒙特卡洛估计：从 $p$ 抽 $N$ 个样本，用样本平均代替期望：

它是无偏的，误差按 $1/\sqrt{N}$ 下降。05 第 1 部分估计 $\mathbb{E}[\cos X]$（$X \sim \mathcal{N}(0,1)$，精确值 $e^{-1/2} = 0.6065$）：

最后一列基本是常数：样本多 100 倍，误差才缩小 10 倍。好消息是这个速度和维度无关——这是蒙特卡洛在高维问题里无可替代的原因。单次估计自己报告的标准误差（样本标准差 / √N）和 200 次重复的实际波动一致，所以不需要重复实验也能知道误差多大。

5.2 重要性采样

要估计一个极小的概率，比如 $P(X > 4) = 3.167 \times 10^{-5}$，直接采样 1 万次（05 第 2 部分）一个样本都没落进去：估计值是 0，报告的标准误差也是 0——它甚至不知道自己错了。

重要性采样（importance sampling）：换一个”把样本放在有事发生的地方”的提议分布 $q$，再用权重修正：

用 $q = \mathcal{N}(4, 1)$，1 万个样本里一半落在 $x > 4$，估计值 $3.108 \times 10^{-5}$，相对误差约 2%。权重差异太大时，少数样本主宰估计，可以用有效样本数 $\mathrm{ESS} = (\sum w)^2 / \sum w^2$ 诊断（这里 1804）。

GenAI 联系：第 12 讲的 PPO 用旧策略采样、用比值 $\pi_\theta(a)/\pi_{\text{old}}(a)$ 修正，从而复用旧样本——这就是重要性采样；比值离 1 太远时估计不可靠，所以 PPO 要把它裁剪（clip）在 $[1-\epsilon, 1+\epsilon]$ 里。

5.3 对期望求梯度：重参数化

训练 VAE、做强化学习时，要算的是期望的梯度：$\nabla_\mu \mathbb{E}_{z \sim p_\mu}[f(z)]$。难点是参数 $\mu$ 出现在采样分布里，不能简单地”对样本求导”。

重参数化（reparameterization / pathwise 估计）：把 $z$ 写成参数和无关噪声的可导函数，$z = \mu + \sigma\varepsilon$（§2.1），于是期望变成对 $\varepsilon$ 取，和参数无关：

梯度可以”穿过”采样传回 $\mu$ 和 $\sigma$，用自动微分就能算（第 1 讲）。条件是：(1) $f$ 可导；(2) 采样能写成这种”参数 + 噪声”的可导形式（连续分布通常可以，离散分布不行）。

5.4 得分函数估计（REINFORCE）与基线

另一种办法不需要 $f$ 可导，叫得分函数估计（score function estimator，也叫 REINFORCE 或 log-derivative trick）。利用 $\nabla_\theta p_\theta = p_\theta \nabla_\theta \log p_\theta$：

只需要能算 $f(z)$ 的值和 $\log p_\theta(z)$ 的梯度。对高斯，$\nabla_\mu \log p = (z - \mu)/\sigma^2$。

基线（baseline）：因为 $\mathbb{E}_{p_\theta}[\nabla_\theta \log p_\theta(z)] = \sum_z \nabla_\theta p_\theta(z) = \nabla_\theta \sum_z p_\theta(z) = \nabla_\theta 1 = 0$，所以对任何不依赖 $z$ 的常数 $b$，

减去基线不改变期望，却能大幅降低方差：$f$ 本身可能总是很大（比如奖励总是正的），估计器的噪声主要来自这个”平均水平”；减掉它，只留下”比平均好多少”的信号。

05 第 3 部分（$\mu = 1$，每次估计 100 个样本，重复 2000 次）：

• 对光滑的 $z^2$，三种都是无偏的，但重参数化的方差最小（0.195 vs 0.538）：它利用了 $f$ 的导数（“往哪边走 $f$ 会变大”），得分函数只知道 $f$ 的值。这就是 VAE 用重参数化的原因。
• 对不可导的 0/1 函数，重参数化错了：阶跃函数几乎处处导数为 0，可期望 $P(z > 0)$ 确实随 $\mu$ 变化（真实梯度是标准正态密度在 1 处的值 0.242）。得分函数仍然无偏。
• 基线把得分函数估计的标准差降低了约 20%–35%（0.538 → 0.422，0.075 → 0.049）。

离散变量只能用得分函数。 05 第 4 部分：4 个”动作”的策略 $\pi = \mathrm{softmax}(\theta)$，奖励 $r = [1, 0, 0.5, 2]$。采样一个离散的 $a$ 不是 $\theta$ 的可导函数，无法”把梯度穿过采样”；而得分函数估计 $\mathbb{E}[r(a)\, \nabla_\theta \log \pi_\theta(a)]$（其中 $\nabla_\theta \log \mathrm{softmax}(\theta)_a = \mathrm{onehot}(a) - \pi$）与精确梯度一致，加基线 $b = \mathbb{E}[r]$ 后标准差从 0.170 降到 0.094。

把”动作”换成”语言模型生成的一段回答”（一串离散 token），把 $r$ 换成奖励模型的打分，这就是 RLHF 里的策略梯度（第 11、12 讲）；换成”答案对不对”，就是训练推理模型的 RLVR（第 20 讲）。RLHF 里的 advantage、GRPO 用”同一题多个回答的平均分”做基线，都是这一节的基线思想。

6. 马尔可夫链与采样 · Markov chains and sampling

6.1 马尔可夫链与平稳分布

马尔可夫链：一串随机状态 $x_0, x_1, x_2, \dots$，下一个状态只依赖当前状态（马尔可夫性）：$p(x_{t+1} \mid x_0, \dots, x_t) = p(x_{t+1} \mid x_t)$。第 1 讲的 bigram 就是一条马尔可夫链。有限状态时用转移矩阵 $P$ 描述，$P_{ij}$ 是从 $i$ 转到 $j$ 的概率（每行和为 1）。若第 $t$ 步的分布是行向量 $d_t$，则 $d_{t+1} = d_t P$。

06 第 1 部分用一个三状态天气链（晴、多云、雨）：

无论从哪里出发，分布都收敛到同一个平稳分布 $\pi$（满足 $\pi P = \pi$，即 $P^\top$ 特征值为 1 的特征向量）：[0.4565, 0.2826, 0.2609]。一条链跑 10 万天，各天气的时间占比也是它（遍历性：时间平均 = 分布平均）。收敛是几何级数的：距离每一步大约乘以 $P$ 的第二大特征值的绝对值（这里 0.473）。它越接近 1，链”忘记起点”越慢。（这些结论要求链不可约且非周期，这里满足。）

6.2 MCMC：反过来设计一条链

上面是”给定链，求平稳分布”。马尔可夫链蒙特卡洛（MCMC）反过来：给定一个想采样的分布 $p$，设计一条以它为平稳分布的链，然后跑足够久，链上的状态就是（近似的）$p$ 的样本。

为什么要这么麻烦？因为很多分布我们只知道密度的形状，不知道归一化常数：贝叶斯后验 $p(z \mid x) \propto p(x \mid z)\,p(z)$（分母算不动）、能量模型 $p(x) \propto e^{-E(x)}$。MCMC 只需要密度的比值，常数自动约掉。

6.3 Metropolis–Hastings

最简单的 MCMC：从当前的 $x$ 提议 $x' = x + s\varepsilon$（$s$ 是步长），以概率 $\min(1, p(x')/p(x))$ 接受，否则留在原地。

为什么正确？ 充分条件是细致平衡（detailed balance）：$p(x)\, T(x \to x') = p(x')\, T(x' \to x)$——“从 $x$ 流到 $x'$ 的概率质量”等于反方向的。对称提议下，设 $p(x') < p(x)$：左边是 $p(x) \cdot g \cdot \frac{p(x')}{p(x)} = g\,p(x')$，右边是 $p(x') \cdot g \cdot 1$，相等（$g$ 是对称的提议密度）。满足细致平衡的链，$p$ 就是它的平稳分布（练习 9）。

06 第 2 部分：目标是双峰 $\frac{1}{2}\mathcal{N}(-3, 0.7^2) + \frac{1}{2}\mathcal{N}(3, 0.7^2)$，从 $x = -3$ 出发跑 2 万步（丢掉前 2000 步”预热”）：

• 步长太小：几乎每步都接受，但每步只挪一点点，2 万步都没离开起点的峰——链”卡”在一个模式里，样本看起来像单峰分布，而且接受率高得让人误以为一切正常。
• 步长 1.0：只切换了 5 次，右峰比例偏离 0.5，混合不充分。
• 步长和两峰间距同一量级（3.0）时混合最好。
• 步长 30：接受率只有 6%，链大部分时间原地不动；但在一维里每次被接受的跳跃都可能落到另一个峰，所以照样混合得不错。在高维里，随机的大跳跃几乎全被拒绝，这招就失效了。

高维、多峰的分布里，MCMC 混合得极慢。这是扩散模型”从噪声出发、逐步去噪”而不是直接在数据分布上跑 MCMC 的原因之一。

6.4 朗之万动力学：只用得分函数采样

得分函数（score function）$\nabla_x \log p(x)$：在 $x$ 处，往哪个方向走对数密度上升最快。它不需要归一化常数：$\nabla_x \log(\tilde p(x)/Z) = \nabla_x \log \tilde p(x)$。（注意：这里的”得分”是对数据 $x$ 求梯度，§5.4 的”得分函数估计”是对参数 $\theta$ 求梯度，名字相同、对象不同。）

朗之万动力学（Langevin dynamics）只用得分函数就能采样：

第一项是沿着对数密度往上爬（梯度上升），第二项是随机扰动。步长 $\eta$ 足够小、步数足够多时，点的分布收敛到 $p$。

06 第 3 部分：目标是 8 个高斯（σ = 0.3）排在半径 2 的圆上（prob_lab.ring_of_gaussians，第 6 讲 GAN 的经典玩具数据），4000 个点从 $\mathcal{N}(0, 3^2 I)$ 出发：

• 朗之万 500 步后，样本的统计和真实样本非常接近：只用 $\nabla \log p$ 就采到了正确的分布。
• 去掉噪声，所有点都挤到了峰顶（平均距离 0.000），平均 $\log p$ 反而更高——它找到的是”最可能的点”，而不是”分布的样本”。噪声项保证了样本有正确的散布。这个区别（采样 vs 优化）在生成模型里很要紧：我们要的是多样的样本，不是最可能的那一张图。
• 峰间混合很慢：全部从第 0 个峰出发时，500 步后仍有 42.3% 的点留在原峰（应为 12.5%）。和 MCMC 一样，朗之万很难跨越低密度的山谷。

GenAI 联系：得分模型 / 扩散模型的采样就是朗之万动力学的升级版（第 7、8 讲）：(1) 得分函数 $\nabla_x \log p(x)$ 不知道，就用神经网络从数据里学出来；(2) 为了解决”峰间混合慢”，先在加了大噪声的（模糊的、峰与峰连成一片的）分布上采样，再逐渐降低噪声，一步步细化到清晰的样本。§2.5 的前向加噪过程正是提供了这一串由模糊到清晰的分布。

7. 工具箱在后面哪里用 · Where each tool reappears

8. 小结 · Summary

1. 求和法则（边缘化）和乘积法则（链式法则）是一切的基础；贝叶斯公式从”原因 → 结果”的模型反推”结果 → 原因”的后验，分母（证据）要把所有原因加一遍——高维时算不动，这是生成模型麻烦的根源。
2. 独立 ≠ 条件独立：动词和时间短语在农场语言里不独立（I = 0.0316 bit），但给定主语后条件独立（I = 0）。先验（基础比率）和似然同样重要。
3. 高斯是封闭的积木：线性变换、独立相加、条件化、相乘都还是高斯。重参数化 $x = \mu + \sigma\varepsilon$；Cholesky 采样 $x = \mu + L\varepsilon$；反复”缩小一点 + 加一点噪声”1000 次就把任何数据变成 $\mathcal{N}(0, 1)$，而且有闭式解 $x_t = \sqrt{\bar\alpha_t}x_0 + \sqrt{1-\bar\alpha_t}\varepsilon$。
4. 最大似然 = 最小化交叉熵 = 最小化 KL(p_data ‖ p_θ)。KL 非负、不对称、遇到零概率会爆炸。前向 KL 覆盖所有模式（矩匹配，会在山谷里放概率），反向 KL 只盯住一个模式——这是”VAE 模糊、GAN 模式崩塌”的统一解释。
5. ELBO 恒等式 $\log p(x) = \mathrm{ELBO}(q) + \mathrm{KL}(q \Vert p(z \mid x))$ 对任意 $q$ 精确成立。似然算不动时最大化 ELBO；后验能精确算时就是 EM（似然单调不降，但有局部最优：10 个起点里 6 个到达最好的解）；算不出来时就是变分推断 / VAE。
6. 蒙特卡洛无偏，误差 ∝ $1/\sqrt{N}$ 且与维度无关；罕见事件用重要性采样。
7. 期望的梯度有两种估计：重参数化方差小但要求可导和连续；得分函数（REINFORCE）只要能算函数值，离散变量只能用它；基线不改变期望、降低方差。这是 VAE 与 RLHF / RLVR 在技术上的分水岭。
8. 马尔可夫链收敛到平稳分布，速度由第二大特征值决定；MCMC 只用密度比值采样，但多峰时混合极慢；朗之万动力学只用得分函数采样，噪声项把”优化”变成”采样”——扩散模型的采样就是它的升级版。

9. 常见误区 · Common pitfalls

1. “两个变量在生成过程里互不影响，所以它们独立。” 有共同原因时它们是相关的，只是在给定共同原因时条件独立。
2. “检测器准确率 95%，所以被它标记的 95% 都是对的。” 后验取决于基础比率。
3. “两个独立的标准差为 1 的噪声相加，标准差是 2。” 是方差相加，标准差是 $\sqrt{2}$。
4. “KL 散度是两个分布之间的距离。” 它不对称，也不满足三角不等式；方向决定了拟合出来的分布是”覆盖”还是”寻模”。
5. “最大似然训练出来的模型样本质量最好。” 最大似然最小化的是前向 KL，容量不够时会把概率抹到模式之间；样本质量和似然是两回事。
6. “ELBO 是 log p(x) 的近似值。” 它是下界，差距恰好是 $\mathrm{KL}(q \Vert p(z \mid x))$；$q$ 很差时下界可以很松。
7. “EM 一定能找到最大似然解。” 它只保证不下降，会停在局部最优；高斯混合还可能退化（某个分量的方差收缩到 0，似然趋于无穷，练习 5）。
8. “重参数化总比得分函数好。” 它要求 $f$ 可导、变量连续；对 0/1 奖励它给出 0，是有偏的。离散 token 上只能用得分函数。
9. “MCMC 的接受率越高越好。” 步长 0.1 时接受率 95%，链却 2 万步没离开一个峰。
10. “去掉朗之万的噪声能让样本更好（log p 更高）。” 那样得到的是众数，不是样本：所有点挤到峰顶，多样性消失。

10. 练习 · Exercises

练习 1（贝叶斯）。 用 §1.1 的农场语言：只有 bat、cat、owl、hen 四种动物会出现在 barn，$p(\text{barn} \mid a)$ 分别是 2/11、3/8、1/10、4/10（来自它们的习性表），每种动物的先验是 1/8。(a) 算 $p(\text{barn})$。(b) 算 $p(a \mid \text{barn})$。(c) 为什么 hen 的后验最大，尽管 cat 的似然和它差不多？

(a) $p(\text{barn}) = \frac{1}{8}(2/11 + 3/8 + 1/10 + 4/10) = \frac{1}{8} \times 1.0568 = 0.1321$（01 表里的 0.132）。

(b) $p(a \mid \text{barn}) = p(\text{barn} \mid a) \cdot \frac{1}{8} / 0.1321$：bat 0.172、cat 0.355、owl 0.095、hen 0.379，其余 0。

(c) 先验都相同，后验只正比于似然：hen 0.400 > cat 0.375，差距不大，所以后验也只差一点（0.379 vs 0.355）。先验相同时，贝叶斯推断退化为”比较似然”——这就是最大似然分类。

练习 2（KL 非负）。 (a) 用 Jensen 不等式证明 $\mathrm{KL}(p \Vert q) \ge 0$，并说明等号何时成立。(b) 证明 $I(X; Y) \ge 0$，等号当且仅当独立。

(a) 见 §3.3：$-\mathrm{KL} = \mathbb{E}_p[\log(q/p)] \le \log \mathbb{E}_p[q/p] = \log\sum_{x: p(x)>0} q(x) \le \log 1 = 0$。Jensen 的等号要求 $q/p$ 在 $p$ 的支撑上是常数，再加上两者都归一化，就只能 $p = q$。

(b) $I(X; Y) = \mathrm{KL}(p(x,y) \Vert p(x)p(y)) \ge 0$，由 (a)，等号当且仅当 $p(x,y) = p(x)p(y)$，即独立。