Lecture 10 · 生成对抗网络（二）：f-GAN、WGAN、BiGAN 与 CycleGAN · Generative Adversarial Networks II

对应 Maps to：Stanford CS236 Deep Generative Models（Fall 2023，Stefano Ermon），Lecture 10 · 2023-10-30 · Generative Adversarial Networks（slides：cs236_lecture10.pdf，28 页）。 依据说明：本讲按原课 slides 的顺序展开：回顾（GAN ≈ 最小化缩放平移后的 JSD）→ GAN Zoo 与本讲计划 → 超越 KL 与 JS：$f$-散度 → 用 $f$-散度训练需要密度比 → Fenchel 凸共轭 → $f$-GAN 的变分下界与目标 → 支撑集不相交时 $f$-散度失效 → Wasserstein（推土机）距离 → Kantorovich–Rubinstein 对偶与 WGAN → 推断隐表示：判别器特征、BiGAN → 跨域翻译：配对与无配对、CycleGAN、循环一致性、AlignFlow、StarGAN → GAN 小结。“非饱和损失在最优判别器下对应 $D_{\mathrm{KL}}(p_G \Vert p_{\text{data}}) - 2D_{\mathrm{JSD}}$“的推导与数值验证、一维里双边梯度惩罚的”墙”、单边梯度惩罚、“无配对翻译的不唯一性”的定量检查是本讲义补充的。所有实验的真实分布与真实映射都已知。 配套代码 Code：code/lecture10/（PyTorch；1 个模块 + 4 个演示脚本，最长的约 100 秒） 预计阅读时间：3.5 小时（含运行代码）

0. 本讲导航 · How to read this lecture

0.1 学习目标 Learning goals

学完这一讲，你应该能够：

1. 写出 $f$-散度的定义和条件，认出 KL、反向 KL、JS、Hellinger、χ²、全变差各自的 $f$；说出”模式覆盖”和”模式寻找”分别来自哪些散度。
2. 用 Fenchel 凸共轭推导 $f$-散度的变分下界 $D_f(p, q) \geq \sup_T \mathbb{E}_p[T] - \mathbb{E}_q[f^*(T)]$，写出最优判别器 $T^* = f'(p/q)$，并说明原始 GAN 是 $f$-GAN 的特例。
3. 推导非饱和生成器损失在最优判别器下的梯度等于 $\nabla[D_{\mathrm{KL}}(p_G \Vert p_{\text{data}}) - 2D_{\mathrm{JSD}}]$，解释它为什么比原始 minimax 损失更偏向”抓住一个模式”。
4. 说明支撑集不相交时 $f$-散度为什么失效，写出 Wasserstein-1 距离的原始定义和 Kantorovich–Rubinstein 对偶，比较权重裁剪和梯度惩罚两种实现 Lipschitz 约束的方法及各自的陷阱。
5. 理解 BiGAN 怎样通过匹配联合分布 $(x, E(x))$ 和 $(G(z), z)$ 学到一个推断网络。
6. 写出 CycleGAN 的损失，说明循环一致性保证了什么、没有保证什么；理解 AlignFlow 为什么”精确地循环一致”。

0.2 先修与本讲范围 Prerequisites & scope

0.3 本讲地图 Map

§1  回顾与本讲计划
§2  f-散度：一个家族；训练需要密度比                                                 ← 代码 01 第 1–2 部分
§3  f-GAN：凸共轭、变分下界、T* = f'(p/q)；原始 GAN 是特例；非饱和损失到底在优化什么    ← 代码 01 第 3 部分、代码 02
§4  Wasserstein GAN：支撑集不相交；推土机距离；KR 对偶；裁剪与梯度惩罚                 ← 代码 03
§5  推断隐表示：判别器特征、BiGAN                                                    ← 代码 04 第 1 部分
§6  跨域翻译：CycleGAN、循环一致性、AlignFlow、StarGAN                                ← 代码 04 第 2–3 部分
§7  GAN 小结
§8  2023 年之后
§9–13  小结、常见误区、练习、延伸阅读、下一讲预告

0.4 记号 Notation

0.5 关于数字 · About the numbers

代码用的”真相”有三种：一维的双峰分布 $0.7\,\mathcal{N}(-2, 0.5^2) + 0.3\,\mathcal{N}(2, 0.5^2)$（与第 9 讲相同，所有散度都能在细网格上精确积分）；二维的 8 个高斯圆环与双月牙（第 5 讲的 toy2d.py）；以及”把双月牙旋转、缩放、平移”这个已知的跨域映射。散度的单位是 nat，Wasserstein 距离的单位是坐标单位。GAN 的结果依赖随机种子和超参数，几处和预想不同的结果记录在 代码 README 的”关于实验结果”里。

1. 回顾与本讲计划 · Recap

slide 2：GAN 的训练目标 $\min_G\max_D V(G, D) = \mathbb{E}_{x \sim p_{\text{data}}}[\log D(x)] + \mathbb{E}_{x \sim p_G}[\log(1 - D(x))].$ 判别器最优时，GAN 最小化缩放平移后的 Jensen–Shannon 散度 $2D_{\mathrm{JSD}}(p_{\text{data}}, p_G) - \log 4$。参数化以后： $\min_\theta\max_\phi \mathbb{E}_{x \sim p_{\text{data}}}[\log D_\phi(x)] + \mathbb{E}_{z \sim p(z)}[\log(1 - D_\phi(G_\theta(z)))].$

slide 3 是”GAN Zoo”——一个列出了几百个有名字的 GAN 的仓库。本讲挑出其中有代表性的四个方向：

• 通过 $f$-GAN 得到一大类不需要似然的目标；
• Wasserstein GAN；
• 通过 BiGAN 推断隐表示；
• 应用：通过 CycleGAN 做图像到图像的翻译。

第 9 讲还留下一个问题：代码里实际用的非饱和损失并不是在最小化 JSD——它在最小化什么？§3.5 会给出答案。

2. f-散度 · f-divergences

2.1 我们有哪些选择？

slide 4：到目前为止，距离 $d(\cdot)$ 有两种：KL 散度（自回归模型、流模型）和（近似地、缩放平移后的）JS 散度（原始 GAN）。还有别的吗？

2.2 定义

slide 5：给两个密度 $p$ 和 $q$，$f$-散度定义为 $D_f(p, q) = \mathbb{E}_{x \sim q}\left[f\left(\frac{p(x)}{q(x)}\right)\right],$ 其中 $f$ 是任意一个凸、下半连续、满足 $f(1) = 0$ 的函数。

• 凸：连接函数图像上任意两点的线段在图像上方。
• 下半连续：在任意一点 $x_0$，函数值要么接近 $f(x_0)$、要么比 $f(x_0)$ 大（函数只能往”上”跳，不能往”下”跳）。这个技术条件保证了 §3 的对偶是精确的。
• 非负：由 Jensen 不等式， $\mathbb{E}_{x \sim q}\left[f\left(\tfrac{p(x)}{q(x)}\right)\right] \geq f\left(\mathbb{E}_{x \sim q}\left[\tfrac{p(x)}{q(x)}\right]\right) = f\left(\int q(x)\tfrac{p(x)}{q(x)}\,dx\right) = f\left(\int p(x)\,dx\right) = f(1) = 0.$

例子：KL 散度取 $f(u) = u\log u$：$\mathbb{E}_q[\frac{p}{q}\log\frac{p}{q}] = \mathbb{E}_p[\log\frac{p}{q}] = D_{\mathrm{KL}}(p \Vert q)$。

2.3 一个家族

slide 6 列出了很多 $f$-散度。代码 01 第 1 部分实现了其中 7 种（Nowozin, Cseke & Tomioka 2016 的表 1、表 2），并数值地验证了 $f^{**} = f$（§3.1）：

（原始 GAN 那一行的 $f(1) = -\log 4 \neq 0$：它差一个常数，不影响优化。）

这些散度”在意”的东西不同。 $f(u)$ 在 $u = p/q \to \infty$（$q$ 漏掉了 $p$ 的质量）和 $u \to 0$（$q$ 把质量放在 $p$ 没有的地方）两端的增长速度，决定了模型更怕哪一种错误。前向 KL 的 $u\log u$ 在 $u \to \infty$ 时超线性增长——极怕”漏掉”；反向 KL 的 $-\log u$ 在 $u \to 0$ 时趋于无穷——极怕”多出来”。代码 01 第 2 部分把它们放在同一个任务上：用一个高斯 $\mathcal{N}(\mu, \sigma^2)$ 近似双峰分布，最小化 $D_f(p_{\text{data}}, q)$（网格上精确积分，4 个初值取最好）：

前向 KL 的解就是矩匹配（最大似然）；Pearson χ² 比它还”宽”一点（$(u-1)^2$ 在 $u \to \infty$ 时增长得更快）。反向 KL、Hellinger、JS 都抓住大模式。全变差抓住大模式但 σ 更宽——它对两种错误按面积一视同仁地计价。Wasserstein-1（不是 $f$-散度，§4 的主角）也盖住两个：把 30% 的质量搬运 4 个单位，“运费”很高。

注意：第 9 讲练习 6 提醒过，“JS 是模式寻找的”并不总成立——两个模式等权时，JS 的全局最小变成了宽高斯。散度的偏好取决于数据的形状。

2.4 用 f-散度训练，需要密度比

slide 7：给 $p_{\text{data}}$ 和 $p_\theta$，可以最小化 $D_f(p_\theta, p_{\text{data}})$ 或 $D_f(p_{\text{data}}, p_\theta)$——非负，两个分布相同时为零。但两者都依赖未知的密度比： $D_f(p_\theta, p_{\text{data}}) = \underbrace{\mathbb{E}_{x \sim p_{\text{data}}}}_{\text{用样本近似}}\Big[f\Big(\underbrace{\tfrac{p_\theta(x)}{p_{\text{data}}(x)}}_{\text{未知的比值}}\Big)\Big], \qquad D_f(p_{\text{data}}, p_\theta) = \underbrace{\mathbb{E}_{x \sim p_\theta}}_{\text{用样本近似}}\Big[f\Big(\underbrace{\tfrac{p_{\text{data}}(x)}{p_\theta(x)}}_{\text{未知的比值}}\Big)\Big].$ 外面的期望可以用样本近似，里面的比值不行：$p_{\text{data}}$ 的密度永远不知道，GAN 的 $p_\theta$ 也没有密度。要把 $f$-散度当作不需要似然的两样本检验目标，必须能只用样本（训练数据和模型样本）估计它。

3. f-GAN：变分散度最小化 · Variational divergence minimization

3.1 Fenchel 凸共轭

slide 8：任何函数 $f$ 的凸共轭是 $f^*(t) = \sup_{u \in \mathrm{dom}_f}(ut - f(u)).$

几何直觉：固定斜率 $t$，$f^*(t)$ 是”斜率为 $t$、过原点的直线 $ut$ 比 $f$ 高出的最大距离”；等价地，$-f^*(t)$ 是斜率为 $t$ 的切线在纵轴上的截距。一个凸函数完全由它的所有切线决定——$f^*$ 就是把”$f$ 在每个斜率上的切线”记录下来。

性质：

• $f^*$ 是凸的（凸函数——这里是关于 $t$ 的线性函数 $ut - f(u)$——的逐点上确界还是凸的）、下半连续的。
• 令 $f^{**}$ 是 $f^*$ 的共轭，$f^{**}(u) = \sup_{t \in \mathrm{dom}_{f^*}}(tu - f^*(t))$。则 $f^{**} \leq f$。证明：由定义，对所有 $t, u$，$f^*(t) \geq ut - f(u)$，即 $f(u) \geq ut - f^*(t)$；对 $t$ 取上确界，$f(u) \geq \sup_t(ut - f^*(t)) = f^{**}(u)$。
• 强对偶：当 $f$ 凸且下半连续时，$f^{**} = f$。

代码 01 第 1 部分在 $u = \frac14, 1, 4$ 处数值地求 $\sup_t(tu - f^*(t))$，7 种散度都精确地还原了 $f(u)$。

3.2 变分下界

slide 9：用 $f = f^{**}$ 改写 $f$-散度，

第二行：对每个 $x$ 把上确界的取值记为 $T^*(x)$，它是 $x$ 的一个函数；第三行：上确界可以逐点取，所以”对每个 $x$ 取 sup”等于”对所有函数 $T$ 取 sup”；最后一行把 $T$ 限制在一个函数类 $\mathcal{T}$（比如某个神经网络能表示的函数）里，得到下界。

这个下界对 $p$ 和 $q$ 都是 likelihood-free 的——只需要两组样本。

最优的 $T$ 是什么？ 对每个 $x$ 最大化 $tp - f^*(t)q$：导数 $p - f^{*\prime}(t)q = 0$，即 $f^{*\prime}(t) = p/q$。由共轭的性质，$f^{*\prime}$ 是 $f'$ 的反函数，所以 $T^*(x) = f'\left(\frac{p(x)}{q(x)}\right).$ 判别器又一次在估计密度比（第 9 讲 §3.6 的 $D^*$ 是 $f_{\text{GAN}}$ 的特例：$T^* = \log\frac{p}{p+q} = \log D^*$）。

3.3 f-GAN 的目标

slide 10：选任意一个 $f$-散度，令 $p = p_{\text{data}}$、$q = p_G$，用 $\phi$ 参数化 $T$、用 $\theta$ 参数化 $G$： $\min_\theta\max_\phi F(\theta, \phi) = \mathbb{E}_{x \sim p_{\text{data}}}[T_\phi(x)] - \mathbb{E}_{x \sim p_{G_\theta}}[f^*(T_\phi(x))].$ 生成器 $G_\theta$ 试图最小化散度的估计，判别器 $T_\phi$ 试图把下界收紧。 代入任何一个 $f$-散度，优化 $f$-GAN 目标即可。slide 11：现在 $d(\cdot)$ 的选择包括 KL（自回归、流）、JS（原始 GAN）以及任何其他 $f$-散度（近似地，通过 $f$-GAN 目标）。

两个实现细节（Nowozin et al. 2016）：

1. $f^*$ 有定义域限制（比如反向 KL 要求 $t < 0$）。网络输出任意实数 $V_\phi(x)$，再经过一个输出激活 $g_f$ 映射到定义域里：$T_\phi = g_f(V_\phi)$。例如反向 KL 用 $g_f(v) = -e^{-v}$，Hellinger 用 $1 - e^{-v}$，JS 用 $\log 2 - \log(1 + e^{-v})$。
2. 原始 GAN 是特例：$f_{\text{GAN}}$ 配 $g_f(v) = -\log(1 + e^{-v}) = \log\sigma(v)$，于是 $T = \log D$，$f^*(T) = -\log(1 - e^T) = -\log(1 - D)$， $F = \mathbb{E}_{p_{\text{data}}}[\log D] + \mathbb{E}_{p_G}[\log(1 - D)] = V(G, D).$

3.4 下界有多紧？

代码 01 第 3 部分固定 $p$ = 双峰数据、$q = \mathcal{N}(-0.8, 1.9^2)$（矩匹配的高斯），用 20 万对样本估计不同 $T$ 给出的下界：

（蒙特卡洛误差约 ±0.003，所以 $T^*$ 偶尔略高于精确值、线性 $T$ 偶尔略低于 0。）

• $T = T^*$ 时下界等于精确值——slide 9 的等号。
• 一个 64 × 2 的小 MLP 接近 $T^*$；反向 KL 差得最多：$T^* = -q/p$ 在 $p$ 很小的中间和尾部绝对值很大，网络难以逼近。
• 线性 $T$ 的下界和常数一样 ≈ 0：$q$ 和数据均值相同，而线性的 $T$ 只能利用均值的差别（对前向 KL 可以直接算：$T = ax + b$ 时最优下界是 $a(\mu_p - \mu_q) - \frac{a^2\sigma_q^2}{2} \leq 0$）。这就是第 9 讲”均值检验看不见同均值的差别”的 $f$-GAN 版本。判别器的容量决定了 $f$-GAN “看见”的散度有多大。
• 常数 $T$ 的下界正好是 $f(1)$：什么都区分不了的判别器认为两个分布一样。

3.5 f-GAN 真的在最小化它声称的散度吗？

代码 02 第 1 部分：生成器 = 单个高斯，从 $(0, 1)$ 出发，判别器 64 × 2，6,000 步（生成器直接最小化 $F$，即 minimax 形式）。把终点和精确散度的全局最小、“从同一个初值出发对精确散度做梯度下降”的局部最小比较：

• 换一个 $f$，同一个训练程序就学出了性质完全不同的近似：前向 KL、Pearson 盖住两个模式，反向 KL 抓住大模式——都是各自的全局最小，和 Nowozin et al. 论文表 3 的实验一致。
• Hellinger、JS、原始 GAN 停在宽高斯附近，正好是精确梯度下降从同一个初值出发得到的局部最小。这不是判别器的错：判别器最优时，minimax 形式的生成器梯度就是精确散度的梯度，自然也停在同一个局部最小。
• 全变差发散：$T^* = \frac12\mathrm{sign}(p/q - 1)$ 是阶跃函数，$\frac12\tanh$ 的判别器在大部分地方饱和，梯度几乎没有信息。

3.6 非饱和损失到底在优化什么？

第 9 讲的 GAN 从 $(0, 1)$ 出发走到了大模式（JSD 的全局最小），上表的 minimax 版本却停在宽高斯。区别在于第 9 讲用的是非饱和损失 $-\mathbb{E}_z[\log D(G(z))]$。

命题（Arjovsky & Bottou 2017）：设 $D^* = \frac{p_{\text{data}}}{p_{\text{data}} + p_{\theta_0}}$ 是当前生成器 $\theta_0$ 的最优判别器（固定不动），则 $\nabla_\theta\,\mathbb{E}_{z}\left[-\log D^*(G_\theta(z))\right]\Big|_{\theta_0} = \nabla_\theta\left[D_{\mathrm{KL}}(p_\theta \Vert p_{\text{data}}) - 2D_{\mathrm{JSD}}(p_{\text{data}}, p_\theta)\right]\Big|_{\theta_0}.$

推导：把 $-\log D^*$ 拆成两项，$-\log D^* = -\log\frac{D^*}{1 - D^*} - \log(1 - D^*)$。

1. 第二项：$V(G, D) = \mathbb{E}_{p_{\text{data}}}[\log D] + \mathbb{E}_{p_\theta}[\log(1 - D)]$ 在 $D = D^*$ 处对 $D$ 的偏导为零（$D^*$ 是最大值点），所以由包络定理，$\nabla_\theta\mathbb{E}_{p_\theta}[\log(1 - D^*)] = \nabla_\theta V(G_\theta, D^*_\theta) = \nabla_\theta\,2D_{\mathrm{JSD}}$。
2. 第一项：$\frac{D^*}{1 - D^*} = \frac{p_{\text{data}}}{p_{\theta_0}}$，所以 $\mathbb{E}_{p_\theta}[-\log\frac{D^*}{1-D^*}] = \mathbb{E}_{p_\theta}[\log p_{\theta_0} - \log p_{\text{data}}]$。而 $D_{\mathrm{KL}}(p_\theta \Vert p_{\text{data}}) = \mathbb{E}_{p_\theta}[\log p_\theta - \log p_{\text{data}}]$，在 $\theta_0$ 处对 $\theta$ 求导时，”$\log p_\theta$ 里的 $\theta$“贡献 $\mathbb{E}_{p_{\theta_0}}[\nabla_\theta\log p_\theta] = 0$（得分函数的期望为零），所以两者梯度相同。

合起来：$\nabla\mathbb{E}[-\log D^*] = \nabla D_{\mathrm{KL}}(p_\theta \Vert p_{\text{data}}) - \nabla\,2D_{\mathrm{JSD}}$。同样的推导给出 minimax 损失 $\mathbb{E}[\log(1 - D^*)]$ 的梯度是 $\nabla\,2D_{\mathrm{JSD}}$。

代码 02 第 2 部分在一维网格上数值验证了这两个等式（4 个不同的 $(\mu, \sigma)$，误差都在 $10^{-13}$ 以内）。例如在 $(0, 1)$ 处：

含义：非饱和 GAN 多优化了一个反向 KL，强烈地偏向”抓住一个模式”——这解释了第 9 讲的一维 GAN 为什么能逃出宽高斯的局部最小，也部分解释了 GAN 为什么常常模式坍塌。另外，$-2D_{\mathrm{JSD}}$ 这一项会奖励 JSD 变大，所以这个目标本身不是一个散度（可以为负）——非饱和 GAN 在理论上并不”干净”。

3.7 二维：前向 KL 的 f-GAN ≠ 最大似然

代码 02 第 3 部分：生成器是 8 层 RealNVP（于是能精确计算两个方向的 KL），数据是 8 个高斯的圆环（σ = 0.25），判别器 128 × 2，4,000 步：

• $f$ = 前向 KL：每个时刻它的前向 KL 都是三者中最低的——没有哪块真实数据被”漏掉”；代价是反向 KL 有几千到两万多 nat、高质量样本只有 4–19%：密度是盖住整个圆环的一大团（代码输出的第一张密度图），大部分样本落在模式之间。模式覆盖。
• $f$ = 反向 KL：反向 KL 最低、样本几乎全是高质量的，密度是 8 个模式上的尖点；前向 KL 却越训练越大。模式寻找。
• 原始 GAN 站在反向 KL 那一边。
• 没有一个接近最大似然：生成器只能通过一个有限容量、没训练到最优的判别器”看见”散度。$f$ = KL 的 $f$-GAN 和最大似然朝同一个方向犯错，但犯得多得多。

4. Wasserstein GAN · Beyond f-divergences

4.1 支撑集不相交时，f-散度失效

slide 12：$f$-散度 $D_f(p, q) = \mathbb{E}_{x \sim q}[f(p(x)/q(x))]$ 要求 $q$ 的支撑覆盖 $p$ 的支撑，否则会出现不连续。例子： $p(x) = \begin{cases}1, & x = 0\\ 0, & x \neq 0\end{cases}, \qquad q_\theta(x) = \begin{cases}1, & x = \theta\\ 0, & x \neq \theta\end{cases}.$ $D_{\mathrm{KL}}(p, q_\theta) = \begin{cases}0, & \theta = 0\\ \infty, & \theta \neq 0\end{cases}, \qquad D_{\mathrm{JS}}(p, q_\theta) = \begin{cases}0, & \theta = 0\\ \log 2, & \theta \neq 0\end{cases}.$ 不管 $\theta$ 离 0 是 0.01 还是 100，散度都一样——没有任何信号告诉生成器”往哪边走”。我们需要一个更平滑的距离 $D(p, q)$，在 $p$、$q$ 支撑集不相交时也有定义。

这不是一个人为的例子。图像位于高维空间里的低维流形上（第 13 讲的”流形假设”）；生成器 $G: \mathbb{R}^{d_z} \to \mathbb{R}^{d_x}$ 在 $d_z < d_x$ 时，它的像也是一个低维流形。两个低维流形在高维空间里几乎肯定不相交（Arjovsky & Bottou 2017）——训练初期，真实分布和生成分布的支撑集很可能就是不相交的。

4.2 Wasserstein（推土机）距离

slide 13： $D_w(p, q) = \inf_{\gamma \in \Pi(p, q)}\mathbb{E}_{(x, y) \sim \gamma}[\Vert x - y\Vert_1],$ $\Pi(p, q)$ 是所有满足”$x$ 的边缘是 $p(x) = \int\gamma(x, y)\,dy$、$y$ 的边缘是 $q(y)$“的联合分布。$\gamma(y \mid x)$ 是一个概率性的搬土方案：把 $p$ 这堆土变成 $q$ 的形状，位于 $x$ 的土按 $\gamma(y \mid x)$ 分配到各个 $y$；$\mathbb{E}_\gamma\Vert x - y\Vert$ 是总的”质量 × 距离”，取所有方案中最便宜的那个。（slide 写的是 $\ell_1$ 范数；代码和大多数实现用 $\ell_2$，结论不变。）

上面的例子里，唯一的方案是把位于 0 的单位质量搬到 $\theta$：$D_w(p, q_\theta) = |\theta|$——连续，几乎处处可导，梯度永远指向正确的方向。

一维里有闭式：最优方案是”按大小顺序一一配对”（不交叉），$W_1(p, q) = \int|F_p(t) - F_q(t)|\,dt$，对两组等量的样本就是排序后对应点之差的平均（divergences.w1_1d）。

4.3 Kantorovich–Rubinstein 对偶与 WGAN

slide 14： $D_w(p, q) = \sup_{\Vert f\Vert_L \leq 1}\mathbb{E}_{x \sim p}[f(x)] - \mathbb{E}_{x \sim q}[f(x)].$ $\Vert f\Vert_L \leq 1$ 表示 $f$ 的 Lipschitz 常数不超过 1：对所有 $x, y$，$|f(x) - f(y)| \leq \Vert x - y\Vert$——直观地说，$f$ 不能变化得太快。

直觉：$f$ 像是给每个位置标一个”价格”；把单位质量从 $x$ 搬到 $y$ 最多能”赚” $|f(x) - f(y)| \leq \Vert x - y\Vert$，不会超过运费。于是”$p$ 处的总价值减去 $q$ 处的总价值”不可能超过最便宜的运费；对偶定理说，最好的价格体系恰好让两者相等。

Wasserstein GAN（判别器 $D_\phi(x)$，常被称为 critic，输出任意实数、不是概率；生成器 $G_\theta(z)$）： $\min_\theta\max_\phi\,\mathbb{E}_{x \sim p_{\text{data}}}[D_\phi(x)] - \mathbb{E}_{z \sim p(z)}[D_\phi(G_\theta(z))].$ $D_\phi$ 的 Lipschitz 性通过权重裁剪（Arjovsky et al. 2017：每步更新后把所有权重裁到 $[-c, c]$）或在 $\nabla_x D_\phi(x)$ 上加梯度惩罚（Gulrajani et al. 2017：$\lambda\,\mathbb{E}_{\hat x}[(\Vert\nabla_x D(\hat x)\Vert - 1)^2]$，$\hat x$ 在真假样本的连线上随机取）来实现。

4.4 实验：两条平行线

代码 03 第 1 部分用 Arjovsky et al. 的例子：$p$ 是 $x = 0$ 处的竖直线段（$y \sim U[0, 1]$），$q_\theta$ 是 $x = \theta$ 处的线段。训练一个 GAN 判别器和一个 WGAN-GP critic（各 1,000 步），再看它们给”生成器参数” $\theta$ 的梯度：

• JS：判别器只说”完全分得开”（估计都是 $\log 2$），不说”差多远”；minimax 损失的梯度随 $\theta$ 增大迅速消失。
• 非饱和损失的梯度不为零，但离得越近反而越大（$\theta = 0.05$ 时 288）：它由判别器在两条线之间有多陡决定，和距离成反比。Arjovsky & Bottou 指出这会让更新很不稳定。
• WGAN：critic 的估计随 $\theta$ 线性增长，梯度约为 +1，几乎和 $\theta$ 无关——无论离得多远，生成器都收到一个大小合适、方向正确的信号。$\theta$ 大时略有高估（梯度惩罚是软约束，斜率可以略超过 1）。

4.5 对偶有多准？裁剪与梯度惩罚的陷阱

代码 03 第 2 部分：一维里 W1 能精确算（排序），比较四种 critic（64 × 2，2,000 步；括号里是 critic 在 $[-6, 6]$ 上的最大斜率，对偶要求 ≤ 1）：

• 权重裁剪只保证斜率有界，界是多少由 $c$ 和网络结构间接决定：$c = 0.01$ 时斜率只有千分之几，估计值只是 W1 乘上一个未知的小常数；$c = 0.1$ 时斜率超过 2，估计值偏大。Gulrajani et al. 还发现裁剪让 critic 偏向过于简单的函数——于是提出了梯度惩罚。
• 单边梯度惩罚（只惩罚 $\Vert\nabla D\Vert > 1$ 的部分，Petzka et al. 2018）在三对上都接近精确值（略高 4–11%）。
• 双边梯度惩罚在第二对上失败了（0.036 vs 0.753）。这两个分布均值相同，最优 critic 是一条斜率在 +1 和 −1 之间切换的折线。一维里斜率要从 −1 变到 +1 必须经过 0，那里的双边惩罚是 $\lambda$——一道墙。critic 停在一个近似线性的函数上，而均值相同时线性 critic 什么也看不见（§3.4）。

这道墙在训练中会造成什么？ 代码 03 第 3 部分（a）：一维单高斯生成器，WGAN-GP 训练 2,000 步：

（精确的 W1 最小值在 $(-0.874, 1.777)$，W1 = 0.742。）双边惩罚下 $\mu$ 每 500 步左移 1，critic 的估计变成负数——它卡在”左高右低”的斜率上翻不过来，生成器一直被推向左边。可以算出这道墙有多高：线性 critic $f = ax$ 的目标是 $a\Delta - \lambda(|a| - 1)^2$（$\Delta = \mu_{\text{data}} - \mu_G$）。斜率符号错误时（$a < 0$），它在 $a = -1 + \Delta/(2\lambda)$ 处有一个局部最大值；只要 $\Delta < 2\lambda = 20$，critic 就翻不过去（练习 8）。实验里 $\mu = -4$ 时 $\Delta = 3.2$，预测斜率 −0.84，和 critic 实际的斜率一致。二维以上没有这个问题：梯度向量可以在单位圆上连续转动，不必经过零。单边惩罚下生成器从两个初值都走到 W1 的最小值——“盖住两个模式”的宽高斯，和第 9 讲 GAN 的”抓住大模式”相反。

4.6 更稳定、更少模式坍塌？

slide 15：WGAN “训练更稳定，模式坍塌更少”。代码 03 第 3 部分（b）回到第 9 讲会坍塌的设置（8 个 σ = 0.05 的尖高斯，$d_z = 64$），在同样的计算量下比较（每种 3 个种子，3,000 次生成器更新，Adam lr = 1e-3）：

种子 0 的训练过程：

• 判别器每步训练 5 次的 GAN 三个种子都坍塌了，并且一直停在那里（种子 0 的切片 W1 从头到尾约 1.55）：判别器越强，越早把假样本完全拒绝，生成器的梯度失去方向（§4.4）。同样的计算量下，WGAN-GP 三个种子都盖住了 8 个模式。这正是 WGAN 的卖点：critic 可以（也应该）训练得接近最优，而不会让生成器的梯度消失。
• 但判别器每步只训练 1 次时，普通 GAN 在这里也没有坍塌，高质量样本还更多（各模式样本数不均匀，切片 W1 是 WGAN-GP 的 3 倍）。“WGAN 不坍塌、GAN 坍塌”不是一个无条件的结论。
• WGAN critic 估计的 W 随训练单调下降，和切片 W1 大体一起变小（第 1,500 步切片 W1 有一次反弹）：critic 的损失是一个有意义的进度指标；GAN 的 d_loss 和样本质量没有这种对应关系。

5. 推断隐表示 · Inferring latent representations

5.1 问题

slide 16：GAN 的生成器通常是一个有向的隐变量模型，隐变量 $z$、观测 $x$。怎样推断一个 $x$ 的隐表示？

• 和归一化流不同，映射 $G: z \mapsto x$ 不必可逆；
• 和 VAE 不同，没有一个推断网络 $q(\cdot)$ 学习变分后验。

办法 1：对任意 $x$，用判别器倒数第二层的激活作为特征表示。直觉：和有监督的深度网络类似，判别器在区分真假 $x$ 的过程中学到了有用的表示（DCGAN 就用判别器特征做过图像分类）。

5.2 BiGAN

slide 17：如果想直接推断生成器的隐变量 $z$，需要不同的学习算法。普通 GAN 比较的是**$x$ 的样本**（来自生成器和来自数据）。办法 2：比较 $(x, z)$ 的联合样本——来自模型的联合分布和来自数据的”联合分布”。对模型生成的 $x$，我们有它的 $z$（从先验里抽的）；对数据里的 $x$，$z$ 没有观测到——需要一个编码器！

slides 18–19：BiGAN（Donahue, Krähenbühl & Darrell 2017；同期的 ALI，Dumoulin et al. 2017）在生成器之外再加一个编码器网络 $E$：

• 编码器只看 $x \sim p_{\text{data}}$，学一个映射 $E: x \mapsto z$；
• 生成器和以前一样，只看 $z \sim p(z)$，学 $G: z \mapsto x$；
• 判别器 $D$ 观察生成侧的 $(z, G(z))$ 和编码侧的 $(E(x), x)$，目标是最大化这两个联合分布之间的两样本检验统计量；
• 训练结束后，用 $G$ 生成新样本，用 $E$ 推断隐表示。

为什么这样能学到逆映射？ 如果两个联合分布完全相同，那么对编码侧几乎每个 $(E(x), x)$，它也必须”像是”由 $G$ 从 $z = E(x)$ 生成的，即 $x = G(E(x))$——$E$ 和 $G$ 在几乎处处意义下互为逆（Donahue et al. 的定理）。值得注意的是：$E$ 从没见过 $G$ 的输出，$G$ 也从没见过数据的编码，它们完全靠判别器”撮合”。

5.3 实验

代码 04 第 1 部分（8 个高斯的圆环，$z \sim \mathcal{N}(0, I_2)$，8,000 步）：

$G(E(x))$ 落在和 $x$ 同一个模式里的比例是 90.2%（随机 12.5%）。$E$ 和 $G$ 近似地互为逆，但只是近似：同一个模式内部的位置没有精确还原（误差 0.43，每个模式的 σ = 0.25），而且 $E(x)$ 的分布明显比 $\mathcal{N}(0, I)$ 窄——两个联合分布没有完全对上。和 VAE（有显式的重构项）、流（精确可逆）相比，BiGAN 的推断是最”松”的。

6. 跨域翻译 · Translating across domains

6.1 配对与无配对

slide 20：图像到图像的翻译：给两个域 $X$、$Y$ 的图像（比如照片 ↔ 莫奈的画、马 ↔ 斑马、夏天 ↔ 冬天）。配对的例子（同一个场景的照片和画）往往很难获得；能不能无监督地学 $X \leftrightarrow Y$——只有两堆互不对应的图像？

6.2 CycleGAN

slide 21：为了匹配两个分布，学两个参数化的条件生成模型 $G: X \to Y$ 和 $F: Y \to X$。

• $G$ 把 $X$ 的元素映射到 $Y$；判别器 $D_Y$ 比较观测到的 $Y$ 和生成的 $\hat Y = G(X)$。
• $F$ 把 $Y$ 的元素映射到 $X$；判别器 $D_X$ 比较 $X$ 和 $\hat X = F(Y)$。

slide 22：循环一致性——如果能从 $X$ 经 $G$ 到 $\hat Y$，就应该能从 $\hat Y$ 经 $F$ 回到 $X$：$F(G(X)) \approx X$；反过来 $G(F(Y)) \approx Y$。总损失： $\min_{F, G, D_X, D_Y}\mathcal{L}_{\text{GAN}}(G, D_Y, X, Y) + \mathcal{L}_{\text{GAN}}(F, D_X, X, Y) + \lambda\underbrace{\left(\mathbb{E}_X\Vert F(G(X)) - X\Vert_1 + \mathbb{E}_Y\Vert G(F(Y)) - Y\Vert_1\right)}_{\text{循环一致性}}.$ （判别器在 $\mathcal{L}_{\text{GAN}}$ 里做最大化。）slide 23 展示了 CycleGAN 的效果：照片 ↔ 莫奈 / 梵高、马 ↔ 斑马、夏 ↔ 冬。

为什么需要循环一致性？ 只有两个对抗损失时，$G$ 只需要让 $G(X)$ 的整体分布像 $Y$——它可以把所有输入映射到同一张”很像 $Y$“的图（模式坍塌），或者把 $x$ 送到任何一个和 $x$ 毫无关系的 $y$。循环一致性要求 $G$ 保留足够的信息让 $F$ 能还原 $x$，于是 $G$ 必须（近似地）是一个双射。

6.3 实验：循环一致性保证了什么？

代码 04 第 2 部分：$X$ = 双月牙；$Y$ = 把双月牙旋转 90°、缩小到 0.7、平移（真实映射 $T$ 已知，但训练时不给任何配对）。“月牙对应正确” = $x$ 所在的弧被映射到 $Y$ 里”$T$ 下对应”的那条弧上的比例（50% = 随机）：

（两批独立的真实 $Y$ 样本之间的切片 W1 = 0.018；$Y$ 里两条弧相距约 1 个单位。）

• 只有两个 GAN：分布能对上，但循环误差 1.3–2.5，和数据本身的尺度相当——$G$ 和 $F$ 各学各的，没有理由互为逆。有意思的是月牙对应也有 82–84%：平滑的小网络倾向于保持”谁和谁挨着”，这是网络结构的归纳偏置，不是目标函数的要求。
• 加上循环一致性：循环误差降到 0.02，$G$ 近似是一个双射。但它是不是真实的那个 $T$？两个种子的月牙对应是 88% 和 66%，$\Vert G(x) - T(x)\Vert$ 仍有 0.6–0.9。循环一致性只保证”可逆”，不保证”语义正确”：把两条弧部分对调、沿弧方向翻转，同样循环一致、同样分布匹配。无配对的翻译本质上是不唯一的（练习 9）；CycleGAN 在图像上”看起来对”，靠的是卷积网络倾向于保持空间结构这类归纳偏置。

6.4 AlignFlow

slide 24（Grover, Chute, Shu, Cao & Ermon 2020）：如果 $G$ 是一个流模型呢？ 不需要单独参数化 $F$：$F = G^{-1}$。可以用最大似然和 / 或对抗学习训练。精确地循环一致：$F(G(X)) = X$，$G(F(Y)) = Y$。

具体做法：两个流 $f_X$、$f_Y$ 共享一个隐空间 $Z$（比如 $\mathcal{N}(0, I)$），$G = f_Y \circ f_X^{-1}$，$F = f_X \circ f_Y^{-1}$。代码 04 第 3 部分只用最大似然分别训练两个 RealNVP：循环误差 $1.8 \times 10^{-15}$（舍入误差），分布匹配是三者中最好的（0.016，和两批真实样本之间的 0.018 相当）——可月牙对应正确只有 38.5%，大多数点被送到了”另一条”弧上。两个流各自把数据映射到高斯，隐空间里”$X$ 的哪部分对应 $Y$ 的哪部分”是任意的（例如把隐空间旋转一下，得到的映射同样精确可逆、同样分布匹配，练习 10）。精确的可逆性和精确的分布匹配，都不能代替”哪个对应哪个”的信息——AlignFlow 论文里的对抗项和共享结构正是为了引入这种偏置。

6.5 StarGAN

slides 25–27（Choi et al. 2018）：如果有多个域呢（比如人脸的发色、性别、年龄、表情）？为每一对域训练一个 CycleGAN 需要 $K(K-1)$ 个生成器。StarGAN 只用一个生成器 $G(x, c)$，把目标域标签 $c$ 作为额外的输入；判别器除了判断真假，还要分类图像属于哪个域（辅助分类器）；循环一致性变成 $G(G(x, c), c') \approx x$（$c'$ 是原来的域）。slides 26–27 展示了在 CelebA（发色、性别、年龄）和 RaFD（表情）上的多域翻译。

7. GAN 小结 · Summary of GANs

slide 28：

• 关键观察：样本和似然在实践中并不相关（第 9 讲 §2）。
• 两样本检验的目标让我们只通过样本学习生成模型（likelihood-free）。
• 两样本检验目标的范围很广，覆盖 $f$-散度和 Wasserstein 距离（以及更多）。
• 隐表示可以通过 BiGAN 推断。
• 循环一致的跨域翻译：CycleGAN、AlignFlow、StarGAN。

把第 9、10 讲的实验放在一起看，还可以补充三点：判别器的容量和训练程度决定了生成器”看见”的距离（§3.4、§3.7、§4.5）；GAN 实际优化的目标常常不是它名义上的散度（非饱和损失、minimax 的局部最小）；没有似然，评估只能靠一组各有盲点的样本统计量。

8. 2023 年之后 · Since 2023

• 散度的选择在偏好对齐里再次出现。 大语言模型的 RLHF / DPO 默认用反向 KL 把策略约束在参考模型附近；Beyond Reverse KL: Generalizing Direct Preference Optimization with Diverse Divergence Constraints（f-DPO，Wang et al., ICLR 2024）把它推广到一般的 $f$-散度，发现不同的 $f$ 在”对齐程度”和”生成多样性”之间做出不同的取舍——本讲 §2.3、§3.7 的模式覆盖 / 模式寻找，换了一个舞台。
• 最优传输进入了流匹配。 Wasserstein 距离背后的最优传输思想被用来给流匹配挑选更好的噪声–数据配对（OT-CFM / minibatch OT，Tong et al. 2023；以及整流 Rectified Flow），让学到的轨迹更直、采样步数更少（第 16 讲）。
• 无配对翻译转向扩散模型。 SDEdit（Meng et al. 2022）在加噪后用目标域的扩散模型去噪；DDIB（Dual Diffusion Implicit Bridges，Su, Song, Meng & Ermon, ICLR 2023）用源域扩散模型的确定性 ODE 把图像编码到噪声、再用目标域模型的 ODE 解码——这正是 AlignFlow 的思路（两个可逆映射共享一个隐空间），循环一致性同样是精确的；薛定谔桥（如 I²SB，Liu et al. 2023）则直接学两个分布之间的随机桥。§6.4 的教训依然适用：共享隐空间并不自动带来语义对应。
• 对抗损失作为一个”项”：第 9 讲 §8 提到的对抗蒸馏、自编码器的对抗损失里，判别器常常配合梯度惩罚（R1 正则，Mescheder et al. 2018）使用——它和本讲的 WGAN-GP 一脉相承：约束判别器的梯度，让生成器收到平滑的信号。

9. 小结 · Summary

1. $f$-散度 $D_f(p, q) = \mathbb{E}_q[f(p/q)]$（$f$ 凸、下半连续、$f(1) = 0$）是一个家族：前向 KL、Pearson χ² 偏向盖住所有模式，反向 KL、Hellinger、JS 偏向抓住部分模式。直接用它训练需要未知的密度比。
2. 凸共轭 $f^*(t) = \sup_u(ut - f(u))$，$f^{**} = f$，给出变分下界 $D_f \geq \sup_T\mathbb{E}_p[T] - \mathbb{E}_q[f^*(T)]$，最优 $T^* = f'(p/q)$——只需要样本。$f$-GAN：判别器收紧下界，生成器最小化它；原始 GAN 是 $f_{\text{GAN}}$ 的特例。判别器的容量决定了下界有多紧（线性 $T$ 看不见同均值的差别）。
3. 一维实验：前向 KL、Pearson、反向 KL 的 $f$-GAN 找到各自的全局最小；JS、Hellinger、原始 GAN（minimax 形式）停在宽高斯的局部最小；全变差发散。非饱和损失在最优判别器下的梯度是 $\nabla[D_{\mathrm{KL}}(p_G \Vert p_{\text{data}}) - 2D_{\mathrm{JSD}}]$（数值验证到 $10^{-13}$），多出来的反向 KL 让它更偏向抓住一个模式。二维的流生成器：$f$ = KL 模式覆盖、$f$ = 反向 KL 模式寻找，都远不如最大似然。
4. 支撑集不相交时 $f$-散度失效（KL = ∞、JS = log 2，与距离无关）。Wasserstein-1 $= \inf_\gamma\mathbb{E}\Vert x - y\Vert$ 平滑；KR 对偶 $= \sup_{\Vert f\Vert_L \leq 1}\mathbb{E}_p f - \mathbb{E}_q f$。WGAN 的 critic 可以训练到接近最优而不让梯度消失；平行线实验中梯度恒约为 1。
5. Lipschitz 约束的实现有陷阱：权重裁剪只给出”有界”而非”≤ 1”；双边梯度惩罚在一维里形成”墙”（critic 翻不过去，生成器一直漂移），单边惩罚没有这个问题。
6. BiGAN 匹配联合分布 $(x, E(x))$ 与 $(G(z), z)$，得到近似的逆映射（重构误差 0.43 vs 随机 2.58）。
7. CycleGAN 用两个对抗损失 + 循环一致性做无配对翻译；循环一致性保证近似可逆（误差 0.02），不保证语义正确（月牙对应 66–88%）。AlignFlow 精确可逆、分布匹配最好，但对应关系任意（38.5%）。