第 2 讲：已知模型的规划——MDP、贝尔曼方程、策略迭代与价值迭代

对应：Stanford CS234 Lecture 2（Making Good Decisions Given a Model of the World / Tabular MDP Planning） 配套代码：code/lecture02/ 预计阅读时间：4–5 小时（第一遍通读 2 小时，第二遍推导证明 + 跑代码 2–3 小时）

0. 本讲导航

0.1 本讲要回答的问题

如果我完全知道世界如何运转（转移概率 $P$ 和奖励 $R$ 都已知），怎样找到最优的决策方式？

这叫**规划（planning）**问题。你可能会疑惑：RL 不是讲”从经验中学习”吗？为什么要花一整讲研究”模型已知”的情况？有四个理由：

1. 规划是学习的子程序。一种很自然的 RL 方法是”先从数据中学出模型，再在模型上做规划”（基于模型的 RL）。不会规划，这条路就走不通。
2. 概念是通用的。本讲引入的价值函数 $V^\pi$、动作价值 $Q^\pi$、贝尔曼方程、策略改进，是后面所有无模型算法（TD、Q-learning、DQN、策略梯度、PPO）的理论骨架。Q-learning 本质上就是”不知道模型时的价值迭代”。
3. 很多现实问题的模型确实已知：棋类游戏的规则、库存系统的供需统计、物理仿真器……
4. 理论干净：在已知模型下，我们能严格证明算法收敛、找到的策略是最优的。这些证明中的思想（比如压缩映射）会反复出现。

0.2 学完本讲，你应该能够

1. 写出 MDP 的定义 $(S, A, P, R, \gamma)$，并能把一个简单的现实问题建模成 MDP。
2. 解释为什么”MDP + 固定策略 = MRP”，并计算 $P^\pi$ 和 $R^\pi$。
3. 写出贝尔曼期望方程，用迭代法和解析法做策略评估。
4. 定义动作价值函数 $Q^\pi(s,a)$，说清它和 $V^\pi(s)$ 的关系，以及它为什么是”改进策略”的关键。
5. 写出贝尔曼最优方程，解释为什么存在一个在所有状态上同时最优的确定性策略。
6. 陈述并证明策略改进定理，写出策略迭代算法并解释它为什么一定终止于最优策略。
7. 写出价值迭代算法，证明贝尔曼最优算子是压缩映射，推导停止准则。
8. 比较策略迭代与价值迭代的优缺点；理解有限视界下最优策略为什么是”非平稳”的。
9. 通过网格世界的例子，理解奖励设计和折扣因子如何决定”最优”的含义。

0.3 先修知识

0.4 第 1 讲回顾（30 秒版）

• MRP $(S, P, R, \gamma)$：状态按 $P$ 随机转移，每个状态给奖励 $R(s)$，没有动作。
• 回报 $G_t = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \cdots = r_t + \gamma G_{t+1}$。
• 价值 $V(s) = \mathbb{E}[G_t \mid s_t = s]$。
• MRP 贝尔曼方程 $V(s) = R(s) + \gamma \sum_{s'} P(s' \mid s) V(s')$，矩阵形式 $V = R + \gamma P V$。
• 三种求法：蒙特卡洛（采样平均）、解析解 $V = (I - \gamma P)^{-1} R$、迭代法 $V_k = R + \gamma P V_{k-1}$（每次误差缩小到 $\gamma$ 倍）。

0.5 本讲地图

第1节 MDP：在 MRP 上加入"动作"
   │
第2节 策略：智能体如何选择动作
   │
第3节 关键观察：MDP + 固定策略 = MRP  ──────────►  第1讲的方法全都能用
   │
第4节 策略评估：这个策略有多好？（V^π）
   │
第5节 动作价值 Q^π：每个动作有多好？
   │
第6节 最优性：什么叫"最好的策略"？贝尔曼最优方程
   │
   ├──► 第7节 策略迭代：评估 → 改进 → 评估 → 改进 ……
   │
   └──► 第8节 价值迭代：直接逼近最优价值；压缩映射
          │
第9节 两者对比   第10节 网格世界：奖励如何塑造策略   第11节 从规划走向学习

1. 马尔可夫决策过程（MDP）

1.1 从 MRP 到 MDP：把选择权交给智能体

第 1 讲的火星车只会”随机游走”——它不做任何决定，我们只能旁观它会拿到多少奖励。这就像评价一个”掷骰子决定去哪”的人。

现在我们让火星车自己选择向左还是向右。一旦有了选择，问题就从”预测会怎样”变成了”决定该怎样”。这就是 MDP：

加入动作后，转移概率和奖励都依赖于所选的动作：同一个位置，向左走和向右走会到达不同的地方。

1.2 定义

马尔可夫决策过程是一个五元组 $(S, A, P, R, \gamma)$：

• $S$：有限的状态集合；
• $A$：有限的动作集合；
• $P$：转移模型，$P(s' \mid s, a) = \Pr(s_{t+1} = s' \mid s_t = s, a_t = a)$；
• $R$：奖励函数，$R(s, a) = \mathbb{E}[\,r_t \mid s_t = s, a_t = a\,]$；
• $\gamma \in [0, 1]$：折扣因子。

马尔可夫性体现在：下一个状态只取决于当前状态和当前动作，与更早的历史无关。

和 MRP 的对比：MRP 的 $P$ 是一张 $N \times N$ 的表；MDP 的 $P$ 是 $|A|$ 张这样的表——每个动作一张。可以把 MDP 想象成”一个遥控器上有 $|A|$ 个按钮，每个按钮对应一个不同的马尔可夫链，智能体每一步可以选择按哪个按钮”。

1.3 火星车 MDP

沿用第 1 讲的火星车，现在它有两个动作：

• 状态：$s_1, \dots, s_7$
• 动作：TryLeft（尝试向左）、TryRight（尝试向右）
• 转移：以 0.8 的概率朝想去的方向移动一格，以 0.2 的概率打滑原地不动；撞墙也原地不动
• 奖励：$R(s_1, \cdot) = 1$，$R(s_7, \cdot) = 10$，其余为 0（本例中奖励只取决于状态，与动作无关）

两个动作的转移矩阵（行 = 当前状态，列 = 下一状态）：

注意左上角和右下角的 1.0：在 $s_1$ 向左、在 $s_7$ 向右会撞墙，“成功”和”打滑”都是原地不动，概率加起来是 1。

代码对应：01_mdp_basics.py 的 build_mars_rover_mdp。注意其中用的是 P[s, a, target] += ... 而不是 =——撞墙时两部分概率落在同一格，必须累加。这是一个很典型的隐蔽 bug。

1.4 奖励的几种写法

不同教材对奖励的写法不同，初学者容易混淆。其实它们可以互相转换：

它们的关系：$R(s, a) = \sum_{s'} P(s' \mid s, a)\, R(s, a, s')$（对下一状态取期望）。所有算法只需要 $R(s, a)$ 这个期望值，所以本讲统一使用 $R(s, a)$。

1.5 用 MDP 建模现实问题

建模本身就是一门艺术：状态选多少信息（回忆第 1 讲 3.5 节的马尔可夫性权衡）、动作粒度多细、奖励怎么设计（第 10 节会看到奖励的微小改变如何彻底改变最优策略）——这些决定往往比算法选择更影响最终效果。

1.6 MDP 在代码中的样子

合法性检查：P 非负，且对每一对 $(s, a)$，P[s, a].sum() == 1（代码中的 check_mdp）。

2. 策略

2.1 确定性策略与随机策略

策略 $\pi$ 规定了智能体在每个状态下如何选择动作：

• 确定性策略：$\pi(s) = a$，每个状态对应一个固定的动作。代码中是长度 $N$ 的整数数组。
• 随机策略：$\pi(a \mid s) = \Pr(a_t = a \mid s_t = s)$，每个状态对应一个动作的概率分布。代码中是 $(N, A)$ 的矩阵，每行和为 1。

确定性策略是随机策略的特例（选中的动作概率为 1，其余为 0，即”独热编码”）。代码中统一转换成 $(N, A)$ 矩阵，后续算法只需写一个版本（deterministic_to_stochastic 函数）。

2.2 平稳策略

本讲的策略都是平稳的（stationary）：只看当前状态，不看”现在是第几步”，也不看历史。

你可能会问：会不会存在一种”看历史”或”看时间”的策略，比所有平稳策略都好？对于无限视界、有折扣的 MDP，答案是不会——可以证明一定存在一个平稳、确定性的最优策略（6.1 节解释直觉）。这让我们可以放心地只在平稳确定性策略中寻找。

但对有限视界问题，最优策略通常依赖剩余步数（8.7 节会看到），是非平稳的。

2.3 策略一共有多少个？

每个状态独立地从 $|A|$ 个动作中选一个，所以确定性策略一共有 $|A|^{|S|}$ 个：

指数增长意味着：除了极小的问题，挨个试遍所有策略是不可能的。这就是我们需要聪明算法的原因。

3. 关键观察：MDP + 固定策略 = MRP

3.1 推导

一旦把策略 $\pi$ 固定下来，“选哪个动作”就不再是决策，而只是一个已知的随机过程——和”掷骰子”没有区别。于是可以把动作的随机性”平均掉”：

直觉：从 $s$ 到 $s'$ 有好几条”路”——通过不同的动作。每条路的概率 = “选这个动作的概率” × “这个动作把你带到 $s'$ 的概率”。把所有路加起来就是总概率（全概率公式）。

对确定性策略，求和只剩一项：$R^\pi(s) = R(s, \pi(s))$，$P^\pi(s' \mid s) = P(s' \mid s, \pi(s))$——直接”挑出”所选动作对应的那一行。

于是 $(S, P^\pi, R^\pi, \gamma)$ 就是一个标准的 MRP。

3.2 两个例子

例 1：一直向右。每个状态都选 TryRight，所以 $P^\pi$ 就是 TryRight 那张转移矩阵，$R^\pi = [1, 0, 0, 0, 0, 0, 10]$。

例 2：随机策略（每个状态以 0.5 的概率选每个动作）。计算 $P^\pi$ 的第 4 行（从 $s_4$ 出发）：

• 到 $s_3$：$0.5 \times 0.8$（选左且成功）$= 0.4$
• 到 $s_5$：$0.5 \times 0.8$（选右且成功）$= 0.4$
• 留在 $s_4$：$0.5 \times 0.2 + 0.5 \times 0.2$（两个动作各自打滑）$= 0.2$

即 $[0, 0, 0.4, 0.2, 0.4, 0, 0]$——这恰好就是第 1 讲的火星车马尔可夫链！ 第 1 讲那个”随机游走”的火星车，其实就是在这个 MDP 中执行随机策略。这也解释了一个现象：第 4 节计算出的随机策略价值，会和第 1 讲 $\gamma = 0.9$ 时 MRP 的价值完全相同。

3.3 为什么这个观察这么重要？

因为它意味着：评估 MDP 中的一个策略 = 计算一个 MRP 的价值。第 1 讲学过的所有方法（蒙特卡洛、解析解、迭代法）都可以直接拿来用，不需要任何新工具。

代码对应：01_mdp_basics.py 的 mdp_to_mrp_loop（for 循环教学版）和 mdp_to_mrp（np.einsum 实用版），演示中验证了两者结果完全一致。

4. 策略评估：这个策略有多好？

4.1 状态价值函数 $V^\pi$

策略 $\pi$ 的状态价值函数：

下标 $\pi$ 表示”动作按策略 $\pi$ 选择”。它回答：“从 $s$ 出发、一直按 $\pi$ 行动，平均能拿到多少折扣回报？”

策略评估（policy evaluation） 就是计算 $V^\pi$。

4.2 贝尔曼期望方程

由于 MDP + $\pi$ = MRP，第 1 讲的 MRP 贝尔曼方程直接适用，只需把 $R, P$ 换成 $R^\pi, P^\pi$：

把 $R^\pi, P^\pi$ 的定义代进去，得到更”原始”的形式：

逐项解读：

• 方括号里：如果在 $s$ 选了动作 $a$，价值 = 即时奖励 + 折扣后的”下一状态的平均价值”；
• 外面的 $\sum_a \pi(a \mid s)$：按策略对各个动作的价值取平均。

这叫贝尔曼期望方程（“期望”指的是对动作按 $\pi$ 取期望）。

4.3 迭代策略评估与”贝尔曼备份”

用第 1 讲的迭代法：从 $V_0 = 0$ 开始，反复套用贝尔曼期望方程：

算法：迭代策略评估
1. V_0(s) = 0，对所有 s
2. 对 k = 1, 2, ... 重复：
3.     对每个状态 s：
4.         V_k(s) = Σ_a π(a|s) [ R(s,a) + γ Σ_s' P(s'|s,a) V_{k-1}(s') ]
5.     如果 max_s |V_k(s) - V_{k-1}(s)| < 容差，停止

第 4 行这个操作叫贝尔曼备份（Bellman backup）。为什么叫”备份”？画成一棵树就明白了：

                        s              ← 要更新的状态（根）
                      ╱   ╲
              π(a₁|s)╱     ╲π(a₂|s)    ← 按策略对动作取平均
                   ╱         ╲
                 a₁           a₂       ← 每个动作：R(s,a) + γ × (下一状态的平均价值)
               ╱ │ ╲        ╱ │ ╲
              s'  s'  s'   s'  s'  s'  ← 叶子：已知的 V_{k-1}(s')

信息从叶子（后继状态）往回流到根——把”未来的价值”备份到”现在的状态”上。

4.4 手算例子：一直向右，$\gamma = 0.9$

从 $V_0 = 0$ 开始。

第 1 次备份：$V_1(s) = R(s, \texttt{Right}) + 0.9 \times (\text{下一状态平均价值} = 0)$，所以 $V_1 = R^\pi = [1, 0, 0, 0, 0, 0, 10]$。

第 2 次备份，以 $s_6$ 和 $s_7$ 为例：

第 3 次备份，以 $s_5$ 为例：

完整结果：

观察：+10 的”消息”每迭代一次向左传播一格。$V_2$ 时 $s_6$ 才”知道”右边有 +10，$V_3$ 时 $s_5$ 才知道。这就是”备份”的物理含义：价值从后继状态一步步往回流。

验算 $V^\pi(s_7) = 100$：在 $s_7$ 一直向右就是一直撞墙待在 $s_7$，每步 +10，总价值 $\frac{10}{1 - 0.9} = 100$ ✓。

4.5 三个策略的价值（$\gamma = 0.9$）

几个值得思考的现象：

1. 随机策略这一行和第 1 讲 MRP 在 $\gamma = 0.9$ 时的价值一模一样——正如 3.2 节所说，它们是同一个马尔可夫链。
2. 一直向右在每一个状态都是最好的，连 $s_1$ 都是：在 $s_1$ 原地拿 +1 的总价值只有 $\frac{1}{1-0.9} = 10$，而花大约 $6/0.8 = 7.5$ 步走到 $s_7$ 后每步拿 +10，折扣后仍有 47.05。
3. 一直向左时 $V(s_7) = 16.78 > V(s_1) = 10$：尽管策略是向左走，但在 $s_7$ 至少能拿一次 +10（还可能因打滑多拿几次），这比 $s_1$ 的”每步 +1”开局更好。

4.6 同步更新 vs 原地更新

上面的算法是同步更新：用上一轮的 $V_{k-1}$ 计算所有状态的 $V_k$，需要两份数组。

另一种是原地更新（in-place，也叫 Gauss–Seidel 式）：只用一份数组，按某个顺序逐个更新状态，更新 $s$ 时立刻使用本轮已更新过的其他状态的新值。两种方式收敛到同一个 $V^\pi$。

更新顺序很重要。对”一直向右”策略，只迭代 1 轮后的结果：

从右往左扫时，先算出 $s_7$ 的新值，马上用它算 $s_6$，再用 $s_6$ 的新值算 $s_5$……一轮之内 +10 的信息就传遍了所有状态。

但一个反直觉的实验结果：三种方式收敛到 $10^{-10}$ 精度所需的总轮数完全相同（都是 242 轮）。原因是 $s_7$ 的自环：$V(s_7) \leftarrow 10 + 0.9\, V(s_7)$，它自己每轮只能把误差缩小到 0.9 倍，与更新顺序无关——总轮数被最慢收敛的部分卡住了。

教训：“信息传播得快”和”总体收敛得快”是两回事。原地更新在很多问题上确实能加速（尤其是没有强自环的问题），但不是万能的。

代码对应：02_policy_evaluation.py 的 policy_evaluation_iterative（参数 in_place 和 order）。

4.7 解析解

同样可以直接解线性方程组：

代码中用 np.linalg.solve，计算量 $O(|S|^3)$，要求 $\gamma < 1$。在状态数不太大时（几千以内），这是最精确、最省事的策略评估方法。

5. 动作价值函数 $Q^\pi$

5.1 定义与直觉

含义：在状态 $s$ 先执行动作 $a$（不管 $\pi$ 在 $s$ 会选什么），之后一直按 $\pi$ 行动，所能获得的期望回报。

直觉：$V^\pi(s)$ 回答”这个状态有多好”，$Q^\pi(s, a)$ 回答”在这个状态做这个动作有多好”。前者给状态打分，后者给”状态–动作对”打分。

一个类比：你在下棋，按照你一贯的风格（策略 $\pi$）下，当前局面的胜率是 $V^\pi(s)$。现在你考虑”这一步走个不寻常的招法 $a$，之后再回到我的风格”，此时的胜率就是 $Q^\pi(s, a)$。

5.2 $V$ 与 $Q$ 的关系

两者可以互相表示：

对确定性策略，第一个式子简化为 $V^\pi(s) = Q^\pi(s, \pi(s))$。

把第二个式子代入第一个，就回到了贝尔曼期望方程；把第一个代入第二个，得到 $Q$ 的贝尔曼期望方程：

5.3 例子：$Q^\pi$ 揭示了哪里可以改进

对”一直向左”策略（$\gamma = 0.9$）计算 $Q^\pi$：

验算一个：$Q^\pi(s_6, \texttt{Right}) = 0 + 0.9 \times (0.2 \times V^\pi(s_6) + 0.8 \times V^\pi(s_7)) = 0.9 \times (1.044 + 13.424) = 13.02$ ✓。

关键观察：在 $s_6$ 和 $s_7$，$Q^\pi(s, \texttt{Right}) > V^\pi(s)$。也就是说，在这两个状态”偏离一次策略、改成向右”会更好。自然的想法是：把这两个状态的动作改成向右，得到一个新策略——它会更好吗？第 7 节的策略改进定理会给出肯定的回答。

有趣的是，在 $s_1$ 到 $s_5$，向右的 $Q$ 值反而更低——因为 $Q^\pi$ 假设”之后仍按一直向左走”，向右走一步然后又被策略拉回来向左，白白浪费了时间。只有 $s_6$、$s_7$ “看得见” $s_7$ 的 +10。

5.4 为什么 $Q$ 如此重要？

$Q$ 让”比较动作”变得直接：在状态 $s$ 选 $\arg\max_a Q(s, a)$ 就是选最好的动作。

对比一下，如果只有 $V$，要在状态 $s$ 选最好的动作，你得计算 $\arg\max_a \left[R(s,a) + \gamma \sum_{s'} P(s' \mid s, a) V(s')\right]$——这需要知道模型 $P$ 和 $R$。而有了 $Q$，直接 $\arg\max_a Q(s, a)$ 即可，完全不需要模型。

这就是为什么第 4 讲的无模型控制算法（SARSA、Q-learning）都选择直接学习 $Q$ 而不是 $V$：在不知道模型的情况下，只有 $Q$ 能直接告诉你该怎么做。

6. 最优性：什么叫”最好的策略”？

6.1 比较策略

两个策略怎么比较？一个自然的定义是：

这个定义很严格：要求在每一个状态都不差。于是出现一个疑问：会不会有两个策略，$\pi$ 在 $s_1$ 更好、$\pi'$ 在 $s_2$ 更好，谁也不比谁强？那”最优策略”岂不是不存在？

MDP 理论中的一个核心定理：对于有限状态、有限动作、无限视界、$\gamma < 1$ 的 MDP，一定存在一个确定性、平稳的策略 $\pi^*$，它在每一个状态上都同时达到最优：

为什么这是对的？直觉来自马尔可夫性：从状态 $s$ 出发怎样最好，只取决于 $s$ 本身，与”你是怎么来到 $s$ 的”无关。所以，对每个状态分别找到”从这里出发的最好做法”，把它们拼在一起，不会产生矛盾——在 $s$ 的最好做法里，如果路过 $s'$，接下来应该做的恰好就是”从 $s'$ 出发的最好做法”。（这就是 Bellman 的最优性原理：最优策略的任何”尾巴”本身也是最优的。）

代码验证：03_policy_iteration.py 的演示 3 暴力枚举了火星车全部 128 个确定性策略。对每个状态分别在 128 个策略中取价值的最大值，结果恰好等于同一个策略（一直向右）在各状态的价值：

	$s_1$	$s_2$	$s_3$	$s_4$	$s_5$	$s_6$	$s_7$
$\max_\pi V^\pi(s)$（逐状态取最大）	47.05	52.19	59.44	67.69	77.10	87.80	100.00
$V^{\pi^*}(s)$（一个策略）	47.05	52.19	59.44	67.69	77.10	87.80	100.00

注意：最优价值 $V^*$ 是唯一的，但最优策略不一定唯一——如果某个状态有两个动作一样好，选哪个都是最优的。

6.2 最优价值函数

$Q^*(s, a)$ 的含义：“在 $s$ 先做 $a$，之后一直按最优方式行动”的期望回报。

6.3 贝尔曼最优方程

最优价值满足一组特殊的方程。直觉推导：最优地行动，意味着在当前状态选最好的动作，之后也继续最优地行动：

与贝尔曼期望方程的唯一区别：对动作是”按策略取平均” $\sum_a \pi(a \mid s)[\cdots]$ 还是”取最大” $\max_a [\cdots]$。

为什么不能像第 1 讲那样用矩阵求逆？ 因为 $\max$ 不是线性运算：$\max(a+b) \ne \max(a) + \max(b)$。这就是我们需要本讲两个迭代算法的根本原因。

6.4 从 $V^*$ 或 $Q^*$ 读出最优策略

一旦有了最优价值，最优策略就是”贪心地”选最好的动作：

所以问题转化为：如何求出 $V^*$ 或 $Q^*$？

6.5 暴力搜索为什么不行

最直接的办法：评估所有 $|A|^{|S|}$ 个确定性策略，挑最好的。火星车可以（128 个），但 2.3 节的表已经说明，稍大一点的问题就完全不可行。我们需要只评估少数策略就能找到最优的方法。

7. 策略迭代（Policy Iteration）

7.1 直觉：复盘，然后改进

想象你是一名棋手，想提高棋艺：

1. 评估：按照你现在的下法（策略 $\pi$）下很多盘棋，搞清楚每个局面下你的胜率（$V^\pi$）。
2. 改进：复盘每个局面，问自己”如果这一步换一种下法，之后照旧，胜率会不会更高？“（比较 $Q^\pi(s, a)$）。把所有能改进的地方都改掉，得到新的下法 $\pi'$。
3. 重复，直到”复盘时发现没有任何一步可以改进”为止。

这就是策略迭代。

7.2 策略改进步

给定当前策略 $\pi_i$ 及其价值 $V^{\pi_i}$，对每个状态计算 $Q^{\pi_i}(s, a)$，然后贪心地选择：

注意这里有一个”大胆的”操作：$Q^{\pi_i}(s, a)$ 衡量的是”只在 $s$ 这一步换成 $a$，之后仍按 $\pi_i$“的价值。但 $\pi_{i+1}$ 是在所有状态、所有时刻都换掉了。凭什么保证这样整体上更好？这需要一个定理。

7.3 策略改进定理

定理：设 $\pi_{i+1}$ 是对 $Q^{\pi_i}$ 贪心得到的策略。那么对所有状态 $s$： $V^{\pi_{i+1}}(s) \ge V^{\pi_i}(s)$

证明（CS234 课上的证明，请逐行理解）：

第一步，贪心选择意味着新动作的 $Q$ 值不低于旧动作的 $Q$ 值（旧动作的 $Q$ 值就是 $V^{\pi_i}$）：

第二步，把 $Q^{\pi_i}(s, \pi_{i+1}(s))$ 展开。为书写简洁，记 $a^* = \pi_{i+1}(s)$：

所以：

第三步，再把 $Q^{\pi_i}(s', \pi_{i+1}(s'))$ 展开，里面又出现 $V^{\pi_i}(s'')$，再用第一步放大……每展开一次，“按 $\pi_{i+1}$ 行动”的步数就多一步，而剩下的 $V^{\pi_i}$ 被 $\gamma^k$ 压得越来越小：

第四步，令 $k \to \infty$，$\gamma^k V^{\pi_i}(s_{t+k}) \to 0$（因为 $\gamma < 1$ 且 $V$ 有界），右边恰好变成”从 $s$ 出发一直按 $\pi_{i+1}$ 行动的期望回报”：

证明的直觉：如果”只在第一步用新策略、之后用旧策略”不比旧策略差，那么”前两步用新策略”也不比”只第一步用新策略”差（因为第二步所在的状态上，新策略的选择同样不差），以此类推，“一直用新策略”当然也不差。每多用一步新策略，只会更好或持平。

代码验证：03_policy_iteration.py 的演示 2 对每一步都检查了不等式链 $V^{\pi}(s) \le \max_a Q^{\pi}(s,a) \le V^{\pi'}(s)$，并打印每个状态的提升量——全部 $\ge 0$。

7.4 算法

算法：策略迭代
1. 任意初始化策略 π_0（例如全部选动作 0）
2. 对 i = 0, 1, 2, ... 重复：
3.     策略评估：计算 V^{π_i}（解析解或迭代法）
4.     计算 Q^{π_i}(s,a) = R(s,a) + γ Σ_s' P(s'|s,a) V^{π_i}(s')
5.     策略改进：π_{i+1}(s) = argmax_a Q^{π_i}(s,a)
6.     如果 π_{i+1} == π_i，停止，返回 π_i 和 V^{π_i}

一个实现细节：平局怎么处理？ 如果某个状态有多个动作的 $Q$ 值相等，随便选一个在理论上都可以。但如果每次随机选，策略可能在”同样好的动作”之间来回切换，导致第 6 行的停止条件迟迟满足不了。

03_policy_iteration.py 的演示 5 构造了一个有两个完全相同动作（→ 和 →‘）的 MDP：

• 正确做法（平局时保留旧动作）：7 次评估后停止；
• 错误做法（平局时随机选）：216 次评估后才碰巧停下——价值早就最优了，策略却在 → 和 →’ 之间乱跳。7 个状态每个都有 2 个等价动作，随机选时恰好不变的概率只有 $(1/2)^7 = 1/128$。

规则：只有当某个动作严格更好时才改变策略。

7.5 为什么一定终止？终止时为什么一定最优？

终止性：

1. 由策略改进定理，每次迭代 $V^{\pi_{i+1}} \ge V^{\pi_i}$。
2. 如果策略改变了（按上面的平局规则，意味着某个状态有严格更好的动作），那么至少在那个状态上是严格提升的，所以不可能回到以前的任何策略（以前的策略价值都更低）。
3. 确定性策略只有有限个（$|A|^{|S|}$ 个），不能重复，所以最多 $|A|^{|S|}$ 次迭代就一定停止。

这是一个很松的上界。实践中策略迭代通常只需要很少的迭代次数（火星车 128 个策略中只评估了 7 个）。理论研究也已证明，对固定的 $\gamma$，所需迭代次数有关于 $|S|$ 和 $|A|$ 的多项式上界。

最优性：停止时 $\pi_{i+1} = \pi_i$，即对每个状态 $\pi_i(s) = \arg\max_a Q^{\pi_i}(s, a)$，于是：

这正是贝尔曼最优方程！而贝尔曼最优方程的解是唯一的（第 8 节的压缩映射会证明这一点），所以 $V^{\pi_i} = V^*$，$\pi_i$ 是最优策略。

另一个有用的推论：一旦策略不再改变，它就永远不会再改变——因为下一次评估得到的是同一个 $V$，改进得到的也是同一个策略。

7.6 火星车上的完整过程

从”一直向左”出发，$\gamma = 0.9$：

$\pi_6$ 改进后不再变化，算法停止。

解读：

• 第一次改进只改了 $s_6$ 和 $s_7$——这正是 5.3 节 $Q^\pi$ 表格揭示的”可以改进的地方”。
• 改进是从右往左、一次一个状态地推进的。原因：在 $\pi_1$ 下，$s_5$ 向右会到达 $s_6$，而 $s_6$ 现在的价值很高（87.80），所以 $s_5$ 发现向右更好；但 $s_4$ 向右只会到达 $s_5$，而 $s_5$ 在 $\pi_1$ 下还在向左，价值仍低……要等 $s_5$ 改好了，$s_4$ 才会跟着改。
• 这是这个问题的”最坏情况”：7 个状态，恰好 7 次评估。如果从其他策略出发，次数会少得多（代码演示 4 中，随机初始策略分别用了 7、3、2 次评估）。

7.7 $\gamma$ 改变最优策略

解读：$\gamma$ 小（短视）时，靠近 $s_1$ 的状态宁可去拿近在咫尺的 +1，也不愿长途跋涉去拿遥远的 +10——因为远处的 +10 被打了太多折扣。$\gamma$ 大（有耐心）时，所有状态都愿意去 $s_7$。

“最优”是相对于 $\gamma$ 而言的。$\gamma$ 不是算法的”超参数”，而是问题定义的一部分：它刻画了你有多在乎未来。

8. 价值迭代（Value Iteration）

8.1 动机：两个角度

策略迭代的每一轮都要完整地评估当前策略（解一个线性方程组，或迭代到收敛）。这有点”浪费”：刚开始时策略很差，花大力气把一个很差的策略评估得非常精确，意义不大。

角度一：截断的策略迭代。能不能策略评估只做一步备份，就马上改进？把”评估一步”和”改进”合并成一个操作：

这就是价值迭代。它不维护显式的策略，直接逼近 $V^*$。

角度二：有限视界的动态规划。设 $V_k(s)$ 表示”只剩 $k$ 步时，从 $s$ 出发的最优价值”：

• 剩 0 步：什么都拿不到，$V_0 = 0$。
• 剩 $k$ 步：先选一个动作拿即时奖励，然后还剩 $k-1$ 步——而”剩 $k-1$ 步时的最优价值” $V_{k-1}$ 已经算好了。所以：$V_k(s) = \max_a [R(s,a) + \gamma \sum_{s'} P(s' \mid s, a) V_{k-1}(s')]$。

公式和角度一完全一样！所以价值迭代的第 $k$ 步，就是在计算”视界为 $k$“的最优价值。随着 $k$ 增大，我们看得越来越远；由于 $\gamma < 1$，远处的奖励越来越不重要，$V_k$ 收敛到无限视界的 $V^*$。

8.2 算法

算法：价值迭代
1. V_0(s) = 0，对所有 s
2. 对 k = 0, 1, 2, ... 重复：
3.     对每个状态 s：
4.         V_{k+1}(s) = max_a [ R(s,a) + γ Σ_s' P(s'|s,a) V_k(s') ]
5.     如果 ||V_{k+1} - V_k||∞ < ε(1-γ)/(2γ)，停止
6. 读出策略：π(s) = argmax_a [ R(s,a) + γ Σ_s' P(s'|s,a) V_{k+1}(s') ]

第 5 行的停止准则在 8.5 节推导。

8.3 贝尔曼算子：一种简洁的记号

为了方便证明，把”做一次备份”看成一个算子（输入一个价值向量，输出一个价值向量）：

贝尔曼期望算子 $B^\pi$：

贝尔曼最优算子 $B$：

用这个记号：

• 迭代策略评估就是 $V_{k+1} = B^\pi V_k$；
• 价值迭代就是 $V_{k+1} = B V_k$；
• 贝尔曼期望方程是 $V^\pi = B^\pi V^\pi$（$V^\pi$ 是 $B^\pi$ 的不动点）；
• 贝尔曼最优方程是 $V^* = B V^*$（$V^*$ 是 $B$ 的不动点）。

“不动点”就是”被算子作用后不变的点”。所以问题变成了：反复用 $B$ 作用，能不能找到 $B$ 的不动点？

8.4 压缩映射：价值迭代为什么一定收敛

定义：如果对任意两个价值向量 $V, V'$，都有

就称 $B$ 是一个压缩映射（contraction），$\gamma$ 是压缩系数。直觉：无论两个点原来相距多远，被 $B$ 作用一次后，距离至少缩小到 $\gamma$ 倍。

定理：贝尔曼最优算子 $B$ 是无穷范数下的 $\gamma$-压缩映射。

先证一个引理：对任意两个函数 $f, g$，

引理证明：不妨设 $\max_a f(a) \ge \max_a g(a)$，记 $a_f = \arg\max_a f(a)$。那么

（中间的"$\le$"是因为 $\max_a g(a) \ge g(a_f)$。）另一种情况对称。$\square$

直觉：两个函数逐点相差都不超过 $c$，它们的最大值之差也不会超过 $c$。

定理证明：固定任意状态 $s$，令

则 $(BV)(s) = \max_a f(a)$，$(BV')(s) = \max_a g(a)$。由引理：