第 11 讲：协助博弈与多臂老虎机

对应：Stanford CS329H Fall 2026 Lecture 11（10/28 Assistance games; bandits）。依据教材第 3 章 3.1–3.2、3.8 节及相应幻灯片；协助博弈依据 Hadfield-Menell 等（2016，CIRL；2017，关机博弈）与 Russell（2019）；教学与示范依据 Shafto 等（2014）、Ho 等（2016）、Milli & Dragan（2019）；老虎机依据 Lai & Robbins（1985）、Auer 等（2002）与 Lattimore & Szepesvári（2020）；选择架构依据 Thaler & Sunstein（2008）。 配套代码：code/lecture11/（只需要 numpy） 预计阅读时间：3 小时（含运行代码）

0. 本讲导航

0.1 学完本讲，你应该能够

1. 说出”标准模型”（给机器一个固定目标）的问题，以及协助博弈怎样把”人想要什么”变成机器要去推断的未知量。
2. 写出关机博弈的三个选择及其价值，证明理性的人下”问人”永远不亏，解释服从的动机怎样随机器人的不确定性、人的可靠程度变化，以及”越学越确定”带来的张力。
3. 区分”示范”和”教学”，用一层递归推理解释教学为什么更有效；说出机器人对人的假设错了会怎样。
4. 定义多臂老虎机的遗憾；说出贪心、ε-贪心、先探索后利用、UCB 的原理，解释贪心为什么会卡住、ε-贪心为什么是线性遗憾、UCB 为什么是对数遗憾。
5. 说出 Lai–Robbins 下界的含义。
6. 解释选择架构（位置、默认值、顺序）怎样影响用户、又怎样污染系统收集的数据，以及随机化和按位置修正的作用。

0.2 先修知识

0.3 本讲地图

第1节  从“学偏好”到“在不确定中行动”
第2节  协助博弈与关机博弈                                ← 代码 01
第3节  示范 vs 教学                                       ← 代码 02
第4节  多臂老虎机：遗憾与几种基本算法
第5节  实验：谁的遗憾增长得最慢                            ← 代码 03
第6节  选择架构：摆放方式影响人，也影响数据                 ← 代码 04
第7–11节 小结、与考核的关系、练习、延伸阅读、下一讲预告

0.4 关于数字

本讲的数字都来自配套代码的实际运行（随机种子固定，每个文件不超过 10 秒）。

1. 从”学偏好”到”在不确定中行动”

第二单元学的是怎样从偏好数据里估计”人想要什么”。可是机器学偏好通常是为了做事：推荐、回答、开车、给药。而做事的时候，它对人的偏好仍然是不确定的——数据总是有限的。于是有两个问题：

1. 不确定时该怎样行动？ 按当前最好的估计行动，可能出大错（第 8 讲：对着有错的奖励模型优化）。协助博弈给出的回答是：把”人想要什么”当作未知量，把人的行为（包括说”不”）当作关于它的信息。
2. 行动本身就是学习的机会。 推荐一个内容，就知道用户点不点；这次的选择决定了下次知道什么。多臂老虎机研究探索（试试不确定的选项，学到更多）和利用（选现在看来最好的，拿到收益）之间的权衡。

第三单元（第 10~13 讲）都围绕这两件事。第 10 讲讲了”问什么问题”，这一讲讲”怎样行动”。

2. 协助博弈与关机博弈

2.1 标准模型的问题

传统的 AI 设计是”标准模型”：人写下一个目标，机器尽力优化它。问题在于，我们几乎写不出正确的目标（第 1 讲：评价”好回答”说不清楚；第 8 讲：奖励模型被优化过头）。一个优化错误目标的强大系统，会表现出点金术式的失败：迈达斯国王想要”碰到的东西都变成金子”，得到的正是这个。

更微妙的是，一个有固定目标的系统，几乎对任何目标都有保护自己不被关掉的动机——被关掉就没法完成目标了（Omohundro 2008 的”基本 AI 驱动力”）。“你没法给人拿咖啡，如果你已经死了。”

Russell（2019）提出三条原则作为替代：

1. 机器唯一的目标是实现人的偏好；
2. 机器一开始不确定这些偏好是什么；
3. 关于人的偏好，最终的信息来源是人的行为。

协助博弈（合作逆强化学习，CIRL，Hadfield-Menell 等 2016）把这三条写成数学：一个两人博弈，人和机器人共享同一个回报 $R(s, a; \theta)$，但只有人知道参数 $\theta$。机器人必须从人的行为中推断 $\theta$，同时替人做事。

2.2 关机博弈

最小的协助博弈（Hadfield-Menell 等 2017）：机器人 R 想做一件事，这件事对人的价值 $U$ 只有人知道，R 的信念是 $U \sim N(\mu, \sigma^2)$。R 有三个选择：

因为 $\max(U, 0) \ge U$ 且 $\ge 0$，所以 $E[\max(U, 0)] \ge \max(\mu, 0)$：在人理性的前提下，问人永远不比自己拿主意差。 正态分布下有封闭解 $E[\max(U, 0)] = \mu\Phi(\mu/\sigma) + \sigma\phi(\mu/\sigma)$（练习 1）。

代码 01_off_switch.py 演示 1：“问人”比”自己拿主意”多出来的期望价值（服从的动机）：

• 所有数都 ≥ 0：理性的人只在”做了更糟”时按关机键，把决定权交给人永远不亏。
• $\sigma$ 越大（机器人越不确定），动机越大；$|\mu|$ 越大（机器人越有把握），动机越小。
• 一个确信自己目标正确的机器人（$\sigma = 0.1$、$|\mu| = 2$），没有任何理由让人插手。

不确定性本身带来顺从。 这是”可证明有益的 AI”的核心论证之一。

2.3 前提：人要可靠

如果人会按错键（以概率 $\sigma(U/\tau)$ 放行，$\tau$ 越大越”吵”；这是第 15 讲的”玻尔兹曼理性”），演示 2：

机器人比较确定、而人比较”吵”时，服从的动机变成负的：一个只追求期望价值的机器人，这时有理由绕过关机键。（μ = −0.5 那一行和 μ = +0.5 完全一样，练习 2 解释原因。）

2.4 越学越确定，越不想听人的

演示 3：这件事的真实价值是 0.5，机器人每次看到一个带噪声的信号、更新信念；人有一点噪声（τ = 0.5）。模拟 300 条独立的学习过程：

这是协助博弈的一个深刻的张力：我们希望机器人学会人想要什么（越学越确定），又希望它始终愿意被纠正（需要不确定）。 如果它学错了却很确定，它也会很确定地拒绝纠正。一种回应是让机器人对”自己的模型可能整个是错的”保持不确定，而不只是对参数不确定。可纠正性（corrigibility，Soares 等 2015）至今是 AI 安全的开放问题。

3. 示范 vs 教学

3.1 设定

逆强化学习（IRL）假设人”照常做事”，机器人在旁边看、推断目标。协助博弈指出：既然人知道机器人在看、而且两人目标一致，人的最优策略往往不是照常做事，而是教。

代码 02_teaching_vs_demonstration.py：目标有三种，人从 A、B、C 里选一个动作给机器人看：

θ1 和 θ2 的最好动作都是 A。

• 示范者：做对自己最好的动作（玻尔兹曼理性，温度 0.1）。
• 教师：挑一个能让机器人最好地猜出目标的动作：$P(\text{动作} \mid \theta) \propto P_{\text{字面}}(\theta \mid \text{动作})^\alpha$（Shafto 等 2014 的教学模型）。
• 字面的机器人：假设人是示范者，用贝叶斯公式推断。
• 务实的机器人：知道人在教，按教师的模型推断。

这是”递归推理”的一层：教师在想”机器人会怎样理解我”，务实的机器人在想”人为什么选这个”。语言学的”理性言语行为”模型（RSA）也是这个结构。

3.2 结果

（“自信地猜错”：机器人把 ≥ 80% 的信心放在错误的目标上；“人的代价”：人选的动作比对自己最好的动作平均少了多少价值。）

• 示范者无论目标是 θ1 还是 θ2 都选 A，机器人看到 A 最多只能”各猜一半”。人做得最好的事，不一定是最能让机器人学会的事。
• 教师在目标是 θ2 时故意选 B——对自己略差（0.8 < 1.0），却是 θ2 独有的信号。猜对的概率从 0.69 升到 0.95，代价只是平均少拿 0.06。
• 务实的机器人更进一步：它知道”θ2 的人多半会选 B”，所以看到 A 就相当确信是 θ1，平均信心从 0.77 升到 0.92。
• 假设错了的代价：机器人以为人在教、人其实只是在示范时，目标是 θ2 的示范者选了 A，务实的机器人以约 88% 的信心猜成 θ1。两种机器人猜对的概率一样，差别在于错的时候有多自信——30.6% 的情况下自信地猜错，而字面的机器人只有 1.2%。Milli & Dragan（2019）系统地研究了这个问题：假设人在教（务实）在人真的在教时更好，但人的类型猜错时损失很大。

对大语言模型的启示：标注员写示范、写偏好时，可能在”完成任务”，也可能在”教模型”（例如故意写得更规范、更全面）。模型从数据推断”人想要什么”时，隐含着对这一点的假设。

4. 多臂老虎机：遗憾与几种基本算法

4.1 问题

有 $K$ 个选项（“臂”，名字来自赌场的老虎机），每次选一个，得到一个随机奖励；臂 $k$ 的平均奖励 $\mu_k$ 未知。例子：

• 推荐系统：$K$ 个候选内容，奖励是”点不点”。
• A/B 测试的在线版本：$K$ 个网页设计。
• 临床试验：$K$ 种疗法（第 12 讲的剂量问题）。
• 大语言模型：$K$ 种回答风格、$K$ 个系统提示词，看用户反馈。

衡量算法的量是遗憾：

“如果一开始就知道哪个臂最好，本来能多拿多少”。遗憾 = $\sum_k \Delta_k \cdot E[n_k(T)]$，$\Delta_k = \mu^* - \mu_k$ 是差距，$n_k(T)$ 是臂 $k$ 被选的次数。所以遗憾小 = 很少选差的臂。好的算法让遗憾增长得越来越慢——理想是像 $\log T$ 那样。

4.2 几种算法

贪心：每次选 $\hat\mu_k$（目前的平均奖励）最大的臂。问题：只根据当前估计行动，不考虑估计本身有多不确定。一个好臂开头运气不好，可能再也没机会被试（第 5.3 节）。

ε-贪心：以概率 ε 随机选一个臂，否则贪心。保证每个臂都被无限次试过，但即使早就知道哪个最好，也永远有 ε 的时间在浪费：遗憾 ≈ ε × 平均差距 × T，线性增长。

ε 逐渐变小：让 $\varepsilon_t$ 随时间下降（例如 $\propto 1/t$）。下降的速度要和问题的难度匹配。

先探索后利用（ETC）：每个臂先试 $m$ 次，之后一直选平均值最高的。$m$ 太小会选错并永远错下去；$m$ 太大浪费。最好的 $m$ 依赖于不知道的差距。

UCB1（Auer 等 2002）：“乐观地面对不确定性”。每个臂的指数是

第二项是置信区间的半宽（由 Hoeffding 不等式得到，练习 4）：试得越少，加得越多。选指数最大的臂。直觉：一个臂被选中，要么因为它看起来好（利用），要么因为我们对它了解太少（探索）；随着 $n_k$ 增大，差的臂的置信上界降到最好的臂以下，就很少再被选了。可以证明，差的臂被选的次数 $\approx \frac{c\ln T}{\Delta_k^2}$ 量级，遗憾 $= O\big(\sum_k \frac{\ln T}{\Delta_k}\big)$。

4.3 下界：不可能比 log T 更好

Lai & Robbins（1985）证明：任何”一致”的算法（在所有问题上遗憾都增长得比 $T^a$ 慢，$a > 0$ 任意）都满足

直觉：要确信臂 $k$ 不是最好的，必须试它足够多次，次数 $\propto \ln T / \mathrm{KL}(\mu_k, \mu^*)$：两个臂越像（KL 越小），越难分辨；每试一次付出 $\Delta_k$。这和第 7 讲的 Fisher 信息是同一个精神：信息量决定了要问多少次。

5. 实验：谁的遗憾增长得最慢

5.1 容易的问题

代码 03_bandit_regret.py 演示 1：5 个臂，点击率 0.3、0.4、0.5、0.6、0.7；每种算法跑 100 次、每次 10 万步：

• 贪心线性增长，10 万步时遗憾 7300。
• ε-贪心也是线性的：0.1 × 平均差距 0.2 × 10 万 ≈ 2000，和表中的 2046 吻合。
• 先探索后利用前期很好，但约 10% 的实验在试完之后选错、永远错，长期也是线性的。
• UCB1 前期探索得很多（1000 步时遗憾在所有算法里最大，比贪心还大），之后几乎只选最好的臂，10 万步时远好于其他做法。$c = 2$ 来自理论证明，偏保守；$c = 0.5$ 在这里全程最好。

把遗憾除以 $\ln T$（演示 4）：ε-贪心的比值从 2.22 涨到 177.71，UCB（$c = 0.5$）从 2.25 到 8.71 逐渐稳定，UCB1（$c = 2$）从 25.39 到 34.11 也在稳定下来。Lai–Robbins 的系数是 9.46。$c = 0.5$ 的 UCB 在这个时间范围内甚至略低于下界——下界是 $T \to \infty$ 时的结论，有限的 $T$ 里低一点并不矛盾（而且 $c$ 太小的 UCB 没有理论保证，在别的问题上可能出错）。第 12 讲的 Thompson 采样和 KL-UCB 能在渐近意义上达到下界。

5.2 难的问题

演示 2：10 个臂，最好的 0.5，其余 9 个都是 0.45（差距只有 0.05）；1 万步。所有算法都还没能完全确定最好的臂；UCB1（$c = 2$）的遗憾（395.4）甚至和贪心（403.4）差不多——它还在探索阶段。先探索后利用 $m = 200$ 最好（172.7），但这个 $m$ 要事先知道问题有多难。Lai–Robbins 下界在 1 万步时约 830（比 0.05 × 1 万 = 500 的”最大可能遗憾”还大，说明这个时间范围远没到渐近区）。推荐系统、A/B 测试里，候选之间的差距常常很小（点击率 5.0% vs 5.2%），这正是难的问题。

5.3 贪心为什么会卡住

在容易的问题上，贪心有 44% 的实验最后大部分时间都没选最好的臂。机制：每个臂先各试一次。如果最好的臂第一次没被点击（估计值 0），某个次优的臂被点了（估计值 1），贪心就一直选次优的臂；次优臂的估计慢慢降到它的真实值（例如 0.6），但始终高于最好的臂”被冤枉”的 0——最好的臂再也没有机会被试第二次（练习 7）。

对偏好学习的启示：一个只推荐”目前点击率最高”内容的系统，新内容、小众内容永远得不到展示，它们的估计永远不会被纠正。探索不是奢侈，是纠错的唯一途径。

5.4 老虎机 vs A/B 测试

传统的 A/B 测试把流量平均分给各个版本，测完再选——“先探索后利用”的一种，目标是找出最好的（纯探索，“最佳臂识别”）。老虎机算法边测边把流量倾向更好的版本，目标是测试期间的总收益（遗憾）。两者的目标不同：做科学结论（需要无偏的估计、置信区间）时 A/B 测试更合适；在线收益重要时老虎机更合适。第 7 讲第 4.4 节的警告在这里同样适用：老虎机收集的数据是自适应的，直接算平均值会有偏。

6. 选择架构：摆放方式影响人，也影响数据

6.1 选择架构

Thaler & Sunstein（2008）的”选择架构”：选项怎样摆放会影响人的选择——默认选项（器官捐献”默认同意”的国家同意率远高于”默认不同意”的国家，Johnson & Goldstein 2003）、排列顺序、第一个选项、选项的数量。

对一个边推荐边学习的系统来说，这有两层后果：它影响用户；它也决定了系统收集到什么数据——而系统又用这些数据决定下一次怎样摆放。

6.2 推荐列表的反馈循环

代码 04_choice_architecture.py 演示 1：20 个内容，每轮推荐 3 个，3 个位置被看到的概率是 1.0、0.5、0.25（第 2 讲的检查假设）。每种做法跑 20 次、每次 2 万轮：

直接用”点击数 / 展示数”：常排第一位的内容，估计的是”吸引力 × 1”；常排第三位的，估计的是”吸引力 × 0.25”。排在上面的被高估、排在下面的被低估，于是它们继续排在上面和下面——自我强化的反馈循环。即使加了 UCB 的探索，最好的内容也只有约 10% 的时间排在第一位（整体排序的秩相关其实不低，错误恰好出现在最关键的顶部）。按位置修正（除以”被看到的次数”）之后，UCB 能把最好的内容稳定地排到第一位，遗憾也小得多。

推荐系统的研究里，这种现象被叫做”算法混淆”或”退化的反馈循环”（Chaney 等 2018；Jiang 等 2019）：系统把”我把它放在哪里”误当成”用户有多喜欢它”，长期下来让推荐越来越同质化。

6.3 偏好标注里的顺序效应

演示 2：模型甲比乙好（真实分数差 0.3），标注员有一点偏爱左边的回答（logit 加 0.4）。各收集 5000 次比较，估计分数差（第 5 讲：两个选项时 $\hat\Delta = \log(\text{胜}/\text{负})$）：

甲总是在右边时，估出的 Δ 甚至是负的——结论完全反了。随机化左右之后，偏差在两种摆放之间抵消。人和 LLM 评委都有位置偏差（LLM 评委常常偏爱第一个回答，Zheng 等 2023）；Chatbot Arena、MT-Bench 都随机化顺序，或交换顺序再评一次。

原则：任何和质量无关、却影响选择的因素（位置、顺序、默认值、长度、格式），要么随机化掉，要么显式地建模（第 2 讲的 IPS、第 14 讲的风格控制）。

7. 小结

1. 协助博弈：机器人不知道人的目标 $\theta$，把人的行为当作关于 $\theta$ 的信息。Russell 的三原则。
2. 关机博弈：理性的人下，“问人”的价值 $E[\max(U, 0)] \ge \max(\mu, 0)$，不确定性越大，服从的动机越大。但人不可靠、机器人很确定时动机可能为负；机器人越学越确定，越不想听人的——可纠正性的张力。
3. 示范 vs 教学：人的最优策略往往是教（选一个略差但有信息量的动作）；务实的机器人能读懂教学，但对人的假设错了会自信地猜错。
4. 多臂老虎机：遗憾 $= \sum_k\Delta_k E[n_k]$。贪心会卡住；ε-贪心和先探索后利用是线性遗憾；UCB 是对数遗憾。Lai–Robbins 下界 $\sum_k \Delta_k/\mathrm{KL}(\mu_k, \mu^*)\cdot\ln T$。难的问题（差距小）需要的探索多得多。
5. 选择架构：位置、顺序、默认值影响选择，也污染数据。忽略它会形成自我强化的反馈循环；要随机化或显式修正。

8. 与测验、口试和项目的关系

• 测验与口试可能会问：标准模型的问题；关机博弈三个选择的价值，为什么问人不亏；人有噪声时为什么可能不服从；可纠正性和”学得越来越确定”的张力；示范和教学的区别；遗憾的定义和分解；贪心为什么会卡住；ε-贪心为什么是线性遗憾；UCB 的指数怎样来的；Lai–Robbins 下界的直觉；位置偏差怎样形成反馈循环、怎样修正。
• 期末项目：如果你的系统在收集数据的同时做决定（推荐、在线标注、交互式系统），预分析计划里要说明怎样探索、怎样避免反馈循环（随机化的比例、位置修正）、怎样评估（自适应数据不能直接平均）。

9. 练习

练习 1（关机博弈的封闭解）。$U \sim N(\mu, \sigma^2)$。 (a) 证明 $E[\max(U, 0)] = \mu\Phi(\mu/\sigma) + \sigma\phi(\mu/\sigma)$。 (b) 验证 $\mu = 0$、$\sigma = 1$ 时等于 0.399，和代码 01 的表一致。 (c) 证明 $E[\max(U, 0)] - \max(\mu, 0)$ 关于 $\mu$ 对称，并在 $\mu = 0$ 处最大。

(a) 令 $U = \mu + \sigma Z$。$E[\max(U,0)] = \int_{-\mu/\sigma}^{\infty}(\mu + \sigma z)\phi(z)\,dz = \mu\Phi(\mu/\sigma) + \sigma\phi(\mu/\sigma)$（用了 $\int_a^\infty z\phi(z)dz = \phi(a)$ 和 $\phi$ 的对称性）。 (b) $0 + 1 \times \phi(0) = 1/\sqrt{2\pi} \approx 0.399$。 (c) 记 $g(\mu) = \mu\Phi(\mu/\sigma) + \sigma\phi(\mu/\sigma)$，则 $g(\mu) - g(-\mu) = \mu[\Phi(\mu/\sigma) + \Phi(-\mu/\sigma)] = \mu$。所以 $g(\mu) - \max(\mu,0) = g(-\mu) + \mu - \max(\mu,0) = g(-\mu) - \max(-\mu, 0)$，对称。$\frac{d}{d\mu}[g(\mu) - \mu] = \Phi(\mu/\sigma) - 1 < 0$（$\mu > 0$ 时），所以在 $\mu = 0$ 处最大，值为 $\sigma/\sqrt{2\pi}$。

练习 2（有噪声的人）。人以概率 $\sigma(U/\tau)$ 放行。证明”问人”减去”自己拿主意”的价值关于 $\mu$ 对称（解释代码 01 演示 2 里 μ = ±0.5 两行相同）。

记 $h(\mu) = E_{U\sim N(\mu,\sigma^2)}[U\sigma(U/\tau)]$。令 $V = -U \sim N(-\mu, \sigma^2)$：$h(-\mu) = E[V\sigma(V/\tau)] = E[-U\sigma(-U/\tau)] = -E[U(1 - \sigma(U/\tau))] = -\mu + h(\mu)$。所以 $h(\mu) - \max(\mu, 0) = h(-\mu) + \mu - \max(\mu, 0) = h(-\mu) - \max(-\mu, 0)$（因为 $\mu - \max(\mu, 0) = \min(\mu, 0) = -\max(-\mu, 0)$）。理性的人（$\tau \to 0$）是它的特例。

练习 3（教学）。在代码 02 的设定里，字面的机器人看到 A 时认为 θ1、θ2 的概率约为 0.53、0.47，看到 B 时认为 θ2 的概率约 0.87。 (a) 目标是 θ2 的教师，选 A 和选 B 时，字面的机器人猜对的概率各是多少？教师会选哪个？ (b) 教师为此付出了多少价值？

(a) 选 A：机器人最可能猜 θ1，猜对 θ2 的概率约 0.47（按后验的 MAP 则猜错）；选 B：猜 θ2，后验 0.87。教师选 B（代码里 θ2 的教师以 0.86 的概率选 B）。 (b) 对 θ2 来说 A 值 1.0、B 值 0.8，代价 0.2。对三种目标平均（θ1、θ3 的教师不付代价），约 0.06，和表中的 0.058 一致。

练习 4（UCB 的指数）。Hoeffding 不等式：$n$ 个取值在 $[0, 1]$ 的独立随机变量的平均值 $\hat\mu$ 满足 $P(\hat\mu < \mu - \epsilon) \le e^{-2n\epsilon^2}$。 (a) 令右边等于 $t^{-c'}$，解出 $\epsilon$。 (b) 解释为什么 $\hat\mu + \epsilon$ 是一个”乐观”的估计，以及 $\ln t$ 的作用。

(a) $e^{-2n\epsilon^2} = t^{-c'}$ ⇒ $\epsilon = \sqrt{c'\ln t/(2n)}$，即 UCB1 的 $\sqrt{c\ln t/n}$（$c = c'/2$）。 (b) 真实均值超过 $\hat\mu + \epsilon$ 的概率不超过 $t^{-c'}$：$\hat\mu + \epsilon$ 是一个”以很高概率不低于真值”的上界。按上界选，等于假设每个臂都”尽可能好”——不确定的臂得到了被试的机会。$\ln t$ 让置信水平随时间慢慢提高：时间越长，越不能容忍”因为倒霉而永远忽略最好的臂”，所以每个臂都会被零星地再试一试。

练习 5（ε-贪心的遗憾）。容易的问题（点击率 0.3~0.7）上，ε = 0.1 的 ε-贪心在第 $t$ 步的期望遗憾约是多少（假设它已经知道哪个臂最好）？10 万步的遗憾约多少？

每步以 0.1 的概率随机选臂，随机选的期望差距 = (0.4 + 0.3 + 0.2 + 0.1 + 0)/5 = 0.2；以 0.9 的概率选最好的臂，差距 0。所以每步约 0.02，10 万步约 2000（代码里 2046，多出来的是前期还没分清时的损失）。

练习 6（Lai–Robbins）。两个伯努利臂，$\mu^* = 0.6$，$\mu_2 = 0.5$。 (a) 计算 Lai–Robbins 系数 $\Delta/\mathrm{KL}(0.5, 0.6)$。 (b) 如果 $\mu_2 = 0.59$ 呢？解释为什么差距越小、系数越大。

(a) $\mathrm{KL}(0.5, 0.6) = 0.5\ln(0.5/0.6) + 0.5\ln(0.5/0.4) \approx 0.5(-0.1823) + 0.5(0.2231) = 0.0204$。系数 $= 0.1/0.0204 \approx 4.9$。 (b) $\mathrm{KL}(0.59, 0.6) \approx \frac{(0.01)^2}{2 \times 0.6 \times 0.4} \approx 0.000208$，系数 $\approx 0.01/0.000208 \approx 48$。差距小时 KL 按差距的平方减小，要分辨两个臂需要的次数按 $1/\Delta^2$ 增长，而每次的代价只按 $\Delta$ 减小，所以总代价按 $1/\Delta$ 增长。（当然，差距小时选错的代价也小；对固定的 $T$，遗憾不会超过 $\Delta T$。）

练习 7（贪心卡住的概率）。两个臂，点击率 0.7 和 0.6，各试一次后开始贪心（并列时随机）。 (a) 最好的臂第一次没被点、另一个臂被点了的概率是多少？这时贪心会怎样？ (b) 给出贪心最终卡在次优臂上的概率的一个下界。

(a) $0.3 \times 0.6 = 0.18$。这时最好臂的估计是 0，次优臂是 1；贪心一直选次优臂，它的估计会收敛到 0.6 但不会降到 0 以下（只要它被点过一次，估计就是正的），所以最好的臂永远不会再被选。 (b) 至少 0.18。（两个都没被点或都被点了时是并列，随机选一个，也有一定概率之后卡住，所以真实的概率更大。）这说明”乐观的初始值”（假装每个臂一开始都被点过）或任何形式的探索的重要性。

练习 8（位置偏差）。一个内容的吸引力是 $a$，它有一半的时间排在第一位（被看到的概率 1），一半的时间排在第三位（0.25）。 (a) “点击数 / 展示数”估计的是什么？ (b) 按位置修正的估计是什么？ (c) 另一个内容吸引力 $0.8a$，但总排在第一位。“点击数 / 展示数”会怎样排这两个内容？

(a) $a \times (0.5 \times 1 + 0.5 \times 0.25) = 0.625a$。 (b) 点击数 ÷ 被看到的次数（展示数 × 0.625）= $a$，无偏。 (c) 另一个内容的”点击数 / 展示数” $= 0.8a > 0.625a$，会被排在前面——尽管它更差。它于是继续排第一，估计继续偏高：反馈循环。

10. 延伸阅读

课程教材

• Truong, Haupt, Koyejo. Machine Learning from Human Preferences. 第 3 章 3.1–3.2、3.8 节。

协助博弈与可纠正性

• Russell. Human Compatible: Artificial Intelligence and the Problem of Control. 2019.
• Hadfield-Menell, Russell, Abbeel, Dragan. Cooperative Inverse Reinforcement Learning. NeurIPS 2016.
• Hadfield-Menell, Dragan, Abbeel, Russell. The Off-Switch Game. IJCAI 2017.
• Soares, Fallenstein, Yudkowsky, Armstrong. Corrigibility. AAAI Workshop 2015.
• Omohundro. The Basic AI Drives. 2008.

教学与示范

• Shafto, Goodman, Griffiths. A Rational Account of Pedagogical Reasoning: Teaching by, and Learning from, Examples. Cognitive Psychology 2014.
• Ho, Littman, MacGlashan, Cushman, Austerweil. Showing versus Doing: Teaching by Demonstration. NeurIPS 2016.
• Milli, Dragan. Literal or Pedagogic Human? Analyzing Human Model Misspecification in Objective Learning. UAI 2019.

多臂老虎机

• Lattimore, Szepesvári. Bandit Algorithms. 2020.（免费在线，第 6~8、16 章）
• Lai, Robbins. Asymptotically Efficient Adaptive Allocation Rules. Advances in Applied Mathematics 1985.
• Auer, Cesa-Bianchi, Fischer. Finite-Time Analysis of the Multiarmed Bandit Problem. Machine Learning 2002.

选择架构与反馈循环

• Thaler, Sunstein. Nudge. 2008.
• Johnson, Goldstein. Do Defaults Save Lives? Science 2003.
• Chaney, Stewart, Engelhardt. How Algorithmic Confounding in Recommendation Systems Increases Homogeneity and Decreases Utility. RecSys 2018.
• Jiang, Chiappa, Lattimore, György, Kohli. Degenerate Feedback Loops in Recommender Systems. AIES 2019.
• Zheng et al. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023.

11. 下一讲预告

UCB 用”置信上界”处理不确定性：对每个臂乐观地估计。另一种办法更”贝叶斯”：维护每个臂的后验分布，从后验里抽一个样本，按它行动——这就是 Thompson 采样。它简单、在很多问题上达到 Lai–Robbins 下界，而且能自然地推广到有特征的问题（不同的病人、不同的用户）。

第 12 讲讲采集函数与 Thompson 采样：

• Beta–伯努利的 Thompson 采样；“概率匹配”的直觉；和 UCB 的比较。
• 有特征的老虎机：线性 / 逻辑斯蒂模型 + 拉普拉斯近似（第 6 讲）的 Thompson 采样；个性化剂量的例子（华法林）。
• 连续的选项：高斯过程上的采集函数——改进概率、期望改进、GP-UCB、Thompson 采样；为什么”改进概率”太贪心。