第 13 讲：对决老虎机与偏好贝叶斯优化

对应：Stanford CS329H Fall 2026 Lecture 13（11/4 Dueling bandits & preferential optimization；期末项目的预分析计划截止）。依据教材第 3 章 3.5–3.6 节及相应幻灯片；对决老虎机依据 Yue 等（2012）、Zoghi 等（2014、2015）、Ailon 等（2014）；交错评估依据 Joachims（2002）、Radlinski 等（2008）、Chapelle 等（2012）、Yue & Joachims（2009）；偏好贝叶斯优化依据 Brochu 等（2007）、González 等（2017）、Sui 等（2017）、Astudillo 等（2023）、Tucker 等（2020）。 配套代码：code/lecture13/（只需要 numpy；04 号文件复用第 6 讲的高斯过程偏好学习） 预计阅读时间：3 小时（含运行代码）

0. 本讲导航

0.1 学完本讲，你应该能够

1. 说出只有两两比较时”最好的选项”的四种定义（孔多塞、Borda、Copeland、冯·诺依曼），举出它们不一致的例子，并说出各自适合的场景。
2. 定义对决老虎机的强遗憾和弱遗憾；说出 Interleaved Filter、RUCB、Sparring 的思路和各自隐含的”最好”。
3. 解释偏好成环时，假设”存在孔多塞赢家”的算法会怎样失败。
4. 写出团队选秀式交错评估的步骤，解释它为什么比 A/B 测试灵敏得多；说出 DBGD 怎样只用胜负做在线学习。
5. 把偏好贝叶斯优化拆成”GP 偏好模型 + 挑一对的采集函数”，写出 EUBO，比较几种挑法。
6. 说出一份偏好学习项目的预分析计划应该包含什么。

0.2 先修知识

0.3 本讲地图

第1节  只能比较时，怎样一边学一边找最好的
第2节  “最好”的四种定义                                ← 代码 01
第3节  对决老虎机：算法与遗憾                          ← 代码 02
第4节  信息检索里的对决：交错评估与 DBGD                ← 代码 03
第5节  偏好贝叶斯优化                                  ← 代码 04
第6节  期末项目：预分析计划
第7–11节 小结、与考核的关系、练习、延伸阅读、下一讲预告

0.4 关于数字

本讲的数字都来自配套代码的实际运行（随机种子固定，每个文件不超过 15 秒）。03 号（搜索用户）和 04 号（外骨骼使用者）都是模拟，只说明方法之间的差异。

1. 只能比较时，怎样一边学一边找最好的

第 11、12 讲的老虎机每次都能拿到一个数值奖励。可这门课反复看到，人往往说不出”这个值几分”，只能说”这个比那个好”：

• 大语言模型的评测：Chatbot Arena 给用户看两个匿名模型的回答，问哪个更好（第 5、10 讲）。
• 搜索引擎：用户不会给排序打分，但会点击；点击是两个结果之间的选择（第 2 讲）。
• 外骨骼、假肢、助听器的参数：使用者只能比较”这个设置比那个舒服”（第 10 讲第 6.3 节）。

第 7、10 讲研究过”问哪对能学得最准”。这一讲的目标不同：一边问、一边尽快找到并使用最好的选项——每次比较本身就有代价（让用户看了一个差的回答、让使用者走了一段不舒服的步态）。这就是对决老虎机（dueling bandits，Yue 等 2012）：每一步选两个选项让它们”对决”，只观察谁赢。

2. “最好”的四种定义

2.1 定义

偏好矩阵 $P[i, j] = P(i \text{ 胜 } j)$，$P[i,j] + P[j,i] = 1$。记 $\varepsilon(i, j) = P[i, j] - 0.5$。

冯·诺依曼赢家就是第 9 讲的 Nash 混合策略（最大彩票）。存在孔多塞赢家时，冯·诺依曼赢家就是”只选它”的纯策略（练习 1）。

2.2 它们什么时候不一致

代码 01_winners.py 比较了四个偏好矩阵：

1. BT 模型：所有选项能用一个分数排序，四种定义一致——第 5~9 讲的 BT 世界里，“最好”没有歧义。
2. 孔多塞赢家 ≠ Borda 赢家：A 对每个人都只是略胜（55%）；B 略输给 A（45%），却大胜其余三个（90%）。孔多塞、Copeland、冯·诺依曼都选 A（一对一谁也赢不了它）；Borda 选 B（平均胜率 0.787 vs A 的 0.550）。
3. A、B、C 成环，D 最弱（A 胜 B、B 胜 C、C 胜 A，各 70%；三者都以 80% 胜 D）：没有孔多塞赢家；Copeland 和 Borda 都是 A、B、C 并列；冯·诺依曼混合策略是 A、B、C 各 1/3。
4. 第 9 讲的不对称环（$P(A \succ B) = 0.9$、$P(B \succ C) = 0.6$、$P(C \succ A) = 0.6$）：Borda 赢家是 A，可 A 对 C 只有 40% 的胜率；冯·诺依曼混合策略约为 A 1/6、B 1/6、C 2/3。

哪个”对”？ 这取决于用途：

• 用户每次只看一个回答、和”随机的另一个回答”比较——Borda 更贴切（第 9 讲：BT / DPO 在混合人群上学到的排序就是 Borda 排序）。
• 关心”和任何对手正面交锋都不输”——孔多塞（存在时）。
• 偏好成环、又必须给出一个”不会被打败”的策略——冯·诺依曼（随机地在几个选项之间混合）。

这是社会选择的问题（第 16 讲）：把很多人的两两偏好合成一个决定，没有唯一正确的规则。

3. 对决老虎机：算法与遗憾

3.1 遗憾

设存在孔多塞赢家 $a^*$。每一步选了一对 $(a, b)$：

• 强遗憾：$\frac{1}{2}[\varepsilon(a^*, a) + \varepsilon(a^*, b)]$——两个出场的选项都要好。例如同时给用户看两个回答，两个都要质量高。
• 弱遗憾：$\min(\varepsilon(a^*, a), \varepsilon(a^*, b))$——只要有一个好就行。例如推荐列表里用户会挑好的那个。

最理想的状态是让 $a^*$ “和自己对决”，两种遗憾都是 0。

3.2 算法

RUCB 的设计很能体现对决老虎机的特点：比较应该集中在**“谁才是最好的”这个问题上**——先找一个有希望的候选，再找最有可能推翻它的挑战者。随机配对把大量比较浪费在”两个都很差的选项谁更差”上。

3.3 实验

代码 02_dueling_bandits.py 演示 1：BT 模型，8 个选项（真实分数从 1.5 均匀降到 0，相邻两个选项的胜率约 0.55），每种算法 10 次、每次 2 万步：

• 随机配对的遗憾线性增长：它在学，但从不用。这正是”把所有模型两两比较”的离线评测的代价。
• RUCB 的遗憾最小，到最后大部分时间让最好的选项和自己对决。
• Sparring 实现最简单，前 1000 步遗憾最小，后期强遗憾增长得比 RUCB 快：两个”选手”都要收敛，总有一部分时间在陪练。
• Interleaved Filter 要以很高的置信度淘汰每个对手，相邻选项的胜率只有 0.55 时前期很慢。

演示 2（孔多塞赢家 A ≠ Borda 赢家 B 的矩阵）：2 万步里给 A 的出场比例——Interleaved Filter 0.834、RUCB 0.805、Sparring 0.617（给 B 0.263）。RUCB、IF 找的是孔多塞赢家；Sparring 背后的 UCB1 老虎机的奖励是”对手随机时的平均胜率”，接近 Borda 的定义，所以在 B 上花的时间明显更多。算法隐含着对”最好”的定义。

演示 3（A、B、C 成环，D 最弱；冯·诺依曼混合策略 A、B、C 各 1/3）：

（“最差情况胜率”：把出场比例当作一个混合策略，它对最难对付的单个选项的胜率；冯·诺依曼混合策略的这个值是 0.5。）

• RUCB 假设存在孔多塞赢家。这里不存在，“乐观地可能是孔多塞赢家”的候选集合常常是空的，它就随机挑，约 1/8 的出场浪费在明显最弱的 D 上。
• Interleaved Filter 假设有全序：擂主在 A、B、C 之间换来换去，停在谁身上取决于运气，出场分布不均匀。
• Sparring 把 A、B、C 各放约三分之一、几乎不放 D，接近冯·诺依曼混合策略：两个互相陪练的选手像在玩石头剪刀布，最后都学会了混合。（严格的保证需要对抗性的老虎机算法。）

对 LLM 排行榜的启示：Chatbot Arena 这样的平台每天要决定”给用户看哪两个模型”。随机配对最公平、估计最无偏，但让用户看了很多差的回答；集中在头部的配对（类似 RUCB）让用户体验更好、更快确定冠军，但尾部模型的排名会不准，而且数据是自适应收集的（第 7 讲第 4.4 节）。Arena 的论文采用的折中是：按”哪一对最能缩小排行榜的置信区间”来配对（第 10 讲第 5 节）。

4. 信息检索里的对决：交错评估与 DBGD

4.1 点击是相对的偏好

Joachims（2002）指出：用户点了第 3 个结果、跳过了第 1、2 个，说明在这个用户眼里第 3 个比前两个好——点击是相对的偏好，不是绝对的相关度打分（第 2 讲的”跳过上方”规则）。

那么比较两个排序算法 A 和 B，最自然的做法是让用户在它们之间做选择。

4.2 交错评估

A/B 测试：一半用户看 A 的结果，一半看 B 的结果，比较两组的平均点击数。

团队选秀式交错（team-draft interleaving，Radlinski 等 2008）：给同一个用户看一个混合的列表——A 和 B 像两个队长轮流挑人，每一轮抛硬币决定谁先挑，各自挑”自己排名最高、还没被挑走”的文档。用户点了谁贡献的文档，就给谁记一分；这一次谁的分多，谁赢。每一次搜索都是一次对决。

一个重要的性质：如果用户随机乱点，两边期望得分相同（练习 5）——交错评估不会凭空偏向某一方。

代码 03_interleaving.py 演示 1：50 个查询、每个 30 个候选文档；排序算法 A 的 NDCG@10 = 0.889，B = 0.862（A 稍好）；用户有位置偏差。重复 200 次实验，“选对了 A”的比例：

300 次交错评估（0.90）就和 3000 次 A/B 测试（0.93）差不多——省了约 10 倍的流量。原因：A/B 测试的两组用户看到的是不同的查询、不同的用户，点击率本身的波动很大，微小的差别被淹没；交错评估让同一个用户、同一个查询同时比较两边，这些噪声在两边抵消了——和配对实验设计比独立两组更灵敏是同一个道理。Chapelle 等（2012）在真实的搜索引擎上也发现，交错评估需要的流量比 A/B 测试少得多（大约一到两个数量级）。代价是它只告诉你”谁更好”，不告诉你”好多少”。

4.3 DBGD：只用胜负在线学习

对决老虎机梯度下降（DBGD，Yue & Joachims 2009）把排序函数的参数当作连续的”臂”：

当前权重 $w$；随机挑一个方向 $u$，候选 $w' = w + \delta u$；让 $w$ 和 $w'$ 做一次交错评估；如果 $w'$ 赢了，$w \leftarrow w + \gamma u$。

不需要梯度，也不需要相关度标注——“只能比较、不能求导”的随机梯度上升。演示 2：从随机权重出发（NDCG 0.126），100 次搜索后 0.709，1000 次后 0.862，4000 次后 0.895（参照：用真实有用程度加权的排序函数 0.889），6000 次后回落到 0.874——步长固定，它在最优附近徘徊（和第 5 讲的 Elo 一样，要逐渐减小步长才能稳定）。

每一步只比较两个很接近的排序函数，胜负的信号很弱，需要很多次搜索。后来的多方交错（multileaving，Schuth 等 2014）同时比较多个候选方向，效率更高。

5. 偏好贝叶斯优化

5.1 问题

选项是连续的参数 $x$（例如外骨骼的步频），效用 $f(x)$ 未知，每次只能问”$x_1$ 和 $x_2$ 哪个更好”，而且只能问几十次（每次都要人真的走一遍）。

偏好贝叶斯优化 = 第 6 讲的高斯过程偏好学习（$f$ 的先验是 GP，比较的似然是 BT，拉普拉斯近似求后验）+ 第 12 讲的采集函数——但现在每一步要挑一对 $(x_1, x_2)$。

5.2 挑一对的几种方法

EUBO（“最好选项的期望效用”）的直觉：比较之后，我们至少会知道这一对里哪个更好；如果这一对里较好的那个期望很好，问这一对就是值得的。$(f(x_1), f(x_2))$ 服从二元正态，有封闭式（Clark 1961；练习 6）：

两个点都有希望（$\mu$ 高）、又彼此不太相关（$\theta$ 大）的一对，EUBO 最高。早期的偏好贝叶斯优化还有 Brochu 等（2007）的”期望改进”版本、González 等（2017）的 soft-Copeland 采集函数。

5.3 实验

代码 04_preferential_bo.py：真实舒适度在 $x \approx 0.7$ 处有高峰（1.0）、$x \approx 0.2$ 处有矮峰（0.5）；人的回答 $P(a \text{ 更舒服}) = \sigma(3(f(a) - f(b)))$。先随机问 3 对，再问 40 对，40 次实验：

（表中是”推荐的步态”——后验均值最高的 $x$——的舒适度离最大值还差多少；“找到高峰”是 40 个问题后差距 < 0.05 的实验比例。）

• EUBO 和”最好 vs 乐观”最好。两者都把比较集中在”最好的可能在哪里”上：EUBO 挑两个都可能好、又不太相关的点；“最好 vs 乐观”拿当前最好的去挑战最有希望超过它的点——即使结果常常一边倒，也很快排除了没希望的区域。
• “最好 vs 最不确定”最差：另一个点总被选在最没把握的地方（常常是边缘），那里多半不好，答案几乎总是”最好的那个赢”（第 7 讲的 $p(1-p)$）。
• 自我陪练在这里和随机差不多：问题很少时后验很宽，两个样本的最大值点几乎可以落在任何地方——和第 12 讲冷启动一样，Thompson 类方法的随机探索在预算很小时代价大。真实的外骨骼研究（CoSpar）用的是自我陪练的思路，并做了”允许说两个差不多""调整探索范围”等改进；这个一维玩具只说明方法之间的差异确实存在。
• 学准函数 vs 找到最好：第 6 讲看到”最好 vs 乐观”的不确定性带收得慢（比较一边倒），这里看到它找最优点却很快。这是两个不同的目标，采集函数要和目标匹配。

6. 期末项目：预分析计划

原课这一周要交期末项目的预分析计划（pre-analysis plan）：在看到数据之前，写下你要回答的问题和分析方法。它的目的是防止”看了数据再决定分析什么”带来的虚假发现（第 5 讲第 7.2 节的”挑选之后的乐观”）。一份偏好学习项目的预分析计划至少应该包括：

1. 问题和假设：要比较什么、预期的结果是什么（写下具体的、可以被推翻的预测）。
2. 数据：偏好怎样收集（谁标、怎么问、用什么界面、怎样随机化顺序——第 2、11 讲）；样本量多少、为什么（用 Fisher 信息或模拟估算功效——第 7 讲）；如果是自适应收集，用什么规则（第 10~13 讲）。
3. 模型：用什么偏好模型（BT、PL、因子模型、GP……）、先验和正则化怎么定（第 36 讲）；怎样检查模型的假设（IIA、传递性、个体差异——第 24 讲）。
4. 主要指标和检验：一个主要指标（事先定好），用什么方法给置信区间（自助法按什么单位重抽——第 5 讲）；多重比较怎样处理。
5. 次要分析和探索性分析：明确标出哪些是事先计划的、哪些是探索性的。
6. 可能的偏差和应对：标注员的偏差、位置偏差、长度偏差（第 1、8、11、14 讲）；数据泄漏；少数群体（第 12 讲演示 2）。

写下来之后，偏离计划不是错误，但要在报告里说明偏离了什么、为什么。

7. 小结

1. “最好”的四种定义：孔多塞（不一定存在）、Borda（平均胜率；BT / DPO 学到的就是它）、Copeland（胜场数）、冯·诺依曼（混合策略，总存在）。BT 世界里它们一致，现实中常常不一致——选哪个是价值判断。
2. 对决老虎机：强遗憾（两个都要好）、弱遗憾（一个好就行）。RUCB 把比较集中在”谁是最好的”上，在有孔多塞赢家时最好；Sparring 把对决归约成两个普通老虎机，隐含接近 Borda 的定义，成环时接近冯·诺依曼混合策略；IF 需要全序。假设存在孔多塞赢家的算法在偏好成环时会浪费比较。
3. 交错评估：同一个用户、同一个查询同时比较两个排序算法，比 A/B 测试灵敏得多（这里约 10 倍）；DBGD 只用胜负做在线学习。
4. 偏好贝叶斯优化：GP 偏好模型 + 挑一对的采集函数。EUBO $= E[\max(f(x_1), f(x_2))]$ 和”最好 vs 乐观”在这里最好；“最好 vs 最不确定”浪费在没希望的边缘；Thompson 类方法在预算很小时代价大。
5. 预分析计划：事先写下问题、数据收集、模型、主要指标、偏差应对。

8. 与测验、口试和项目的关系

• 测验与口试可能会问：四种”赢家”的定义和反例；为什么存在孔多塞赢家时冯·诺依曼赢家就是它；强遗憾和弱遗憾的区别和适用场景；RUCB 怎样挑一对、为什么；Sparring 的归约思路；偏好成环时哪些算法会出问题；团队选秀式交错的步骤、为什么比 A/B 测试灵敏；DBGD 的更新规则；EUBO 的公式和直觉。
• 期末项目：本讲第 6 节就是预分析计划的清单。如果你的项目要在线地收集比较，说明用哪种对决策略、它隐含的”最好”是否是你想要的。

9. 练习

练习 1（孔多塞与冯·诺依曼）。证明：如果存在孔多塞赢家 $a^*$，那么”只选 $a^*$“是冯·诺依曼赢家；并且它是唯一的冯·诺依曼赢家。

“只选 $a^*$“对任何选项 $j$ 的胜率是 $P[a^*, j] \ge 0.5$（$j = a^*$ 时等于 0.5），满足定义。唯一性：设另一个混合策略 $q$ 也是冯·诺依曼赢家，则 $q$ 对 $a^*$ 的胜率 $\sum_i q_i P[i, a^*] \ge 0.5$；但对每个 $i \ne a^*$，$P[i, a^*] < 0.5$，所以只有 $q$ 把全部概率放在 $a^*$ 上时才能达到 0.5。

练习 2（Borda 赢家的归约）。说明：找 Borda 赢家可以归约成一个普通的老虎机问题。每次选一个臂 $i$，对手怎样选、奖励是什么？

对手从其余选项中均匀随机地选一个 $j$，奖励 = 1（$i$ 赢）或 0。臂 $i$ 的期望奖励就是它的 Borda 得分 $\frac{1}{K-1}\sum_{j\ne i}P[i, j]$。于是任何老虎机算法（UCB、Thompson 采样）都可以用来找 Borda 赢家（Jamieson 等 2015 用这个思路处理”稀疏”的对决问题）。这也解释了代码 02 演示 2 里 Sparring 偏向 B：它的每个老虎机看到的奖励近似是”对一个变化的对手的胜率”。

练习 3（强遗憾与弱遗憾）。最好的选项 $a^*$ 对 $b$ 的胜率是 0.7，对 $c$ 的胜率是 0.6。 (a) 选 $(a^*, b)$ 一次的强遗憾、弱遗憾各是多少？ (b) 选 $(b, c)$ 呢？ (c) 什么应用里你更关心弱遗憾？

(a) 强：$(0 + 0.2)/2 = 0.1$；弱：$\min(0, 0.2) = 0$。 (b) 强：$(0.2 + 0.1)/2 = 0.15$；弱：$\min(0.2, 0.1) = 0.1$。 (c) 用户会从两个里自己挑好的那个时（例如推荐两个选项、用户只用其中一个），只要有一个好就行；同时展示两个回答、两个都会被看到时更关心强遗憾。

练习 4（Interleaved Filter 的剪枝）。IF 换擂主时，会顺带淘汰”旧擂主曾明显胜过的”选项。在什么假设下这样做是安全的？举一个这样做会出错的例子。

需要某种传递性：如果新擂主 $b$ 胜过旧擂主 $a$，$a$ 胜过 $c$，那么 $b$ 也胜过 $c$（强随机传递性还要求 $P[b, c] \ge \max(P[b, a], P[a, c])$）。BT 模型满足。偏好成环时不安全：代码 01 的矩阵 3 里 A 胜 B、B 胜 C、C 胜 A；如果擂主 A 先淘汰了 B，又被 C 打败，换成 C 后再淘汰”A 曾胜过的 B”——可 B 其实胜过 C。被淘汰的选项永远没机会了。

练习 5（交错评估的公平性）。在团队选秀式交错里，假设用户随机地点击（每个位置被点的概率只依赖于位置，不依赖于文档）。证明 A 和 B 的期望得分相同。

每一轮抛硬币决定谁先挑，所以每个位置由 A 贡献和由 B 贡献的概率相同（对称）。点击只依赖于位置，于是每个位置给 A 记分和给 B 记分的期望相同，求和后期望得分相同。这说明交错评估本身不会偏向任何一方，得分的差别只能来自用户对文档的真实偏好。（这正是团队选秀设计里”抛硬币”的作用；如果总是 A 先挑，A 会占据更靠前的位置，在位置偏差下系统性地占便宜——第 11 讲的顺序效应。）

练习 6（EUBO 的封闭式）。设 $(f_1, f_2)$ 二元正态。 (a) 利用 $\max(f_1, f_2) = f_2 + \max(f_1 - f_2, 0)$ 和第 11 讲练习 1，推导 EUBO 的公式。 (b) 两个点完全相同（$x_1 = x_2$）时 EUBO 是多少？为什么 EUBO 不会去问”两个一样的步态”？

(a) $D = f_1 - f_2 \sim N(\mu_1 - \mu_2, \theta^2)$，$\theta^2 = \sigma_1^2 + \sigma_2^2 - 2\mathrm{Cov}_{12}$。由第 11 讲练习 1，$E[\max(D, 0)] = (\mu_1 - \mu_2)\Phi(\alpha) + \theta\phi(\alpha)$，$\alpha = (\mu_1 - \mu_2)/\theta$。所以 $E[\max(f_1, f_2)] = \mu_2 + (\mu_1 - \mu_2)\Phi(\alpha) + \theta\phi(\alpha) = \mu_1\Phi(\alpha) + \mu_2\Phi(-\alpha) + \theta\phi(\alpha)$。 (b) $\theta = 0$，EUBO $= \mu_1$，只是一个点的均值，没有”二选一”带来的增益。两个不同、又都有希望的点，$\theta > 0$ 带来额外的 $\theta\phi(\alpha)$——“比较之后能挑出较好的那个”的价值。所以 EUBO 自动避开”几乎一样”的一对（和第 10 讲 BALD 对”相同回答”信息为 0 是同一个直觉）。

练习 7（设计）。你要为公司内部的 20 个 LLM 版本做持续的偏好评测，每天有约 2000 名员工各投 1 票，目标是”一周内可靠地确定前三名，同时别让员工总看到很差的回答”。你会怎样配对？要注意什么？

前一两天用随机配对（或均衡设计）粗略估计所有版本的 BT 分数和置信区间；之后把配对集中在”可能进入前三”的版本之间（类似 RUCB / 最佳臂识别的思路：排除置信上界低于第三名置信下界的版本），同时保留一小部分随机配对，用于无偏的估计和检查模型（第 7 讲第 5.5 节）。注意：数据是自适应收集的，分析时用模型（BT）而不是原始胜率；随机化左右顺序；按员工去重，避免少数人主导；检查是否存在成环（如果偏好不可传递，“前三名”本身要重新定义，例如报告 Copeland 或冯·诺依曼意义下的结果）。

练习 8（预分析计划）。为第 7 题的评测写一份预分析计划的”主要指标”和”偏差应对”两部分（各三四句话）。

主要指标：一周结束时，用全部投票（含自适应收集的部分）拟合 BT 模型，报告每个版本的分数和按员工重抽样的 95% 自助法置信区间；“前三名”定义为分数最高的三个，并报告每个版本”排进前三”的自助法概率。偏差应对：左右顺序随机化，并检验位置效应；对回答长度做风格控制分析（第 14 讲），报告控制前后的排名变化；按部门分组报告结果，检查是否有某个部门的偏好主导了排名；如果发现偏好成环，额外报告冯·诺依曼混合策略。

10. 延伸阅读

课程教材

• Truong, Haupt, Koyejo. Machine Learning from Human Preferences. 第 3 章 3.5–3.6 节。

对决老虎机

• Yue, Broder, Kleinberg, Joachims. The K-armed Dueling Bandits Problem. JCSS 2012.
• Zoghi, Whiteson, Munos, de Rijke. Relative Upper Confidence Bound for the K-Armed Dueling Bandit Problem. ICML 2014.
• Ailon, Karnin, Joachims. Reducing Dueling Bandits to Cardinal Bandits. ICML 2014.（Sparring）
• Zoghi, Karnin, Whiteson, de Rijke. Copeland Dueling Bandits. NeurIPS 2015.
• Komiyama, Honda, Kashima, Nakagawa. Regret Lower Bound and Optimal Algorithm in Dueling Bandit Problem. COLT 2015.
• Wu, Liu. Double Thompson Sampling for Dueling Bandits. NeurIPS 2016.
• Dudík, Hofmann, Schapire, Slivkins, Zoghi. Contextual Dueling Bandits. COLT 2015.（冯·诺依曼赢家）
• Jamieson, Katariya, Deshpande, Nowak. Sparse Dueling Bandits. AISTATS 2015.
• Bengs, Busa-Fekete, El Mesaoudi-Paul, Hüllermeier. Preference-based Online Learning with Dueling Bandits: A Survey. JMLR 2021.

交错评估与在线学习排序

• Joachims. Optimizing Search Engines using Clickthrough Data. KDD 2002.
• Radlinski, Kurup, Joachims. How Does Clickthrough Data Reflect Retrieval Quality? CIKM 2008.
• Chapelle, Joachims, Radlinski, Yue. Large-Scale Validation and Analysis of Interleaved Search Evaluation. TOIS 2012.
• Yue, Joachims. Interactively Optimizing Information Retrieval Systems as a Dueling Bandits Problem. ICML 2009.（DBGD）
• Schuth et al. Multileaved Comparisons for Fast Online Evaluation. CIKM 2014.

偏好贝叶斯优化

• Brochu, de Freitas, Ghosh. Active Preference Learning with Discrete Choice Data. NeurIPS 2007.
• González, Dai, Damianou, Lawrence. Preferential Bayesian Optimization. ICML 2017.
• Sui, Zhuang, Burdick, Yue. Multi-dueling Bandits with Dependent Arms. UAI 2017.（自我陪练）
• Astudillo, Lin, Bakshy, Frazier. qEUBO: A Decision-Theoretic Acquisition Function for Preferential Bayesian Optimization. AISTATS 2023.
• Tucker et al. Preference-Based Learning for Exoskeleton Gait Optimization. ICRA 2020.（CoSpar）

预分析计划

• Nosek, Ebersole, DeHaven, Mellor. The Preregistration Revolution. PNAS 2018.

11. 下一讲预告

第三单元到此结束：我们学会了怎样在不确定中提问、行动、找到最好的选项。可是这一切都建立在一个假设上：人的选择反映了人的偏好。第 1 讲就看到过，标注员会被长度和”华丽”的风格吸引；第 8 讲看到这些偏差被 RLHF 放大；第 11 讲看到摆放方式也会左右选择。

第四单元（反演）问的是：观察到的行为，就是真实的偏好吗？

第 14 讲讲风格控制与代理指标：

• Chatbot Arena 的”风格控制”：在 BT 模型里加入长度、格式等风格变量，把”回答写得长”和”回答写得好”分开——这是一个因果推断问题。
• 代理指标：点击、停留时间、点赞……它们和”真正想要的”有多远？什么时候优化代理指标会适得其反（Goodhart 定律的又一个版本）？
• 怎样检验和修正：随机化、工具变量、敏感性分析。