第 16 讲：不可能定理——Gibbard–Satterthwaite 与 Arrow

对应：Stanford CS329H Fall 2026 Lecture 16（11/16 Impossibilities: Gibbard–Satterthwaite & Arrow）。依据教材第 5 章 5.2–5.5 节及相应幻灯片；Arrow 定理依据 Arrow（1951）与 Geanakoplos（2005）的简短证明；Gibbard–Satterthwaite 定理依据 Gibbard（1973）、Satterthwaite（1975）；单峰偏好依据 Black（1948）、Moulin（1980）；最大彩票依据 Fishburn（1984）、Brandl 等（2016）；与 RLHF 的联系依据 Siththaranjan 等（2024）、Conitzer 等（2024）、Ge 等（2024）。 配套代码：code/lecture16/（只需要 numpy） 预计阅读时间：3 小时（含运行代码）

0. 本讲导航

0.1 学完本讲，你应该能够

1. 说出相对多数、Borda、Copeland、排序复选（IRV）、Kemeny 五种投票规则的做法，举例说明同样的选票可以选出不同的赢家，说出每个规则在回答什么问题。
2. 解释孔多塞悖论，说出它在随机偏好下有多常见、在什么结构的偏好下不会出现。
3. 准确陈述 Arrow 定理（每条公理的意思），说出证明的思路；说出”两两多数决”和”Borda”各自放弃了哪条公理。
4. 准确陈述 Gibbard–Satterthwaite 定理，举出”埋掉对手""投给折中候选”的操纵例子。
5. 说出三条出路：限制偏好（单峰偏好、中位选民、中位数规则防操纵）、随机化（最大彩票）、基数效用；以及各自的代价。
6. 把以上结论翻译到 RLHF：奖励模型隐含的投票规则是 Borda；它对候选池的组成、策略性标注员、比较的设计都敏感。

0.2 先修知识

0.3 本讲地图

第1节  第五单元：从一个人到很多人
第2节  投票规则：同样的选票，不同的赢家                 ← 代码 01 演示 1
第3节  孔多塞悖论                                       ← 代码 01 演示 2
第4节  Arrow 不可能定理                                 ← 代码 02 演示 1、2
第5节  Gibbard–Satterthwaite 定理：策略性投票           ← 代码 02 演示 3
第6节  出路：单峰偏好、随机化、基数效用；Sen 的悖论     ← 代码 03
第7节  RLHF 里的社会选择                                ← 代码 04
第8–12节 小结、与考核的关系、练习、延伸阅读、下一讲预告

0.4 关于数字

本讲的数字都来自配套代码的实际运行（随机种子固定，每个文件不超过 3 秒）。“公正文化”（每个人的排序完全随机）是社会选择理论里常用的”最坏情况”假设，真实偏好里悖论和操纵的机会通常少一些。理论结果（定理、极限概率）单独标出。

1. 第五单元：从一个人到很多人

前四个单元的问题都是关于”偏好”本身的：怎样建模（BT、随机效用）、怎样学习（最大似然、贝叶斯）、怎样收集（主动学习、老虎机）、学到的是不是真的偏好（风格、有限理性）。

第五单元问一个新的问题：很多人的偏好不一样时，系统应该按谁的来？

这不是一个假想的问题。一个语言模型要回答几亿人的问题，可这几亿人对”好的回答”的看法并不一致：有人喜欢简洁、有人喜欢详细；有人希望模型表达立场、有人希望它保持中立；对政治、宗教、文化的问题，看法更是千差万别。RLHF 把很多标注员的比较合成一个奖励模型、训练出一个策略——它在做的，正是社会选择理论研究了两百多年的事：把很多个排序合成一个决定。

社会选择理论的历史从一场争论开始：1770 年代，法国科学院的 Borda 提出按名次打分（Borda 计数），孔多塞（Condorcet）批评它，主张”一对一谁都能赢的候选才应该当选”，并发现了这样的候选可能不存在（孔多塞悖论）。1951 年，Arrow 证明了一个惊人的结论：不存在一个满足几条”显然合理”要求的规则。这一讲的主线就是这个不可能定理，以及它的”兄弟”Gibbard–Satterthwaite 定理（任何合理的规则都可以被策略性投票操纵）。

两个术语：

• 社会福利函数（social welfare function）：把所有人的排序合成一个社会的排序。Arrow 定理讲的是它。
• 社会选择函数（social choice function）：把所有人的排序合成一个赢家。Gibbard–Satterthwaite 定理讲的是它。

在 RLHF 里，奖励模型像一个社会福利函数（给所有回答一个排序），最终的策略像一个社会选择函数（对每个提示给出”那个”回答）。

2. 投票规则：同样的选票，不同的赢家

2.1 五个规则

每个投票者交一张完整的排序（“选票”）。m 个候选。

还有一个不是规则、而是一个”标准”的概念：

• 孔多塞赢家：在两两对决里严格多数地战胜其他每一个候选。它可能不存在，存在时唯一。总是选中孔多塞赢家（如果存在）的规则叫”孔多塞一致”的规则：Copeland、Kemeny 是，相对多数、Borda、IRV 不是。

两个有用的等价说法（练习 1、2）：

• Borda 分数 = 这个候选在所有两两对决里赢得的票数之和。所以 Borda 只依赖于两两对决的票数矩阵 N。
• Kemeny 排序是一个最大似然估计：如果每张选票都是”真实排序”加上独立的两两翻转噪声（Mallows 模型），最可能的真实排序就是 Kemeny 排序（Young 1988）。这正是孔多塞本人对投票的看法：选民在估计一个客观的”正确答案”（第 17 讲的陪审团定理）。

2.2 一个例子：四个规则，四个赢家

代码 01 的演示 1：19 位标注员给 4 个回答排序。

 7 人：B > C > D > A
 4 人：D > C > B > A
 6 人：A > D > C > B
 2 人：A > C > B > D

两两对决（行赢列的票数）：

• A：第一名票最多（8 票），可 11 个人把 A 排在最后。
• B：在 IRV 里，A 的对手们的票最后都流向了 B。
• C：没有人把 C 排第一，但所有人都把它排在第二或第三——“大家都能接受”。可它恰恰是 IRV 第一个淘汰的。
• D：一对一赢了每一个对手（对 A 11 : 8、对 B 10 : 9、对 C 10 : 9）。

这个例子是用一个小搜索找出来的，在随机的选票里不那么极端。但它说明了一件事：“大家最喜欢哪个”不是一个有唯一答案的问题。每个规则都对”最好”有一个合理的定义，这些定义可以全部不一样。第 13 讲在偏好矩阵上看到过同样的现象；这里是在完整的排序上。

2.3 规则的性质

两个值得记住的”毛病”：

• IRV 不单调（练习 4）：39 人 A > B > C、35 人 B > C > A、26 人 C > A > B 时 A 当选；如果 10 个 B > C > A 的人改成 A > B > C（更支持 A），第一轮淘汰的就变成了 B，B 的票转给 C，C 以 51 : 49 当选。A 因为得到更多支持而落选。
• Kemeny 计算困难：一般情况下找 Kemeny 排序是 NP 难的（Bartholdi、Tovey、Trick 1989）。代码里枚举 m! 个排序，只适合 m ≤ 7。

3. 孔多塞悖论

3.1 三个人就够了

投票者 1：A > B > C
投票者 2：B > C > A
投票者 3：C > A > B

A 对 B：投票者 1、3 更喜欢 A，2 : 1。B 对 C：投票者 1、2，2 : 1。C 对 A：投票者 2、3，2 : 1。

多数人更喜欢 A 胜过 B、B 胜过 C、C 胜过 A——群体的偏好成了一个环。每个人的偏好都是可传递的，合起来却不是。没有孔多塞赢家：无论选谁，都有另一个候选被多数人更喜欢。

3.2 有多常见？

代码 01 的演示 2：在公正文化下（每个人的排序完全随机），没有孔多塞赢家的比例：

候选越多，悖论越常见。m = 3、n → ∞ 的极限 8.77% 是 Guilbaud（1952）算出来的；n = 3 时理论值是 1/18 ≈ 0.056（练习 3）。

有孔多塞赢家时，各规则选中它的比例（“孔多塞效率”，n = 11、m = 4）：相对多数 0.719、Borda 0.874、排序复选 0.920、Copeland 和 Kemeny 按定义是 1。

这对偏好学习意味着什么？ 第 1 讲已经说过：混合人群的偏好可以不可传递，任何单一的分数（包括 BT 的分数、奖励模型的输出）都无法表示它。第 9 讲的 Nash 偏好学习、第 13 讲的冯·诺依曼赢家是”偏好成环时怎么办”的一种回答；这一讲第 6 节会看到它就是社会选择里的”最大彩票”。

公正文化是最坏情况。真实的偏好通常有结构——大家都同意某个回答明显更好时，不会成环。但在”品味”类的问题上（风格、语气、幽默、立场），偏好可以非常分散。

4. Arrow 不可能定理

4.1 我们想要什么

我们想要一个社会福利函数 F：输入所有人的排序，输出一个社会的排序。Arrow 列出了几条看起来非常温和的要求：

1. 无限制定义域（U）：对任何可能的选票组合都要给出结果。
2. 社会的结果是一个排序（T）：完整、可传递。
3. 弱帕累托（P）：如果每个人都认为 x 比 y 好，社会也认为 x 比 y 好。
4. 无关选项的独立性（IIA）：社会对 x、y 的先后，只取决于每个人对 x、y 的先后。别的候选怎么排，不影响 x 和 y 的相对地位。
5. 非独裁（D）：不存在一个人，TA 的排序总是等于社会的排序。

Arrow 定理（1951）：候选至少 3 个时，不存在同时满足 U、T、P、IIA、D 的社会福利函数。等价地说：满足 U、T、P、IIA 的规则只能是独裁。

4.2 IIA 为什么重要，又为什么难

IIA 是五条里最”强”的，也是大多数规则违反的那一条。代码 02 的演示 1 给出两个违反 IIA 的例子：

相对多数的搅局者：100 个投票者，45 人 C > A > B、40 人 A > B > C、15 人 B > A > C。B 参选时，第一名票数 C 45、A 40、B 15，C 当选；B 退出，B 的支持者转向 A，A 以 55 : 45 当选。B 没有任何希望赢，但它的存在决定了 A 和 C 谁赢。

Borda：3 人 A > B > C、2 人 B > C > A。三个候选时，Borda 分数 A 6、B 7、C 2，B 排在 A 前面；去掉垫底的 C，A 以 3 : 2 排在 B 前面。没有一个人改变了对 A、B 的看法。

为什么想要 IIA？因为没有它，结论可以被”议程”操纵：往候选池里加一个无关的选项、或者拿掉一个，就能改变两个主要候选的先后。第 3 讲的多项 logit 也有一个 IIA，意思相近：A 和 B 的相对地位不应该取决于第三个选项。

为什么难？因为 IIA 要求社会对 x、y 的判断只能用”每个人认为 x 好还是 y 好”这一位信息——不能用名次的差距（Borda 用了），不能用”谁是第一”（相对多数用了）。只用这一位信息的、最自然的规则是两两多数决：x 和 y 谁排前面，看多数人怎么认为。它满足 P、IIA、D——可它违反 T：结果可能成环（孔多塞悖论）。

4.3 实验版的 Arrow 定理

代码 02 的演示 2：5 个投票者、4 个候选、2000 个随机选票组合，检查五个排序规则各违反了哪条公理（IIA：保持每个人对 x、y 的先后不变、随机重排其他候选，看社会对 x、y 的先后变不变）：

每一行都”缺”了点什么，只有独裁满足帕累托 + IIA + 总是排序。越接近两两多数的规则（Kemeny、Copeland），违反 IIA 越少——但只要它们输出一个排序，就不可能完全不违反。

相对多数违反帕累托的 9 次都来自平局：两个候选都没有第一名票时按编号排，可能把人人都认为更差的排在前面。

模拟只是统计，不是证明。下面是证明的思路。

4.4 证明的思路

这里沿用 Geanakoplos（2005）“三个简短证明”里的第一个，分三步。假设 F 满足 U、T、P、IIA。

第一步（极端引理）：如果每个人都把某个候选 b 排在最前或最后（每个人可以不同），那么社会也一定把 b 排在最前或最后。

理由：假设社会把 b 排在中间：存在 a、c 使得社会认为 a ≻ b ≻ c。现在让每个人都把 c 挪到 a 前面（不动 b——这总是可以的，因为 b 在每个人那里都是最前或最后，挪动 a、c 不改变任何人对”a 和 b""b 和 c”的先后）。由 IIA，社会仍然认为 a ≻ b、b ≻ c，由可传递性 a ≻ c；可由帕累托，社会应该认为 c ≻ a。矛盾。

第二步（关键人物）：从”每个人都把 b 排在最后”开始，此时社会把 b 排在最后（帕累托）。按顺序让投票者 1、2、3、……一个一个把 b 挪到最前。到最后一个人挪完时，社会把 b 排在最前（帕累托）。由第一步，社会的 b 只能在”最后”和”最前”之间跳——所以存在某个投票者 n*，TA 一挪，社会的 b 就从最后跳到了最前。n* 叫做关键人物（pivotal voter）。

第三步（关键人物就是独裁者）：对任何不包含 b 的一对 a、c，可以证明社会对 a、c 的先后总是跟着 n*（构造一个选票组合，让 n* 认为 a ≻ b ≻ c，其他人随意，然后用 IIA 和第二步的关键性推出社会 a ≻ c）。再对每个候选重复这个论证，可以证明这些关键人物是同一个人，并且 TA 对包含 b 的对也有决定权。所以 n* 是独裁者。

证明里真正”出力”的是 IIA：它让我们可以只改动部分候选的位置，而保证社会对另一些对的判断不变。这也是为什么出路大多是”放弃 IIA”或”限制定义域 U”。

4.5 怎么读这个定理

Arrow 定理不是说”民主不可能”或”投票没有意义”。它说的是：任何聚合规则都要放弃某条看起来合理的要求。选择规则，就是选择放弃哪一条：

• 放弃 T（允许结果成环）：两两多数决。
• 放弃 IIA：Borda、Kemeny、Copeland、IRV……几乎所有实际使用的规则。
• 放弃 U（只处理某些形状的偏好）：单峰偏好下的中位数规则（第 6.1 节）。
• 放弃”只用排序”：允许基数的效用、允许人和人之间比较强度（第 6.3 节）。
• 放弃”确定性”：随机化的规则（第 6.2 节）。

【偏好学习联系】 奖励模型（BT 拟合）是一个社会福利函数：输入所有标注员的比较，输出所有回答的一个排序（分数）。第 9 讲看到它在每对等量比较时等于 Borda——所以它放弃的是 IIA。第 7 节会看到 IIA 被违反在 RLHF 里的具体样子。

5. Gibbard–Satterthwaite 定理：策略性投票

5.1 定理

Arrow 定理假设大家都诚实地交出自己的排序。可如果说谎能得到更好的结果呢？

Gibbard–Satterthwaite 定理（Gibbard 1973；Satterthwaite 1975）：候选至少 3 个时，任何满足”每个候选都有可能赢”（满射）的确定性社会选择函数，要么是独裁，要么可被操纵：存在某个选票组合和某个投票者，TA 谎报自己的排序能得到（按真实偏好）更好的结果。

证明的思路：从一个”防操纵 + 满射”的社会选择函数出发，可以构造一个满足 Arrow 条件的社会福利函数，于是由 Arrow 定理它是独裁的。两个定理是同一个现象的两面。

5.2 两种常见的操纵

• 折中（compromising）：把一个”有希望赢的、还能接受的”候选提到第一位，放弃自己真正的最爱。相对多数下最常见：“不要浪费选票”。
• 埋葬（burying）：把最大的对手压到最后。Borda 下最有效：对手每下降一位就少一分。

代码 02 的演示 3：7 个投票者、4 个候选、300 个随机选票组合，暴力搜索”有没有一个人，换一张选票就能得到更好的结果”：

一个 Borda 的例子：投票者 1 的真实偏好 C > A > D > B，诚实投票时 A 当选；改投 C > B > A > D——把对手 A 从第二位压到第三位，把没希望的 B 从最后抬到第二位——C 就当选了。

排序复选最难被一个人操纵，这和更大规模的模拟研究一致（Green-Armytage、Tideman、Cosman 2016）。

5.3 防线

定理说操纵总是可能的，但不是每次都容易或有效：

• 人数：n 越大，一个人能改变结果的情况越少（比例随 n 下降）。
• 信息：操纵需要知道别人怎么投。
• 计算：对某些规则，找出一个成功的操纵是 NP 难的（Bartholdi、Tovey、Trick 1989 的二阶 Copeland；Bartholdi & Orlin 1991 的 STV）。不过”最坏情况难”不等于”通常难”，这道防线在实践中并不可靠（Faliszewski & Procaccia 2010 的综述）。
• 随机化：Gibbard（1977）把定理推广到随机化的规则：防操纵的规则只能是”随机独裁”（随机挑一个人，按 TA 的最爱）及其和”两两之间的规则”的混合。随机独裁防操纵，但它几乎不做”聚合”。

【偏好学习联系】 在 RLHF 里，“一个投票者”可能是一个标注了几千条数据的标注员，或者一群立场一致的人。如果标注员知道自己的标注会怎样影响模型，就有动机策略性地标注。代码 04 的演示 2 会看到：30% 的标注员把一个回答”埋”到最后，就能换掉奖励模型的第一名。

6. 出路：单峰偏好、随机化、基数效用

6.1 单峰偏好与中位选民

单峰偏好（Black 1948）：候选可以排在一条线上（例如”左—中—右”、价格”低—高”、回答”简洁—详细”），每个人有一个最喜欢的位置，离它越远越不喜欢。

中位选民定理：偏好是单峰的、投票者人数为奇数时，孔多塞赢家总存在，就是”中位选民”（理想位置排在正中间的人）最喜欢的候选（练习 5）。

直觉：拿中位选民的最爱 x 和任何一个对手 y 比。设 y 在 x 的右边。中位选民更喜欢 x；所有理想位置在中位选民左边的人离 y 更远，也更喜欢 x。这些人（中位选民加上 TA 左边的所有人）超过了一半。

代码 03 的演示 1：101 个投票者、5 个候选、2000 次：

二维时孔多塞赢家通常存在，但不再总是存在：多维的偏好可以成环（McKelvey 1976 证明，二维以上，多数决的”议程”几乎可以从任何候选走到任何候选）。

中间派被挤压：即使有孔多塞赢家，相对多数和 IRV 也常常选不中它。代码 03 的演示 2：

35 人：A > B > C      16 人：B > A > C      16 人：B > C > A      33 人：C > B > A

中间的 B 是孔多塞赢家（对 A 65 : 35、对 C 67 : 33），可第一名票最少（32 票）。相对多数选 A；IRV 第一轮就淘汰了 B，最后也选 A。Borda、Copeland、Kemeny 选 B。在随机的一维选票里，选中中位选民最爱的比例：相对多数 0.365、IRV 0.550、Borda 0.775、Copeland 和 Kemeny 1.000。

防操纵：在一条线上选一个点（例如”回答应该多长”、“语气应该多正式”）时，中位数规则——每人报一个理想点，取中位数——不能被操纵（Moulin 1980）。代码 03 的演示 3：7 个人、500 次实验，每人试 101 种谎报：

理想点在中位数左边的人，往左报不改变中位数，往右报把中位数推得更远。平均数规则下人人都想夸大：理想点比平均数大的人就往大里报。这是 Gibbard–Satterthwaite 的出路：限制偏好的形状，规则就能防操纵。

代价：中位数忽略了强度——“我只想稍微长一点”和”我非常想要长的”一样。而真实的偏好很少只有一个维度。

6.2 随机化：最大彩票

没有孔多塞赢家时，无论选谁，都有一个候选被多数人更喜欢。确定性的规则无法摆脱这一点。随机化可以：

最大彩票（Kreweras 1965；Fishburn 1984）：一个候选的概率分布 p，使得对任何单个候选 b，按 p 随机抽出的候选”在期望上”不输给 b：

它是以多数优势矩阵 $M = N - N^\top$ 为收益的对称零和博弈的 Nash 均衡——正是第 9 讲的 Nash 偏好学习、第 13 讲的冯·诺依曼赢家。

代码 03 的演示 4：三个人偏好成环时，最大彩票是 A、B、C 各 1/3。一个没有孔多塞赢家的随机例子（11 人、5 个候选）里，最大彩票是 B 0.2、C 0.2、D 0.6——支撑集是一个环：B 胜 D、D 胜 C、C 胜 B。五个确定性规则没有一个选 D，相对多数、Borda、IRV、Kemeny 都选了 C，可 C 一对一输给了 D 和 E。

最大彩票的性质：总存在；有孔多塞赢家时就是”只选它”；对克隆稳健（Brandl、Brandt、Seedig 2016 证明它是唯一同时满足”人群一致性”和”组合一致性”的规则）。代价：结果是随机的。在选举里这很难被接受；对语言模型来说，“随机地给出几种风格的回答”反倒可以很自然。它也不能完全防操纵（Gibbard 1977）。

6.3 基数效用与人际比较

Arrow 定理的框架只用排序：只知道每个人认为 x 比 y 好，不知道好多少。如果我们知道每个人的效用（基数的），并且愿意在人和人之间比较效用，就可以用：

• 功利主义：选总效用最大的（Harsanyi 1955 给出了一个公理化的辩护）。
• 平等主义 / 最大最小：选”最差的人”效用最高的（Rawls）。
• Nash 社会福利：选效用乘积最大的。

这些规则不受 Arrow 定理的约束——但前提是”人和人之间的效用可以比较”。第 15 讲看到，从行为学到的效用只确定到尺度（β × θ）：一个”很随机的人”和一个”不太在乎的人”看起来一样。人际比较需要一个额外的、规范性的选择（例如”每个人的效用都缩放到 [0, 1]”），不同的选择给出不同的结论。第 17 讲会讨论”按群体的最大最小”这类公平的聚合。

6.4 Sen 的自由主义悖论

Sen（1970）给出了另一个不可能定理，和内容审核直接相关。

两个人：一个保守的人（P）和一个开放的人（L）。一本有争议的书，三种结果：P 读（p）、L 读（l）、没人读（o）。

• P 的偏好：o ≻ p ≻ l（最好没人读；非要有人读，那就自己读，别让 L 被”带坏”）。
• L 的偏好：p ≻ l ≻ o（希望 P 读一读开开眼界；自己读也好过没人读）。

最小自由主义：每个人对”只关乎自己”的事有决定权。P 决定自己读不读：在 p 和 o 之间，P 选 o，所以 o ≻ p。L 决定自己读不读：在 l 和 o 之间，L 选 l，所以 l ≻ o。帕累托：两人都认为 p ≻ l。于是 l ≻ o ≻ p ≻ l：成环。

问题出在”多管闲事的偏好”（nosy preferences）：P 关心 L 读什么，L 关心 P 读什么。在内容审核和推荐里，这种偏好很常见：有人希望别人看不到某些内容，有人希望别人看到某些内容。如果把这些偏好和”我自己想看什么”一样对待，个人自主和帕累托就会冲突。很多平台的做法是：对”只关乎自己”的选择（我看什么）尊重个人；对有外部影响的内容（例如伤害他人）另设规则。这是一个价值选择，不是一个技术问题。

7. RLHF 里的社会选择

7.1 奖励模型的投票规则是 Borda

第 9 讲证明过：所有回答对都被等量比较时，BT 在混合人群数据上的最大似然排序就是 Borda 排序（Siththaranjan、Laidlaw、Hadfield-Menell 2024）。DPO 的隐式奖励就是 BT 分数。所以，用 BT / DPO 训练混合人群的数据，你已经选择了 Borda 计数——以及 Borda 的所有毛病。代码 04 演示其中三个。

7.2 候选池的组成：克隆

代码 04 的演示 1：65% 的人 A > B > C（效用 4、2、0），35% 的人 B > C > A（效用 4、2、1.5）。A 是一个”有个性”的回答，B 是一个稳妥的好回答，C 是一个平庸的模板式回答。往候选池里加”克隆”（每个人给它的效用都比原回答低 0.1）：

加一个平庸回答的克隆，BT 的第一名就从 A 变成了 B，虽然”A 对 B”的偏好（0.599）一点没变。原因：B 对 C 几乎人人都赢（0.881），A 对 C 只赢 0.771（35% 的人觉得 A 还不如模板）。每多一个”C”，B 就比 A 多拿约 0.11 的”胜场”。

一个和最初设计不一样的地方：本来想演示的是”加 B 的克隆让 B 上升”——这是确定性排序下 Borda 的”抱团”效应：克隆排在原回答紧后面，原回答对它们总是赢。可在带噪声的比较里，B 对自己的克隆只是五五开，加 B 的克隆反而帮了 A（A 对 B 的克隆赢约 60%）。两个方向都说明同一件事：BT / Borda 的排序取决于候选池里还有谁。

对 RLHF：比较用的回答从策略里采样，相似的回答成群出现。哪类回答在候选池里多，就会改变奖励模型对其他回答的排序。多数决（Copeland）不受影响。

7.3 策略性标注员

代码 04 的演示 2：多数群体 X 是 A > B > C > D，少数群体 Y 是 B > A > C > D（效用都是 6、4、2、0）。策略性的 Y 标注员只要比较里有 A，就当作 A 的效用是 −2（“埋”到最后）：

Y 占 30% 且全部埋 A，或占 40% 且一半埋 A，就能把 B 送上第一。埋 A 不改变”A 对 B”的比较（Y 本来就更喜欢 B），改变的是”A 对 C、A 对 D”——这是谎话，但它降低了 A 的平均胜率。多数决在这里不受影响（A 对 C、D 仍有 X 的多数支持）；但 Gibbard–Satterthwaite 说多数决也有别的操纵方式。

缓解：标注员多样化、限制单个标注员的影响、检测异常一致的标注模式（第 17 讲的标注员模型）、用对这类操纵不那么敏感的聚合方式。

7.4 比较的设计

代码 04 的演示 3：60% 的人 A > B > C > D（效用 6、4、2、0），40% 的人 B > C > D > A（非常不喜欢 A）。A 是孔多塞赢家（但都只是略胜：对 B 只有 0.529），B 的 Borda 分数最高（大胜 C、D）。把一部分比较集中在 A、B 这一对上：

均匀比较时 BT 选 B（Borda）；比较越集中在 A、B 上，BT 越接近”只拟合 P(A ≻ B)“，最后选 A（多数决）。

为什么分配方式会改变结论？如果人群只有一种偏好（P 是 BT 形式），无论怎样分配比较，最大似然都恢复同样的分数（练习 7）。可混合人群的偏好不是 BT 形式：模型是错的，“错在哪里”取决于数据在哪里。主动学习（第 7、10 讲）常把比较集中在”难分的对”上——它不只是更省标注，还悄悄改变了聚合规则。

7.5 怎么办

社会选择理论给 RLHF 的建议，近两年被几篇论文系统地提了出来：

• 说清楚用的是什么规则。Conitzer 等（2024）的立场文章认为，RLHF 应该明确地把社会选择的考虑纳入设计：谁来标注、怎样聚合、怎样处理分歧。
• 检查公理。Ge 等（2024）证明，在奖励是特征的线性函数时，常用的 BT 最大似然聚合可以违反帕累托最优、“两两多数一致性”这类基本公理，并提出了满足它们的替代规则。
• 保留分歧，而不是平均掉。分布式偏好学习（Siththaranjan 等 2024）估计”不同人的偏好的分布”，而不是一个平均的分数；多元对齐（第 17 讲）为不同的人群给出不同的回答。
• 随机化。偏好成环时，Nash 偏好学习（第 9 讲）给出最大彩票式的混合策略。
• 把规则当作价值选择来讨论。Borda 奖励”大家都能接受”，多数决奖励”多数人更喜欢”，最大最小保护”最差的群体”。没有一个”技术上正确”的选择。

8. 小结

1. 投票规则：相对多数、Borda、Copeland、IRV、Kemeny 回答不同的问题；同样的选票可以选出四个不同的赢家。
2. 孔多塞悖论：多数关系可以成环；公正文化下，m = 3 时约 9%、m = 5 时约 25% 的选票组合没有孔多塞赢家。
3. Arrow 定理：候选至少 3 个时，满足无限制定义域、可传递、帕累托、IIA 的社会福利函数只能是独裁。几乎所有规则放弃的是 IIA；两两多数决放弃的是可传递。
4. Gibbard–Satterthwaite 定理：任何满射、非独裁的确定性规则都可被操纵（埋葬、折中）。模拟里一个人能操纵 21%~44% 的随机选票组合。
5. 出路：单峰偏好下孔多塞赢家总存在、中位数规则防操纵；最大彩票总不输给任何候选；基数效用需要人际比较。每条出路都有代价。
6. Sen 的悖论：多管闲事的偏好让个人自主和帕累托冲突，和内容审核直接相关。
7. RLHF：奖励模型 ≈ Borda。它的排序取决于候选池里还有谁（克隆）、可以被策略性标注员改变、取决于比较怎样分配。聚合规则是一个价值选择，应该明确地做。

9. 与测验、口试和项目的关系

• 测验与口试可能会问：给一组选票，算出相对多数、Borda、Copeland、IRV 的赢家和孔多塞赢家；举一个孔多塞悖论的例子；陈述 Arrow 定理和每条公理；为什么两两多数决不违反 IIA，代价是什么；陈述 Gibbard–Satterthwaite 定理，举一个 Borda 的埋葬操纵；中位选民定理的证明；为什么中位数规则防操纵、平均数不防；最大彩票的定义；Sen 的悖论；为什么 BT 奖励模型等于 Borda，以及这带来的三个问题。
• 期末项目：如果你的项目聚合了多个标注员的偏好，在预分析计划里写明：(1) 你的聚合规则在社会选择意义上是什么（BT ≈ Borda？多数决？）；(2) 比较是怎样分配的，换一种分配结论会不会变；(3) 有没有检查不同人群的偏好是否一致（如果不一致，报告分人群的结果）。

10. 练习

练习 1（Borda = 两两胜票之和）。证明：候选 a 的 Borda 分数 = $\sum_{b \ne a} N[a, b]$。

对每个投票者 v：a 排在第 k 位（从 0 数）时，排在 a 后面的候选恰好有 m − 1 − k 个，也就是 v 在 m − 1 − k 场两两对决里支持 a。所以 v 给 a 的 Borda 分数 = v 支持 a 的两两对决数。对所有投票者求和，左边是 Borda 分数，右边是 $\sum_b N[a, b]$。代码 voting_tools.py 的自检里有这个等式的检查。

练习 2（Kemeny 是孔多塞一致的）。证明：存在孔多塞赢家 c 时，Kemeny 排序的第一名一定是 c。

设一个排序 σ 的第一名不是 c。把 c 和紧排在它前面的候选 x 对调：只改变了”c 和 x”这一对的先后，Kemeny 得分的变化是 $N[c, x] - N[x, c] > 0$（c 是孔多塞赢家，严格多数胜 x）。所以 σ 不是最优的。反复对调，c 会一直往前移，直到第一名。因此最优排序的第一名是 c。

练习 3（三个人的孔多塞悖论）。三个投票者、三个候选，每人独立等概率地取 6 个排序之一。证明没有孔多塞赢家的概率是 1/18。

三个候选、三个人（奇数，没有平局）时，没有孔多塞赢家 ⇔ 多数关系成环。只有两个环：A→B→C→A 和 A→C→B→A。多数关系是 A→B→C→A，需要每对的多数都对，可以验证这只在三个人的排序恰好是 {A>B>C, B>C>A, C>A>B} 的一个排列时发生（三个排序各被一个人选）。这样的选票组合有 3! = 6 个；另一个环也是 6 个。总共 12 个，占 $6^3 = 216$ 个中的 $12/216 = 1/18$。代码 01 的模拟是 0.053。

练习 4（IRV 不单调）。验证正文 2.3 节的例子：39 人 A > B > C、35 人 B > C > A、26 人 C > A > B 时 IRV 选 A；10 个 B > C > A 的人改成 A > B > C 后，IRV 选 C。

原来：第一名票 A 39、B 35、C 26，淘汰 C，C 的 26 票转给 A，A 65 : 35 当选。 改变后：A 49、B 25、C 26，淘汰 B，B 剩下的 25 票（B > C > A）转给 C，C 51 : 49 当选。 10 个人把 A 从最后提到第一，A 反而落选了。原因：A 的支持增加，改变了”谁先被淘汰”，而 C 对 A 一对一其实是赢的（C 对 A：35 + 26 = 61 : 39）。

练习 5（中位选民定理）。设偏好是一维单峰的、n 为奇数，每个人按”离自己的理想点的距离”排序候选。证明中位选民最喜欢的候选 x 是孔多塞赢家。

设中位选民的理想点是 $t_m$，x 是离 $t_m$ 最近的候选。任取一个对手 y，不妨设 y 在 x 的右边（$y > x$）。

• 考虑 x 和 y 的中点 $h = (x + y)/2$。一个理想点为 t 的人离 x 比离 y 近 ⇔ $t < h$。中位选民更喜欢 x（x 是 TA 的最爱），所以 $t_m < h$。于是所有理想点 $t \le t_m$ 的人都有 $t < h$，都更喜欢 x。
• 这样的人至少有 $(n + 1)/2$ 个（中位选民和 TA 左边的所有人），超过一半。

y 在 x 左边时对称。所以 x 一对一战胜任何对手。

练习 6（平均数规则的最佳谎报）。n 个人报告理想点 $r_i \in [0, 1]$，结果是平均数。投票者 1 的真实理想点是 $t_1$，其他人的报告固定。TA 的最佳报告是什么？如果所有人都这样做，会怎样？

结果 $= (r_1 + S)/n$，$S$ 是其他人报告的和。投票者 1 希望结果等于 $t_1$，所以最佳报告 $r_1 = n t_1 - S$，再截断到 [0, 1]。如果这个值超出范围，就报 0 或 1（极端值）。所有人都这样做时，大多数人会报极端值：理想点高于平均的人报 1、低于平均的人报 0，结果由”报 1 和报 0 的人数之比”决定，接近一个”多数决”，和真实理想点的平均可以差得很远。中位数规则下每个人都没有动机说谎。

练习 7（BT 形式时设计无关）。证明：如果人群的偏好矩阵是 BT 形式，即存在 $s^*$ 使 $P[a, b] = \sigma(s^*_a - s^*_b)$，那么对任意对称的正权重 W，04 号文件的 fit_bt(P, W) 都收敛到 $s^*$（相差一个常数）。

目标函数 $\sum_{a \ne b} W_{ab} P_{ab} \log \sigma(s_a - s_b)$ 对 s 是凹的，在 W 连通时去掉常数方向后严格凹，唯一的最优点满足梯度为 0：$g_a = \sum_b W_{ab}(P_{ab} - \sigma(s_a - s_b)) = 0$。代入 $s = s^*$：每一项 $P_{ab} - \sigma(s^*_a - s^*_b) = 0$，所以无论 W 是什么，梯度都是 0。因此 $s^*$ 就是唯一的最优点。P 不是 BT 形式时，梯度为 0 的条件是”加权的残差之和为 0”，权重不同，解就不同（演示 3）。

练习 8（讨论：你会用什么规则？）。你在为一个面向全球用户的写作助手训练奖励模型，标注员来自不同的文化背景，对”礼貌""直接”的看法差别很大。(a) 你会用 BT（≈ Borda）、多数决，还是别的规则？(b) 你会怎样分配比较？(c) 你会怎样发现和应对策略性的标注？

(a) 先检查分歧有多大：按标注员的背景分组拟合，看排序是否一致。分歧小时 BT 就够了；分歧大时，与其强行合成一个排序，不如保留分歧——按用户的偏好（或用户选择的风格）个性化，或者用分布式偏好学习输出”不同群体的看法”（第 17 讲）。如果必须给出一个，明确说出选择的理由：例如”保护最不满意的群体”（最大最小）比”平均名次最好”（Borda）更符合”面向全球”的目标。 (b) 保持每对比较的分配大致均匀，或者明确记录分配方式，并检查换一种分配结论是否改变（演示 3）。主动学习可以用，但要知道它改变了聚合规则。 (c) 限制单个标注员的数据量；监测”某个标注员（或群体）系统性地压低某类回答”的模式，例如在和内容无关的对照比较上和其他人严重不一致；对有争议的话题，比较不同群体的标注而不是只看总体。

11. 延伸阅读

课程教材

• Truong, Haupt, Koyejo. Machine Learning from Human Preferences. 第 5 章 5.2–5.5 节。

社会选择理论

• Arrow. Social Choice and Individual Values. 1951.
• Geanakoplos. Three Brief Proofs of Arrow’s Impossibility Theorem. Economic Theory 2005.
• Gibbard. Manipulation of Voting Schemes: A General Result. Econometrica 1973.
• Satterthwaite. Strategy-proofness and Arrow’s Conditions. Journal of Economic Theory 1975.
• Gibbard. Manipulation of Schemes that Mix Voting with Chance. Econometrica 1977.
• Brandt, Conitzer, Endriss, Lang, Procaccia (eds.). Handbook of Computational Social Choice. 2016.（第 2、3、6 章）
• Young. Condorcet’s Theory of Voting. American Political Science Review 1988.
• Tideman. Independence of Clones as a Criterion for Voting Rules. Social Choice and Welfare 1987.

孔多塞悖论的概率、操纵与计算

• Gehrlein. Condorcet’s Paradox. 2006.
• Bartholdi, Tovey, Trick. The Computational Difficulty of Manipulating an Election. Social Choice and Welfare 1989.
• Bartholdi, Tovey, Trick. Voting Schemes for which It Can Be Difficult to Tell Who Won the Election. Social Choice and Welfare 1989.（Kemeny 是 NP 难的）
• Bartholdi, Orlin. Single Transferable Vote Resists Strategic Voting. Social Choice and Welfare 1991.
• Faliszewski, Procaccia. AI’s War on Manipulation: Are We Winning? AI Magazine 2010.
• Green-Armytage, Tideman, Cosman. Statistical Evaluation of Voting Rules. Social Choice and Welfare 2016.

出路

• Black. On the Rationale of Group Decision-making. Journal of Political Economy 1948.
• Moulin. On Strategy-proofness and Single Peakedness. Public Choice 1980.
• McKelvey. Intransitivities in Multidimensional Voting Models. Journal of Economic Theory 1976.
• Fishburn. Probabilistic Social Choice Based on Simple Voting Comparisons. Review of Economic Studies 1984.
• Brandl, Brandt, Seedig. Consistent Probabilistic Social Choice. Econometrica 2016.
• Harsanyi. Cardinal Welfare, Individualistic Ethics, and Interpersonal Comparisons of Utility. Journal of Political Economy 1955.
• Sen. The Impossibility of a Paretian Liberal. Journal of Political Economy 1970.

社会选择与 AI 对齐

• Siththaranjan, Laidlaw, Hadfield-Menell. Distributional Preference Learning: Understanding and Accounting for Hidden Context in RLHF. ICLR 2024.
• Conitzer et al. Social Choice Should Guide AI Alignment in Dealing with Diverse Human Feedback. ICML 2024.
• Ge, Halpern, Micha, Procaccia et al. Axioms for AI Alignment from Human Feedback. NeurIPS 2024.
• Mishra. AI Alignment and Social Choice: Fundamental Limitations and Policy Implications. 2023.
• Munos et al. Nash Learning from Human Feedback. ICML 2024.

12. 下一讲预告

这一讲的结论有些悲观：没有完美的聚合规则，任何规则都可以被操纵。可它也给了一个重要的视角：聚合规则是一个价值选择，应该明确地做、公开地讨论。

第 17 讲把这个视角推广到整个偏好学习的流水线，并讨论另一种”聚合”：

• 公平：流水线的每个环节（问谁、学什么、怎样聚合、顺从还是纠正）都在做价值选择；不公平怎样在反馈循环里累积；按群体的最大最小、多元对齐。
• 信息聚合：投票不只是在聚合”偏好”，也可以在聚合”信息”——如果有一个客观的正确答案，很多人各自掌握一点信息，怎样把它合起来？孔多塞陪审团定理（以及错误相关时它怎样失效）、Dawid–Skene 的标注员模型、同伴预测（没有标准答案时怎样激励诚实的标注）。