第 17 讲：公平与信息聚合

对应：Stanford CS329H Fall 2026 Lecture 17（11/18 Fairness & information aggregation）。依据教材第 4 章 4.3–4.5 节、第 5 章 5.6、5.10–5.11 节及相应幻灯片；反馈循环依据 Hashimoto 等（2018）；多元对齐依据 Sorensen 等（2024）；陪审团定理依据 Condorcet（1785）及其现代表述；标注员模型依据 Dawid & Skene（1979）；同伴预测依据 Miller、Resnick、Zeckhauser（2005）、Dasgupta & Ghosh（2013）、Shnayder 等（2016）；Community Notes 依据 Wojcik 等（2022）。 配套代码：code/lecture17/（只需要 numpy）；Community Notes 的桥接模型在 code/lecture04/06_community_notes.py 预计阅读时间：3 小时（含运行代码）

0. 本讲导航

0.1 学完本讲，你应该能够

1. 区分”聚合偏好”和”聚合信息”两种看待投票的方式，说出它们分别适合什么问题。
2. 列出偏好学习流水线里的价值选择（获取、学习、聚合、决定、评估），各举一个例子。
3. 用一个简单的动力学模型解释反馈循环怎样放大群体间的差异；说出最大最小（分布鲁棒）和个性化各自的代价。
4. 区分个体公平与群体公平、过程公平与结果公平；说出多元对齐的三种形式（Overton、可引导、分布式）。
5. 陈述孔多塞陪审团定理，解释错误相关时它怎样失效；说出能力不同时的最优权重。
6. 写出 Dawid–Skene 模型和它的 EM 算法，说出它的对称性问题和金标准的作用。
7. 解释同伴预测要解决的问题，说出”一致就给钱”的坏均衡和”相关一致”机制的思路，以及它在 LLM 时代的漏洞。

0.2 先修知识

0.3 本讲地图

第1节  两种聚合：偏好与信息
第2节  流水线里的价值选择
第3节  反馈循环里的不公平                            ← 代码 04 演示 1
第4节  公平的几种定义；多元对齐；问谁                ← 代码 04 演示 2
第5节  （过渡）从"该听谁的"到"谁说得对"
第6节  孔多塞陪审团定理                              ← 代码 01
第7节  标注员模型：Dawid–Skene                       ← 代码 02
第8节  同伴预测：没有正确答案时的激励                ← 代码 03
第9节  Community Notes：信息聚合与桥接               ← 第 4 讲代码 06
第10–14节 小结、与考核的关系、练习、延伸阅读、下一讲预告

0.4 关于数字

本讲的数字都来自配套代码的实际运行（随机种子固定，每个文件不到 1 秒）。群体、标注员、AI 都是模拟的；效应的大小取决于设定，只说明机制。真实研究的结论单独标出。

1. 两种聚合：偏好与信息

第 16 讲把投票看作聚合偏好：每个人有自己的口味，没有”对”或”错”，问题是怎样公平地合成一个决定。

孔多塞本人对投票有另一种看法：很多问题有一个客观的正确答案（被告有没有罪、这个回答有没有事实错误、这段代码能不能运行），每个人只是不完美地知道它。投票是在聚合信息：把很多个有噪声的判断合成一个更可靠的判断。

两种看法给出不同的问题：

偏好学习的数据通常两者都有。“哪个回答更好”里，有一部分是事实（有没有错误、有没有回答问题），有一部分是口味（详细还是简洁、正式还是随意）。把口味当成信息（“和大多数人不一样就是错”），会压制少数人的偏好；把信息当成口味（“每个人的看法都一样有效”），会让错误和正确一样有分量。分清楚这两部分，是这一讲的前提。

2. 流水线里的价值选择

一个偏好学习系统从数据到部署，每一步都在做价值选择——即使没有人意识到：

“技术中立”的选择并不存在：用一个 BT 分数，就是选择了”把所有人的差异当作噪声”；只看平均满意度，就是选择了”人数多的群体更重要”。这一讲的目标不是给出”正确”的选择，而是让这些选择被看见。

3. 反馈循环里的不公平

3.1 一个简单的模型

代码 04 的演示 1：两类用户对”回答风格”（例如详细程度，0 = 极简、1 = 极详细）的理想点不同。多数群体 M（潜在用户的 70%）理想点 0.3，少数群体 m（30%）理想点 0.8。系统选一个风格 θ，满意度 $u_g(\theta) = 1 - 1.5(\theta - \mu_g)^2$。

每一轮：

1. 系统按当前活跃用户的平均偏好选 θ（最小化当前用户的平均损失——经验风险最小化，ERM）。
2. 每个群体留下 $0.95 \times u_g$ 的用户（不满意的人离开）。
3. 新用户按人口比例加入。

少数群体的满意度更低 → 离开得更多 → 数据里更少 → θ 往多数移 → 少数群体更不满意……稳定时少数群体在活跃用户里不到 6%，θ 停在 0.33——几乎就是多数群体的理想点。

一个和预想不一样的地方：写这个模拟之前，我们以为少数群体会”略少于 30%“。实际的效应强得多：一个温和的初始差距（满意度 0.97 vs 0.82）被反馈循环放大成了几乎完全的排斥。

3.2 为什么这很危险

每一步都是”按数据做最好的事”。可结果是少数群体被系统性地挤走了，而且从数据里看不出来：留下来的用户都很满意（多数群体 0.999），流失的人不在数据里。Hashimoto 等（2018）把这叫做”代表性差异的放大”（representation disparity amplification），并证明 ERM 在这类动力学下一般会放大差异。

偏好学习里，这类循环随处可见：

• 聊天助手的”点赞 / 点踩”数据只来自还在用它的人。
• 推荐系统只从被推荐的内容里收集反馈（第 11 讲的位置偏差、第 15 讲的考虑集）。
• 一个模型被训练成”擅长”某些语言或文化的问题，其他用户用得少，数据就更少。

更一般的框架是”表演性预测”（performative prediction，Perdomo 等 2020）：模型的部署改变了数据的分布。

3.3 三种做法

稳定之后（第 60 轮）：

• 最大最小（Rawls 的”差异原则”；Hashimoto 等 2018 用分布鲁棒优化实现，不需要知道群体标签）：让最不满意的群体尽量满意。两个群体的满意度一样，少数群体的比例保持在人口比例。代价是多数群体的满意度从 0.999 降到 0.906。
• 一个意外：按全体潜在用户加权的满意度，最大最小（0.906）反而比 ERM 的稳定状态（0.899）高。ERM 优化的是”还留着的用户”，而不是所有本来可能使用它的人。（如果直接按人口比例取平均理想点 θ = 0.45，人口加权的满意度是 0.921；可在反馈循环里，ERM 到不了那里。）
• 个性化：每个群体都完全满意。代价在模型之外：要知道每个用户属于哪个群体（隐私）、群体要事先定义好（谁来定义？），还可能把人关进”回音室”。

【偏好学习联系】 MaxMin-RLHF（Chakraborty 等 2024）把最大最小用在 RLHF 上：先用 EM 把偏好数据分成几个群体、各学一个奖励模型，再训练一个最大化”最差群体的奖励”的策略。群体分布鲁棒优化（Group DRO，Sagawa 等 2020）在有群体标签时做同样的事。

4. 公平的几种定义；多元对齐；问谁

4.1 几对概念

个体公平 vs 群体公平。个体公平（Dwork 等 2012）：相似的人应该得到相似的对待。群体公平：不同群体（按性别、种族、语言……）应该得到某种意义上相等的结果。两者可以冲突：要让群体的平均结果相等，可能需要对两个相似的个体区别对待。而且群体公平的几种定义（比例相等、错误率相等、校准）一般不能同时满足（Kleinberg、Mullainathan、Raghavan 2017；Chouldechova 2017）。

过程公平 vs 结果公平。过程公平：规则对每个人一样（每个标注员一票、每个用户的反馈权重相同）。结果公平：结果对每个人都好（每个群体的满意度都不低）。演示 1 里，ERM 是过程公平的（每个活跃用户的权重一样），结果却很不公平；最大最小是结果导向的，但它给了每个群体相同的权重，而不是每个人。

在偏好学习里，最核心的公平问题是：谁的偏好被代表了？ Santurkar 等（2023）用美国的民意调查比较了语言模型的”观点”和不同人群的观点，发现经过 RLHF 的模型和某些人群（例如受过高等教育、偏自由派的人）明显更接近——这和标注员的构成有关。

4.2 多元对齐

如果人们的偏好真的不同，“对齐到人类偏好”本身就有歧义。Sorensen 等（2024）区分了三种”多元”的对齐：

每种形式适合不同的问题：事实问题不需要多元（有正确答案）；有合理分歧的价值问题适合 Overton；个人偏好（风格、语气）适合可引导或个性化；模拟人群（例如用模型做社会科学的预调查）需要分布多元。

个性化（第 4 讲的因子模型、第 4 讲代码 05）是可引导多元的一种实现。它的风险：

• 回音室：只给人看 TA 已经同意的东西。
• 有害的偏好：有些偏好不应该被满足（第 15 讲的家长主义、第 16 讲 Sen 的”多管闲事的偏好”）。
• 群体的定义：按什么分组？人口统计信息还是行为？谁有权定义？

4.3 问谁，决定学到什么

代码 04 的演示 2：用户 70% 是 M、30% 是 m；可标注员 90% 来自 M（例如都是从同一个地区招来的）。每次招 50 个标注员，每人报告理想风格（群体理想点 + 个人差异）。目标：按用户人口比例的平均理想点 0.450。

直接平均系统性地偏向多数群体。按人口比例重新加权（少数群体标注员的权重 3、多数群体 0.78）基本消除了偏差，但标准差几乎翻倍：50 个标注员里平均只有 5 个少数群体的人，每个人的影响被放大了——这是重要性加权的一般代价：权重越不均匀，“有效样本量”越小。

更好的做法是从一开始就按群体分层招募（分层抽样：每个群体招够人，第 7 讲”先设计、再收集”的思路用在人群上）。PRISM 数据集（Kirk 等 2024）记录了 75 个国家、约 1500 名参与者的人口信息和偏好，让”不同人群的偏好有多不同”这类问题第一次可以被系统地检验。

5. 从”该听谁的”到”谁说得对”

前面几节讨论的是偏好：没有正确答案，问题是公平。接下来三节讨论信息：有一个正确答案（或者至少，我们假设有），问题是怎样从很多不完美的判断里找到它。

在偏好学习里，信息聚合出现在：

• 判断回答的事实正确性、安全性、是否遵守了指令；
• 判断标注员是否认真、是否理解了指南；
• 用多个 LLM 评委代替人类评委。

6. 孔多塞陪审团定理

6.1 定理

孔多塞陪审团定理（Condorcet 1785）：n 个人（奇数）独立地判断一个二选一的问题，每人答对的概率都是 p。

• 若 p > 1/2，多数决答对的概率随 n 单调增加，并且趋于 1。
• 若 p < 1/2，多数决答对的概率随 n 单调减少，并且趋于 0。

证明的思路：答对的人数 $K \sim \mathrm{Binomial}(n, p)$。由大数定律，$K/n \to p$；p > 1/2 时 $K/n > 1/2$ 的概率趋于 1。Hoeffding 不等式给出速度：$P(\text{多数答错}) \le \exp(-2n(p - 1/2)^2)$（练习 1）。

代码 01 的演示 1（精确计算）：

这是”群体智慧”的数学版本（Galton 1907 的”猜牛的重量”是一个著名的例子：787 个人猜测的中位数和真实重量只差约 1%），也是用很多众包标注员代替一个专家的理由。

但定理的两个前提都很关键：

• p > 1/2：如果问题本身让多数人误解（一个看起来对、实际上错的回答；一个大多数人都有的偏见），加人只会让错误更”可信”。
• 独立：这是更常被违反的一个。

6.2 错误相关时

代码 01 的演示 2：每个人单独答对的概率都是 0.7，可同一道题上大家的错误相关：第 j 个人答对 ⇔ $\sqrt{\rho}\, z_i + \sqrt{1-\rho}\,\varepsilon_{ij} > -c$，$z_i$ 是这道题”有多容易误导人”（所有人共享），$\varepsilon_{ij}$ 是个人的噪声。

错误相关时，准确率停在一个上限 $\Phi(c/\sqrt{\rho})$（练习 2）：无穷多人时，多数决答对 ⇔ 这道题上”一个人答对的条件概率”大于一半。有些题目让所有人都容易错，加人帮不了忙。

【偏好学习联系】 用多个 LLM 评委投票（例如 Verga 等 2024 的”用评审团代替法官”）时，如果评委来自同一个模型家族、用相似的数据训练，错误高度相关，“5 票”的价值接近”1 票”。Verga 等发现，由不同家族的小模型组成的评审团，比单个大模型评委和人类判断更一致、偏差更小。标注员之间也一样：同一个标注指南、同一种培训、同一种文化背景，都会让错误相关。多样性比数量更重要。

6.3 能力不同时：加权

代码 01 的演示 3：5 个独立的投票者。

第一组：简单多数比只听专家差得多——四个”只比随机好一点”的人经常一起压过专家。最优的加权多数在这里就是只听专家：专家的权重 2.20 大于其他四人之和 1.62。第二组：能力差距不那么大时，加权多数比两者都好。

权重 $\log\frac{p}{1-p}$ 是错误独立时的最优权重（Nitzan & Paroush 1982；Shapley & Grofman 1984）：它是每一票的对数似然比，加权多数就是在比较贝叶斯后验（练习 3）。

问题是：现实中不知道每个人的 p。

7. 标注员模型：Dawid–Skene

7.1 模型

Dawid & Skene（1979）最初是为了合并几个医生对病人的诊断。设定：

• 每条数据 i 有一个真实类别 $y_i$（未知），先验 $P(y_i = k) = \pi_k$。
• 每个标注员 j 有一个混淆矩阵 $\Theta_j[k, l] = P(\text{标注员 } j \text{ 标 } l \mid y_i = k)$。
• 给定真实类别，不同标注员的标注独立。

一个认真的标注员，混淆矩阵接近单位矩阵；一个乱点的人，每一行都接近均匀分布；一个唱反调的人（或者理解反了标注指南的人），混淆矩阵接近”翻转”。

7.2 EM 算法

如果知道真实类别，估计混淆矩阵只是数数（最大似然）；如果知道混淆矩阵，推断真实类别只是贝叶斯公式。两个都不知道时，交替进行——这就是 EM 算法（期望最大化，Dempster、Laird、Rubin 1977）：

• E 步：给定混淆矩阵，每条数据的后验 $T_{ik} = P(y_i = k \mid \text{标注}) \propto \pi_k \prod_{j \text{ 标了 } i} \Theta_j[k, l_{ij}]$
• M 步：给定后验，用”加权的计数”更新参数 $\Theta_j[k, l] \propto \sum_i T_{ik}\, \mathbb{1}[l_{ij} = l], \qquad \pi_k = \frac{1}{N}\sum_i T_{ik}$

每一轮，数据的似然都不会下降。代码 02 的 dawid_skene 函数只有二十几行。

7.3 模拟

代码 02 的演示 1：2000 条数据（二分类，例如”回答 A 比 B 好吗？”），30 个标注员——15 个认真的（准确率 0.75 ~ 0.9）、10 个乱点的（0.5）、5 个唱反调的（0.25）——每条数据随机分给 5 个人。

估计的标注员准确率和真实的相关系数 0.993：

Dawid–Skene 比多数决好，有两个原因：它给可靠的人更大的权重（6.3 节的加权多数，只是权重是从数据里学的）；它把唱反调的人的标注翻过来用——准确率 0.25 的人和 0.75 的人一样有信息量。三类人清清楚楚地分开了，可以据此剔除乱点的人、调查唱反调的人。

7.4 对称性：EM 可能收敛到翻转的解

Dawid–Skene 模型有一个对称性：把所有数据的类别翻转、同时把所有标注员的混淆矩阵翻转，似然完全不变（练习 4）。只看标注数据，“大家都认真、答案是 A”和”大家都唱反调、答案是 B”无法区分——和第 15 讲的”没有免费午餐”同一个结构。

代码 02 的演示 2：12 个认真的（0.75 ~ 0.9）、18 个唱反调的（0.2）。

多数决比抛硬币还差；从它出发的 EM 收敛到翻转的解，把几乎每一条数据都判反了（“认真的人”被估计成准确率 0.17）。20 条已知答案的数据（1%）就打破了对称性。

一个和最初设计不一样的地方：一开始唱反调的人准确率是 0.3，多数决在 0.5 附近，EM 自己找回了正确的方向。要让唱反调的人更极端（0.2），多数决明显偏错，EM 才翻转。EM 收敛到哪里取决于起点：默认的多数决初始化隐含着”大多数标注员比随机好”的假设。

实践中：混入少量金标准题目（“注意力检查”）既能估计标注员的质量，也能确定”哪个方向是对的”。

7.5 扩展与限制

• 题目难度：GLAD（Whitehill 等 2009）给每条数据加一个难度参数——和第 4 讲的 Rasch 模型是同一个结构（能力 × 难度）。
• 乱点的人：MACE（Hovy 等 2013）明确建模”这个人这一次是在认真标还是在乱点”。
• 偏好不是事实：Dawid–Skene 假设存在一个正确答案。偏好是主观的时候，“和大多数人不一样”不等于”错”。Aroyo & Welty（2015）主张把标注员之间的分歧当作信号而不是噪声（“众包真相”）；Plank（2022）称之为”人类标注差异的’问题’“——它往往不是问题，而是数据本身的一部分。对偏好数据，更合适的做法常常是第 4 讲的因子模型（保留差异），或者把事实部分和口味部分分开标注。

8. 同伴预测：没有正确答案时的激励

8.1 问题

代码 02 假设标注员的质量是固定的。可标注员是人，会对报酬做出反应：如果认真看和随便点拿一样多的钱，为什么要认真看？

有正确答案时，可以按正确率付钱。可偏好标注通常没有正确答案可以核对（“你更喜欢哪个回答”），只能拿一个人的标注和别人的比。同伴预测（peer prediction，Miller、Resnick、Zeckhauser 2005）研究：只用”标注员之间的比较”，能不能设计出让”认真、诚实地标注”最划算的报酬规则？

8.2 一致就给钱：坏的均衡

最简单的规则：和一个随机的同伴在同一道题上标得一样，就给 1 分（“output agreement”，也是很多众包平台的做法）。

代码 03 的模拟：每道题的真实答案 $P(Y = 1) = 0.7$，认真的人看到的信号 80% 正确；AI 75% 正确。

“一致就给钱”下，如果同伴诚实，我诚实（0.68）比偷懒（0.62）好——诚实是一个均衡。可”所有人都偷懒”的报酬是 1.0，比”所有人都诚实”高得多。这是一个坏的均衡：大家都不看题、都报更常见的答案，一致率 100%。在能交流的群体里，标注员很快就会发现它。

8.3 相关一致：只奖励和题目有关的一致

Dasgupta & Ghosh（2013）、Shnayder 等（2016，“相关一致”机制）的想法：

第二项衡量”碰巧一致”的比率：两道题不相干，这个一致率只反映”两个人各自报 1 的频率”，不反映看没看题。两项相减，只剩下和题目有关的一致。

结果：所有不看题的策略（偷懒、乱点）报酬都是 0；诚实的报酬是正的（约 0.15），而且无论同伴诚实与否，偷懒都拿不到钱。这叫”有信息的诚实”（informed truthfulness）：诚实是最好的，而且任何”不看题”的策略都不如它。代价：报酬小得多、方差更大，要付同样多的钱，需要放大倍数。

这一类机制还有：贝叶斯真相血清（Prelec 2004，同时问”你的答案”和”你认为别人会怎么答”，奖励”比预期更常见”的答案）、行列式互信息机制（DMI，Kong 2020）等。它们共同的思路是：奖励报告之间的互信息，而不是简单的一致。

8.4 LLM 时代的漏洞：抄同一个 AI

代码 03 的演示 2：

所有人都抄同一个 AI 时，大家在每道题上完全一致，而且这种一致”和题目有关”（AI 的判断依赖题目）——相关一致机制给的报酬比诚实高三倍，虽然 AI 的准确率更低。一个人单方面抄 AI（同伴诚实）并不划算（0.125 < 0.149）；可一旦大家都抄，就是又一个坏的均衡。

原因：同伴预测只能检查报告之间的相关性。一个所有人都能看到的、和题目有关的信号（AI 的输出、题目的表面特征、“回答越长越好”这样的捷径），会比每个人独立的、有噪声的私有信号产生更强的相关。

这是一个真实的问题。Veselovsky 等（2023）估计，一项众包摘要任务里 33%~46% 的工人用了 LLM。用这样的数据训练奖励模型，学到的是”AI 的偏好”，不是人的偏好——这和第 14 讲”LLM 评委偏爱自己”的问题合在一起，可能形成一个自我强化的循环。

缓解：混入金标准题目（代码 02）；检测”和某个已知 AI 的输出高度一致”的标注员；设计需要个人判断、AI 难以回答的题目；以及更根本的——想清楚你要收集的是”正确答案”还是”这个人的偏好”。

9. Community Notes：信息聚合与桥接

第 4 讲第 7 节（代码 06）讲过 Community Notes 的算法：评价者给”补充说明”打”有用 / 没用”，用因子模型

把评价分解成”立场”（$f_u \cdot f_n$）和”跨立场都认可的程度”（截距 $i_n$）。只有截距足够高的说明才会被展示。

从这一讲的视角看，它同时是信息聚合和公平的聚合：

• 信息聚合：一条说明是否准确、有用，有（某种程度上的）正确答案。评价者的立场是一种相关的错误（6.2 节）：同一派的人会一起高估本派的说明。因子模型把这种相关的部分剥离出去，只用剩下的”独立”部分做判断。
• 公平的聚合：按”有用率”排序是多数决——人多的一派喜欢的说明会胜出。桥接要求”立场不同的人都认可”，更像一种最大最小：一条说明的分数取决于”最不喜欢它的那一派”是否也觉得它有用。

Ovadya & Thorburn（2023）把这种思路推广成”基于桥接的排序”（bridging-based ranking）：推荐系统不按”总的参与度”排序，而是奖励能获得不同群体共同认可的内容。这是第 3 节反馈循环的一种解药：它不让单个群体的偏好主导。

它也有代价：截距的”零点”（把哪里当作中立的立场）是一个规范性选择，数据决定不了（第 4 讲）；要求跨立场的认可，可能让一些正确但有争议的说明永远不被展示。

10. 小结

1. 两种聚合：偏好（没有对错，问题是公平）和信息（有正确答案，问题是准确）。偏好数据通常两者都有，要分清楚。
2. 价值选择无处不在：获取（问谁）、学习（什么差异被当作噪声）、聚合（谁更重要）、决定（顺从还是纠正）、评估（谁的满意算数）。
3. 反馈循环：按当前用户优化，少数群体被逐步挤走（模拟里从 30% 到不到 6%），而且从数据里看不出来。最大最小保持代表性；个性化需要群体信息，有回音室的风险。
4. 公平的定义：个体 vs 群体、过程 vs 结果，几种群体公平的定义一般不能同时满足。多元对齐：Overton、可引导、分布式。问谁决定学到什么；重新加权能消除偏差，但增加方差，分层招募更好。
5. 陪审团定理：p > 1/2 且独立时，人越多越准。错误相关时准确率有上限 $\Phi(c/\sqrt\rho)$——多样性比数量重要。能力不同时用 log(p/(1−p)) 加权。
6. Dawid–Skene：用 EM 同时估计真实答案和每个人的混淆矩阵，比多数决准，能识别乱点和唱反调的人。模型有翻转对称性，少量金标准能打破它。偏好是主观的时候，分歧本身是信号。
7. 同伴预测：“一致就给钱”有”大家都偷懒”的坏均衡；“相关一致”只奖励和题目有关的一致；但所有人抄同一个 AI 会产生更强的相关——同伴预测奖励的是相关，不是正确。
8. Community Notes：因子模型剥离”立场”这种相关的错误，桥接是一种最大最小式的聚合。

11. 与测验、口试和项目的关系

• 测验与口试可能会问：聚合偏好和聚合信息的区别；流水线的五个环节各有什么价值选择；用一个模型解释反馈循环怎样放大差异、为什么从数据里看不出来；最大最小和个性化的代价；个体公平与群体公平；多元对齐的三种形式；陈述陪审团定理并说明两个前提；错误相关时准确率的上限；能力不同时的最优权重；写出 Dawid–Skene 的 E 步和 M 步；为什么 EM 可能收敛到翻转的解；“一致就给钱”的坏均衡；相关一致机制的思路和漏洞。
• 期末项目：如果你的项目用到多个标注员（人或 LLM），至少做一件事：用 Dawid–Skene（或简单的”和其他人的一致率”）检查标注员的质量；报告评委或标注员之间的相关；如果数据涉及不同人群，报告分人群的结果，并说明你的聚合方式对少数群体意味着什么。

12. 练习

练习 1（陪审团定理的速度）。用 Hoeffding 不等式证明：n 个独立的投票者、每人答对的概率 p > 1/2 时，$P(\text{多数答错}) \le \exp(-2n(p - 1/2)^2)$。p = 0.6 时，要让这个上界小于 1%，n 至少多大？

答对的人数 $K = \sum_j X_j$，$X_j \in \{0, 1\}$ 独立，$E[K/n] = p$。多数答错 ⇔ $K/n \le 1/2$ ⇔ $K/n - p \le -(p - 1/2)$。Hoeffding：$P(K/n - p \le -t) \le \exp(-2nt^2)$，取 $t = p - 1/2$。 p = 0.6 时 $t = 0.1$，要 $\exp(-0.02 n) < 0.01$，即 $n > \ln 100 / 0.02 \approx 230$。（精确值小得多：代码 01 里 n = 51 时多数决答错的概率已经只有 0.073，n = 201 时 0.002。Hoeffding 是一个保守的上界。）

练习 2（相关错误的上限）。在代码 01 演示 2 的模型里，证明 n → ∞ 时多数决答对的概率趋于 $\Phi(c/\sqrt\rho)$。

给定这道题的 $z_i$，每个人答对的条件概率是 $q(z_i) = P(\sqrt{1-\rho}\,\varepsilon > -c - \sqrt\rho z_i) = \Phi\big((c + \sqrt\rho z_i)/\sqrt{1-\rho}\big)$，不同的人条件独立。由陪审团定理（条件在 $z_i$ 上），n → ∞ 时多数答对 ⇔ $q(z_i) > 1/2$ ⇔ $c + \sqrt\rho z_i > 0$ ⇔ $z_i > -c/\sqrt\rho$。所以极限概率是 $P(z > -c/\sqrt\rho) = \Phi(c/\sqrt\rho)$。代入 c = Φ⁻¹(0.7) ≈ 0.524：ρ = 0.3 时 Φ(0.957) ≈ 0.831，和模拟一致。

练习 3（加权多数 = 贝叶斯）。两个类别先验相等，投票者独立，第 j 个人答对的概率 $p_j$。证明：后验更偏向类别 1 ⇔ $\sum_{j \text{ 投 } 1} w_j > \sum_{j \text{ 投 } 0} w_j$，其中 $w_j = \log\frac{p_j}{1 - p_j}$。

$\log\frac{P(y=1 \mid \text{票})}{P(y=0 \mid \text{票})} = \sum_j \log\frac{P(\text{票}_j \mid y=1)}{P(\text{票}_j \mid y=0)}$（先验相等、条件独立）。第 j 个人投 1 时这一项是 $\log\frac{p_j}{1-p_j} = w_j$；投 0 时是 $\log\frac{1-p_j}{p_j} = -w_j$。所以对数后验比 $= \sum_{\text{投 1}} w_j - \sum_{\text{投 0}} w_j$，大于 0 ⇔ 后验更偏向 1。准确率 p < 0.5 的人权重为负：TA 的票被”翻过来”用——和 Dawid–Skene 对唱反调的人的处理一样。

练习 4（Dawid–Skene 的对称性）。证明：二分类的 Dawid–Skene 模型里，把 $(\pi_0, \pi_1)$ 换成 $(\pi_1, \pi_0)$、把每个混淆矩阵的两行对调，数据的似然不变。为什么多数决初始化通常能选对方向？

似然 $= \prod_i \sum_k \pi_k \prod_j \Theta_j[k, l_{ij}]$。令 $\pi'_k = \pi_{1-k}$，$\Theta'_j[k, l] = \Theta_j[1-k, l]$，则 $\sum_k \pi'_k \prod_j \Theta'_j[k, l_{ij}] = \sum_k \pi_{1-k}\prod_j \Theta_j[1-k, l_{ij}]$，换元 $k \to 1-k$ 就是原来的和。所以两组参数的似然完全相同。 多数决初始化：如果大多数标注员比随机好，多数决给出的初始后验和真实类别正相关，EM 从”正确的那一边”出发，收敛到正确的解。这是一个假设，不是一个保证（代码 02 演示 2）。

练习 5（同伴预测的精确计算）。用代码 03 的设定（$P(Y=1) = 0.7$，信号准确率 0.8），精确计算：(a) 两个诚实的人”一致就给钱”的期望报酬；(b) 同伴诚实、我总报 1 时的期望报酬；(c) 两个诚实的人在”相关一致”下的期望报酬。

(a) 两人的信号都对或都错：$0.8^2 + 0.2^2 = 0.68$。 (b) 同伴报 1 的概率：$0.7 \times 0.8 + 0.3 \times 0.2 = 0.62$，所以期望报酬 0.62。 (c) 奖励项 0.68；惩罚项：两道不相干的题上，两人各自报 1 的概率都是 0.62，一致的概率 $0.62^2 + 0.38^2 = 0.5288$。期望报酬 $0.68 - 0.5288 = 0.151$。模拟值 0.149 / 0.152。

练习 6（反馈循环的稳定状态）。在代码 04 演示 1 的动力学 $n_g(t+1) = r\,u_g\,n_g(t) + \mathrm{POP}_g$ 里，固定 θ（所以 $u_g$ 固定），求稳定状态的 $n_g$。证明：只要 $u_m < u_M$，少数群体在活跃用户里的比例就低于 TA 的人口比例。

稳定时 $n_g = r u_g n_g + \mathrm{POP}_g$，所以 $n_g = \frac{\mathrm{POP}_g}{1 - r u_g}$。$u_g$ 越小，分母越大，$n_g / \mathrm{POP}_g$ 越小。少数群体的比例 $\frac{n_m}{n_m + n_M}$ 低于 $\mathrm{POP}_m$ ⇔ $\frac{n_m}{\mathrm{POP}_m} < \frac{n_M}{\mathrm{POP}_M}$ ⇔ $u_m < u_M$。ERM 选的 θ 按活跃用户加权，又让 $u_m < u_M$ 更严重，于是循环。最大最小让 $u_m = u_M$，比例就等于人口比例。

练习 7（多元对齐的选择）。对下面四个请求，你会选择哪种形式（不需要多元 / Overton / 可引导 / 分布）？说明理由。(a) “水的沸点是多少？“(b) “死刑应该被废除吗？“(c) “帮我把这封邮件改得更随意一点。“(d) “如果在美国做一个民意调查，问’你支持提高最低工资吗’，结果大概是怎样的？”

(a) 不需要多元：有正确答案（注明气压条件即可）。(b) Overton：有合理分歧的价值问题，给出主要观点和理由，而不是替用户选一个；如果用户明确要求某个视角的论证，可以可引导。(c) 可引导 / 个性化：纯粹的个人偏好，按用户说的做。(d) 分布：用户要的就是人群观点的分布；模型的回答应该反映真实的分布（并说明不确定性和数据来源），而不是模型自己（或标注员）的观点。

练习 8（桥接 vs 多数）。设有两派评价者，人数比 7 : 3。说明 X 只被 70% 那一派认为有用，说明 Y 被两派各 60% 的人认为有用。按”有用率”排序和按”桥接”排序，各展示哪一条？你认为哪个更好，取决于什么？

有用率：X 是 0.7 × 1 + 0.3 × 0 = 0.70（假设另一派都觉得没用），Y 是 0.60。按有用率，展示 X。桥接：X 在一派里得到 0 的认可，“跨立场的认可”很低；Y 在两派都有 60%，展示 Y。哪个更好取决于目的：如果说明的目的是”纠正事实错误、让不同立场的人都能接受”，Y 更好——X 可能只是迎合了多数派。如果 X 是正确的、只是另一派不愿接受，桥接会压制它。这是信息聚合（谁说得对）和公平聚合（谁都能接受）之间的张力。

13. 延伸阅读

课程教材

• Truong, Haupt, Koyejo. Machine Learning from Human Preferences. 第 4 章 4.3–4.5 节；第 5 章 5.6、5.10–5.11 节。

公平、反馈循环与多元对齐

• Hashimoto, Srivastava, Namkoong, Liang. Fairness Without Demographics in Repeated Loss Minimization. ICML 2018.
• Perdomo, Zrnic, Mendler-Dünner, Hardt. Performative Prediction. ICML 2020.
• Dwork, Hardt, Pitassi, Reingold, Zemel. Fairness Through Awareness. ITCS 2012.
• Kleinberg, Mullainathan, Raghavan. Inherent Trade-Offs in the Fair Determination of Risk Scores. ITCS 2017.
• Chouldechova. Fair Prediction with Disparate Impact. Big Data 2017.
• Sagawa, Koh, Hashimoto, Liang. Distributionally Robust Neural Networks for Group Shifts. ICLR 2020.
• Chakraborty et al. MaxMin-RLHF: Alignment with Diverse Human Preferences. ICML 2024.
• Sorensen et al. A Roadmap to Pluralistic Alignment. ICML 2024.
• Santurkar et al. Whose Opinions Do Language Models Reflect? ICML 2023.
• Kirk et al. The PRISM Alignment Dataset. NeurIPS 2024（Datasets and Benchmarks）.

信息聚合

• Condorcet. Essai sur l’application de l’analyse à la probabilité des décisions rendues à la pluralité des voix. 1785.
• Galton. Vox Populi. Nature 1907.
• Nitzan, Paroush. Optimal Decision Rules in Uncertain Dichotomous Choice Situations. International Economic Review 1982.
• Shapley, Grofman. Optimizing Group Judgmental Accuracy in the Presence of Interdependencies. Public Choice 1984.
• Ladha. The Condorcet Jury Theorem, Free Speech, and Correlated Votes. American Journal of Political Science 1992.
• Verga et al. Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models. 2024.

标注员模型

• Dawid, Skene. Maximum Likelihood Estimation of Observer Error-Rates Using the EM Algorithm. Applied Statistics 1979.
• Dempster, Laird, Rubin. Maximum Likelihood from Incomplete Data via the EM Algorithm. JRSS-B 1977.
• Whitehill, Ruvolo, Wu, Bergsma, Movellan. Whose Vote Should Count More（GLAD）. NeurIPS 2009.
• Hovy, Berg-Kirkpatrick, Vaswani, Hovy. Learning Whom to Trust with MACE. NAACL 2013.
• Aroyo, Welty. Truth is a Lie: Crowd Truth and the Seven Myths of Human Annotation. AI Magazine 2015.
• Plank. The “Problem” of Human Label Variation. EMNLP 2022.

同伴预测

• Miller, Resnick, Zeckhauser. Eliciting Informative Feedback: The Peer-Prediction Method. Management Science 2005.
• Prelec. A Bayesian Truth Serum for Subjective Data. Science 2004.
• Dasgupta, Ghosh. Crowdsourced Judgement Elicitation with Endogenous Proficiency. WWW 2013.
• Shnayder, Agarwal, Frongillo, Parkes. Informed Truthfulness in Multi-Task Peer Prediction. EC 2016.
• Kong. Dominantly Truthful Multi-task Peer Prediction with a Constant Number of Tasks. SODA 2020.
• Veselovsky, Ribeiro, West. Artificial Artificial Artificial Intelligence: Crowd Workers Widely Use Large Language Models for Text Production Tasks. 2023.

Community Notes 与桥接

• Wojcik et al. Birdwatch: Crowd Wisdom and Bridging Algorithms can Inform Understanding and Reduce the Spread of Misinformation. 2022.
• Ovadya, Thorburn. Bridging Systems: Open Problems for Countering Destructive Divisiveness across Ranking, Recommenders, and Governance. 2023.

14. 下一讲预告

第五单元到此结束，课程的五个单元也都讲完了：

• 建模：人的选择怎样写成概率模型（BT、随机效用、因子模型）。
• 学习：怎样从数据里估计（最大似然、贝叶斯、RLHF、DPO）。
• 获取：怎样聪明地收集数据（实验设计、主动学习、老虎机）。
• 反演：观察到的选择是不是真的偏好（风格、代理指标、有限理性）。
• 聚合：很多人的偏好（和信息）怎样合成一个决定（投票、不可能定理、公平、信息聚合）。

第 18 讲是总结与实践建议：把这些内容串成一个偏好学习项目从头到尾的做法。会有一个端到端的迷你项目：写预分析计划 → 模拟收集数据 → 拟合并检查假设 → 主动收集一轮 → 带置信区间和分人群结果的报告；以及一份”常见陷阱”的清单和演示（数据泄漏、评委偏差、只报平均数、把行为当偏好、忽略人群差异）。