第 18 讲：总结与实践建议

对应：Stanford CS329H Fall 2026 Lecture 18（11/30 Summary & practical tips）。依据教材的结论部分和全课内容；预分析计划依据第 13 讲第 6 节；“分岔小径的花园”依据 Gelman & Loken（2013）；评测污染依据 Sainz 等（2023）；开放问题部分依据 Bowman 等（2022）、Bai 等（2022）、Carroll 等（2024）等。 配套代码：code/lecture18/（只需要 numpy） 预计阅读时间：3 小时（含运行代码）

0. 本讲导航

0.1 学完本讲，你应该能够

1. 用”一个公式、一个例子、五个单元”把整门课串起来，说出每一讲回答了什么问题。
2. 按”问题定义 → 数据收集 → 建模 → 评估 → 部署与监控”的顺序，列出一个偏好学习项目每一步要检查的事。
3. 写一份预分析计划，并说明它防止的是什么。
4. 读懂一个端到端项目的每一步：功效分析、假设检查、主动收集、带区间和分人群结果的报告。
5. 认出并避免最常见的陷阱：数据泄漏、评委偏差、多重比较、小样本、只报平均数、把行为当偏好、忽略人群差异。
6. 说出这个领域的几个开放问题。

0.2 先修知识

这一讲用到全课的内容。最直接相关的是：第 5 讲（最大似然、标准误、交叉验证）、第 7 讲（Fisher 信息、序贯设计）、第 13 讲第 6 节（预分析计划）、第 14 讲（风格控制）、第 16、17 讲（聚合与公平）。

0.3 本讲地图

第1节  全课回顾：一个公式、一个例子、五个单元
第2节  一个偏好学习项目的生命周期：实践清单
第3节  预分析计划
第4节  端到端的迷你项目                          ← 代码 01
第5节  常见陷阱                                  ← 代码 02
第6节  期末项目：论文与口试
第7节  开放问题
第8–11节 小结、练习、延伸阅读、结语

0.4 关于数字

本讲的数字都来自配套代码的实际运行（随机种子固定，每个文件不超过 3 秒）。“真实世界”、标注员、评委都是模拟的，只说明方法的性质。

1. 全课回顾：一个公式、一个例子、五个单元

1.1 一个公式

Bradley–Terry 模型在整门课里换了很多身份：

它简单、可识别、计算方便，所以无处不在。这门课的很大一部分是在讨论它什么时候不够用：人群有分歧（第 4、9、16 讲）、选项相似（第 3 讲）、人有偏差（第 14、15 讲）、偏好成环（第 1、13、16 讲）。

1.2 一个例子

大语言模型的对齐贯穿全课：

1.3 五个单元，十八讲

1.4 贯穿全课的几个主题

1. “实际 − 预期”：BT 的梯度（第 5 讲）、IRL 的梯度（第 15 讲）、Dawid–Skene 的 EM（第 17 讲）、矩匹配（第 9 讲），都是同一个结构。
2. 可识别性：分数只确定到常数（第 1 讲）、嵌入只确定到旋转（第 4 讲）、奖励只确定到 β × θ（第 15 讲）、理性和偏好不能同时从行为里学（第 15 讲）、Dawid–Skene 的翻转（第 17 讲）。数据说不清的地方，要靠假设——要把假设说出来。
3. 系统性偏差 vs 随机噪声：随机噪声靠数据弥补（第 5 讲），系统性偏差弥补不了，还会被优化放大（第 8、14 讲）。
4. 反馈循环：系统的行为决定了数据（第 2 讲的点击、第 11 讲的选择架构、第 15 讲的考虑集、第 17 讲的用户流失）。
5. 价值选择：用哪个”最好”的定义（第 13 讲）、控制哪些风格（第 14 讲）、怎样聚合（第 16 讲）、问谁（第 17 讲）、可以多大程度替人做主（第 15 讲）。没有技术上”中立”的选择。

2. 一个偏好学习项目的生命周期：实践清单

2.1 问题定义

• 你要做什么决定？ 选一个模型上线、训练一个奖励模型、做一个排行榜、估计用户的偏好分布？不同的决定需要不同的数据和指标。
• “更好”是谁眼中的更好？ 标注员、用户、专家、某个特定人群？（第 17 讲）
• 偏好还是信息？ 有没有”正确答案”？哪部分是事实、哪部分是口味？（第 17 讲第 1 节）
• 有没有可以直接测量的目标？ 如果有，偏好数据只是代理吗？（第 14 讲）

2.2 数据收集设计

• 问法：两两比较、排序、打分、选一个？（第 1、2 讲）有没有”都不好 / 一样好”的选项？
• 谁来标：怎样招募、是否分层、记录哪些背景信息（第 17 讲）；标注员的培训和指南；有没有利益冲突。
• 随机化：左右位置、展示顺序、哪些对被比较（第 2、11 讲）。
• 样本量：功效分析（第 7 讲；代码 01 第 1 步）。
• 分配：均匀还是主动？主动的规则要事先写好（第 7、10、13 讲）。知道主动分配会改变 BT 的聚合结果（第 16 讲演示 3）。
• 质量控制：金标准题、注意力检查、重复题（测一致性）、标注员模型（第 17 讲）；检测 AI 代写（第 17 讲）。
• 激励：报酬怎样和质量挂钩（第 17 讲的同伴预测）；时间压力会不会让人偷懒（第 15 讲的考虑集）。

2.3 建模

• 从简单开始：先拟合 BT（带位置等已知的偏差协变量），再考虑更复杂的模型。
• 检查假设：BT 的拟合优度（第 2 讲；代码 01 第 3 步）；IIA（第 3 讲）；传递性和成环（第 13、16 讲）；人群差异（分群体拟合，第 4、17 讲）。
• 风格：长度、格式等风格变量的影响；控制它们是修正偏差还是坏控制（第 14 讲）？
• 不确定性：标准误、自助法（按什么单位重抽样）、贝叶斯后验（第 5、6 讲）。
• 正则化和先验：怎样选、结论对它敏感吗（第 5、6 讲）？

2.4 评估

• 数据划分：按提示 / 按用户划分，不按回答对；去重（包括近似重复）（第 5 讲；代码 02 演示 1）。
• 一个主要指标，事先定好；多个指标要校正（代码 02 演示 3）。
• 置信区间：永远报告（代码 02 演示 4）。
• 分人群的结果：不只报平均数（代码 01 第 5 步；第 12、17 讲）。
• 评委：如果用 LLM 评委，报告它和人类在一个子集上的一致率；用多个不同家族的评委；不让评委评自己（代码 02 演示 2；第 14、17 讲）。
• 校准：奖励模型的概率可信吗（第 5 讲）？

2.5 部署与监控

• 过度优化：用独立的信号（人类评估、另一个奖励模型）监测真实质量是否还在上升（第 8 讲）。
• 分布漂移：用户的问题和训练时的一样吗？奖励模型在策略要去的地方准吗（第 10 讲）？
• 反馈循环：谁在离开？数据是否越来越偏向某个群体（第 17 讲）？
• 定期重新收集：偏好会变，模型会变，标注员会变。

3. 预分析计划

3.1 为什么

数据分析有无数个”合理”的选择：用哪个指标、去掉哪些异常的标注员、控制哪些协变量、按什么分组、在哪里停止收集。看了数据再做这些选择，即使每一个都”说得通”，最后的结论也会系统性地偏向”有发现”——Gelman & Loken（2013）称之为”分岔小径的花园”。代码 02 演示 3：测 20 个指标，即使什么差异都没有，也有约 2/3 的机会至少一个”显著”。

预分析计划（第 13 讲第 6 节）的作用：在看数据之前，把这些选择固定下来。之后偏离计划不是错误，但要在报告里说明偏离了什么、为什么，并把探索性的发现和计划内的结论分开。

3.2 一个例子

代码 01 的预分析计划（在模拟任何数据之前写死在代码里）：

问题：      新模型 F 是否比线上模型 E 更受标注员偏好？
主要指标：  带位置协变量的 BT 分数之差 s_F − s_E（所有标注员合并）。
决策规则：  s_F − s_E 的 95% 自助法置信区间下界 > 0，才建议上线 F。
数据：      最多 4000 次比较。第一轮 2000 次，所有 15 对均匀随机；第二轮 2000 次，
            按"最能缩小 s_F − s_E 的方差"主动分配（规则在看数据之前定好）。左右位置随机。
检查：      (1) 位置偏差；(2) BT 的拟合优度（参数自助法）；(3) 两个标注员群体分别拟合，看 F − E 的方向是否一致。
次要分析：  按群体报告 s_F − s_E 及其置信区间（无论主要结论如何都报告）。
不做的事：  不在中途看结果决定是否提前停止；不在看过数据之后更换指标或决策规则。

几个要点：

• 决策规则是具体的：不是”看看 F 是不是更好”，而是”区间下界 > 0 就上线”。
• 主动分配的规则也写好了：它只依赖第一轮的数据，不是”看到结果不理想再加数据”。
• 次要分析”无论如何都报告”：防止只在结果好看时才报告分人群的结果。
• “不做的事”：明确排除最常见的分岔（提前停止、换指标）。

4. 端到端的迷你项目

代码 01 按一个真实项目的顺序走了一遍。6 个系统（A ~ F），F 是新模型，E 是线上模型。“真实世界”里有两群标注员：群体 1（70%）喜欢详细，群体 2（30%）喜欢简洁，F 比 E 啰嗦。分析的过程不看真实世界的参数。

4.1 第 1 步：功效分析

假设一个纯 BT 的世界，F 比 E 高 0.2（我们的猜测），每种设计模拟 400 次：

均匀比较 15 对，只有 1/15 的比较直接比 F 和 E；把一半预算集中在 F 和 E 上，功效接近 1。2000 + 1000 次已经超过 0.9——预算其实可以省下四分之一。

一个教训：写这一步时先只模拟了 100 次，结果”1000 + 1000”的功效（0.99）竟然高于”2000 + 1000”（0.90）。这是蒙特卡洛误差。功效分析本身也是一个估计，要报告它的误差（400 次时约 ±0.02）。

4.2 第 2、3 步：第一轮收集与检查

2000 次均匀比较之后：

• 位置偏差：+0.225（95% 区间 +0.134 ~ +0.316）。左右已经随机，所以它不会让结论有偏，但放进模型能减小噪声。
• BT 的拟合优度：偏差 28.3；如果 BT 是对的，偏差的中位数是 23.0（参数自助法，200 次），p ≈ 0.23。没有发现问题。
• 分群体拟合：群体 1 的 s_F − s_E = +0.35（区间 +0.11 ~ +0.59），群体 2 = −0.72（区间 −1.11 ~ −0.34）。方向相反。

拟合优度检验”没有发现问题”，可分群体拟合发现了一个大问题。原因：混合人群的偏好矩阵往往”接近” BT 形式（第 16 讲），整体的拟合优度检验没有足够的力量发现它。检查人群差异，要直接分人群看。

4.3 第 4 步：主动收集

剩下的 2000 次按”最能缩小 Var(s_F − s_E)“贪心地分配（每批 100 次，Sherman–Morrison 更新，第 7 讲）。结果：全部 2000 次都给了 F vs E。间接比较（F 和 E 各自和别的对手比）也有信息，但比直接比较少得多。代价：第二轮对 A ~ D 的排名毫无帮助。

4.4 第 5 步：报告

主要结论：s_F − s_E = +0.184，95% 区间 [+0.102, +0.272]。按预先的决策规则，建议上线 F。对照真实世界：人群整体 logit P(F ≻ E) = logit(0.549) ≈ 0.20，落在区间里。

分人群（预先计划的次要分析）：

一份诚实的报告必须同时写出两者：合并的结论支持上线，可约 30% 的标注员明显更喜欢 E。可能的原因（F 更啰嗦，第 14 讲）和对群体 2 的影响（第 17 讲）都应该讨论。

排名的其他部分要小心解读：D 排到了 E 前面，但两者的区间大量重叠。第二轮没有任何 D、E 之间的新比较，E 的分数却从第一轮的 +0.28 降到了 +0.20——F 对 E 的大量直接比较把 E 拉了下来。这可能是第一轮的噪声被纠正（第一轮 s_F − s_E 只有 +0.02），也可能有第 16 讲演示 3 的效应（比较的分配改变了 BT 的聚合结果）；单凭这些数据分不清。预分析计划没有对 D、E 的排名做任何承诺，报告里也不应该对它下结论。

探索性的下一步（不在原计划里，要和计划内的结论分开写）：做风格控制的分析，看 F 的优势有多少来自长度；考虑按用户偏好调节回答长度（第 17 讲的可引导多元）；上线后按群体监测满意度。

5. 常见陷阱

5.1 数据泄漏

代码 02 的演示 1：一个玩具版的奖励模型，10 维特征、400 条训练数据，最好的可能准确率约 0.868。

干净的测试集上，学会了的模型明显更好。测试集一半是训练数据的重复时，死记硬背的模型看起来还更好——如果按这个测试集挑模型，会挑错。改写（加一点噪声）的重复同样有效：只去掉”完全相同”的样本不够。

真实世界里这叫评测污染：评测集的题目以原样或改写的形式出现在训练数据里（Sainz 等 2023；Golchin & Surdeanu 2024）。防范：按提示（而不是按回答对）划分；去重时用近似匹配；用训练结束之后才出现的新题目评测。

5.2 评委偏差

代码 02 的演示 2：6 个系统，LLM 评委做了 6000 次比较。评委的偏好 = 人类眼中的质量 + 0.5 × 回答长度 + 0.6 × [是 C]（C 和评委来自同一个模型家族）。

长度控制（第 14 讲）估计出长度效应 +0.49（真实 0.5），把 τ 从 0.33 提到 0.73。可 C 仍然被高估：“偏爱自家人”不是一个能观察的协变量，控制不了。

一个教训：写这个演示时先让每个系统的长度固定不变，结果长度效应根本不可识别——长度差是系统独热列的线性组合，估计出的数字只是正则化的产物。风格控制能起作用，靠的是同一个系统内部风格的变化。 如果一个模型的回答总是长、另一个总是短，回归分不清”长”和”这个模型”。

5.3 多重比较

代码 02 的演示 3：两个其实一样好的系统，测 20 个指标，每个指标 200 次比较，重复 2000 次。

模拟值比理论值高：二项分布是离散的，n = 200 时单个指标 |z| > 1.96 的实际概率约 0.056。被报告的效应还被夸大了约 8 个百分点——只有偶然偏大的才会”显著”（第 14 讲的回归型古德哈特）。

5.4 小样本

代码 02 的演示 4：观察到的胜率都是 0.6。

50 次比较、胜率 0.6，区间包含 0.5，什么也说明不了。很多”人类评测”只有几十次比较、只报一个百分比。

5.5 一张清单

6. 期末项目：论文与口试

6.1 一篇偏好学习论文的结构

1. 问题：要做什么决定、为什么需要偏好数据、“更好”是谁眼中的更好。
2. 相关工作：最相关的两三条线索（例如”奖励模型的风格偏差”或”主动偏好获取”）。
3. 预分析计划：附上原文（或链接），说明偏离了什么、为什么。
4. 数据：怎样收集（问法、标注员、随机化、质量控制）；样本量和功效分析；数据的基本统计（标注员一致率、位置偏差）。
5. 方法：模型、假设、怎样检查假设。
6. 结果：计划内的主要结论，带置信区间；分人群的结果；假设检查的结果（包括”没通过”的）。
7. 探索性分析：明确标出。
8. 局限：模拟和真实的差距、样本的代表性、无法排除的混淆。
9. 伦理与影响：谁的偏好被代表、谁可能受影响、数据怎样处理。

审稿人（和评分的助教）最常问的问题：“区间多宽？""换一种合理的分析，结论还在吗？""测试集和训练集有没有重叠？""这个结论对谁成立？”

6.2 口试的准备

原课的期末考核包括口试。这类口试通常不考记忆，而是考”能不能把一个概念讲清楚、能不能应用到新情况”。准备的建议：

• 每一讲的”与测验、口试和项目的关系”一节列出了可能的问题，练习不看讲义用自己的话回答。
• 能从一个公式讲到它的直觉、假设和局限：例如”BT 是什么 → 为什么是 σ → 它假设了什么（IIA、一个分数、玻尔兹曼理性）→ 什么时候不成立 → 不成立时怎么办”。
• 能把概念连起来：例如”DPO 和 Borda 有什么关系？""Fisher 信息和主动学习有什么关系？""没有免费午餐和 Dawid–Skene 的翻转有什么共同点？”
• 能对自己的项目回答”如果……会怎样”：如果标注员换一批人、如果用 LLM 评委、如果数据多十倍。

7. 开放问题

这个领域还很年轻。几个重要的、没有解决的问题：

1. 可扩展的监督（scalable oversight）：当模型在某些任务上超过了人，人还能给出可靠的偏好吗？人可能分辨不出哪个证明是对的、哪段代码有安全漏洞。思路包括辩论（Irving 等 2018）、让 AI 辅助人做判断（Bowman 等 2022）、把难题分解成人能判断的小问题。它和第 17 讲的信息聚合直接相关：怎样从”不完全知道答案”的人那里聚合出可靠的判断？
2. AI 反馈与合成偏好：用 AI 代替人给偏好（RLAIF；Constitutional AI，Bai 等 2022）。它便宜、可扩展，但 AI 的偏差会被继承和放大（第 14 讲的评委偏差、第 17 讲的”抄 AI”）。人类偏好的角色会变成什么——制定原则？抽查？
3. 偏好会变，系统会改变偏好：推荐系统和聊天助手不只是满足偏好，还在塑造偏好（Carroll 等 2024 讨论了”可被影响的奖励函数”下的对齐）。如果系统能让人喜欢上它推荐的东西，“满足人的偏好”就不再是一个定义良好的目标（第 15 讲的时间不一致、第 17 讲的反馈循环）。
4. 多元与个性化的边界：个性化到什么程度？哪些偏好应该被满足、哪些不应该？谁来决定群体和价值观的划分（第 16、17 讲）？
5. 评估评估者：LLM 评委、奖励模型、排行榜本身也需要评估。用什么作为”金标准”？人类的判断本身也有偏差（Hosking 等 2024，第 14 讲）。
6. 从行为到偏好的可识别性：大规模的行为数据（点击、停留、对话）里，理性假设对结论的影响有多大？能不能从数据里学到人的偏差，而不是假设它（第 15 讲）？
7. 集体决定”模型应该是什么样”：社会选择理论（第 16 讲）怎样落地到 AI 的治理？一些尝试让公众参与制定模型的行为准则（例如 Collective Intelligence Project 与 Anthropic 的”集体宪法”实验，2023）。

8. 小结：整门课的十句话

1. 目标写不出来时，从人的比较里学；比较比打分更稳定，代价是丢了强度。
2. BT 模型 $P(a \succ b) = \sigma(s_a - s_b)$ 是一切的起点，也是一个需要被检查的假设。
3. 最大似然是”实际 = 预期”；不确定性和数据一样重要，永远报告区间。
4. 一个问题值多少信息，在问之前就能算出来；把比较放在信息最多的地方。
5. RLHF 和 DPO 把偏好变成了模型的行为；优化会放大奖励模型的每一个缺陷。
6. 探索是有代价的投资；该问什么问题，取决于你要做什么决定。
7. 人的选择混进了风格、注意力、理性的局限；行为不等于偏好，代理不等于目标。
8. 从行为反推偏好，必须对人做假设；把假设说出来，并检查结论对它是否敏感。
9. 很多人的偏好没有完美的聚合方式；聚合规则、问谁、怎样评估都是价值选择。
10. 一个好的偏好学习项目：事先计划、检查假设、报告区间、分人群看、诚实地写出和预期不一样的结果。

9. 练习

练习 1（把课程串起来）。用一段话回答：“为什么 DPO 学到的排序和 Borda 计数一样？这对一个面向全球用户的模型意味着什么？“要用到至少三讲的内容。

DPO 的损失就是 BT 的负对数似然，只是奖励被写成了 β log(π/π_ref)（第 9 讲）。BT 的最大似然满足矩匹配：每个回答的预期胜场 = 实际胜场（第 5 讲）。所有回答对被等量比较、标注员来自混合人群时，“实际胜场”正是 Borda 分数，预期胜场随分数单调，所以排序就是 Borda 排序（第 9 讲第 7 节）。Borda 有 Arrow 意义上的毛病：违反 IIA，对候选池的组成（克隆）、比较的分配、策略性标注都敏感（第 16 讲）。对全球用户的模型，这意味着：标注员的构成（第 17 讲的”问谁”）和比较的设计会悄悄决定”谁的偏好”在模型里占上风；应该分人群检查，考虑多元对齐（第 17 讲）。

练习 2（设计一个项目）。你要评估一个新的代码助手是否比旧的好。写一份半页的预分析计划，至少包括：问题、主要指标、决策规则、数据收集（谁标、怎么问、多少、怎样随机化）、要检查的假设、次要分析、不做的事。

问题：新助手生成的代码是否更受开发者偏好、且更常通过测试？注意这里有”信息”部分（代码对不对，可以跑测试）和”偏好”部分（可读性、风格）——分开测量（第 17 讲）。主要指标：在一组事先固定的编程任务上，带位置协变量的 BT 分数之差，或”通过测试的比例之差”（只选一个作为主要指标）。决策规则：95% 区间下界 > 0。数据：按经验分层招募开发者（新手 / 资深）；两两比较、左右随机；用功效分析定样本量；任务按”训练截止日期之后发布的题目”选，避免污染（代码 02 演示 1）。检查：位置偏差、长度对偏好的影响（第 14 讲）、新手和资深开发者的结论是否一致。次要分析：按任务类型、按经验分层报告。不做的事：不中途看结果停止；不在看过数据之后换指标；不用 LLM 评委代替开发者做主要结论（可以作为探索性的对照）。

练习 3（诊断）。一份报告说：“我们的新奖励模型在测试集上的准确率从 68% 提高到 74%，用它训练的策略在 LLM 评委下胜率 62%。“列出你会追问的至少五个问题，并说明每个问题对应哪一讲的哪个陷阱。

(1) 测试集怎样划分的？和训练集有没有重叠的提示（数据泄漏，第 5、18 讲）？(2) 68% → 74% 的区间是多少？测试集多大（小样本，第 5、18 讲）？(3) 还测了哪些指标？74% 是事先定的主要指标吗（多重比较，第 18 讲）？(4) LLM 评委是什么模型？和策略是不是同一家族？控制长度了吗（评委偏差，第 14、18 讲）？(5) 奖励模型更准，策略就一定更好吗？奖励模型在策略要去的地方准吗（第 10 讲）？有没有过度优化（第 8 讲）？(6) 62% 是对谁的胜率？不同类型的提示、不同的用户群体呢（只报平均数，第 17 讲）？(7) 有没有人类评估作为对照（第 14 讲的代理指标）？

练习 4（反思）。这门课里，哪一个”和预期不一样”的实验结果让你印象最深？它说明了什么？

例如第 17 讲的反馈循环：一个温和的初始差距（满意度 0.97 vs 0.82）被放大成了几乎完全的排斥（少数群体从 30% 降到不到 6%），而且每一步都是”按数据做最好的事”。它说明：局部合理的优化可以产生全局不公平的结果，而且这种结果从数据里看不出来——必须事先想到要监测什么。又如第 16 讲的克隆：加 B 的克隆反而帮了 A，和确定性 Borda 的直觉相反。它说明：直觉要用实验检验，而且”相反的结果”本身也支持同一个结论（BT 的排序依赖于候选池）。

10. 延伸阅读

课程教材

• Truong, Haupt, Koyejo. Machine Learning from Human Preferences. mlhp.stanford.edu.

研究实践

• Gelman, Loken. The Garden of Forking Paths: Why Multiple Comparisons Can Be a Problem, Even When There Is No “Fishing Expedition” or “p-Hacking”. 2013.
• Nosek, Ebersole, DeHaven, Mellor. The Preregistration Revolution. PNAS 2018.
• Efron, Tibshirani. An Introduction to the Bootstrap. 1993.
• Card et al. With Little Power Comes Great Responsibility. EMNLP 2020.（NLP 评测的统计功效）
• Sainz et al. NLP Evaluation in Trouble: On the Need to Measure LLM Data Contamination for Each Benchmark. Findings of EMNLP 2023.
• Golchin, Surdeanu. Time Travel in LLMs: Tracing Data Contamination in Large Language Models. ICLR 2024.

开放问题

• Irving, Christiano, Amodei. AI Safety via Debate. 2018.
• Bowman et al. Measuring Progress on Scalable Oversight for Large Language Models. 2022.
• Bai et al. Constitutional AI: Harmlessness from AI Feedback. 2022.
• Casper et al. Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback. TMLR 2023.
• Carroll, Foote, Siththaranjan, Russell, Dragan. AI Alignment with Changing and Influenceable Reward Functions. ICML 2024.
• Hosking, Blunsom, Bartolo. Human Feedback is not Gold Standard. ICLR 2024.
• Anthropic, Collective Intelligence Project. Collective Constitutional AI: Aligning a Language Model with Public Input. 2023.

11. 结语

这门课从一个简单的问题开始：目标写不出来的时候，怎样从人的选择里学出”人想要什么”？

十八讲之后，答案变得复杂了：人的选择有噪声、有偏差、受呈现方式影响、随时间改变；不同的人想要不同的东西；把很多人的偏好合起来没有完美的方式；学到的东西会被优化放大、会改变它所学习的人。

可这些复杂性并不意味着放弃。它意味着更小心地做：清楚地说出假设、事先计划分析、报告不确定性、分人群看结果、诚实地写出和预期不一样的发现。这些习惯本身，就是这门课最重要的内容。

祝你的期末项目顺利。