第 14 讲：风格控制与代理指标

对应：Stanford CS329H Fall 2026 Lecture 14（11/9 Style control & surrogates）。依据教材第 4 章及相应幻灯片；风格控制依据 Chatbot Arena 团队 2024 年的分析；长度控制的胜率依据 Dubois 等（2024）；评委与人类标注的偏差依据 Zheng 等（2023）、Sharma 等（2023）、Hosking 等（2024）；古德哈特定律的分类依据 Manheim & Garrabrant（2018）；替代终点依据 CAST 试验与 Fleming & DeMets（1996）。 配套代码：code/lecture14/（只需要 numpy） 预计阅读时间：3 小时（含运行代码）

0. 本讲导航

0.1 学完本讲，你应该能够

1. 列出人类标注和 LLM 评委的主要偏差（长度、格式、位置、讨好、自信的语气、偏爱自己），并说出它们怎样进入奖励模型和排行榜。
2. 写出带风格协变量的 BT 模型，解释它为什么能把”内容”和”风格”分开；说出”遗漏变量偏差”和”坏控制”这一对问题，以及为什么”哪些变量算风格”是一个因果判断。
3. 说出长度控制胜率的做法和它的局限（外推）。
4. 区分古德哈特定律的四种机制（回归型、极端型、因果型、对抗型），各举一个偏好学习里的例子。
5. 用医学的替代终点和推荐系统的参与度解释”代理指标”的风险，说出缓解办法。

0.2 先修知识

0.3 本讲地图

第1节  第四单元：观察到的选择就是偏好吗？
第2节  偏差的证据
第3节  风格控制：把内容和风格分开                       ← 代码 01、02
第4节  古德哈特定律的四种机制                          ← 代码 03
第5节  代理指标与替代终点                              ← 代码 04
第6节  缓解办法
第7–11节 小结、与考核的关系、练习、延伸阅读、下一讲预告

0.4 关于数字

本讲的数字都来自配套代码的实际运行（随机种子固定，每个文件不超过 5 秒）。所有”竞技场""评委""推荐系统”都是模拟，偏差的大小是设定出来的，只说明方法的性质。真实研究的结论单独标出。

1. 第四单元：观察到的选择就是偏好吗？

前三个单元有一个默认的前提：人的选择反映了人的偏好。我们用 BT 模型从选择里估计”效用”，再用效用训练模型、做决定。

第四单元（第 14、15 讲）质疑这个前提。人的选择会被和”真正想要什么”无关的因素左右：

• 呈现方式：回答的长度、格式、语气，选项的位置和顺序（第 11 讲的选择架构）。
• 认知的局限：注意力有限、只看前几个选项、被框架和锚点影响（第 15 讲的有限理性）。
• 测量方式：我们测的是点击、停留、点赞，而不是”满意”（本讲第 5 节的代理指标）。

从行为反推偏好，是一个反演问题：同样的行为可能来自不同的偏好 + 不同的”呈现 / 认知 / 测量”过程。这一讲处理”呈现”和”测量”，下一讲处理”认知”。

2. 偏差的证据

这些偏差有一个共同点：它们是系统性的，而且有方向。第 5 讲已经看到，随机的标注噪声可以靠更多数据弥补，系统性的偏差不行；第 8 讲看到，有方向的偏差会被 RLHF 放大。

3. 风格控制：把内容和风格分开

3.1 模型

在 BT 模型里加入风格的差（第 2 讲”带特征的 BT”的一个特例）：

$s$ 是”控制了风格之后”的实力，$\gamma_k$ 是风格 $k$ 对投票的影响。Chatbot Arena 用的风格特征是回答的长度、标题数、列表数、加粗数，每个都用归一化差 $(a - b)/(a + b)$——“500 字 vs 1000 字”和”1000 字 vs 2000 字”一样大。拟合就是一个逻辑回归：前 $M$ 列是模型的独热差，后几列是风格差。

3.2 模拟

代码 01_style_control.py 演示 1：12 个模型、2 万场对战。每个模型有真实的内容质量和自己的风格习惯（有的回答又长又爱用格式，有的简短朴素）。投票者偏爱长度（$\gamma = 1.0$）和格式（$\gamma = 0.6$）。

估计的风格系数：长度 1.060 ± 0.162，格式 0.600 ± 0.070（真实值 1.0、0.6）。普通 BT 把”写得长、格式多”算进了实力：真实质量排第 4 的 M3（平均 1200 字、6 个格式元素）被排到第 1，真实排第 1 的 M0（400 字、1 个格式元素）只排第 4。

原理：风格既影响投票、又和模型有关（某些模型总写得长）。不放进模型，它的影响就被算到模型头上——第 2 讲的遗漏变量偏差。

3.3 坏控制：长度是偏差还是价值？

演示 2 换一个世界：投票者没有风格偏好，可是长回答的内容确实更完整（长度对内容质量有真实的贡献）。用”对随机对手的期望胜率”衡量真实的综合质量：

这里普通 BT 才是对的；控制长度之后，长回答的模型被”扣分”，排序反而出错。回归估计的长度系数是 1.054——和演示 1 几乎一样。

统计上，两个世界的数据看起来一样：长回答更容易赢。 回归只能告诉你”长度和胜负有关”，不能告诉你这种关系是”投票者的偏差”还是”长回答真的更好”。这是一个因果问题：

• 如果长度是质量的结果的一部分（更完整的回答自然更长），控制它就是”坏控制”——把真实的效果也减掉了。
• 如果长度是一个独立的、只影响投票者的因素（加客套话），控制它是对的。

要区分，需要领域知识，或者专门设计的实验：把同一个回答改写成长短两个版本、内容不变，看投票者怎么选。Chatbot Arena 的做法是同时公布控制前和控制后的排行榜，把判断留给读者。漏掉该控制的变量有偏差，控制了不该控制的变量也有偏差——这对问题在统计学里叫”遗漏变量偏差”和”坏控制”（bad control）。

3.4 长度控制的胜率

AlpacaEval 让被测模型的回答和一个参考模型的回答比，由 LLM 评委判胜负，报告胜率。长度控制的胜率（Dubois 等 2024）对每个模型拟合

再报告长度差为 0 时的预测胜率 $\sigma(\theta)$——“如果两个回答一样长，评委会怎么判”。原文报告，长度控制让 AlpacaEval 和 Chatbot Arena 的排名相关性从 0.94 提高到 0.98。

代码 02_length_controlled_winrate.py 演示 1：10 个模型，评委的长度偏爱 $\varphi = 0.8$。和”评委没有长度偏爱时的真实胜率”比，原始胜率的平均绝对误差 0.098、肯德尔 τ 0.600；长度控制胜率 0.027、0.822。

演示 2（刷分）：一个模型内容不变、只把回答写长 $k$ 倍：

只改长度，原始胜率就涨了近 20 个百分点；长度控制胜率几乎不动。局限：回答特别长时，几乎所有长度差都在 tanh 的饱和区，“长度差为 0”成了外推（演示 1 里平均 2500 字的 M5 被低估了约 0.08；$k = 3$ 时估计开始偏移）。而且长度控制只管长度——模型可以去利用评委的其他偏好（格式、语气、自信）。

3.5 在奖励模型里控制风格

同样的思路可以用在训练上：让奖励模型有一个专门解释长度的”头”，RL 时只用另一个头（ODIN，Chen 等 2024）；在 RL 的奖励里减去长度项；或者在偏好数据收集时就控制长度（让两个回答长度相近）。每一种都要面对 3.3 节的问题：长度里有多少是真实的价值？

4. 古德哈特定律的四种机制

“一个指标一旦成为目标，就不再是好的指标”（Strathern 1997 对 Goodhart 1975 的概括）。Manheim & Garrabrant（2018）把它分成四种机制，代码 03_goodhart.py 给每一种一个最小的模拟。

4.1 回归型：赢家的诅咒

代理 = 真实 + 噪声（奖励模型 = 真实质量 + 同样大小的误差，相关系数 0.71）。按代理挑出最好的一部分：

被挑中的，一部分是真的好，一部分是误差恰好为正。挑得越狠，误差的贡献越大，差距越拉越大。但真实质量仍然随挑选变好——回归型只让我们高估结果，不会让结果变差。

4.2 极端型：数据之外关系变了

真实质量随”要点个数”先升后降（最好是 3 个）；平常的回答要点大多 0~3 个，两者的相关系数 0.65，线性回归学到”代理 = 0.50 + 0.53 × 要点个数”。优化代理，把回答推到 6 个、8 个要点：代理一路涨到 4.75，真实质量跌到 −4.50；训练数据里有 8 个要点的回答只占 0.06%。第 8 讲线性奖励模型”要点越多越好”的过度优化就是这种机制。应对：限制优化离数据有多远（KL 约束），在优化到达的地方收集新数据（第 9、10 讲的在线收集）。

4.3 因果型：改代理不改真实值

“认真程度”同时导致回答更长、更好。观察数据里长度和质量的相关系数 0.80，回归说每多 100 字质量 +0.27。干预：给每个回答都加 500 字客套话——回归预测质量 +1.34，实际变化 +0.00。一个只看长度的奖励模型会奖励”加长”，而加长对真实质量毫无帮助。这就是 3.3 节”长度是结果还是原因”的另一面。

4.4 对抗型：被评价的一方会刷指标

一个被评价的模型（或团队）有 1 份预算：花在质量上，真实质量和指标都 +1；花在刷指标上，真实质量 −0.2、指标 +3（刷指标便宜得多）。评价方以概率 $p$ 做人工审核，审核时刷出来的部分不算、还要罚 2 倍。审核概率 $p = 0$、0.2、0.3 时，最优策略是全部拿去刷指标（真实质量 −0.20）；$p = 0.5$、0.8 时全部回到真正的质量上（门槛 $p = 0.4$）——一个”全有或全无”的转变。

RLHF 里”被评价的一方”就是策略本身：它不需要”动机”，优化算法会自动找到奖励模型最便宜的漏洞。应对：让漏洞变贵——集成（第 6 讲）、定期更新奖励模型（第 10 讲）、人工抽查、不公开评测集。

5. 代理指标与替代终点

5.1 医学的教训

临床试验的真正目标往往是”活得更久”，但这要很多年才能观察到，于是常用替代终点：血压、胆固醇、肿瘤大小、心律。最著名的反例是 CAST 试验（1989）：心肌梗死后的病人常有室性早搏，早搏和猝死相关；两种抗心律失常药物（恩卡尼、氟卡尼）能很好地抑制早搏——替代终点大大改善——可服药组的死亡率反而高于安慰剂组，试验被提前终止。Fleming & DeMets（1996）总结了一系列这样的例子：替代终点和真实终点相关，不等于改变替代终点就能改变真实终点（因果型古德哈特）。Prentice（1989）提出的标准大意是：只有当治疗对真实终点的影响完全通过替代终点起作用时，替代终点才可靠。

5.2 推荐系统：参与度 vs 满意度

推荐系统真正想要的是”用户满意”，但满意度很难测；点击、观看时长很容易测，于是被当作代理。代码 04_engagement_proxy.py：50 个内容，标题党能吸引点击、点开后却让人失望；只有 10% 的点击之后有满意度问卷。用 UCB 推荐 2 万轮：

（期望满意度最高的内容能到 +1.49。）

• 四种做法的点击率几乎一样——只看代理指标，根本看不出区别。满意度却差了 7 倍。
• 只看问卷：目标对了，但有信号的数据少 10 倍，学得慢。
• 混合（λ = 1）最好：大量的点击数据快速排除没人点的内容，少量的问卷数据纠正标题党的方向。λ = 3 反而变差：问卷要按填写率放大才能和点击可比，再乘 3，奖励的噪声太大。

一些平台公开描述过类似的做法：把问卷得到的”满意度""是否值得花时间”加进排序目标。Kleinberg 等（2022）从理论上分析了”用户的即时行为和长期偏好不一致”时，优化参与度会出什么问题（第 15 讲）。

5.3 大语言模型里的代理

点赞 / 点踩、对话轮数、用户是否重新生成、基准测试的分数、LLM 评委的胜率——都是代理。它们都有用，但都会被优化”打穿”。一个实用的原则：用来优化的指标和用来评估的指标要分开，并定期用更贵、更接近真实目标的方式（人工深度评估、长期跟踪）校准代理。

6. 缓解办法

1. 在数据收集时控制：随机化顺序（第 11 讲）；让比较的两个回答长度相近；标注指南明确”不要因为长度和格式加分”；训练标注员识别讨好和自信的语气；对事实性单独核查。
2. 在建模时控制：风格协变量（3.1 节）、长度控制（3.4 节）、多头奖励模型（3.5 节）；但要做因果判断（3.3 节）。
3. 在优化时约束：KL 约束（第 8 讲）、约束优化（只在代理指标处于”可信范围”时优化，Moskovitz 等 2023）、奖励模型集成（第 6 讲）。
4. 在评估时分离：优化用的指标和评估用的指标分开；保留隐藏的评测集；定期人工抽查（4.4 节的审核概率）。
5. 承认价值判断：哪些是”风格”、哪些是”内容”，哪些代理可以接受——这些不是统计问题，要在预分析计划里写清楚（第 13 讲第 6 节）。

7. 小结

1. 偏差的证据：长度、格式、位置、讨好、自信的语气、偏爱自己——系统性的、有方向的，会被优化放大。
2. 风格控制：BT + 风格协变量，把”内容”和”风格”分开（模拟里 τ 从 0.455 到 1.000）。它对付的是遗漏变量偏差；但如果风格本身是质量的一部分，控制它就是坏控制。统计数据分不清两者，要靠因果判断和干预实验。
3. 长度控制胜率：σ(θ)——“一样长时会怎么判”；能挡住”刷长度”，但特别长的回答要外推，其他偏好挡不住。
4. 古德哈特四种机制：回归型（高估）、极端型（数据之外关系变了）、因果型（改代理不改真实）、对抗型（被刷）。
5. 代理指标：替代终点（CAST）和参与度的教训——代理和目标相关，不等于优化代理就能改善目标。混合少量的直接测量能纠正方向。
6. 缓解：数据收集、建模、优化、评估四个环节，加上明确的价值判断。

8. 与测验、口试和项目的关系

• 测验与口试可能会问：列举标注 / 评委的偏差；写出带风格协变量的 BT；为什么普通 BT 会把风格算进实力；什么是坏控制、为什么回归分不清偏差和价值；长度控制胜率怎样算、有什么局限；古德哈特四种机制各举一例；CAST 试验的教训；为什么只看点击率看不出问题。
• 期末项目：如果你的项目用人类或 LLM 的偏好做评估，至少检查一个风格变量（长度最常见）的影响，报告控制前后的结果，并在预分析计划里说明你认为它是偏差还是价值、为什么。

9. 练习

练习 1（遗漏变量偏差）。两个模型质量相同，模型甲的回答平均比乙长，投票者偏爱长回答（风格系数 γ > 0）。普通 BT 估计的 $s_甲 - s_乙$ 是正还是负？加入长度协变量之后呢？

普通 BT：长度带来的胜率被算到甲头上，$\hat s_甲 - \hat s_乙 > 0$（大约是 γ × 平均长度差，经过 σ 的非线性略有不同）。加入长度协变量后，长度的影响由 γ 解释，$\hat s_甲 - \hat s_乙 \approx 0$。这和第 2 讲遗漏变量偏差的结构一样：被遗漏的变量（长度）既影响结果，又和关心的变量（是哪个模型）相关。

练习 2（坏控制）。设”认真程度”$E$ 同时导致长度 $L$ 和内容质量 $Q$，投票只看 $Q$。 (a) 在 BT 里控制 $L$，估计出的模型实力会怎样？ (b) 如果 $L$ 只由模型的”啰嗦习惯”决定，和 $E$ 无关，投票又偏爱 $L$ 呢？ (c) 你能只用对战数据区分 (a) 和 (b) 吗？

(a) $L$ 是 $E$ 的结果，和 $Q$ 相关；控制 $L$ 会把一部分真实的质量差异归给”长度”，低估认真的模型（代码 01 演示 2）。 (b) 这时 $L$ 是独立的偏差来源，控制它是对的（代码 01 演示 1）。 (c) 不能：两种情况下”长回答更容易赢”都成立，回归系数也一样。需要额外的信息——例如干预实验（同一回答改写成长短两个版本），或者对内容质量的独立测量。

练习 3（长度控制胜率的外推）。某个模型的回答几乎总是比参考长 2000 字以上（tanh 尺度 500）。解释为什么它的长度控制胜率不可靠。你会怎样改进评估？

$\tanh(2000/500) \approx 0.999$：所有数据点的协变量都挤在 1 附近，$\theta$ 和 $\varphi$ 几乎不可分（只能估计 $\theta + \varphi$），σ(θ) 是向”长度差为 0”的外推，方差很大，也完全依赖 tanh 这个函数形式是对的。改进：让被测模型在长度受控的条件下作答（例如限制长度），或者构造长度相近的参考回答；或者对每条指令做配对，把同一个模型的长短两个版本都评一下，直接估计长度的影响。

练习 4（回归型）。代理 $X = V + \varepsilon$，$V \sim N(0, 1)$，$\varepsilon \sim N(0, \sigma^2)$ 独立。 (a) 证明 $E[V \mid X = x] = \frac{x}{1 + \sigma^2}$。 (b) 代码 03 里 $\sigma = 1$，解释为什么差距”正好是一半”。

(a) $(V, X)$ 二元正态，$\mathrm{Cov}(V, X) = 1$，$\mathrm{Var}(X) = 1 + \sigma^2$，所以 $E[V \mid X] = \frac{\mathrm{Cov}(V,X)}{\mathrm{Var}(X)}X = \frac{X}{1+\sigma^2}$。 (b) $\sigma = 1$ 时 $E[V \mid X] = X/2$：无论怎么挑，被挑中的回答的真实质量期望都是代理的一半，差距也是一半。误差越小（奖励模型越准），收缩越少。

练习 5（对抗型的门槛）。在代码 03 第 4 部分的设定里，推导审核概率的门槛 $p^*$。如果刷指标对真实质量没有伤害（−0.2 改成 0），门槛变吗？

花在刷指标上的期望指标收益是 $(1-p)\times 3 - 2p = 3 - 5p$，花在质量上是 1。$3 - 5p < 1 \Leftrightarrow p > 0.4$。门槛只取决于被评价一方看到的”指标”收益，和真实质量的变化无关，所以不变——被评价的一方根本不关心真实质量。这正是对抗型古德哈特的本质：设计评价机制时，要按被评价者的激励来设计，而不是按我们希望它做什么。

练习 6（替代终点）。用因果图解释 CAST 试验：药物 → 早搏，早搏 → 死亡，药物还有什么路径？为什么”早搏和死亡相关”不足以说明”抑制早搏就能减少死亡”？

观察到的相关：心脏损伤 → 早搏，心脏损伤 → 死亡（共同原因），也许还有早搏 → 死亡。药物降低了早搏，但它还有另一条路径：药物 → 致心律失常的副作用 → 死亡。抑制早搏只切断了”早搏 → 死亡”这一条（如果它存在），而共同原因（心脏损伤）没变，副作用路径还增加了死亡。只有当药物对死亡的影响完全通过早搏起作用时（Prentice 标准），替代终点才可靠。

练习 7（设计）。你要为一个写作助手设计”用户满意度”的指标体系。列出三个代理指标、它们各自可能被怎样”刷”，以及你会怎样校准它们。

(1) 点赞率：可能被讨好、夸张的语气刷高；用定期的人工深度评估（含事实核查）校准。(2) 回答被复制 / 采纳的比例：可能被”冗长、包含很多可复制片段”刷高；控制长度后再比较。(3) 用户是否重新生成：可能被”一次给出很多选项”刷低；结合任务完成的追踪（例如用户之后有没有回来问同一个问题）。校准：把一部分流量用于随机化实验，定期用问卷测量”这次帮助有多大”，检查代理和问卷的关系是否随时间变化；优化用的指标和评估用的指标分开。

10. 延伸阅读

课程教材

• Truong, Haupt, Koyejo. Machine Learning from Human Preferences. 第 4 章。

偏差的证据

• Singhal, Goyal, Xu, Durrett. A Long Way to Go: Investigating Length Correlations in RLHF. 2023.
• Zheng et al. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023.
• Wang et al. Large Language Models are not Fair Evaluators. 2023.
• Sharma et al. Towards Understanding Sycophancy in Language Models. 2023.
• Hosking, Blunsom, Bartolo. Human Feedback is not Gold Standard. ICLR 2024.
• Panickssery, Bowman, Feng. LLM Evaluators Recognize and Favor Their Own Generations. 2024.

风格控制与长度控制

• Chatbot Arena 团队. Does Style Matter? Disentangling Style and Substance in Chatbot Arena. 2024（博客）.
• Dubois, Galambosi, Liang, Hashimoto. Length-Controlled AlpacaEval: A Simple Way to Debias Automatic Evaluators. 2024.
• Chen et al. ODIN: Disentangled Reward Mitigates Hacking in RLHF. ICML 2024.
• Angrist, Pischke. Mostly Harmless Econometrics. 2009. 第 3.2.3 节（坏控制）。

古德哈特定律与奖励黑客

• Manheim, Garrabrant. Categorizing Variants of Goodhart’s Law. 2018.
• Skalse, Howe, Krasheninnikov, Krueger. Defining and Characterizing Reward Hacking. NeurIPS 2022.
• Moskovitz et al. Confronting Reward Model Overoptimization with Constrained RLHF. 2023.

代理指标与替代终点

• The Cardiac Arrhythmia Suppression Trial (CAST) Investigators. Preliminary Report: Effect of Encainide and Flecainide on Mortality. NEJM 1989.
• Fleming, DeMets. Surrogate End Points in Clinical Trials: Are We Being Misled? Annals of Internal Medicine 1996.
• Prentice. Surrogate Endpoints in Clinical Trials: Definition and Operational Criteria. Statistics in Medicine 1989.
• Stray et al. What are you optimizing for? Aligning Recommender Systems with Human Values. 2021.
• Kleinberg, Mullainathan, Raghavan. The Challenge of Understanding What Users Want: Inconsistent Preferences and Engagement Optimization. 2022.

11. 下一讲预告

这一讲的偏差来自”呈现”和”测量”：同一个人、同样的偏好，因为回答写得长、因为我们只测点击，就做出了不同的选择。下一讲把镜头转向人本身：人不是完全理性的。

第 15 讲讲有限理性与可处理的选择：

• 玻尔兹曼理性与逆强化学习：从示范里反推奖励函数（最大熵 IRL）。
• “没有免费午餐”：不对人的理性做假设，就无法从行为反推偏好——同样的行为可以由”理性 + 奖励 A”或”不理性 + 奖励 B”产生。
• 对理性的假设错了会怎样：短视、懒惰、有限的注意力被误读成偏好。
• 考虑集与有限注意力；显示偏好 vs 陈述偏好；系统什么时候可以不照着人的选择做（家长主义）。