Lecture 13 · LLM-as-Judge 与评估基础设施 · LLM-as-Judge & Evaluation Infrastructure

对应 Maps to：Stanford CS329Z Engineering AI Agents（Fall 2026），Lecture 13 · Mon Nov 9 · LLM-as-Judge & Evaluation Infrastructure。阅读材料：Grace et al., Demystifying Evals for AI Agents（Anthropic Engineering，2026-01-09）；Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena（NeurIPS 2023 Datasets & Benchmarks）；Ryan et al., AutoMetrics: Approximate Human Judgements with Automatically Generated Evaluators（ICLR 2026）/ Zhu et al., AutoLibra: Agent Metric Induction from Open-Ended Human Feedback（ICLR 2026）。 依据说明：写作时（2026-10-16）这一讲的 slides 还没有公布。本讲依据课表上的主题描述来写：三类判分器（代码、模型、人）、评审提示词的设计、已知偏差（位置、长度、自我偏好）、二选一 vs 逐条打分、非确定性的指标（pass@k vs pass^k）、harness 的设计、Anthropic 的 8 步路线图、AutoMetrics / AutoLibra。引用的论文和博客数字都核对过原文。全部实验是本讲义自己设计的，不代表课堂上讲了什么。 配套代码 Code：code/lecture13/（只用 Python 标准库；6 个脚本 + 2 个模块 + 1 个可选脚本；不需要 API key；每个脚本几秒以内） 预计阅读时间：3 小时（含运行代码）

0. 本讲导航 · How to read this lecture

0.1 学习目标 Learning goals

学完这一讲你应该能够：

1. 说出代码、LLM 评审、人三类判分器各自擅长什么、会在哪里出错、各花多少钱，并知道怎样把它们组合起来。
2. 设计一个 LLM 评审的提示词：二选一还是逐条打分、给不给参考答案、一个总分还是逐维度、给不给”不知道”的出口。
3. 用构造的对照实验测出评审的位置偏差、长度偏差、自我偏好和”算不清”，并知道每一种怎样缓解。
4. 用少量人工标签校正评审：区分”一致率高”和”估计无偏”，会用 PPI / PPI++ 给出可信的区间。
5. 搭一个评估 harness：配置指纹、每次试验自己的种子、记录落盘、续跑与缓存、判分与运行分开、正确处理基础设施错误。
6. 说出 AutoLibra 和 AutoMetrics 怎样从人的反馈里自动得到指标，以及它们各自的风险。

0.2 先修与本讲范围 Prerequisites & scope

0.3 本讲地图 Map

§0.6 开场：62% 是谁判的？
§1  三类判分器：代码、模型、人                                           ← 代码 01
§2  评审的提示词怎样写                                                 ← 代码 02
§3  四种已知偏差：位置、长度、自我偏好、算不清                            ← 代码 03
§4  用少量人工标签校准评审：一致率、Rogan–Gladen、PPI、PPI++              ← 代码 04
§5  评估 harness：并发、可复现、续跑、重新判分、基础设施错误                ← 代码 05
§6  指标从哪里来：AutoLibra 与 AutoMetrics                               ← 代码 06
§7  Anthropic 的路线图：从 0 到一套能用的评估
§8  用真实模型试一试                                                    ← 代码 07（可选）
§9 小结   §10 常见误区   §11 练习   §12 延伸阅读   §13 下一讲预告

0.4 术语 Terms

0.5 本讲的代码

代码搭了一个小世界：Orrin Grid（第 10、12 讲的能源公司）的客服助手回答两类问题——“我的 solar 套餐停电 12 小时，能补偿多少？“（按政策：时薪 × 小时，每次最多 30 美元）和政策题（“补偿能折现吗？”）。一条成功的回答要满足两点：关键事实对，并且告诉用户下一步（“补偿会出现在下一张账单上”）。

四个助手系统各有风格：

判分器有三类：代码判分器（正则抽数字 + 关键词）、人（众包 / 专家，按回答的真实属性判，带个人噪声）、模拟的 LLM 评审。

提醒：评审会真的”读”回答文字，包括解析英文单词写的数字、认”下一步”的几种说法、认风格标记、数重复句数。但它会不会去验算、被长度和自家风格影响多少、拿不准时偏向哪个位置，都是参数，按 MT-Bench 报告的现象设定。所以本讲测出的偏差大小由参数决定，不能拿来推断真实模型的偏差大小；要学的是测量、缓解、校正的方法。每个偏差旁边都附了论文里真实模型的数字作对照。

0.6 开场：62% 是谁判的？

第 12 讲说过，“我们的智能体得了 62%“背后有十几个决定。其中最容易被忽略的一个是：这 62% 是谁判的？

如果是一段正则，它可能把 “twenty-four dollars” 判错，把 “24 dollars” 判对。如果是另一个 LLM，它可能偏爱更长的回答、偏爱排在前面的回答、偏爱和自己风格相像的回答，还可能根本没去验算那个数字。如果是人，两个人之间也只有八成多一致，而且一条要 2 美元、3 分钟。

这一讲把”判分”本身当成一个需要设计、测量和校准的系统，再把整套评估当成一个需要工程化的系统（harness）。

1. 三类判分器：代码、模型、人 · Three kinds of graders

1.1 Anthropic 的分类

Demystifying Evals for AI Agents 把判分器分成三类：

文章的建议顺序是：能用代码判的用代码，必须用模型的地方用模型，人用来校准和抽查。

1.2 实验：谁在哪里错（代码 01）

600 条回答（150 道题 × 4 个系统），和”真实”（按回答的真实属性判）比：

两类自动判分器错的方向相反：

• 代码 v1 从不错放，但冤枉了三成的成功回答：75 条是”下一步换了说法”，33 条是”金额用英文单词写”。它只认得写判分器的人想到的那种说法。Anthropic 举过一个真实的例子：标准答案是 96.124991…，判分器把 “96.12” 判错。
• 无参考的 LLM 评审读得懂换说法，却放过了四分之一的失败回答：主要是它没去验算的错误金额（用错套餐的时薪 34 条、差一档 12 条、忘了上限 5 条），以及它其实不知道答案的政策题（12 条）。

给评审参考答案，错放从 25.2% 降到 0.8%，一致率 97.5%，和专家差不多，成本却差了几百倍。§2 会细讲”给参考答案”为什么这么有效。

1.3 判分器的错误会改变排名

真实最好的 Dune 在代码 v1 下排第 3（它用词最多变），真实最差的 Cedar 在无参考评审下排第 2（它最啰嗦，错误金额最多）。判分器的错误不是均匀的噪声，它和被评系统的风格相关，所以它不只是让分数”低一点”或”高一点”，而是会改变排名。比较两个系统时，要问一句：判分器对它们俩犯的错一样吗？

1.4 分歧是找判分器 bug 最便宜的地方

两个判分器结论不同的那些回答最值得读。代码 01 演示 4 把”代码说失败、评审说成功”的 156 条按原因分了类：

读完这些分歧再修代码判分器（认英文单词的数字、认两种说法），一致率从 82.0% 升到 100.0%。100% 是因为这个小世界里只有两种说法；在真实世界里，修好的只是读到过的说法，下一个系统换一种新说法，它又会冤枉。

这就是 Anthropic 路线图的第 6 步”读记录”（check the transcripts）。文章里有一个真实的例子：Claude Opus 4.5 在 CORE-Bench 上一开始只得了 42%，修掉判分的 bug（包括上面那个 96.12 的例子）、改掉含糊的任务说明和无法精确复现的随机任务、换了一个限制更少的脚手架之后，分数到了 95%。一个分数低，先怀疑判分器和任务，再怀疑智能体。

1.5 组合：确定性优先，模型补位，人来校准

一个实用的组合是：

1. 能确定判的用代码：最终状态（数据库里有没有那条记录）、数字（用能认多种写法的解析器）、格式、测试。
2. 只有”按意思判”的部分交给模型：说没说下一步、语气、是否回答了用户的问题。每个维度一个评审（§2.3），能给参考答案就给。
3. 人做两件事：一小批人工标签用来校准评审（§4）；定期抽读记录，找判分器和任务的 bug（§1.4）。

Anthropic 还区分了两种评估：能力评估（capability eval）问”这个智能体能把什么做好”，起点应该是一个较低的通过率，给团队”一座可以爬的山”；回归评估（regression eval）问”它还能做好以前能做的事吗”，通过率应该接近 100%。能力评估上稳定通过的任务可以”毕业”进回归评估。

2. 评审的提示词怎样写 · Designing the judge

2.1 三种形式

MT-Bench 论文比较了三种用 LLM 当评审的方式：

• 二选一（pairwise comparison）：给评审一个问题和两条回答，问哪条更好或平局。
• 逐条打分（single answer grading）：给评审一条回答，让它打一个分（MT-Bench 用 1–10 分）。
• 带参考答案（reference-guided grading）：把参考答案放进提示词，适合数学这类有标准答案的问题。

二者的权衡很直观：二选一更像人做比较的方式，“哪个更好”比”值几分”容易回答；但 n 个系统两两比较要 n² 次，而且只能给出相对的结论。逐条打分可扩展、可以跨时间比较（今天的 7 分和下个月的 7 分是同一把尺子），但绝对分容易漂移、容易平局。

2.2 一致率：评审 vs 人，人 vs 人（代码 02 演示 1）

MT-Bench 用两种一致率：S1 包含平局（随机猜是 33%），S2 去掉任何一方投了平局的票（随机猜是 50%）。论文报告，在 MT-Bench 上 GPT-4 和人的一致率是 S1 66%、S2 85%；人和人之间是 S1 63%、S2 81%。也就是说，评审和人的一致程度不低于人和人。这是”评审可用”的必要条件，但不是充分条件（§4 会讲为什么）。

在 900 对回答上（同一道题、不同系统）：

这个小世界里的模拟评审比 MT-Bench 里的 GPT-4 差得多（它不常验算，又偏爱啰嗦），所以一致率低；方向和论文一致：二选一比逐条打分好，参考答案大幅提高一致率。逐条打分有 15% 的平局，因为两条回答常常被打成同一个整数分。最后一行提醒我们，人和人之间本身就有分歧，“和某一位人”的一致率有天花板。

交换顺序问两次、两次一致才算数，把平局从 14% 推到 40%，但剩下的票和真实一致 82%。它把”拿不准”的票变成平局，而不是交给位置去决定（§3.1）。

2.3 一个总分 vs 逐维度（代码 02 演示 2）

让评审给一个”总体印象分”、过阈值算成功，还是每个维度（事实对不对、说没说下一步）分开判、都过才算成功？

总分让一个维度的长处掩盖另一个维度的缺陷（光环效应）。一条”事实对但没说下一步”的回答，因为又礼貌又”详细”，总分过了线。错放还随啰嗦程度上升。Anthropic 的建议是：用结构化的评分细则，每个维度用一个独立的评审去判。

2.4 给评审一个出口（代码 02 演示 3）

政策题的答案不在评审的提示词里，它其实不知道对错：

Anthropic 的建议是”给 LLM 一个出口”，例如允许它在信息不足时回答 “Unknown”，减少瞎编的结论。实验里它确实把错放从 14 条降到 1 条，代价是 92 条交给人。但它给出的那 15% 结论仍然是猜的（68.8%）。根本的解决办法是第三行：评审只能判它掌握了信息的东西，把政策文本或参考答案给它。

2.5 评审也是非确定的（代码 02 演示 4）

同一条回答判 5 次：

逐条打 1–10 分时，100 条回答里有 53 条，5 次的最高分和最低分差 4 分以上。

取多数能消掉随机的错误（偶尔不信一条对的回答），消不掉系统性的错误：无参考的评审多数时候根本不验算，错误的金额每次都被相信，于是错放反而从 16% 升到 20%（多数票把”偶尔抓住”也投掉了）。先把提示词设计对，再考虑多判几次。

2.6 一个评审提示词的样子

把上面几条合起来，一个判”说没说下一步”的评审提示词大致是这样（英文，和真实系统一致）：

You are grading ONE dimension of a customer-service reply: whether it tells the
customer what happens next (e.g., when the credit will appear).

Customer question: {question}
Reply: {reply}

Rules:
- Judge only this dimension. Ignore correctness, tone and length.
- Do not reward repetition or extra length.
- If the reply does not contain enough information to decide, answer "Unknown".

First write 1-2 sentences of reasoning, then a final line exactly:
Verdict: PASS | FAIL | Unknown

“金额对不对”这个维度单独一个评审，并且把政策和参考答案放进去，或者干脆交给代码判分器。

3. 四种已知偏差 · Known biases

MT-Bench 论文列出了 LLM 评审的几种偏差。它们有一个共同的测量方法：构造一对”质量相同、只差一个无关因素”的输入，看评审的结论变不变。这和软件测试里的”蜕变测试”（metamorphic testing）是一个思路。

3.1 位置偏差：交换顺序（代码 03 演示 1）

同一对回答，A 在前问一次，B 在前再问一次。论文的表 2（GPT-4，默认提示词）：一致 65.0%、偏向第一个 30.0%、偏向第二个 5.0%；Claude-v1 一致只有 23.8%、偏向第一个 75.0%。few-shot（给几个判好的例子）把 GPT-4 的一致率提到 77.5%。

位置偏差只在评审”拿不准”的时候起作用。所以给参考答案也能减少位置偏差：能分清的对子多了，拿不准的少了。缓解：交换顺序问两次，不一致判平局（§2.2 最后一行）；或者两种顺序的结论取平均。

3.2 长度偏差：“重复列表攻击”（代码 03 演示 2）

论文的构造：拿一条回答，在后面把已有的内容换个说法重复几条，不增加任何新信息，看评审会不会更喜欢加长的版本。23 条回答上，Claude-v1 和 GPT-3.5 的攻击成功率都是 91.3%，GPT-4 是 8.7%。

交换顺序缓解不了长度偏差（还有 73%）。它是系统性的偏好，不是拿不准。

长度控制：AlpacaEval 的做法（Dubois et al., 2024）是在统计上把长度的影响扣掉。关键是怎样测出”每多一句，分数涨多少”：用上面那种构造的对照（同一条回答加 3 句重复）去测，这里测出来每多一句重复，1–10 分平均涨 0.82 分。不能直接拿所有回答的分数对长度做回归，因为更长的回答可能本来就更全，回归会把这部分也扣掉。扣掉之后：

最啰嗦的 Cedar 从 7.91 降到 6.29，但离人给的 4.78 还远：它的错误金额多，而评审没验算（§3.4）。长度控制只修长度这一种偏差。

3.3 自我偏好：对照组要选对（代码 03 演示 3）

论文报告，GPT-4 给自己的胜率比人给的高约 10%，Claude-v1 高约 25%，GPT-3.5 没有偏爱自己。作者也说明数据有限、差别小，不能确定是否存在自我偏好。

三个家族的评审给四个系统做循环赛（带参考答案、交换顺序，尽量排除其他偏差）：

这里有一个容易犯的错误：拿”评审给的胜率 − 人给的胜率”当自我偏好。那样的话，三个评审都把啰嗦的 Cedar 从 29% 抬到 50%–61%，这是长度偏差，不是自我偏好；而家族 B 的评审给 Birch 的胜率反而比人给的低。正确的对照是同一个系统在自家评审和别家评审那里的胜率差：长度、位置这些偏差对所有评审一样，差值里只剩”认得出自家”这一项。

缓解：评审和被评系统用不同家族的模型；或者几个家族的评审一起投票。一个特别要警惕的场景是：用同一个模型既当被优化的系统、又当判分的评审，比如用 GEPA 这类优化器（第 9 讲）、拿同一家族的 LLM 评审的分数当反馈。优化会顺着评审的偏好走。

3.4 算不清：评审和模型犯同一种错（代码 03 演示 4）

论文用 10 道数学题、20 次判分测试评审能不能看出错误的答案：默认提示词失败 70%，思维链（先自己解题）30%，带参考答案 15%。

最后一列值得多看一眼：评审验算时自己也会忘了 30 美元的上限，于是把正确的 “30 dollars” 判成错的，把忘了上限的 “48 dollars” 判成对的。评审和被评的模型错误相关时，评审恰好在最需要它的地方失灵。 思维链能减轻但不能消除这种相关；参考答案切断了它。（“忘了上限”只有 13 条，数字是粗略的。）

3.5 小结：偏差的测量与缓解

4. 用少量人工标签校准评审 · Calibrating the judge with humans

4.1 一致率要按片看（代码 04 演示 1）

每个系统抽 50 条请专家标注，和评审比：

三件事：

• 评审对不同系统犯的错不一样：最啰嗦的 Cedar 的失败回答，评审只抓住 55%。合在一起的一个一致率（74%）会掩盖这一点。
• 看样本量：Dune 只有 7 条失败的样本，它的 TNR 本身就很不准。
• κ 的”悖论”：Dune 的一致率 78%，κ 却只有 0.14。κ 扣掉了”碰巧一致”的部分，而当绝大多数回答都通过（86%）时，两边都说”通过”本来就很容易碰巧一致。高一致率 + 低 κ，往往说明正负样本极不平衡（第 11 讲 §4）。

4.2 从一致率到无偏估计

我们真正想要的通常不是”评审和人有多一致”，而是每个系统的真实通过率，并且附一个可信的区间。四种做法：

1. 只用评审：评审判全部 N 条，取平均。区间窄，但有偏。

2. 只用人：n 条人工标签取平均。无偏，但 n 小、区间宽。

3. Rogan–Gladen 修正（流行病学里用来修正筛查测试的经典公式，1978）：用人工标签估计评审的 TPR 和 TNR，再把评审的通过率 p̂ 换算成真实通过率：

   θ̂ = (p̂ + TNR − 1) / (TPR + TNR − 1)

   它假设评审对所有系统犯同样的错。

4. PPI（prediction-powered inference，Angelopoulos et al., 2023）：评审在全部 N 条上的平均，加上 n 条有标签样本上”人 − 评审”的平均：

   θ̂ = mean_N(评审) + mean_n(人 − 评审)

   第二项估计的正是评审的偏差，所以只要 n 条是随机抽的，θ̂ 就无偏。方差 = Var(评审)/N + Var(人 − 评审)/n：评审和人越一致，第二项越小。PPI++（Angelopoulos, Duchi & Zrnic, 2023）再加一个系数 λ：

   θ̂_λ = mean_n(人) + λ · [mean_N(评审) − mean_n(评审)]

   λ = 1 就是 PPI，λ = 0 就是只用人；λ 取使方差最小的值，评审是噪声时 λ ≈ 0，所以（大样本下）不会比只用人差。

把 PPI 用到模型评估上的工作，见 Boyeau et al., AutoEval Done Right（2024）。

4.3 哪个估计可信（代码 04 演示 2–3）

每个系统 250 条回答、40 条人工标签，重复 300 次随机抽样：

（偏差和半宽的单位都是百分点。真实通过率：Atlas 53%、Birch 62%、Cedar 45%、Dune 77%。）

• 只用评审：区间很窄，却只有 25% 的时候盖住真值。窄而错的区间比宽的区间更危险，因为它让人放心。（它的第一名倒是每次都对：差距大的地方，偏差不要紧。）
• Rogan–Gladen：因为评审对不同系统犯的错不同（§4.1），用合在一起的 TPR / TNR 修正之后，Birch 反而偏得更多（−11.1）。要用它，必须按系统分别估计 TPR / TNR，而每个系统的失败样本往往很少。
• PPI：每个系统单独校正，所以无偏，覆盖率 98%。但这个评审和人只有七成多一致，“人 − 评审”的方差没比”人”本身小多少，区间（±15.5）反而比只用人还宽。这一点论文里也说得很清楚：PPI 的收益取决于评审和人有多相关。
• PPI++ 自动把 λ 调到 0.46（少信一点评审），区间 ±12.7，覆盖率 96%，完整排名正确的比例最高。

4.4 人工标签值多少，取决于评审有多好（代码 04 演示 4）

配上和人九成七一致的评审（带参考答案），40 条标签做到了只用人约 140 条的精度。标签越多，倍数越小：250 条评审结果自己的抽样误差是 PPI 区间的下限，再多的人工标签也压不过它。

这一节的结论可以记成一句话：评审是降低方差的工具，不是人的替代品。人工标签提供无偏性，评审越好，需要的人工标签越少。 实践中：

• 每个要比较的系统（或者每个重要的切片）都留一小批随机抽样的人工标签，用来校正。
• 评审的模型、提示词一变，就重新校准。Anthropic 的说法是：评审要和人类专家紧密校准，等系统稳定之后，人工审阅才可以只是偶尔为之。
• 报告里写清楚：评审是什么、和人的一致程度（按切片）、用什么方法校正、区间怎样算的。

5. 评估 harness · Evaluation infrastructure

5.1 评估 harness 不是智能体 harness

Anthropic 特意区分了两个词：智能体 harness（脚手架）是让模型能当智能体的那一层，也就是第 5、6 讲搭的东西；评估 harness 是端到端跑评估的基础设施：给出指令和工具、并发地跑任务、记录每一步、判分、汇总。文章附录列了几个现成的评估框架（Harbor、Braintrust、LangSmith、Langfuse、Arize Phoenix / AX）。这一节从零搭一个最小的，看清每个部件为什么存在。

5.2 六个要求

5.3 实验（代码 05）

一次完整的评估：150 道题 × 每题 4 次、8 个线程。600 条记录只有 204 KB；通过率 65.7% [61.8%, 69.4%]；pass@4 95.3%、pass^4 18.0%。同一份记录同时回答”能不能做到”和”稳不稳”。Anthropic 的例子是：每次 75% 的成功率，连续 3 次都成功的概率只有 0.75³ ≈ 42%。

并发（虚拟时钟）：

线程多到一定程度，总时间由最慢的那一次试验（30 秒）决定，前置讲 P3 的估算公式开始偏乐观。真实系统里还有 API 的并发和限速上限。

可复现：种子由（配置指纹, 任务, 第几次）决定，1 个线程和 16 个线程写出的 600 条记录逐字段相同（文件里行的顺序可能不同，按键读回就没关系）。反过来，所有试验共用一个随机数生成器时，只是执行顺序变了，就有 229 次试验的结论不同，通过率 67.3% vs 66.2%。这种 bug 在单线程调试时看不出来，一并发就让结果不可复现。

续跑、缓存、改配置：

续跑后的记录和一口气跑完的逐条相同。反过来要注意：指纹里漏掉一个会影响结果的设置（例如温度、工具列表、环境版本），缓存就会把旧结果当成新结果。

重新判分：判分器从 v1 改到 v2（代码 01 演示 4 修好的那个），通过率 30.7% → 65.7%，智能体一次都没重跑；同一个版本再判一次，判分器也不再调用。

5.4 基础设施错误（代码 05 演示 5）

模拟的智能体每一步都有 8% 的概率碰上 API 过载，所以越长的运行越容易出错（1 步 6%、5 步 35%）；而触到上限的题更难，步数也更多。每题 20 次：

• 算成失败：把基础设施的问题算到了智能体头上，低了 10 个点。
• 直接丢掉：看起来无害，其实悄悄改变了题目的构成。难题在计入的试验里占比从 14.0% 降到 11.4%，期望通过率偏高 1.0 个点。这里难题只占一成多，所以偏差不大；难题越多、错误和难度越相关，偏得越多。
• 重试：3,000 次试验里只有 3 次在 4 次重试后仍以错误结束。报告里要写明这个数字和处理方式。

Anthropic 在路线图第 4 步讲的是同一类问题的另一面：每次试验要从干净的环境开始。共享的状态（残留的文件、缓存的数据、耗尽的资源）会造成相关的失败，也可能抬高分数。他们见过 Claude 通过查看之前试验留下的 git 历史获得了不公平的优势（第 12 讲 §2.2 的”环境要重置”）。

6. 指标从哪里来：AutoLibra 与 AutoMetrics · Where metrics come from

前面一直默认”我们知道该量什么”（对不对、全不全）。但对开放式的智能体任务，最难的一步往往是定义指标。两篇 ICLR 2026 的论文给了两种自动化的答案。

6.1 AutoLibra：从开放式反馈里归纳指标

Zhu et al. 的流程：

1. 收集反馈：用户或专家对每条轨迹写一段自由文本（“它把同一个查询调了三遍”）。
2. 落地（feedback grounding）：把反馈拆成要点，每一条对应到轨迹里的具体行为，得到一个方面（aspect）= (行为, 反馈, 正 / 负)。论文用 GPT-4o 做这一步。
3. 行为聚类：把相似的方面聚成 N 个指标，每个指标有定义、正例、反例。论文用 o3-mini 聚类，并特意说明：嵌入 + K-means 会按任务（哪个网站、哪个角色）而不是按行为分组，所以没有用。
4. 用指标评估：LLM 评审对每条轨迹的每个指标打 +1 / −1 / N/A，指标的分数 = +1 在非 N/A 里的比例。
5. 元评估：覆盖率 = 有指标能解释的方面占多少；冗余率 = 一个方面都解释不了的指标占多少。
6. 挑 N：生成约 20 组不同 N 的指标，留下覆盖率在最高值 1% 以内的，挑冗余率最低的。

论文报告的人工核验一致率：落地 0.95、评审 0.92、元评估 0.90。用归纳出的指标去改进智能体，在 Baba-Is-AI 上每轮用 18 条标注过的轨迹，成功率提高了 20% 以上。

迷你版（代码 06 演示 1–3）：80 条轨迹的反馈落成 121 个方面（落地有 5% 的错误）。聚类只看用词（这是和论文最大的不同）：

N 小的时候，几种行为被硬并在一个指标里，指标的定义被较大的那种行为占满，较小的那种解释不了，所以覆盖率低。N 大了以后，多出来的指标是被拆开的同一种行为，或者是落地错误留下的小组（例如 “had a kind and patient tone” 被错归成了”重复调用”），在新数据上一个方面都解释不到，于是冗余率上升。按论文的规则选出 N = 12。

指标细到行为层面的价值在演示 3 里最明显。两个版本的智能体，整体满意度（没有任何负面行为）只差 +5 个点（30% → 35%），但底下是：

只看一个总分，会以为 v2 没什么变化；细粒度的指标告诉你下一步该修什么。

6.2 AutoMetrics：从少量打分里组合指标

Ryan et al. 的流程分四步：

1. 生成：按任务自动生成候选的 LLM 评审标准。默认 17 个：10 个单一标准的、5 个评分细则的、1 个带示例的、1 个经过提示词优化的。
2. 检索：和 MetricBank（48 个现成指标）合在一起，用 ColBERT + LLM 筛到 k = 30 个。
3. 回归：在不到 100 条人工反馈上，把指标 z 化后用 PLS（偏最小二乘） 回归，按权重绝对值留 n = 5 个，再拟合一次；和人负相关的生成指标扔掉。
4. 报告：权重、相关性、使用建议。

论文报告：在 5 个任务上，和人的 Kendall 相关比直接用 LLM-as-judge 最多提高 33.4%。拿它当奖励在 τ-bench 航空任务上用 GEPA 优化，测试准确率 0.720，用可验证奖励是 0.680（未优化 0.60）。论文自己列出的局限包括：换了评审用的模型，指标要重新优化；指标只能推广到人工数据覆盖到的范围；预测变量多、样本少时可能抓到偶然的相关；在案例研究里，指标可能学到数据集的特征，需要人把关。

迷你版（代码 06 演示 4）：14 个候选指标（7 个”库里的”通用指标 + 7 个”生成的”评审标准，其中一个是原始的 1–10 分评审）。在留出的 250 条上算和人打分的 Kendall τ-b，结果是 20 次随机切分的平均：

原始评审几乎不相关，因为这个世界里的评审很少验算，而且偏爱啰嗦（§3），人却讨厌啰嗦。组合指标让人工打分来决定”哪些维度重要、各占多少”。只有 20 条打分时，OLS 用上全部 14 个指标就过拟合了；PLS 只在几个”和 y 最相关的方向”上回归、再只留 5 个，稳得多。

一个技术细节：这里用的是 τ-b，不是第 11 讲那个忽略平局的版本。人的打分只有 1–5，很多候选指标是 0/1，忽略平局会让单个 0/1 指标显得比连续的组合分数相关得多。τ-b 把平局计入分母，scipy 的 kendalltau 默认就是它。

6.3 两者的关系

AutoLibra 回答”该量什么”（从反馈里归纳出新的维度）；AutoMetrics 回答”怎样组合”（从现成的维度里挑几个、配好权重去逼近人）。两者都依赖一小批人的输入，都需要人审一遍产出：归纳出的指标定义对不对，留下的指标是不是学到了数据集的特征。这和第 11 讲 EvalGen 的结论一致：评估标准本身也需要被评估。

7. Anthropic 的路线图：从 0 到一套能用的评估 · A roadmap

Demystifying Evals 的后半部分是一份从零开始的路线图。逐条列出，并标上本课程哪里讲过：

两条值得单独记住：

• “判产出，不判路径。” 要求智能体按固定的步骤序列做事的判分器，会冤枉那些用了别的合理路径的智能体。第 12 讲按最终状态判分，就是这个原则。
• 部分分。 文章的例子：一个客服智能体核实了客户身份但没能办完退款，比一上来就失败的要”有意义地更好”。二元的成功 / 失败会丢掉这个信息。

文章最后一句建议只有三个词：Read the transcripts!

8. 用真实模型试一试 · Try it on a real model

07_real_llm.py 用真实的 Claude 当评审：10 对回答，其中 8 对人的偏好明确、2 对是重复列表攻击。每对两种顺序各问一次，无参考 / 有参考两种提示词，共 40 次调用。

python3 07_real_llm.py --toy

（--toy 用模拟评审，不联网，用来检查脚本本身；去掉它就调用真实模型，需要 pip install anthropic 和 API key。）

运行之后看三件事：

1. 重复列表那两行，它选了加长的版本吗？交换顺序后结论变没变？
2. 两次结论不一致的对子，真实偏好通常是什么样的？是差距小的，还是差一个关键事实的？
3. 参考答案让一致率和正确率变了多少？方向和 MT-Bench 报告的一致吗（参考答案把数学题的判分失败率从 70% 降到 15%）？

10 对太少，下不了任何统计结论。这个脚本的用途是让你亲眼读一读真实评审的推理，看它在哪里被说服、在哪里犹豫。

9. 小结 · Summary

1. 三类判分器错的方向不同：代码不错放、但会冤枉换了说法的正确回答；无参考的 LLM 评审读得懂换说法、但会放过它没验算的错误；人准但贵，一个人也只有九成多一致。判分器的错误和系统的风格相关，会改变排名。确定性优先、模型补位、人来校准。
2. 评审的提示词设计比多判几次更重要：能给参考答案就给；每个维度一个评审；给”不知道”的出口；交换顺序。取多数只消掉随机的错误。
3. 四种偏差都能用构造的对照测出来：位置（交换顺序）、长度（加重复）、自我偏好（同一个系统在自家 vs 别家评审那里的差）、算不清（已知错误的回答）。评审和模型错误相关时最危险。
4. 评审是降低方差的工具，不是人的替代品：只用评审，区间窄而错；PPI / PPI++ 用少量随机抽样的人工标签保证无偏；评审越好，人工标签越值钱。一致率要按片看，κ 要和样本构成一起看。
5. 评估 harness 是工程：配置指纹、每次试验自己的种子、记录落盘、续跑与缓存、判分和运行分开、基础设施错误重试并报告。
6. 指标可以从人的输入里自动长出来：AutoLibra 从反馈归纳维度，AutoMetrics 从少量打分组合维度；两者的产出都要人审。

10. 常见误区 · Common pitfalls

• “评审和人的一致率 80%，所以评审的分数可以直接用。” 一致率高不等于无偏：评审对 A 系统宽松、对 B 系统严格，一致率照样可以很高，排名却是错的。要按系统看错误，并用人工标签校正。
• “取 5 次多数，评审就稳了。” 多数票只消掉随机的错误；它从不验算的那些错误，5 次都一样。
• “交换顺序可以消除评审的偏差。” 只能消除位置偏差。长度偏差、自我偏好是系统性的，交换顺序之后还在。
• “自我偏好 = 评审给的分 − 人给的分。” 这个差里混着长度偏差等所有偏差。要比同一个系统在自家和别家评审那里的差。
• “给评审一个总体印象分最省事。” 光环效应会让一个维度的长处掩盖另一个维度的缺陷。每个维度一个评审。
• “评审说不知道就是评审不行。” 不知道的时候说不知道，比瞎编一个结论好得多。更好的是给它判断所需的信息。
• “PPI 总比只用人好。” 评审和人不够相关时，普通 PPI 的区间可能更宽；用 PPI++ 让数据决定信评审多少。
• “API 报错的那几次试验丢掉就行。” 出错的往往是长的、难的运行，丢掉它们会悄悄改变题目构成。重试，并报告。
• “多线程会让结果不可复现，所以评估只能单线程跑。” 不可复现的原因是共用随机数生成器，不是多线程。每次试验用自己的种子。
• “判分器改了，要重跑评估。” 记录落盘、判分和运行分开，就只需要重新判分。

11. 练习 · Exercises

练习 1（选判分器）：为下面三个任务各选一种主要的判分器，并说明理由：(a) 智能体为用户订一张机票；(b) 智能体总结一份 20 页的合同；(c) 智能体回答”我这个月的账单为什么比上个月高？”。

练习 2（找判分器的 bug）：一个代码判分器检查回答里是否包含 “refund processed”。你会怎样系统地找出它冤枉了哪些回答？

练习 3（S1 与 S2）：评审和人在 1,000 票上的 S1 一致率是 60%，S2 一致率是 85%（其中 600 票双方都没投平局）。另一个评审 S1 70%、S2 75%（800 票）。哪个更好？

练习 4（设计偏差测试）：你怀疑评审偏爱用 Markdown 列表格式的回答。设计一个实验测出这种偏差的大小，并说明为什么不能直接比较”用列表的回答”和”不用列表的回答”的平均分。

练习 5（自我偏好）：你用模型 X 当评审，比较 X 和 Y 两个模型生成的回答，X 赢了 62%。你的同事说”这是自我偏好”。你需要什么额外的数据来判断？

练习 6（PPI 手算）：评审在 1,000 条上判通过率 70%。在随机抽的 50 条上，人判通过 30 条；这 50 条上评审判通过 38 条。(a) 只用人的估计是多少？(b) PPI 的估计是多少？(c) 评审是偏宽还是偏严？

练习 7（κ 的悖论）：评审和人在 200 条上一致 180 条（90%），其中人判 190 条通过、10 条失败。评审对那 10 条失败只判对了 2 条。κ 大约是多少？这说明什么？

练习 8（harness 的指纹）：你的评估缓存键是 (模型名, 提示词版本, 任务, 第几次)。列出至少三个会导致”缓存把旧结果当成新结果”的情形。

练习 9（基础设施错误）：你的评估里 15% 的试验因超时结束，其中大部分是需要 20 步以上的任务。分别说明”算成失败""丢掉""重试”对报告的分数有什么影响，以及你会怎样报告。

练习 10（开放题：为你的智能体设计评审）：挑一个你在做或想做的智能体，按本讲的方法设计它的 LLM 评审：维度、每个维度的提示词要点、哪些维度用代码判、需要多少人工标签、怎样测四种偏差。

12. 延伸阅读 · Further reading

本讲的阅读材料

• M. Grace, J. Hadfield, R. Olivares, J. De Jonghe, Demystifying Evals for AI Agents, Anthropic Engineering, 2026-01-09.
• L. Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, NeurIPS 2023 Datasets & Benchmarks.
• M. J. Ryan et al., AutoMetrics: Approximate Human Judgements with Automatically Generated Evaluators, ICLR 2026.
• H. Zhu et al., AutoLibra: Agent Metric Induction from Open-Ended Human Feedback, ICLR 2026.

相关

• Y. Dubois et al., Length-Controlled AlpacaEval: A Simple Way to Debias Automatic Evaluators, 2024（长度控制）。
• A. N. Angelopoulos et al., Prediction-Powered Inference, Science, 2023；A. N. Angelopoulos, J. C. Duchi, T. Zrnic, PPI++: Efficient Prediction-Powered Inference, 2023.
• P. Boyeau et al., AutoEval Done Right: Using Synthetic Data for Model Evaluation, 2024（PPI 用于模型评估）。
• W. J. Rogan, B. Gladen, Estimating Prevalence from the Results of a Screening Test, American Journal of Epidemiology, 1978.
• S. Shankar et al., Who Validates the Validators?（EvalGen），UIST 2024（第 11 讲 §6）。

13. 下一讲预告 · Next lecture

第 14 讲 智能体安全与护栏（11/11）。到目前为止，我们问的都是”智能体做得好不好”；下一讲问”它会不会做坏事、会不会泄露不该泄露的东西”。智能体一旦能读邮件、查日历、发消息，隐私就不再只是”训练数据里有没有你的名字”，而是”它在这个情境下该不该把这条信息告诉这个人”：这是情境完整性（contextual integrity）的视角，PrivacyLens 用它来评估智能体的隐私行为。下一讲还会讨论：怎样用模拟去搜索隐私风险；提示词注入（直接 / 间接）为什么是智能体特有的难题，以及 OpenAI 和 Anthropic 怎样描述它；沙箱、权限模型、人在回路这些护栏各自挡住什么；以及负责任的部署（Anthropic 的 RSP）。前置讲 P4 的威胁模型和分层防御会被反复用到。配套代码会做一个隐私泄露的模拟评估，以及间接注入的分层防御实验。