第 14 讲：Agent 评估与长程任务——时间跨度、经济价值与研究综述

对应：Stanford CS329A Autumn 2025 Lecture 17（Mon 11/17，Agentic Evaluations & Long-Horizon Tasks）。阅读材料：Measuring AI Ability to Complete Long Tasks（Kwa et al. 2025，METR）、GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks（Patwardhan et al. 2025，OpenAI）、DeepScholar-Bench: A Live Benchmark and Automated Evaluation for Generative Research Synthesis（Patel et al. 2025）。幻灯片没有公开，本讲依据这三篇论文编写。 配套代码：code/lecture14/（只用 Python 标准库，每个文件 1 秒左右） 预计阅读时间：2.5 小时（含运行代码）

0. 本讲导航

0.1 学完本讲，你应该能够

1. 说出评估 agent 比评估一个问答模型难在哪里，以及本讲三篇论文各自回答的问题：能做多长的任务（METR）、做的事有多大经济价值（GDPval）、能不能可靠地综合知识（DeepScholar-Bench）。
2. 说出 METR 的”50% 时间跨度”怎样定义和估计（用人类完成时间给任务分级，逻辑斯蒂回归），它的主要发现（约 7 个月翻一倍；80% 跨度短 4~6 倍），以及外推的不确定性和外部效度的问题。
3. 说出 GDPval 的设计（44 个职业、专家做的交付物、盲评的两两比较、胜或平比例）和主要结果（最好的模型约 48% 胜或平）。
4. 说出 DeepScholar-Bench 的设计（持续更新的数据、三个维度七个指标的自动评估）和”没有系统在几何平均上超过 31%“这个结果。
5. 说出评估中常见的问题（置信区间太宽、评委之间不一致、LLM 评委的位置和长度偏差、数据污染、benchmark 饱和、外推和外部效度），以及应对的办法。

0.2 先修知识

0.3 本讲地图

第1节  为什么评估 agent 很难；本讲的三个角度
第2节  METR：用"人类完成时间"衡量 agent 能做多长的任务     ← 代码 01
第3节  GDPval：44 个职业的真实工作，专家盲评                 ← 代码 02
第4节  DeepScholar-Bench：持续更新的研究综述 benchmark
第5节  评估的常见问题和好的做法                              ← 代码 02
第6–9节 小结、练习、延伸阅读、下一讲预告

0.4 本讲的代码

• 01_time_horizon.py：仿照 METR 的任务组成和方法：8 个模拟的模型，用逻辑斯蒂回归估计 50% 和 80% 时间跨度，用自助法给出置信区间；拟合翻倍时间、外推”一个月”的日期；看看任务集里缺少长任务会怎样。
• 02_pairwise_eval.py：GDPval 式的两两比较：胜或平比例的置信区间、评委之间的一致率、LLM 评委的位置偏差和长度偏差，以及”两种顺序都评”能修正什么、不能修正什么。

两个文件里的模型、评委都是设定的。

关于本讲的数字：论文里的数字注明出处；模拟实验的数字都来自 01、02 号代码的实际输出（固定随机种子，Python 3.9 与 3.13 逐字相同）。

1. 为什么评估 agent 很难

1.1 从”答对一道题”到”完成一件事”

前几讲的大多数 benchmark 是”一道题、一个标准答案”：GSM8K、竞赛编程、IMO。agent 的任务不一样：

• 长：修一个真实的 bug、做一份行业报告，可能需要人几个小时甚至几天；中间有几十上百步。
• 开放：一份法律备忘录、一个研究综述没有唯一的标准答案。
• 贵：每个任务要真的运行 agent（工具、环境、几十万 token），还要人或模型来评分。
• 会变：模型进步很快，一个 benchmark 一两年就”饱和”了（大家都接近满分），不再能区分模型。

1.2 三个角度

2. METR：用”人类完成时间”衡量 agent

2.1 想法

不同的 benchmark 用不同的单位（准确率、分数），很难放在一起比较，也很难回答”AI 能做多少人的工作”。METR 的想法是用一个人人都懂的单位：一个熟练的人完成这个任务需要多久。

做法：

1. 收集一组任务，测出每个任务的人类完成时间（human time）。
2. 让模型做每个任务若干次，记录成功率。
3. 拟合”成功率 vs log₂(人类时间)“的逻辑斯蒂曲线：

$P(\text{成功}) = \sigma\big(a + b \cdot \log_2(\text{人类时间})\big), \quad b < 0$

4. 50% 时间跨度 = 成功率恰好 50% 的那个人类时间。如果一个模型的 50% 时间跨度是 1 小时，意思是：人需要 1 小时的任务，它大约有一半的把握做成。

2.2 任务和人类基线

• HCAST：97 个任务（来自 46 个任务族），软件工程、机器学习、网络安全、一般推理，人类时间从 1 分钟到 30 小时；
• RE-Bench：7 个 AI 研究工程任务，每个约 8 小时；
• SWAA：66 个很短的软件任务，1~30 秒；
• 共 170 个任务。人类基线来自 800 多名有相关经验的人，总计约 2500 小时；少数任务用研究者的估计。

2.3 主要发现

• 2025 年初，前沿模型（如 Claude 3.7 Sonnet）的 50% 时间跨度约 50 分钟；GPT-2 只有几秒钟。
• 从 2019 年起，前沿模型的 50% 时间跨度大约每 7 个月翻一倍（207 天，95% 区间 166240 天）；20242025 年的趋势可能更快。
• 80% 时间跨度比 50% 的短 4~6 倍：要求更高的可靠性，能交给模型的任务就短得多。
• 时间跨度增长的原因：更可靠、更会从错误中恢复，以及更好的逻辑推理和工具使用。
• 外推：如果趋势持续，5 年之内 AI 可能完成很多”人需要一个月”的软件任务；论文给出的 80% 区间是 2028 年中到 2030 年中（如果 2024~2025 年更快的趋势持续，会更早）。

2.4 外部效度：这些数字能推广到真实工作吗？

论文自己讨论了几个限制：

• 任务比真实工作”干净”：有自动评分、不需要和人沟通、不需要大量背景知识。论文按”杂乱程度”（messiness）给任务打分，模型在更杂乱的任务上表现更差，但随时间进步的趋势相似。
• SWE-bench Verified 上也观察到类似的指数趋势（而且更陡）。
• 高背景知识的真实工作：在 METR 自己的代码库的真实 pull request 上，外包人员完成的时间是代码库维护者的 5~18 倍。同一个任务，对”新来的人”和”熟悉代码的人”，人类时间差很多——模型的表现更接近前者。
• 任务分布偏向软件工程，不能直接推广到其他领域。

2.5 为什么”时间跨度”是一个好的单位

• 可比：不同 benchmark、不同年代的模型可以放在同一条轴上。
• 直观：和”能替代多少人的工作”有直接的联系。
• 和可靠性直接相关：第 1 讲讲过错误累积：每一步成功率 p，n 步都成功的概率是 pⁿ。长任务的步数多，可靠性的一点提升会带来时间跨度的大幅增加。第 9 讲 τ-bench 的 pass^k 是同一个视角。

2.6 toy world：怎样估计时间跨度，不确定性有多大

01 号代码仿照 METR 的任务组成（66 个短任务、97 个 1 分钟 ~ 16 小时的任务、7 个 8 小时的任务），8 个模拟的模型从 2019 年到 2025 年，趋势线上的时间跨度每 7 个月翻一倍；每个模型还有自己的偏差（有的比同期强，有的弱）。每个任务跑 8 次。

自助法（bootstrap）：我们只有这一组任务。“如果换一组差不多的任务，估计会变多少？“自助法的回答是：从原来的任务里有放回地抽同样多个，重新估计；重复几百次，看估计值分布在多宽的范围里。

实际输出（节选）：

趋势（设定的翻倍时间是 7.0 个月，“一个月”的日期是 2029.7）：

任务集里没有长任务时（最新的模型，真实跨度 30 分钟，重新跑一次）：

读这三张表：

1. 逻辑斯蒂回归能相当准确地从”每个任务成功了几次”里估计出时间跨度。80% 跨度短 4~6 倍（toy 的斜率按 METR 的这个发现设定）。
2. 趋势的置信区间要算对：只对任务重抽样，翻倍时间的区间很窄，但它忽略了”每个模型都会偏离趋势线、模型只有 8 个”这个更大的不确定性。把模型也重抽样，区间明显变宽，外推日期的区间从不到 1 年扩大到 2 年多。外推越远，不确定性越大。
3. 任务集必须覆盖模型的能力范围：没有比模型的跨度更长的任务时，估计要靠外推，偏低、区间宽了好几倍。benchmark 需要随着模型变强不断加入更长的任务——否则就”饱和”了。

3. GDPval：真实工作的经济价值

3.1 想法

METR 回答”能做多长”，但没有回答”做的事有没有用”。GDPval（OpenAI 2025）直接从经济出发：

• 选出对美国 GDP 贡献最大的 9 个行业，在每个行业里选出主要从事数字化工作的职业，共 44 个职业（例如律师、财务分析师、护士、软件工程师、销售经理……）。
• 请这些职业的行业专家（平均 14 年经验）根据自己的真实工作设计任务：每个任务有背景材料（文件、表格、图片），要求交付一份成品（文档、幻灯片、表格、图表……），并且有一份专家自己做的交付物。
• 完整的任务集有 1320 个任务；公开了一个 220 个任务的 gold 子集。

3.2 怎样评分

盲评的两两比较：另一位同行业的专家看到两份交付物（模型的和人类专家的），不知道哪份是谁做的，判断哪份更好（或一样好）。主要指标是模型的胜或平比例（win-or-tie rate）：50% 左右就意味着和专家旗鼓相当。

为什么不直接打分？因为开放的任务很难给出绝对的分数，而”这两份哪份更好”对专家来说更容易判断、更一致。这和第 3 讲、CS329H 的偏好学习是同一个思路。

GDPval 还提供了一个自动评委（一个模型），它和人类专家评分的一致率是 66%；作为参照，两位人类专家之间的一致率是 71%。

3.3 主要结果（gold 子集）

• 最好的是 Claude Opus 4.1，胜或平比例 47.6%；GPT-5 约 40%；GPT-4o 只有 12.5%。前沿模型的表现随时间大致线性地提高。
• 失败的主要原因：没有遵循指令、格式问题（例如 PDF 里的排版错误、幻灯片的格式）；不同模型的失败方式不同。
• 提高推理的强度、给更多的任务背景、更好的脚手架（例如让模型检查自己的输出文件）都能提高表现；针对性的提示让某些格式错误大幅减少。
• 成本和速度：论文估计，在”模型先做一次，专家检查，不满意再自己做”的流程下，相对专家自己做，可以节省一些时间和成本（GPT-5 约 1.1~1.2 倍）。

3.4 局限

• 任务是一次性的：给定完整的背景，交付一份成品；真实工作里大量时间花在沟通、澄清需求、迭代修改上。
• 只覆盖数字化的工作。
• 专家的判断也有噪声和偏好；两两比较只告诉你”哪份更好”，不告诉你”好多少”。

3.5 toy world：两两比较的不确定性和评委的偏差

02 号代码：220 个任务，专家交付物的质量 h ~ N(0, 1)，模型的 m ~ N(μ, 1)；专家评委有判断误差，差距很小时判平局。自动评委的误差更大，而且有位置偏差（放在前面的多算一点）和长度偏差（更长的多算一点）。

演示 1：胜或平比例的置信区间（专家盲评，自助法）：

220 个任务的区间宽约 ±6 个百分点。两个模型差 5 个点，单靠这个 benchmark 很难分清（第 17 讲会讲怎样用配对比较提高分辨率）。

演示 2：评委之间的一致率（同一批比较）：专家 1 vs 专家 2 是 0.809，自动评委 vs 专家 1 是 0.727。和 GDPval 的 71% vs 66% 一样：自动评委比人略差，而人之间也远非完全一致。

演示 3：自动评委的偏差（胜或平比例）：

读这张表：

1. 位置偏差：同一批交付物，模型总在前和总在后，胜或平比例差 10 多个百分点。每个比较两种顺序各评一次（或随机顺序），就能基本消掉（C：0.532 vs 专家 0.536）。
2. 长度偏差修正不了：啰嗦版本和 C 的质量完全一样，自动评委却给它高 8 个点，两种顺序都评也没用。如果拿这个评委做 RL 的奖励，模型会学会写得越来越长（第 9 讲的 reward hacking）。对策：控制或惩罚长度、让评委按细则（rubric）打分、定期和专家评分对照。

4. DeepScholar-Bench：持续更新的研究综述

4.1 任务

给定一篇最近的论文（标题和摘要），系统要从网上检索、综合、引用相关的已有工作，写出这篇论文的”相关工作”（Related Work）一节。这是第 8 讲深度研究 agent 的一个具体、可评估的版本。

4.2 持续更新的数据

数据来自最近的、高质量的 arXiv 论文：例如第一版取 2025 年 4~6 月发表、被会议接收、有明确的相关工作一节和参考文献的计算机科学论文（18 个领域），得到 63 个查询；之后的版本扩充到 200 个。人写的相关工作一节作为参照。

为什么要”持续更新”（live）？

• 防止数据污染：模型的训练数据截止日期之后发表的论文，模型不可能背过它的相关工作；
• 防止饱和：可以不断加入新的、更难的查询。

4.3 自动评估：三个维度，七个指标

自动评估大量使用 LLM 评委，论文把它们和专家标注对照：例如组织性的两两比较一致率约 71%，要点重要性约 83%，文献重要性约 66%。

4.4 结果

论文测试了开源的研究系统（DeepResearcher、STORM、OpenScholar）、用各种模型搭的搜索 agent、OpenAI 的 Deep Research，以及作者基于 LOTUS 框架实现的参考系统 DeepScholar-ref。没有一个系统在所有指标的几何平均上超过 31%。OpenAI Deep Research 在知识综合上最好，但在可核查性上有困难——写得好，但引用不一定靠得住。

这个 benchmark 远没有饱和，而且它的三个维度正好对应第 8 讲深度研究 agent 的三类失败：检索不到、综合不好、引用不实。

5. 评估的常见问题和好的做法

最后一个更根本的问题：评估决定了我们在优化什么。第 9 讲说，人的角色在上移到”设计环境和奖励”；评估 benchmark 就是整个领域共同的”奖励”。一个只衡量”做完没有”的 benchmark，会推动大家做出”做完、但不可靠”的 agent。

6. 小结

1. 评估 agent 难在任务长、开放、昂贵，而且 benchmark 很快饱和。本讲的三个角度：能做多长（METR）、有多大经济价值（GDPval）、能不能可靠地综合知识（DeepScholar-Bench）。
2. METR：用人类完成时间给任务分级，逻辑斯蒂回归得到 50% 时间跨度。170 个任务；2025 年初前沿模型约 50 分钟；约每 7 个月翻一倍；80% 跨度短 4~6 倍。外部效度有限：任务比真实工作干净，高背景知识的工作里人类时间差几倍。toy world 显示：趋势的置信区间必须把模型层面的偏差算进去；任务集必须覆盖模型的能力范围。
3. GDPval：44 个职业、1320 个真实任务（公开 220 个），行业专家盲评两两比较；最好的模型胜或平 47.6%；自动评委和专家的一致率 66%（专家之间 71%）。toy world 显示：220 个任务的区间约 ±6 个点；位置偏差可以用两种顺序都评来消除，长度偏差不行。
4. DeepScholar-Bench：从最近的 arXiv 论文持续构建的研究综述任务；知识综合、检索质量、可核查性三个维度七个指标；没有系统的几何平均超过 31%。
5. 好的评估：报告置信区间、配对比较、控制评委偏差、防止污染和饱和、说明外推的假设、检查 agent 有没有钻空子。评估决定了领域在优化什么。

7. 练习

1. 时间跨度的计算（第 2.1 节） 一个模型的拟合结果是 a = 4.0、b = −0.6（人类时间以分钟计）。 (a) 它的 50% 时间跨度是多少分钟？80% 呢？ (b) 如果它每一”步”都有 99% 的成功率，人类 1 小时的任务大约相当于多少步时，它的成功率会降到 50%？这个视角和逻辑斯蒂拟合有什么不同？

(a) 50%：a + b·x = 0 → x = 4.0/0.6 ≈ 6.67 → 2^6.67 ≈ 102 分钟。80%：a + b·x = ln 4 ≈ 1.386 → x = (4.0 − 1.386)/0.6 ≈ 4.36 → 2^4.36 ≈ 20.5 分钟。两者相差约 5 倍。 (b) 0.99ⁿ = 0.5 → n ≈ 69 步。这个视角假设每一步独立、成功率相同，成功率随步数指数下降；而 METR 的拟合是成功率对 log(时间) 的逻辑斯蒂曲线，下降得更平缓。真实的 agent 能从错误中恢复，所以下降比 pⁿ 慢——这也是论文说”时间跨度的增长部分来自从错误中恢复的能力”的原因。

2. 外推的不确定性（第 2.6 节） (a) 为什么只对任务重抽样会低估翻倍时间的不确定性？ (b) 01 号代码里，把 MODEL_SPREAD 改成 1.2（模型偏离趋势线更多），两种自助法的区间会怎样变化？试一试。 (c) 除了统计上的不确定性，外推”5 年后能完成一个月的任务”还有哪些假设？

(a) 自助法只模拟了”换一组任务”带来的变化。但趋势线是从 8 个模型拟合出来的，每个模型都有偏离趋势的随机性，“换一组模型”带来的变化更大。只重抽样任务时，每个模型的估计都很准，直线就显得很确定。 (c) 例如：趋势是指数的且会持续（算力、数据、算法的进步不放缓）；benchmark 任务能代表真实的一个月的工作；人类时间的测量方式不变；“50% 成功率”对实际使用有意义（很多场景需要 80% 甚至 99%）。

3. 胜或平比例（第 3.2 节） (a) 为什么 GDPval 报告”胜或平”而不只是”胜”？这样做有什么潜在的问题？ (b) 如果评委很难分辨，倾向于判”一样好”，对胜或平比例有什么影响？

(a) “和专家一样好”本身就是有意义的结果（可以替代专家的工作）。问题是：平局的比例受评委的判断标准影响很大；一个很难评判的任务，评委可能倾向于判平局，让弱的模型看起来更好。 (b) 判平局越多，弱模型的胜或平比例越接近（甚至超过）50%，模型之间的差距被压缩。所以也要同时看”胜”的比例，或者用”胜 + 0.5 × 平”。

4. 设计一个自动评委（第 3.5、5 节） 你要用 LLM 评委评估一个写报告的 agent，并且打算用它做 RL 的奖励。 (a) 列出至少三种这个评委可能有的偏差。 (b) 对每种偏差，设计一个检测方法和一个缓解方法。 (c) 为什么”用它做 RL 的奖励”会让这些偏差变得更危险？

5. 持续更新的 benchmark（第 4.2 节） (a) DeepScholar-Bench 用最近的论文作为查询。这能防止哪种污染？不能防止哪种？ (b) 持续更新的 benchmark 有什么代价？（提示：不同时间的结果能直接比较吗？）

(a) 能防止”模型背过这篇论文的相关工作一节”；不能防止”模型背过被引用的那些旧论文”（这本来就是需要的知识），也不能防止”检索到这篇论文本身”（系统在网上搜到原文，直接抄它的相关工作）——评估时需要排除原文。 (b) 不同时间的查询不同、难度可能不同，不同时间测的结果不能直接比较；需要在同一批查询上重新评估所有系统，成本更高。

6. 评估决定了优化目标（第 5 节） 举一个例子：一个只看”任务是否完成”的 agent benchmark，会怎样推动大家做出在实际使用中不好用的 agent？你会怎样修改这个 benchmark？

7. 动手改代码 (a) 01 号：把每个任务跑的次数 RUNS_PER_TASK 从 8 改成 2，时间跨度的置信区间会变多宽？任务数和每个任务的次数，哪个更值得增加？ (b) 02 号：给自动评委加一个”自我偏好”：如果被评的模型和评委是同一家族的，质量差多算 +0.3。设计一个实验，检测出这个偏差。

8. 延伸阅读

本讲的阅读材料

• Kwa et al. 2025. Measuring AI Ability to Complete Long Tasks.（METR）
• Patwardhan et al. 2025. GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks.
• Patel et al. 2025. DeepScholar-Bench: A Live Benchmark and Automated Evaluation for Generative Research Synthesis.

相关工作

• Jimenez et al. 2023. SWE-bench.；Yao et al. 2024. τ-bench.（第 9、10 讲）
• Wei et al. 2025. BrowseComp: A Simple Yet Challenging Benchmark for Browsing Agents.（第 8 讲）
• Zheng et al. 2023. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena.（LLM 评委的位置偏差、长度偏差、自我偏好）
• Chiang et al. 2024. Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference.
• Wijk et al. 2024. RE-Bench: Evaluating Frontier AI R&D Capabilities of Language Model Agents against Human Experts.（METR）
• 同目录 CS329H 讲两两比较、偏好模型（Bradley–Terry）与评估的统计。

9. 下一讲预告

第 15 讲：构建自主的 Agent 系统（客座：Misha Laskin，Reflection AI）

METR 的时间跨度在快速增长，但”能在 50% 的情况下完成一小时的任务”离”自主地完成一周的工作”还很远。第 15 讲讨论怎样构建真正自主的 agent：

• 从 AlphaGo 到 LLM agent：“语言模型提供广度，强化学习提供深度”；
• 为什么自主编程是通往自主 agent 的路径；
• 长程任务中的可靠性：错误怎样累积，怎样恢复，什么时候需要人；
• 开放问题：奖励从哪里来、怎样监督一个比你做得快的 agent。