Lecture 17 · 衡量通往 AGI 的进展——定义、基准、时间跨度与饱和 · Measuring Progress Toward AGI

对应 Maps to：CS486 课程描述的 “advancement toward AGI capabilities” 和 “evaluate novel approaches”。前 16 讲一直在用基准：准确率、pass@k、成功率、时间跨度。这一讲把镜头转向基准本身：AGI 的不同定义要求测不同的东西；一个分数是能力的什么样的读数；基准为什么会饱和、怎样设计才不饱和；“每 7 个月翻一番”这样的趋势有多可靠。这是 Part V（走向 AGI）的第一讲。 依据说明：CS486 没有公开的日程或讲义。本讲依据 AGI 的几种定义（Morris et al. 2023/2025 的 Levels of AGI、Chollet 2019 的 On the Measure of Intelligence、Hendrycks et al. 2025 的 A Definition of AGI、OpenAI 的 GDPval），抵抗饱和的基准（ARC-AGI 1/2/3、Humanity’s Last Exam、FrontierMath）与对它们的复核（FutureHouse 对 HLE 的复核、MMLU-Redux），测量方法（项目反应理论、tinyBenchmarks、Fluid Benchmarking、Epoch Capabilities Index、Bean et al. 2025 的建构效度综述、Ruan et al. 2024 的观测扩展律），以及 METR 的时间跨度（Kwa et al. 2025 和 METR 在 2026 年发布的方法说明与前沿风险报告）。§3–§6 的实验是本讲义自己设计的，数字全部来自配套代码的实际输出。榜单数字变化很快，具体以各官方来源的最新数据为准。 配套代码 Code：code/lecture17/（代码 01、02 只用 numpy；代码 03 用 PyTorch 读取前几讲训练好的 21 个小模型；最慢的脚本约 22 秒） 预计阅读时间：3 小时（含运行代码）

0. 本讲导航 · How to read this lecture

0.1 学习目标 Learning goals

学完这一讲，你应该能够：

1. 比较 AGI 的几种定义（能力 × 通用性、技能获取效率、认知能力的覆盖面、经济价值），说出每一种要求测什么、会漏掉什么。
2. 用项目反应理论（IRT）解释：为什么准确率是能力的非线性读数、为什么基准会饱和、“涌现”怎样由指标制造出来、标错的题怎样被发现、少量的题怎样估计完整的分数、不同的基准怎样缝到一把尺子上——以及 IRT 的假设（一维能力、局部独立）在什么时候不成立。
3. 解释对抗式筛选（“只保留当前模型做错的题”）的三个副作用：地板效应与回归均值、标错的题被富集、难度是相对于筛选者的。
4. 读懂 METR 时间跨度的趋势：翻倍时间的不确定性来自哪里、“加速”需要多少证据、人类用时的测量误差怎样让长跨度被高估、任务集合的上限、外推的风险。
5. 拿到任何一个”离 AGI 又近了一步”的数字时，能用一张检查表问出正确的问题。

0.2 先修与本讲范围 Prerequisites & scope

0.3 本讲地图 Map

§1  为什么"衡量"本身是一个研究问题
§2  定义决定测量：Levels of AGI、技能获取效率（ARC）、认知能力的覆盖面、经济价值
§3  一个分数测了什么：项目反应理论                                    ← 代码 01
§4  抵抗饱和的基准：对抗式筛选、新题与可验证性、私有测试集、建构效度        ← 代码 01
§5  时间跨度的趋势：翻倍时间、加速、测量误差、尺子的上限、外推             ← 代码 02
§6  一个真实的"领域"：21 个小模型在同一张考卷上                         ← 代码 03
§7  读一个"AGI 进展"数字的检查表
§8  现状与开放问题
§9–13  小结、常见误区、练习、延伸阅读、下一讲预告

1. 为什么”衡量”本身是一个研究问题 · Why measurement is a research problem

“离 AGI 还有多远”是这个领域最常被问的问题，而每一个回答最终都落到某个数字上：某个基准的准确率、ARC-AGI 的分数、METR 的”50% 时间跨度”、某个”AGI 分数”。这些数字之所以难读，有三个原因：

1. 定义不同，要测的东西就不同。 如果 AGI 是”在大多数有经济价值的工作上超过人”，就该测真实的工作产出；如果 AGI 是”学习新技能的效率”，就该测没见过的任务上用了多少例子、多少计算；如果 AGI 是”覆盖人类认知的各个方面”，就该看最弱的那一项。同一个系统在这些尺子上的读数可以差得很远（§2）。
2. 分数是能力的非线性、有噪声的读数。 准确率只在考卷的难度范围内有区分度，过了就饱和；同样的进步在不同的考卷上看起来可以是大进步、小进步或没有进步；题目本身可能是错的（§3、§4）。
3. 趋势要靠外推。 “每 7 个月翻一番”是对过去的拟合，外推到未来要假设趋势不变；而且拟合本身的输入——人类完成任务的用时——就是带误差的估计（§5）。

这一讲的立场和第 2 讲一致：测量是一个可以用实验检验的东西。 在模拟里，真实的能力已知，可以直接检查一种测量方法是否有偏、有多少噪声（代码 01、02）；在真实数据里，可以检查测量方法的假设是否成立（代码 03）。做 AGI 方向的研究，第一步往往不是提出新方法，而是先确认”进步”是真的。

2. 定义决定测量 · Definitions determine measurements

第 1 讲 §7 简要介绍了几种定义。这里看每一种定义对测量的具体要求。

2.1 能力 × 通用性：Levels of AGI

Morris et al.（Google DeepMind，ICML 2024 立场论文，Levels of AGI for Operationalizing Progress on the Path to AGI）先列出了一个好的 AGI 定义应该满足的六条原则，第一条是关注能力而不是过程（不要求系统像人一样”思考”或有意识）。然后他们用两个维度给系统分级：表现（performance，在一项任务上超过多少比例的”熟练成年人”）和通用性（generality，窄还是广）：

（Level 4 在早期版本里叫 Virtuoso，2025 年的修订版改名为 Exceptional。）他们还单独定义了自主性的等级（从”AI 作为工具”到”AI 作为智能体”），强调能力等级和部署时给多少自主权是两回事。

对测量的要求：这个框架需要人类的分位数作为参照，并且要在很多任务上都测——“通用”意味着不能只看平均分，要看在多大范围的任务上达到了某个等级。按这个定义，“参差不齐的前沿”（第 1 讲 §1.2）就是”在一些任务上是 Expert，整体上还是 Emerging”。

2.2 技能获取效率：Chollet 与 ARC

Chollet（2019，On the Measure of Intelligence）认为，用”会多少技能”衡量智能是有问题的：只要有足够的先验知识和训练数据，任何技能都可以被”买”到，这掩盖了系统本身的泛化能力。他把智能定义为技能获取的效率：在给定的先验和经验下，面对泛化难度高的新任务，能多快学会。这个定义对测量的要求很具体——控制先验（只用人类天生的先验，如物体、数量、几何）、控制经验（每道题只给几个例子）、保证题目是新的。ARC（抽象与推理语料）就是这样设计的。

ARC 的历史是一部”基准怎样被攻克、又怎样被加固”的教科书（以下数字来自 ARC Prize 2024 技术报告和 ARC-AGI-2 论文）：

• ARC-AGI-1（2019）：400 道训练题、400 道评测题，外加 100 道私有评测题。2020 年 Kaggle 比赛的第一名只有 20%，但把所有参赛队伍解出的题合起来，私有评测集的 49% 被至少一支队伍解出——主要靠暴力的程序搜索。这说明近一半的题”可以被搜索出来”，不一定需要智能。
• ARC Prize 2024：私有评测集上的最好成绩从 33% 提高到 55.5%（MindsAI，没有开源因此不能领奖；开源的第一名 ARChitects 53.5%），主要靠测试时训练（test-time training，在每道题的几个例子上微调）和深度学习引导的程序合成。
• 2024 年底，OpenAI 的 o3 预览版在半私有评测集上达到 76%（低计算量，估计每道题 200 美元）和 88%（高计算量，估计每道题 2 万美元）；后来公开发布的 o3（medium）是 53%。
• ARC-AGI-2（2025）：为了抵抗暴力搜索和测试时适应而重新设计。他们在受控的环境里请普通人做题（每道题 2–10 人尝试），一道题只有在至少两名独立的参与者在前两次尝试内做对时才被采用；所有尝试里 66% 的测试对被做对。发布时的结果：o3（medium）3.0%、ARChitects 2.5%（ARC-AGI-1 上分别是 53.0% 和 56.0%）。ARC-AGI-2 论文还指出，ARC-AGI-1 的同一套 100 道私有题在四届比赛里被反复用来给排行榜打分，大约 10,000 个分数被公开过——每一个分数都泄露了一点点关于私有题的信息（§4.4）。他们的排行榜同时报告每道题的成本：效率是 Chollet 定义的一部分。
• ARC-AGI-3（2026 年 3 月发布）：从静态的网格题变成交互式的回合制游戏环境——没有说明、没有给出目标，智能体要自己探索、发现规则和目标。官方发布时的说法是”人类 100%，前沿 AI 不到 1%“；据报道，评分按”相对于人类的动作效率”计算（以 10 名第一次玩的人里第二好的那位为基准，效率比平方），所以一个用了人类 10 倍动作的智能体只得 1%。这把”技能获取效率”直接写进了分数。

对测量的启示：一个能被暴力搜索、测试时计算、或针对性训练”买”到的分数，测的就不是 Chollet 意义上的智能。 所以 ARC 系列的每一代都在改变规则，让上一代的捷径失效——这也意味着不同代的分数不能直接比较。

2.3 认知能力的覆盖面：A Definition of AGI

Hendrycks et al.（2025，A Definition of AGI）把 AGI 定义为”在认知的多样性和熟练程度上达到或超过一个受过良好教育的成年人”，并把它落到心理学里实证支持最多的 Cattell–Horn–Carroll（CHC）智力理论上：10 个认知领域（知识、读写、数学、推理、工作记忆、长期记忆存储、长期记忆提取、视觉、听觉、速度），每个领域占 10%，加起来是一个 0–100% 的”AGI 分数”。按他们的评估，GPT-4 是 27%，GPT-5 是 57%；最突出的缺口是长期记忆存储——两个模型都是 0%。

这个定义和 Levels of AGI 的区别在于：它要求每一个认知领域都达标，强项不能弥补弱项。对测量的要求：需要一组覆盖所有领域的任务（很多对人来说很简单），以及一个加总规则——这里是等权相加。等权本身是一个选择：如果把”长期记忆”的权重调高，同一个模型的”AGI 分数”就会低很多。

2.4 经济价值：GDPval

OpenAI 章程把 AGI 描述为”在大多数有经济价值的工作上超过人类的高度自主的系统”。GDPval（OpenAI 2025）把它操作化为：从美国 GDP 贡献最大的 9 个行业里选 44 种职业，由平均 14 年经验的从业者根据真实的工作产出出题（全集 1,320 个任务），再请行业专家盲评模型的产出和人类专家的产出。在 220 个任务的”金标准子集”上，表现最好的 Claude Opus 4.1 有 47.6% 的产出被评为好于或等于人类专家的产出。

对测量的要求：真实的任务、专家的评判、成对比较。它的盲点是：任务要”装得进”一次提交（真实工作里大量的沟通、迭代、上下文被去掉了），评判本身昂贵而有噪声，而且”好于或等于专家”不等于”可以替代专家”。

2.5 小结：每种定义漏掉什么

这张表的用处不是选出”正确的定义”，而是：读到一个数字时，先问它属于哪一行。

3. 一个分数测了什么：项目反应理论 · What does a score measure?

3.1 准确率是能力的非线性读数

假设每个模型有一个能力 θ，每道题有一个难度 b。最简单的合理假设是：能力超过难度越多，答对的概率越高，并且是一条 S 形曲线。代码 01 演示 1 算了四张考卷上的期望准确率（不抽样）：

三件事：

• 同样的进步，读数取决于考卷。 能力从 0 到 1，容易的考卷 +9 个点，中等的 +28 个点，难的 +9 个点；从 3 到 4，容易的考卷已经饱和（99.3% → 99.7%），难的考卷才开始动（64.5% → 85.4%）。“模型 A 比模型 B 高 5 个点”本身几乎没有意义——要知道这 5 个点在考卷的哪一段。
• 只有难度分布宽的考卷在整个范围内都有区分度。 这就是为什么好的基准要覆盖从容易到极难的题，而饱和的基准（大家都接近满分）测不出强模型的差别。
• “涌现”可以由指标制造出来。 每一步做对的概率平滑地从 81.8% 升到 92.4%；但如果任务要求 10 步全对，准确率从 13.3% 跳到 45.4%——看起来像能力突然”涌现”。Schaeffer et al.（NeurIPS 2023，Are Emergent Abilities of Large Language Models a Mirage?）指出，很多报告的涌现能力用的是精确匹配这类非线性、不连续的指标；换成连续的指标（如逐 token 的编辑距离），曲线就变平滑了。这不是说涌现一定是假象，而是说：看到突然的跳跃时，先检查指标。

3.2 项目反应理论

把上面的直觉写成模型，就是教育测量里的项目反应理论（item response theory，IRT）。最常用的三参数逻辑模型（3PL）：

• $\theta_m$：模型的能力；$b_i$：题目的难度（c = 0 时，θ = b 处答对的概率是 50%）；
• $a_i$：区分度——曲线有多陡。a 越大，这道题越能把”能力略低于 b”和”略高于 b”的模型分开；a 接近 0 的题测不出能力；a < 0 的题能力越强越容易”错”，几乎总是说明标准答案标错了。
• $c_i$：猜对的下限（4 选 1 的选择题 0.25，填空题 0）。c = 0 时叫 2PL；再令所有 a = 1 就是 Rasch 模型。

一道题能把 θ 测得多准，用 Fisher 信息衡量（2PL 时 $I_i(\theta) = a_i^2 P(1-P)$）：在 P = 50% 的地方信息最多，离得越远越少。n 道题的信息相加，θ 的标准误约为 $1/\sqrt{\sum_i I_i(\theta)}$。饱和的考卷对强模型几乎不提供信息——这是”饱和”的数学定义（练习 1 算一个具体的例子）。

两个必须记住的假设：(1) 一维：一个数 θ 就概括了模型的能力；(2) 局部独立：给定能力，各道题的对错互相独立。§6 会在真实数据上检查它们。

实现上要注意两点（measure_lab.fit_irt）。第一，θ 和 b 同时平移、或者 θ 乘一个数而 a 除以同一个数，似然不变，所以模型”不可识别”——要加先验（或者固定几个锚点）来定下尺子的原点和单位。第二，编写时的第一版用 a(θ − b) 参数化，结果找不到标错的题：一道题的斜率要从正变负，b 必须先跑到无穷远，梯度下降过不去。改成”斜率–截距”参数化 aθ + d 就好了。参数化不是无关紧要的技术细节，它决定了优化能到达哪些解。

3.3 题目的质量：标错的题

真实的基准里有很多错题。Gema et al.（2024，Are We Done with MMLU?）重新标注了 MMLU 的 5,700 道题，估计 MMLU 有 6.49% 的题有错误，病毒学子集里被分析的题有 57% 有错误。Fluid Benchmarking（Hofmann et al.，COLM 2025）发现区分度低的题很多是标错的。

代码 01 演示 2：80 个模型做 300 道 4 选 1 的题，其中 15 道的标准答案是错的。

这里有两个和预想不一样的地方：

• IRT 不是必需的。 最简单的”这道题的对错和模型总分的相关”也全部命中——标错的题的特征（能力越强越容易”错”）用一个相关系数就能看到。同样，所有模型都做全部题时，准确率排序模型（和真实能力的相关 0.983）不比 IRT 的 θ̂ 差（2PL 0.969）。IRT 的价值在下面两节那种”不是每个模型都做全部题”的场合。
• “更正确”的模型反而找不到。 题目确实是 4 选 1，设猜测下限 0.25 的 3PL 在形式上更正确；但标错的题的得分低于猜测下限（能力越强越接近 0），3PL 的概率永远 ≥ 0.25，只能把它们解释成”极难的题”，区分度被估成 0.28–0.51 的正数。模型的假设越强，它越不能发现违反假设的数据。

另外，最好的模型准确率 91.0%，而一个全知的模型最多 95.0%——剩下的 9 个点里有 5 个是题目的错。基准接近饱和时，“最后几个点”常常主要是标签噪声（这也是 MMLU-Redux 这类工作的动机）。

3.4 用更少的题

评测很贵：一个大基准跑一遍要几千到几万次调用，智能体基准每个任务要几十分钟。tinyBenchmarks（Polo et al.，ICML 2024）发现，用 IRT 挑出的 100 道题就足以估计一个模型在 MMLU 全部 14K 道题上的准确率（他们最好的方法对新模型的误差在 2% 以内）。Fluid Benchmarking 借用教育里的计算机化自适应测试（CAT）：每一步挑”在当前能力估计处信息最多”的题，像二分查找一样逼近能力。

代码 01 演示 4：100 个”老模型”校准出 400 道题的参数，200 个新模型只做 k 道题，估计它在全部 400 道题上的准确率（平均绝对误差，百分点）：

自适应测试用 25 道题达到了随机抽 50–100 道题的精度。但这有一个前提：新模型的能力形状和校准用的老模型一样。演示 4 的第二部分让新模型”偏科”——两半题目上的能力分别是 θ + g 和 θ − g（k = 25，平均绝对误差，括号里是平均偏差）：

g = 2 时自适应测试最差，而且系统性地低估 6.4 个点。诊断显示问题不在”一维模型”本身——用全部 400 道题估计能力再预测，偏差只有 −0.7 个点——而在自适应的过程：偏科的模型在任何难度上都是”一半太容易、一半太难”，回答和难度的关系比一维模型预期的平，像噪声一样，每道题带来的信息比预期的少，能力估计被拉回起点（真实能力大于 1 的模型平均被低估 1.02）。

这个结果的含义比它看起来的严重：新模型的能力形状和老模型不同，正是评测最需要测准的时候——而用老模型校准的”省钱考卷”恰好在这时出错。§6.5 在真实的模型上看到了同样的现象。

3.5 把基准缝到一把尺子上

单个基准会饱和，于是领域每隔一两年就换一批基准。怎样比较”2020 年在 A 上测过的模型”和”2026 年在 C 上测过的模型”？Epoch AI 的 Epoch Capabilities Index（ECI）用的正是 IRT，只是在”模型 × 基准”的层面上：模型 m 在基准 b 上的表现 $= \sigma(\alpha_b(C_m - D_b))$，$C_m$ 是模型的能力，$D_b$ 是基准的难度，$\alpha_b$ 是斜率，用带岭惩罚的非线性最小二乘拟合；尺子的位置由两个锚点固定（Claude 3.5 Sonnet = 130，GPT-5 = 150）。只要有模型同时做过两个基准，就能推断这两个基准的相对难度。

代码 01 演示 5：三个基准 A（容易）、B（中等）、C（难），60 个模型分 6 代、每代能力 +1：

有桥时，IRT 把 6 代模型放到了同一把尺子上；而”平均准确率”在换成更难的基准时下降——第 4 代（只做 B）的平均准确率 51.7%，和第 3 代（做 A+B）的 50.3% 几乎一样，尽管能力高了 1。没有桥时，IRT 也无能为力：没有任何数据告诉它 A 和 C 谁难。所以，换基准的时候，要让一批模型同时做新旧两个基准——否则历史就断了。

4. 抵抗饱和的基准 · Benchmarks designed to resist saturation

4.1 饱和是常态

Ott et al.（Nature Communications 2022）整理了计算机视觉和自然语言处理的 3,765 个基准，发现很大一部分很快就接近饱和，很多基准从未被广泛使用，进步常常以意料之外的”爆发”出现。第 2 讲 §5.1 讨论过饱和让基准失去区分度；§3.1 给了它的数学形式。下面看几种”抵抗饱和”的设计，以及每一种的副作用。

4.2 对抗式筛选

Humanity’s Last Exam（HLE，Phan et al. 2025）由各领域专家出题，2,500 道，涉及一百多个学科，选择题和简答题都有，自称”同类基准里最后一个封闭式的学术基准”。它的关键设计是对抗式筛选：每道题在提交前先给当时最强的几个 LLM 做，模型能答对的题被拒绝；之后再经过两轮专家审核。发布时前沿模型的准确率很低，而且严重过度自信（所有模型的 RMS 校准误差都超过 70%）。作者也提醒：低分部分是筛选造成的，模型在上面的非零准确率有一部分来自推理时的随机性，“接近 0 的小波动不说明进步”。

对抗式筛选有三个副作用，代码 01 演示 3 把它们都做了出来：4000 道候选的填空题，其中 3% 的标准答案是错的；“当前的前沿模型”是 5 个能力 0.6–1.4 的模型。

1. 标错的题被富集。 标错的题”谁都答不对”，所以一定能通过筛选；筛得越狠，留下的题里标错的比例越高（3.1% → 24.0%）。这不是假设：FutureHouse（2025 年 7 月）请化学和生物专家复核 HLE 的纯文本化学和生物题，估计其中 29%（95% 区间 ±3.7 个点）的答案和同行评议文献里的证据直接矛盾，并把原因归于这种出题方式的激励；HLE 团队随后的复核在一个子集里发现约 18% 有问题，三位专家复核时有 25% 的题至少一位专家不同意（不同的复核方法，不是直接的重复）。
2. 地板效应与回归均值。 筛选用的模型在留下的题上”0%“是筛选造成的；同样的模型重新做一遍就有 4.1%——筛选时的”全错”里有运气。这正是 HLE 作者提醒的”接近 0 的小波动”。
3. 分数的上限低于 100%。 留下的题里四分之一是错的，一个全知的模型最多 76.5%。在这样的基准上，“从 70% 到 75%“可能已经是在拟合错误的标准答案。

还有一个副作用在模拟里看不到、但在真实数据里看得到（§6.2）：难度是相对于筛选者的。 被筛选者做错的题，对一个”错在不同地方”的模型可能不难。

4.3 新题与可验证性

FrontierMath（Glazer et al. 2024，Epoch AI）走另一条路：几百道由数学家新出的、未发表过的研究级题目，答案可以被自动验证（常常设计成一个大整数或可以程序检查的对象），从而同时避免数据污染和”猜对”。发布时最好的模型解出不到 2%。代价是：题目极贵（中等难度要相关领域的研究者花几个小时，难题要几天），所以题数少；而且为了自动验证，题目被限制在”有确定答案”的那一类数学里。

4.4 私有测试集与适应性过拟合

保留一个不公开的测试集是防止污染的标准做法，但它也会”漏”。ARC-AGI-2 论文指出：ARC-AGI-1 的同一套 100 道私有题在四届比赛里给排行榜打分，大约公开了 10,000 个分数；每一个分数都让参赛者知道”这次改动让分数变好还是变坏”，成千上万次迭代之后，私有集的信息就一点点漏了出去。这是第 2 讲 §5.5 “赢家的诅咒”在整个社区尺度上的版本，在统计上叫适应性数据分析（adaptive data analysis）。对策是：限制提交次数、只公布粗粒度的分数、定期更换私有题、对最终结果用一个只用一次的新测试集。

4.5 建构效度

最根本的问题是：这个基准测的真是它声称要测的东西吗？Bean et al.（NeurIPS 2025 数据集与基准赛道，Measuring what Matters）请 29 位专家系统地审查了自然语言处理和机器学习顶会上的 445 个 LLM 基准，发现很多问题会削弱基于基准的结论：例如约五分之一没有清楚定义要测的现象；12.3% 完全靠”手边现成的数据集”拼凑题目（另有 27.0% 部分如此）；只有 16.0% 在比较结果时用了不确定性估计或统计检验。他们给出了 8 条建议（定义现象、控制无关因素、说明题目来源、报告不确定性……）。这些建议和第 2 讲的实验纪律是同一件事的两面。

5. 时间跨度的趋势 · Time-horizon trends

5.1 回顾，以及最新的数字

第 11 讲 §2 讲了 METR 时间跨度的数学：对每个模型，把任务按人类专家的完成时间分档，拟合 $P(\text{成功}) = \sigma(\beta(\log h - \log t))$，h 就是 50% 时间跨度。Kwa et al.（2025）的主要结论是 2019–2025 年前沿模型的 50% 跨度大约每 7 个月翻一番，2024 年以来可能更快（只看 2024–2025 年的模型，翻倍时间更接近 4 个月；o3 位于长期趋势线上方，p = 0.006）。

这把尺子的设计初衷是不会饱和：任务可以一直变长。2026 年的情况（来自 METR 的方法说明和前沿风险报告）：

• Claude Opus 4.5 的 50% 跨度约 4 小时 49 分钟，95% 区间 1 小时 49 分钟到 20 小时 25 分钟——区间横跨一个数量级。
• METR 在 2026 年 5 月的前沿风险报告里估计，2026 年 2–3 月公开可用的最强模型的 50% 跨度约 12 小时（区间 5–61 小时），80% 跨度约 1.5 小时；并说明 Time Horizon 1.1 的任务集合无法可靠地测量 16 小时以上的跨度。
• METR 自己强调的几点：“50% 跨度 X 小时”不意味着 X 小时以内的任务可以放心交给 AI（很多任务需要 98% 以上的成功率）；跨度翻倍不等于自动化程度翻倍；单个模型的误差历来是上下各约 2 倍。

下面四个演示（代码 02）分别看趋势的四个薄弱环节。模拟的设置：230 个任务（Time Horizon 1.1 约 230 个），分属 80 个任务族（同一族的任务成败相关），人类用时在 2 秒到 16 小时之间对数均匀；18 个”前沿模型”发布于 2019.5–2026.2，真实的跨度每 7 个月翻一番、并各自偏离趋势线一点。

5.2 翻倍时间有多确定

翻倍时间的估计是 7.2 个月；只按任务族重抽样的 90% 区间 7.0–7.5 个月，把”这 18 个模型碰巧是哪些”也算进去（对模型也重抽样）后是 6.8–7.7 个月。单个模型的区间宽得多（上下限差 1.5–2 倍），但跨越 6 年、十几次翻倍的趋势经得起这样的噪声。这个模拟比真实情况干净（成功率完全服从 logistic，只有任务族一种相关结构），真实的区间更宽，但道理相同：趋势比单个点可靠得多，相邻两个模型的比较最不可靠。

5.3 加速了吗

真实世界里”2024 年以后更快了”的说法只基于少数几个模型。演示 2 让真实的翻倍时间在 2024 年从 7 个月变成 4 个月，只用 2024 年之后的 6 个模型拟合（每种世界重复 60 次）：

编写前我以为 6 个模型看不出加速；实际上，模型离趋势线不远时（0.5）6 个模型足以分辨，误报只有 3.3%。但离得远时（1.0），没有加速的世界里也有 11.7% 的机会”看到”加速，真正的加速也有四分之一的机会看不出来。另外，用一条直线拟合全部模型时，加速只是把翻倍时间从 7.0 拉到 5.8 个月——直线会把转折抹平。结论的可信度取决于”真实的模型离趋势线有多散”，这要从数据里估计（看残差），而不能假设。

5.4 人类用时的测量误差

时间跨度的自变量——“人类需要多久”——本身是估计的：短任务有多个人的实测，长任务常常只有一两个人的实测或者只是估计；多个实测取几何平均还是算术平均会差约 25%（METR 的方法说明）。演示 3 给 log₂ 用时加上标准差 σ 的噪声（σ = 1 意味着”差一倍”很常见），看估计的跨度（估计 / 真实，括号里是 80% / 50% 之比）：

两个效应：

• 长跨度被高估。 跨度接近任务集合的上限时，噪声让估计偏高（σ = 1、12 小时：×1.37）。原因是回归均值：用时被估得很长的任务，真实用时平均要短一些（因为任务集合的用时有上限），模型在这些”长”任务上成功得比应有的多。练习 3 验证了这个解释：把任务集合的上限从 16 小时延长到 1000 小时，同样的噪声下偏差从 ×1.34 降到 ×1.03。
• 曲线被压平。 自变量有噪声时，回归的斜率被”衰减”，80% / 50% 之比从 0.18 降到 0.10–0.11（σ = 1.5）——这会让人误以为风险率下降得更厉害（第 11 讲 §2.4 用这个比值诊断风险率的形状）。

校正的办法之一是 SIMEX（simulation–extrapolation）：故意再加几档噪声，看估计怎样随噪声变化，再外推回”零噪声”（measure_lab.simex）。σ = 1 时，它把 4 小时的偏差从 ×1.20 校正到 ×1.02，12 小时从 ×1.46 校正到 ×1.02（假设 σ 已知；真实情况下 σ 本身也要估计）。METR 在 2026 年 3 月的说明里用同样的方法估计，噪声校正会让最新模型的 50% 跨度下降 25–40%（不确定性很大）；同一份说明还报告，换一种合理的曲线形状，50% 跨度可以变化约 1.5 倍、80% 跨度约 2 倍。

5.5 尺子的上限

演示 4：任务最长 16 小时，真实跨度越过它之后：

跨度越过最长的任务以后，“模型在哪里从成功变成失败”已经不在数据里了，估计只能靠 logistic 曲线的形状外推，范围迅速变宽。这和 METR 2026 年的说法一致：“不会饱和”的尺子，也会被它的任务集合饱和。要继续测，就得造更长的任务——而更长的任务更贵、人类基线更难获得、用时的噪声（§5.4）也更大。

5.6 外推

最受关注的问题是外推：“什么时候能完成一个月（167 个工作小时）的任务”。METR 的方法说明提到，按线性趋势外推，大约在 2030 年；同时说明，对趋势形状的不同假设可以把”第一个自动化程序员”的时间从 2028 年推到 2050 年。演示 5：

在趋势真的是直线的世界里，外推很准；在加速的世界里，拟合窗口的选择让结论差一年多。更重要的是，区间只反映”这条直线的参数”的不确定性，不反映”趋势会不会继续是直线”——后者是外推最大的不确定性，而它不在任何置信区间里。

6. 一个真实的”领域” · A real model zoo

6.1 设置

模拟里，能力是一维的、题目互相独立——这是 IRT 的假设，不是事实。代码 03 用前面几讲真实训练出来的 21 个小 Transformer 组成一个微缩的”领域”：第 1 讲的直接回答（5 个变体）、填充 token、思维链（3 个种子）、在排好序的题面上训练的思维链；第 5 讲从思维链模型出发、在更大的环上用 SFT / RFT / GRPO 继续训练的 9 个模型；第 6 讲用带干扰陈述的题训练的 2 个模型。它们在同一张”多跳推理考卷”上作答：环大小 n = 4–16 × 跳数 k = 1–7（k < n），每格 12 道，共 516 道题。这里没有”真实能力”可以对照，没有人预设能力是几维的。

6.2 饱和与筛选

13 个模型在分布内的 180 道题上满分，彼此无法区分；它们在分布外从 33.0% 到 100% 不等。第 6 讲的两个抗干扰模型在全部 516 道题上满分——对它们来说整张考卷都饱和了，IRT 给它们的 θ̂ = 7.99 只是被先验拉住的值，不是测出来的能力（第三强的模型是 3.37）。一个模型满分时，你只知道它的能力”高于这张考卷”，不知道高多少。

对抗式筛选的真实版本（演示 2）：只保留 cot_L2 做错的 187 道题。

同一个配方、只换了种子的 cot_L2_seed1 在”cot_L2 做错的题”上有 24.6%——总分和 cot_L2 差不多，在这个子集上却像是”进步”了。这些模型的贪心解码是确定的，所以这里没有代码 01 那种回归均值；“进步”完全来自不同的模型错在不同的地方。用一组模型筛选出来的基准，会系统性地偏爱”和筛选者不同”的模型——这在真实的 HLE 上意味着：一个新模型在 HLE 上的大幅进步，有一部分可能来自”它和当年用来筛选的那几个模型不一样”。

6.3 难度从哪里来；题目真的独立吗

IRT 在真实数据上的拟合（演示 3）给出每个格子里题目难度 b̂ 的中位数：

难度和环大小 n 的秩相关是 0.81，和跳数 k 只有 0.49：对这群在 n ≤ 8 上训练的模型，“没见过的长度”比”更多的推理步数”难得多——第 6 讲 §4 的结论在 IRT 里重现了。

更重要的是局部独立不成立。在 IRT 认为”这个模型在这个格子上大约一半对一半错”的 422 个 (模型, 格子) 里，有 52.8% 是 12 道全对或全错；如果题目独立，只应有 19.1%。同一个格子的题对一个模型是一起对、一起错的——比如 cot_L2 在 n = 10、k = 4 上 12 道全错，在 n = 10、k = 5 上 12 道全对。教育测量里把这种”一组共享来源的题”叫 testlet。

后果是：516 道题提供的独立信息远少于 516 份。练习 4 用”按格子重抽样”的聚类自助法估计 cot_L2 准确率的标准误，是按题计算的 3.25 倍——设计效应约 10，516 道题只相当于约 49 道独立的题，和格子的个数（43）差不多。真实的基准也一样：同一个模板生成的题、同一篇文章出的阅读题、同一个代码仓库出的编程题，都是相关的。按题数算置信区间会过窄（第 2 讲 §5.4 的”评测的方差”要按聚类来算）。

6.4 能力有几个维度

把 (模型, 格子) 的准确率矩阵做主成分分析（演示 4）：

全部模型时，第 1 主成分解释了 78.7% 的方差，它的得分和”会不会写思维链”的相关是 0.97——主要就是这一个大分界。这和真实 LLM 上的发现相似：Ruan et al.（2024，Observational Scaling Laws）发现常用基准的”模型 × 基准”矩阵是低维的，第 1 主成分解释近 80%、前 3 个约 97%；Burnell et al.（2023）在 HELM 的数据上找到三个因子（理解、语言建模、推理），共解释 82% 的方差。但只看会写思维链的模型时，第 1 主成分只解释 54.4%，第 2 主成分还有 23.0%：在能力相近的模型之间，差别是多维的。

一个具体的例子：cot_L2（63.8%）和 cot_L2_seed1（64.9%）是同一个配方、只有种子不同，总分只差 1.2 个点，可是 43 个格子里有 5 个相差 50 个点以上——n = 10、k = 4 上 0% 对 83%，n = 16、k = 2 上 83% 对 0%。同一个总分背后是两个不同的”参差不齐的前沿”。所以”一维的能力 + 一个总分”适合描述差别很大的模型（不同的代际、不同的方法），不适合描述差别很小的模型——而后者恰恰是大多数论文要比较的。

6.5 少量题估计在真实数据上

演示 5 每次留一个模型当”新模型”，用其余 20 个校准题目参数（平均绝对误差，百分点）：

在真实的模型群上，IRT 的优势比模拟里小得多：k = 20 时好一点，k = 50 时自适应测试反而不如随机抽题。自适应测试误差最大的是 direct_k1_L2（k = 20 时 25.2 个点）——一个只练过 1 跳的模型，正是 §3.4 里”偏科的模型”的真实版本。tinyBenchmarks 和 Fluid Benchmarking 在真实 LLM 上报告的好结果，前提是新模型和校准用的模型”长得像”；当新模型的形状不同（新的训练方法、新的能力），省下的题就可能变成偏差。

7. 读一个”AGI 进展”数字的检查表 · A checklist

1. 它属于哪一种定义？（§2.5 的表）它测的是能力、效率、覆盖面、经济价值，还是自主的时长？
2. 考卷的难度范围在哪里？ 读数在饱和区还是在有区分度的区域？满分或接近 0 都说明不了多少（§3.1）。
3. 指标是连续的还是”全对才算”？ 突然的跳跃先检查指标（§3.1）。
4. 题目本身对吗？ 有多少标错的题？剩下的差距里有多少是标签噪声（§3.3、§4.2）？
5. 基准是怎样构造的？ 对抗式筛选？那么筛选用的是哪些模型，新模型和它们有多不同（§4.2、§6.2）？
6. 有没有可能被”买”到？ 测试时计算、针对性训练、暴力搜索、反复提交私有集——成本报告了吗（§2.2、§4.4）？
7. 不确定性是怎么算的？ 题目是独立的吗？按聚类（模板、任务族、文档）算了吗（§6.3）？比较的是两个相近的模型还是一条长期趋势（§5.2）？
8. 自变量可靠吗？ 时间跨度的人类用时、难度标签——它们的测量误差会怎样传导（§5.4）？
9. 尺子有上限吗？ 被测的模型是否已经接近任务集合最难的那一端（§5.5）？
10. 外推假设了什么？ 区间里包含了”趋势形状”的不确定性吗（§5.6）？

8. 现状与开放问题 · State of the field

• 定义：没有公认的 AGI 定义。2025–2026 年出现了更可操作的版本（Hendrycks et al. 的 CHC 框架、GDPval、ARC-AGI-3 的动作效率），但它们给同一个系统的评价可以很不一样——例如在专家级学术题和真实工作产出上进步很快，在交互式环境里自己发现规则（ARC-AGI-3）和长期记忆上仍然很弱。
• 基准：抵抗饱和的设计（对抗式筛选、新题、私有集、交互式环境）各有副作用；复核（MMLU-Redux、FutureHouse 对 HLE）发现了相当比例的错误。基准的建构效度和统计报告（Bean et al.）仍然普遍薄弱。
• 测量方法：IRT 被用来压缩评测（tinyBenchmarks、Fluid Benchmarking）和缝合基准（ECI）；它们在”新模型和老模型长得像”时最有效，这个前提本身需要检验。
• 时间跨度：METR 的趋势是目前最受关注的”进展速度”度量。2026 年它面临自己的饱和（16 小时以上测不准）、方法选择的敏感性（曲线形状约 1.5 倍、噪声校正 25–40%）和外推的不确定性；更长、更”混乱”、更接近真实工作的任务集合是公认的下一步。

研究问题：

1. 怎样设计抗筛选偏差的对抗式基准？例如用一个模型群体而不是几个模型筛选、保留一部分没筛过的题作为对照、在发布时就报告”筛选用的模型重新做”的分数？
2. IRT 的一维、局部独立假设在 LLM 基准上普遍不成立（§6.3、§6.4）。多维 IRT、testlet 模型、按模板的分层模型，能不能给出更诚实的不确定性？
3. 怎样测量 Chollet 意义上的”技能获取效率”——不只是最后的分数，而是”用了多少例子、多少计算、多少次尝试”？
4. 时间跨度能不能推广到非软件的领域和混乱的任务？人类用时的测量误差能不能在设计时就控制（多个基线、明确的约定）？
5. 当模型开始参与出题、评分和审核（LLM 当裁判、自动生成的基准），测量的独立性怎样保证？（第 18 讲的”自动化研究”会遇到同样的问题。）

9. 小结 · Summary

1. 定义决定测量：能力 × 通用性（Levels of AGI）、技能获取效率（ARC）、认知覆盖面（CHC，GPT-4 27%、GPT-5 57%）、经济价值（GDPval，47.6% 好于或等于专家）各测不同的东西，各有盲点。
2. 准确率是能力的非线性读数：同样的能力 +1，在容易 / 中等 / 难的考卷上是 +9 / +28 / +9 个点；“10 步全对”把 82% → 92% 的平滑进步变成 13% → 45% 的”涌现”。
3. IRT 用 θ、a、b、c 描述模型和题目；它能找出标错的题（但题–总分相关也能，3PL 反而不能）、用少量题估计分数（自适应测试 25 道题 ≈ 随机 50–100 道，但对偏科的模型低估 6.4 个点）、把基准缝起来（需要共同的模型作为桥）。
4. 对抗式筛选带来地板效应与回归均值（筛选者重做 4.1%）、标错的题被富集（3.1% → 24.0%；HLE 化学 / 生物约 29%），以及”难度相对于筛选者”（同配方的另一个种子在筛出的题上 24.6%）。
5. 时间跨度的趋势：翻倍时间本身可以估得很准；能否看出加速取决于模型偏离趋势的程度；人类用时的噪声让长跨度被高估（12 小时 ×1.37，SIMEX 可校正）；任务集合有上限（64 小时的估计范围 27.5–176.2 小时）；外推的最大不确定性不在置信区间里。
6. 真实数据违反 IRT 的假设：格子内的题一起对、一起错（52.8% vs 19.1%），有效样本量约为题数的十分之一；相近的模型之间能力是多维的（同配方两个种子在 5 个格子上相差 50 个点以上）。

10. 常见误区 · Common pitfalls

1. “A 比 B 高 5 个点，所以 A 的能力强很多。” 5 个点在考卷的哪一段、离饱和多远，决定了它意味着什么。
2. “曲线突然跳起来，说明能力涌现了。” 先检查指标是不是”全对才算”。
3. “模型满分，说明它掌握了这个能力。” 满分只说明能力高于这张考卷；也可能是考卷太容易或者被污染了。
4. “对抗式筛选的基准分数低，说明模型离人类专家很远。” 低分部分是筛选造成的；留下的题里标错的比例也高。
5. “用 IRT 挑出的 100 道题就能替代整个基准。” 前提是新模型和校准用的模型”长得像”；新方法、新能力恰恰可能不像。
6. “516 道题，标准误就是 √(p(1−p)/516)。” 题目相关时，有效样本量可能只有十分之一。
7. “时间跨度每 7 个月翻一番，所以 2030 年 AI 能独立完成一个月的工作。” 外推假设了趋势形状不变；50% 跨度不等于可以放心交付；尺子本身在 16 小时以上测不准。
8. “一个总分就能描述一个模型。” 总分相同的模型可以错在完全不同的地方。

11. 练习 · Exercises

练习 1（信息与饱和）。一道 2PL 题，a = 1.5。(a) 一个模型在这道题上答对的概率是 50% 时，这道题的 Fisher 信息是多少？要把 θ 测到标准误 0.1，需要多少道这样的题？(b) 如果模型在这些题上的正确率是 99%（考卷对它来说饱和了）呢？

参考答案：(a) $I = a^2 P(1-P) = 2.25 \times 0.25 = 0.5625$。标准误 $1/\sqrt{nI} = 0.1$ → $n = 1/(0.01 \times 0.5625) \approx 178$ 道。(b) $I = 2.25 \times 0.99 \times 0.01 = 0.0223$，需要 $1/(0.01 \times 0.0223) \approx 4{,}490$ 道——同样的精度要 25 倍的题。这就是”饱和的基准分不出强模型”的定量版本，也是自适应测试只挑 P ≈ 50% 的题的原因。

练习 2（富集的公式）。候选题里标错的比例是 e。标错的题每次被一个模型”答对”（恰好写出错误的标准答案）的概率是 w；标对的题平均有比例 f 能通过筛选。筛选一共做了 T 次尝试。(a) 写出留下的题里标错的比例。(b) 用代码 01 演示 3 的数字检验：e = 3.1%，w = 0.02，T = 15（5 个模型 × 3 次），留下 421 道（10.5%）。

参考答案：(a) 标错的题通过筛选的概率是 $(1-w)^T$，所以留下的题里标错的比例 $= \dfrac{e(1-w)^T}{e(1-w)^T + (1-e)f}$。(b) $(0.98)^{15} \approx 0.74$；4000 道里约 124 道标错，预期留下约 92 道；留下的 421 道里实际有 24.0% ≈ 101 道标错（在抽样误差之内）。由此 $f \approx (421 - 101)/(4000 - 124) \approx 0.083$，代入公式 $\approx 0.031 \times 0.74 / (0.031 \times 0.74 + 0.969 \times 0.083) \approx 22\%$，和实际的 24.0% 接近。要点：f 越小（筛得越狠），富集越严重；当 $(1-e)f$ 降到和 $e(1-w)^T$ 同一个量级时，留下的题里几乎一半是错的。

练习 3（回归均值的检验）。§5.4 说长跨度被高估的原因是回归均值（任务集合的用时有上限）。设计一个实验检验这个解释，然后运行。

参考答案：如果解释正确，把任务集合的上限延长到远远超过被测的跨度，偏差就应该消失。草稿目录里实际运行（真实跨度 12 小时、σ = 1、每种 100 次的中位数，make_suite 的 hi_min 参数）：上限 16 小时时估计 / 真实 = ×1.34，上限 1000 小时时 ×1.03，上限 10 万小时时 ×0.96。偏差确实来自”跨度靠近任务集合的上限”。这也提示了一个实际的建议：任务集合要比被测的跨度长得多，测量误差的影响才小。

练习 4（有效样本量）。§6.3 说同一个格子的题是相关的。用”按格子重抽样”的聚类自助法估计 cot_L2 准确率的标准误，和按题计算的 $\sqrt{p(1-p)/n}$ 比较。再看 cot_L2 和 cot_L2_seed1 的差别在两种算法下是否显著。

参考答案（草稿目录里实际运行，2000 次自助）：cot_L2 准确率 63.8%，按题计算的标准误 0.0212，按格子的聚类自助 0.0688，是 3.25 倍；设计效应（方差之比）约 10.6，有效样本量约 49 道题（43 个格子）。cot_L2_seed2、rft_s1 的倍数是 3.08、3.38。两个种子的配对差 −1.2 个点：按题计算 z = −0.65，按格子计算 z = −0.25——两种算法下都不显著，但如果差别再大几倍，按题计算会给出错误的”显著”。实际意义：报告基准的置信区间时，要按题目的来源（模板、文档、任务族）聚类。

练习 5（设计一个基准）。你要为”多智能体协作”（第 12–16 讲）设计一个尽量抗饱和、抗筛选偏差的基准。说明你怎样处理：难度范围、标签质量、筛选偏差、聚类结构、时间跨度、成本报告。

参考答案要点：(1) 难度范围：任务按”需要多少个智能体、多少轮交互”分档，从单智能体能完成的到需要长时间协作的，保证各档都有题（§3.1）。(2) 标签质量：答案可以程序验证（像 FrontierMath）；不能验证的部分请多位专家独立标注并报告一致率；发布后定期复核，用题–总分相关找可疑题（§3.3）。(3) 筛选偏差：如果做对抗式筛选，用一个多样的模型群体，保留一部分没筛过的题作为对照，并报告筛选用的模型重新做的分数（§4.2）。(4) 聚类结构：同一个环境的任务算一个族，置信区间按族计算（§6.3）。(5) 时间跨度：每个任务记录人类基线的用时（多个基线，明确取平均的约定），任务集合的最长任务要远远长于当前模型的跨度（§5.4、§5.5）。(6) 成本：报告每个任务的 token 和美元成本，允许按成本画帕累托前沿（ARC 的做法，第 14 讲的计算量匹配）。(7) 防适应性过拟合：私有测试集限制提交次数，定期换题（§4.4）。

12. 延伸阅读 · Further reading

AGI 的定义

• M. R. Morris et al. Position: Levels of AGI for Operationalizing Progress on the Path to AGI. ICML 2024（arXiv v5，2025）.
• F. Chollet. On the Measure of Intelligence. 2019.
• D. Hendrycks et al. A Definition of AGI. 2025.
• T. Patwardhan et al.（OpenAI）. GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks. 2025.

抵抗饱和的基准与复核

• F. Chollet, M. Knoop, G. Kamradt, B. Landers. ARC Prize 2024: Technical Report. 2024；F. Chollet et al. ARC-AGI-2: A New Challenge for Frontier AI Reasoning Systems. 2025；ARC Prize Foundation. ARC-AGI-3（2026，arcprize.org）.
• L. Phan et al. Humanity’s Last Exam. 2025；FutureHouse. About 30% of Humanity’s Last Exam chemistry/biology answers are likely wrong. 2025.
• E. Glazer et al. FrontierMath: A Benchmark for Evaluating Advanced Mathematical Reasoning in AI. 2024.
• A. P. Gema et al. Are We Done with MMLU? 2024.
• S. Ott et al. Mapping Global Dynamics of Benchmark Creation and Saturation in Artificial Intelligence. Nature Communications, 2022.
• A. M. Bean et al. Measuring What Matters: Construct Validity in Large Language Model Benchmarks. NeurIPS 2025 Datasets & Benchmarks.

测量方法

• F. M. Lord. Applications of Item Response Theory to Practical Testing Problems. 1980（IRT 的经典教材）.
• F. M. Polo et al. tinyBenchmarks: Evaluating LLMs with Fewer Examples. ICML 2024.
• V. Hofmann et al. Fluid Language Model Benchmarking. COLM 2025.
• Epoch AI. Epoch Capabilities Index（方法说明见 epoch.ai/eci）；A Rosetta Stone for AI Benchmarks.
• R. Schaeffer, B. Miranda, S. Koyejo. Are Emergent Abilities of Large Language Models a Mirage? NeurIPS 2023.
• Y. Ruan, C. J. Maddison, T. Hashimoto. Observational Scaling Laws and the Predictability of Language Model Performance. NeurIPS 2024.
• R. Burnell, H. Hao, A. R. A. Conway, J. Hernández-Orallo. Revealing the Structure of Language Model Capabilities. 2023.

时间跨度

• T. Kwa et al.（METR）. Measuring AI Ability to Complete Long Tasks. 2025.
• METR. Clarifying Limitations of Time Horizon（2026 年 1 月）；Impact of Modelling Assumptions on Time Horizon Results（2026 年 3 月）；Frontier Risk Report（2026 年 5 月）.
• J. R. Cook, L. A. Stefanski. Simulation-Extrapolation Estimation in Parametric Measurement Error Models. JASA, 1994（SIMEX 的原始论文）.

13. 下一讲预告 · Next lecture

第 18 讲：开放式学习与自我改进——进化搜索、AI 科学家与自动化研究。 这一讲问的是”怎样知道进步是真的”；下一讲问的是”能不能让 AI 自己去进步”。我们会讨论开放式学习（新颖性搜索、质量–多样性、POET）、LLM 驱动的进化程序搜索（FunSearch、AlphaEvolve）、AI 科学家与自动化研究（AI Scientist、MLE-bench、PaperBench）和自我改进的循环（Darwin Gödel Machine）。贯穿其中的是本讲的主题换了一个方向：自动化的搜索会利用评估器的每一个漏洞——评估器（验证器）是自我改进的瓶颈。代码会实现一个进化程序搜索、一个”目标会误导”的迷宫，以及一个”自动化科学家”的统计学：当 AI 一天能试一千个想法时，假发现有多少。