第 13 讲：迈向超人推理——AlphaGeometry、AlphaProof 与 IMO 金牌

对应：Stanford CS329A Autumn 2025 Lecture 16（Fri 11/14），客座讲座：Thang Luong（Google DeepMind），题目 Towards AI Superhuman Reasoning: AlphaProof, AlphaGeometry & Gemini IMO Gold Medal。课程主页没有列阅读材料，也没有公开幻灯片。讲者是 AlphaGeometry 论文的作者之一，也是 IMO-Bench 论文的第一作者，近年在 Google DeepMind 从事奥赛级别的数学推理研究。本讲依据这些系统的公开论文和官方博客编写：AlphaGeometry（Trinh et al. 2024，Nature）、AlphaGeometry 2（Chervonyi et al. 2025）、AlphaProof（2024 年的博客；2025 年的 Nature 论文）、Gemini Deep Think 在 IMO 2025 的博客，以及 IMO-Bench（Luong et al. 2025）。不代表这次课堂的具体内容。 配套代码：code/lecture13/（只用 Python 标准库，每个文件 3 秒以内） 预计阅读时间：2.5 小时（含运行代码）

0. 本讲导航

0.1 学完本讲，你应该能够

1. 说出为什么数学奥赛是检验”超人推理”的好场地，以及形式化（Lean）和自然语言两条路线各自的优缺点。
2. 说出 AlphaGeometry 的三个组成：符号推演引擎（DD + AR）、不用人类示范的合成数据（随机图形 → 推演 → 回溯）、提出辅助构造的语言模型；以及它在 IMO-AG-30 上的成绩（25/30，金牌选手平均 25.9）。
3. 说出 AlphaProof 的三个组成：自动形式化（把约一百万道自然语言的题翻译成 Lean）、AlphaZero 式的 RL（证明或证伪，经过验证的证明用来强化模型）、测试时 RL（比赛时生成原题的变体，一边证一边学）；以及 IMO 2024 的成绩（28/42，银牌，离金牌差 1 分）和局限（题目需要人工形式化，有的题算了 3 天）。
4. 说出 Gemini Deep Think 在 IMO 2025 的成绩（35/42，金牌分数）和它与 2024 年的不同：自然语言、端到端、4.5 小时之内、经 IMO 官方评分。
5. 讨论”完美的 verifier”的力量与代价：为什么它让 RL 和测试时 RL 成为可能，又为什么最后的突破反而来自自然语言。

0.2 先修知识

0.3 本讲地图

第1节  为什么是数学奥赛；形式化 vs 自然语言
第2节  AlphaGeometry：符号引擎 + 合成数据 + 辅助构造         ← 代码 01
第3节  AlphaProof：自动形式化 + AlphaZero 式 RL + 测试时 RL   ← 代码 02
第4节  IMO 2025：Gemini Deep Think 的自然语言金牌；IMO-Bench
第5节  完美的 verifier：力量与代价
第6节  和整门课的联系
第7–10节 小结、练习、延伸阅读、下一讲预告

0.4 本讲的代码

• 01_neuro_symbolic.py：一个抽象的”几何”推理系统：事实、推演规则、60 种辅助构造。符号引擎求闭包；用随机”图形” + 推演 + 回溯生成合成数据，训练一个（计数式的）提议者；比较只用引擎、随机构造、人设计的启发式、学到的提议者。
• 02_test_time_rl.py：一个能力为 s 的证明器，题目越难成功率越低；比较”只在原题上采样”和”在原题的变体上做测试时 RL”（三种课程）。所有的模型和参数都是设定的。

关于本讲的数字：论文和官方博客里的数字注明出处；模拟实验的数字都来自 01、02 号代码的实际输出（固定随机种子，Python 3.9 与 3.13 逐字相同）。

1. 为什么是数学奥赛

1.1 IMO 是什么

国际数学奥林匹克（IMO）每年一届，面向中学生。两天，每天 4.5 小时、3 道题，共 6 道，每道 7 分，满分 42。题目覆盖代数、组合、几何、数论，需要的是证明而不是一个数字答案。大约 1/12 的选手拿金牌：2024 年 609 名选手里有 58 人拿金牌，金牌线是 29 分。

1.2 为什么它是检验”超人推理”的好场地

• 可以验证：证明对不对，原则上可以严格检查（第 12 讲：可靠的 verifier 是关键）。
• 长链条：一个证明往往有几十步，任何一步错了，整个证明就不成立（第 1 讲的错误累积）。
• 需要创造性：关键常常是一个”灵光一现”的想法——一个辅助点、一个巧妙的引理、一个不变量。这不是穷举能找到的。
• 数据很少：真正的奥赛题只有几千道，比互联网上的文本少得多。
• 人类的标杆很清楚：可以直接和世界上最好的中学生比较。

1.3 两条路线

本讲按时间顺序看这两条路线：2024 年，形式化路线先拿到了银牌水平；2025 年，自然语言路线拿到了金牌分数。

2. AlphaGeometry：符号引擎 + 合成数据 + 辅助构造

2.1 为什么几何特别难

几何是奥赛里最”经典”的部分，但对 AI 来说有两个特别的困难：

1. 数据极少：把几何证明翻译成机器能检查的形式非常费力，几乎没有现成的形式化几何证明可以用来训练。
2. 辅助构造：很多题必须先”加一点东西”（取中点、作平行线、作外接圆），才能用上已知的定理。加什么，是奥赛几何最需要创造性的一步。

2.2 符号推演引擎：DD + AR

• DD（deductive database）：一组几何推演规则（“两组对边平行 ⇒ 平行四边形""同弧所对的圆周角相等”……），反复应用，直到推不出新的事实。
• AR（algebraic reasoning）：把角度、比例、距离之间的线性关系放进线性方程组，求解（“角度追踪""比例追踪”）。

DD + AR 是完备的（在它的规则范围内），也很快，但它不会发明新的对象：题目里没有的点，它不会自己加。论文报告，在 IMO-AG-30（2000 年以来的 30 道 IMO 几何题）上，单独用 DD + AR 能解 14 道。

2.3 合成数据：不用人类示范

AlphaGeometry 的关键是自己生成训练数据：

1. 随机生成约 10 亿个几何图形（随机的点、线、圆和它们的关系）；
2. 对每个图形用 DD + AR 推出所有能推出的结论；
3. 对每个结论回溯（traceback）：找出证明它最少需要哪些前提、哪些步骤；
4. 关键的一步：如果证明用到了某些点，而这些点在结论和必要前提里都不出现，这些点就是辅助构造。把它们从题目里拿掉，就得到一道”需要辅助构造”的题和它的标准解法。

去重之后得到 1 亿个合成的定理和证明。整个过程没有用到任何人写的证明。

2.4 语言模型提出辅助构造

用这 1 亿个例子从头训练一个 Transformer 语言模型，让它学会：给定题目，下一步该加什么辅助构造。求解时：

1. 先用 DD + AR 推；证出来就结束。
2. 证不出来，就让语言模型提出几个最可能的构造，每个加上去再推一遍（beam search）；
3. 重复，直到证出或用完预算。

论文用”快思考与慢思考”来比喻：语言模型提供快速的直觉（“这里加个中点可能有用”），符号引擎做严谨、慢速的推演。这也是第 7 讲 AlphaEvolve 的结构：LLM 负责提议，可靠的评估器负责检查。

2.5 结果

在 IMO-AG-30 上：

AlphaGeometry 的证明可以由人检查：奥赛金牌得主、教练 Evan Chen 评价它的证明可以验证、干净，用的是学生也会用的经典规则。

（后续工作发现，把吴文俊方法和 DD + AR 结合，纯符号的系统也能解出 21 道——符号方法的潜力也被低估了。）

2.6 AlphaGeometry 2

2024 年的版本做了几处升级：

• 语言模型换成基于 Gemini 的模型，用多一个数量级的合成数据训练；
• 符号引擎快了两个数量级；扩展了几何语言（能表达更多种题目）；
• 多棵搜索树之间共享知识的搜索算法。

结果：过去 25 年的 IMO 几何题解出 83%（之前的版本 53%）；IMO 2024 的第 4 题（几何）在 19 秒内解出。

2.7 toy world：学会做辅助构造

01 号代码的设定：24 个基本事实、5 层结论（每层 20 个）、每个结论有 3 条推演规则；60 种构造，每种引入 2 个新事实，有些规则要用到它们。300 道”竞赛题”：不需要构造、需要 1 个、需要 2 个的各 100 道。合成数据：随机条件 + 随机 2 个构造 → 推演 → 回溯 → 记下”证这个结论时，哪些构造帮了忙”。

实际输出（解出的比例）：

尝试 64 次时，按题目需要的构造数拆开：

读这两张表：

1. 符号引擎单独只解出不需要构造的题（三分之一），和论文里 DD + AR 的 14/30 是同一回事。
2. 两个构造的组合是真正的难点：60 种构造有 1770 种两两组合，随机几乎碰不上（4%）。
3. 通用知识有用：只知道”哪些构造一般比较常用”，已经比随机好得多（对应论文里人设计的启发式 18/30）。
4. 从合成数据里学到的、和题目相关的知识更有用，而且数据越多越好；提升主要在需要两个构造的题上（0.57 → 0.80）。
5. 整个过程没有一个人写的证明。合成数据 + 可靠的验证，是在”人类数据很少”的领域里自我改进的配方。

3. AlphaProof：自动形式化 + AlphaZero 式 RL + 测试时 RL

3.1 Lean：一个完美的 verifier

Lean 是一个证明助手（proof assistant）：你用它的语言写下定理和证明，它会机械地检查每一步是否合乎逻辑。Lean 说”证完了”，这个证明就一定是对的（只要你相信 Lean 的核心和定理的陈述）。Lean 有一个庞大的、由社区维护的数学库 Mathlib。

对 RL 来说，这是梦想中的环境：奖励完全可靠、完全自动，不可能被”钻空子”（第 9 讲）——你不可能骗过 Lean 说一个错误的证明是对的。

代价是数据：形式化的证明需要专家花很多时间写；能用来训练的形式化奥赛题非常少。

3.2 自动形式化：把题目翻译成 Lean

AlphaProof 先解决数据问题：微调一个 Gemini 模型，把自然语言的数学题翻译成 Lean 的形式化陈述。用它翻译了约一百万道自然语言的题，得到一个难度各异的、大规模的形式化题库（Nature 论文：约 8000 万条自动形式化的陈述）。

一个有意思的细节：翻译错了也没关系。一道翻译得不准确的题，在 Lean 里仍然是一个合法的命题——它要么能证明，要么能证伪。AlphaProof 对每道题都尝试”证明或证伪”，所以错误的翻译仍然是有用的训练数据。这是形式化路线的一个独特优势：数据的噪声不会污染奖励。

3.3 AlphaZero 式的 RL

求解网络（solver）在 Lean 里搜索证明：每一步提出一个证明步骤（tactic），Lean 执行后返回新的”证明状态”（还剩什么要证），像下棋一样在证明状态的树上搜索。这借鉴了下围棋、国际象棋的 AlphaZero。

训练循环：

1. 在大题库上尝试证明或证伪；
2. 每找到一个经过 Lean 验证的证明，就用它强化语言模型；
3. 更强的模型能解更难的题，产生更难的训练数据——一个自我强化的循环（第 6 讲 STaR 的形式化版本）。

比赛前的几周里，AlphaProof 证明或证伪了数以百万计的题。

3.4 测试时 RL

最难的题，即使训练好的模型也证不出来。AlphaProof 的办法是在比赛时继续学习：

1. 生成原题的大量变体（特例、简化、相关的命题）；
2. 在这些变体上做 RL：证出来的变体用来强化模型；
3. 模型越来越”懂”这道题，最终证出原题。

Nature 论文把它描述为：在推理时生成并学习数以百万计的相关变体，实现针对这道题的深度适应。这和第 11 讲 Cartridges 的”针对一个语料再训练一点”、第 6 讲的 RL 是同一类想法：测试时计算不只是”多想一会儿”，还可以是”多学一会儿”。

3.5 IMO 2024：银牌水平

• AlphaProof 解出了 2 道代数题和 1 道数论题，其中包括全场最难的第 6 题（609 名选手里只有 5 人解出）；AlphaGeometry 2 解出了几何题（第 4 题）。两道组合题没有解出。
• 共 28/42 分，相当于银牌，离金牌线（29 分）差 1 分。评分由菲尔兹奖得主 Timothy Gowers 和 IMO 2024 选题委员会主席 Joseph Myers 按官方规则进行。
• 局限：题目由人手工翻译成 Lean（人类选手直接读自然语言）；有一道题几分钟内解出，其他的用了最多 3 天（人类选手每天只有 4.5 小时）。

3.6 toy world：测试时 RL 和课程

02 号代码的设定：能力为 s 的证明器，在难度为 d 的题上每次尝试成功的概率是 sigmoid(2(s − d))；每证出一道难度为 d 的题，s 增加 0.05 × (1 − 成功率)。原题和初始能力的差距是 D。测试时 RL 在 20 个难度不同的变体上练习，每次尝试有 10% 的概率直接试原题。

实际输出（解出原题的比例，20 次重复）：

（初始能力下，一次尝试的成功率：D = 6 时 6.1 × 10⁻⁶，D = 10 时 2.1 × 10⁻⁹。）

读这两张表：

1. 重复采样够不着太远的题：成功率随难度差指数下降，D = 6 时一万次尝试也只解出 5%。注意”只在原题上做 RL”和”只采样”完全一样：第一次成功之前没有任何学习信号，而第一次成功时题已经解出了。没有变体，就没有可以学习的东西。
2. 测试时 RL 把”几乎不可能”变成”可以做到”：在变体上学到的能力让原题变得可解。
3. 课程决定效率：自适应课程 1000 次尝试就能解出 D = 10；均匀分布要一万次；只练简单的变体，一万次也只解出 D = 8 的 80%。原因是学习发生在能力的边界上：太简单的题几乎每次都成功，优势 1 − p 接近 0；太难的题几乎从不成功，没有信号。这和第 6 讲 DAPO 的动态采样（去掉全对、全错的题）是同一个道理。
4. toy 的两个乐观假设：变体上学到的能力完全迁移到原题；verifier 完美。第一个在现实里不成立（变体可能和原题的难点无关）；第二个在 Lean 里成立——这正是测试时 RL 适合形式化路线的原因。

4. IMO 2025：自然语言的金牌

4.1 结果

2025 年 7 月，Gemini Deep Think 的一个进阶版本在 IMO 2025 上：

• 解出 6 道题中的 5 道，35/42 分，达到金牌分数线；
• 端到端用自然语言：直接读官方的题目，写出自然语言的证明，不需要人工翻译成 Lean；
• 在4.5 小时的比赛时间之内完成；
• 解答由 IMO 官方的协调员按照评判学生的同样标准评分并认证。IMO 主席 Gregor Dolinar 确认了 35 分的金牌成绩。

OpenAI 也宣布了一个实验性的推理模型在 IMO 2025 上达到 35 分。

和 2024 年相比：不再需要专家把题目翻译成形式化语言，也不再需要 2~3 天的计算。

4.2 怎样做到的（公开的信息）

官方博客提到的几点：

• 并行思考（parallel thinking）：同时探索、组合多条可能的解题思路，而不是只沿一条思维链走下去（第 2 讲的并行 test-time compute、第 5 讲的树搜索在推理模型内部的版本）。
• 新的强化学习技术，利用多步推理、解题和定理证明的数据；
• 一个精选的、高质量数学解答的语料，以及关于”怎样着手解 IMO 题”的一般性提示。

4.3 没有完美的 verifier，怎样训练和评估证明

自然语言路线的核心困难是第 1.3 节表格里的”怎样验证”。讲者和合作者的 IMO-Bench（Luong et al. 2025，EMNLP 2025）正是为此构建的：

• IMO-AnswerBench：400 道有简短答案、可以自动核对的奥赛题；
• IMO-ProofBench：需要写完整证明的题（基础级和进阶级），附带详细的评分指南，让自动评分成为可能；
• IMO-GradingBench：1000 份人工评分过的证明，用来衡量”自动评分者”本身准不准。

论文报告，这些 benchmark 在 Gemini Deep Think 达到金牌水平的过程中起了关键作用；Gemini Deep Think 在 IMO-AnswerBench 上达到 80.0%，在进阶的 IMO-ProofBench 上达到 65.7%。

这里有一条贯穿整门课的线索：当 verifier 不完美时，衡量 verifier 本身就成了一项核心工作（第 3 讲的 Weaver、第 14 讲的 LLM 评委）。

5. 完美的 verifier：力量与代价

5.1 力量

• 可以放心地做 RL：每个奖励都是真的，不会被钻空子。AlphaProof 可以在几百万道题上训练，不必担心学到”看起来对、实际错”的证明。
• 可以在测试时学习：测试时 RL 需要大量可靠的”成功”信号，只有完美的 verifier 能提供（第 3.6 节第 4 点）。
• 结果可以信任：一个 Lean 证明不需要人再检查一遍；对很长、很复杂的证明尤其重要。
• 数据噪声不污染奖励：翻译错了的题仍然是合法的题（第 3.2 节）。

5.2 代价

• 数据和表达：大多数数学（以及几乎所有的非数学推理）没有现成的形式化；把问题和证明形式化本身就很难。
• 形式化的门槛：IMO 2024 的题目要人工翻译；自动形式化会出错（翻译错了，证明的就不是原来的题）。
• “形式化”不等于”理解”：Lean 只保证证明对，不保证陈述是我们想要的那个命题。
• 自然语言模型进步得更快：2025 年的金牌说明，强大的自然语言推理 + “足够好”的评分者，在奥赛这个层次上已经够用。

5.3 两条路线会合

两条路线并不是互斥的。一种自然的组合是：用自然语言探索和发现（灵活、数据多），用形式化验证关键的结论（可靠）；自动形式化把两者连起来。对于研究级的数学——证明很长、审稿人很难检查——形式化验证的价值可能比在奥赛上更大。

6. 和整门课的联系

7. 小结

1. 数学奥赛可以验证、链条长、需要创造性、数据很少，是检验”超人推理”的好场地。形式化路线（Lean）验证完美但数据和形式化很难；自然语言路线数据多但验证难。
2. AlphaGeometry：符号引擎（DD + AR）负责严谨的推演；从 10 亿个随机图形里用推演 + 回溯得到 1 亿个合成的定理和证明，其中包含辅助构造；语言模型学会提出辅助构造。IMO-AG-30 上 25/30（DD + AR 14，加上人设计的启发式 18，金牌选手平均 25.9），没有用任何人类示范。AlphaGeometry 2 解出过去 25 年 83% 的 IMO 几何题。toy world 显示：符号引擎只能解不需要构造的题；两个构造的组合是真正的难点；从合成数据学到的提议者好于通用的启发式，而且数据越多越好。
3. AlphaProof：Gemini 把约一百万道题自动形式化成 Lean；AlphaZero 式的 RL 证明或证伪，验证过的证明用来强化模型；测试时 RL 在原题的变体上继续学习。IMO 2024 与 AlphaGeometry 2 一起拿到 28/42（银牌），解出最难的第 6 题；但题目需要人工形式化，有的题用了 3 天。toy world 显示：重复采样够不着离能力太远的题；测试时 RL 可以，但需要好的课程——学习发生在能力的边界上。
4. Gemini Deep Think（IMO 2025）：自然语言、端到端、4.5 小时内、官方评分，35/42 金牌分数；并行思考 + 新的 RL 技术 + 精选的解答语料。IMO-Bench 提供了评估答案、证明和”评分者”本身的工具。
5. 完美的 verifier 让 RL、测试时 RL 和结果的可信成为可能；代价是形式化的门槛。两条路线正在会合：自然语言探索，形式化验证。

8. 练习

1. 合成数据里的辅助构造（第 2.3 节） (a) 用自己的话解释：为什么”证明用到了、但结论和必要前提里都不出现的点”就是辅助构造？ (b) 为什么 AlphaGeometry 要先用 traceback 找出”最少需要的前提”，而不是直接用随机图形的全部条件当作题目？

(a) 一道题的陈述只涉及结论和前提里出现的对象；证明却用到了额外的点，这些点必须由解题者自己”加进去”——这正是辅助构造的定义。 (b) 随机图形的全部条件里有大量与这个结论无关的条件。不做回溯，题目会冗长、不自然，而且”哪些点是辅助构造”也无法确定（所有点都在条件里出现了）。回溯得到最小的前提集，才能把”需要自己加的点”分离出来。

2. 通用知识 vs 题目相关的知识（第 2.7 节） 在 01 号代码里，人设计的启发式按”构造在规则库里出现的次数”排序。 (a) 为什么它在”需要 1 个构造”的题上几乎和学到的提议者一样好，在”需要 2 个”的题上却差很多？ (b) 把 make_world 里构造的流行程度改成均匀的（所有构造一样常用），你预计人设计的启发式会怎样？试一试。

(a) 需要 1 个构造的题，往往有好几个构造都能用；尝试 64 次时已经试过 36 个单独的构造（前 8 名 + 组合之后的 28 个），常用的构造排在前面，总能碰上一个。两个构造的组合则只在排名前 8 的构造之间尝试（beam search 的宽度有限），排序不准就组合不到正确的那一对。 (b) 通用的”常用程度”不再有信息量，人设计的启发式会退化到接近随机；学到的提议者基本不受影响，因为它依赖的是”这个结论需要什么”。

3. 翻译错了也没关系？（第 3.2 节） (a) 为什么错误的自动形式化对 AlphaProof 的训练无害？ (b) 为什么它对比赛有害？AlphaProof 在 IMO 2024 是怎样避开这个问题的？

(a) 错误的翻译仍然是一个合法的 Lean 命题；无论证明还是证伪，Lean 的验证都可靠，得到的都是正确的训练信号（只是”题目”和原来的不同）。 (b) 比赛时要证明的是原来的题。如果翻译错了，即使 Lean 验证了证明，证明的也不是原题。IMO 2024 时题目由人手工翻译成 Lean，避免了这个问题——这也是它的局限之一。

4. 测试时 RL 的课程（第 3.6 节） (a) 为什么”只在原题上做 RL”和”只采样”完全一样？ (b) 02 号代码里，自适应课程挑”成功率最接近 50%“的变体。用 REINFORCE 的期望更新 η·p·(1 − p) 解释为什么是 50%。 (c) 现实里，AlphaProof 不知道每个变体的真实难度。你会怎样估计”当前成功率接近 50%“的变体？

(a) 学习需要成功的证明作为信号。原题上第一次成功之前没有信号；第一次成功时原题已经解出，之后的学习没有意义。 (b) 每次尝试，成功的概率是 p，成功时的更新是 η(1 − p)，期望更新是 η·p·(1 − p)，在 p = 0.5 时最大。 (c) 例如：对每个变体记录最近几次尝试的成功次数；或者用模型对证明的价值估计（AlphaZero 式的 value network）；或者按变体的”距离”（比原题简化了多少）分层，从简单的开始，某一层的成功率太高就往难的一层移动。

5. 自然语言路线的 verifier（第 4.3 节） (a) 为什么 IMO-GradingBench（评估”评分者”）对自然语言路线如此重要？ (b) 如果用一个会把 10% 的错误证明判为正确的评分者做 RL，你预计会发生什么？结合第 9 讲的 reward hacking 回答。

6. 形式化还是自然语言（第 5 节） 对下面每个场景，你会选形式化路线、自然语言路线，还是两者结合？说明理由。 (a) 检查一篇 200 页的数学论文的证明是否正确；(b) 一个帮中学生讲解奥赛题的助教；(c) 验证一个芯片设计满足某个安全性质；(d) 在一个全新的数学分支里提出猜想。

7. 动手改代码 (a) 01 号代码：把 candidate_order 里的 n_top 从 8 改成 4 或 16。beam 更窄或更宽，对”需要 2 个构造”的题有什么影响？ (b) 02 号代码：加一个设定——变体上学到的能力只有 70% 迁移到原题（s 的增量乘以 0.7 才用于原题）。测试时 RL 的优势还剩多少？

9. 延伸阅读

本讲依据的公开材料

• Trinh, Wu, Le, He & Luong 2024. Solving Olympiad Geometry without Human Demonstrations. Nature.（AlphaGeometry）
• Chervonyi et al. 2025. Gold-medalist Performance in Solving Olympiad Geometry with AlphaGeometry2.
• Google DeepMind 2024. AI achieves silver-medal standard solving International Mathematical Olympiad problems.（AlphaProof 与 AlphaGeometry 2 的博客）
• Hubert et al. 2025. Olympiad-level formal mathematical reasoning with reinforcement learning. Nature.（AlphaProof）
• Google DeepMind 2025. Advanced version of Gemini with Deep Think officially achieves gold-medal standard at the International Mathematical Olympiad.
• Luong et al. 2025. Towards Robust Mathematical Reasoning.（EMNLP 2025，IMO-Bench）

相关工作

• Silver et al. 2018. A General Reinforcement Learning Algorithm that Masters Chess, Shogi, and Go through Self-Play.（AlphaZero）
• Sinha et al. 2024. Wu’s Method can Boost Symbolic AI to Rival Silver Medalists and AlphaGeometry to Outperform Gold Medalists at IMO Geometry.
• The Lean 4 theorem prover 与 Mathlib 社区。
• Polu & Sutskever 2020. Generative Language Modeling for Automated Theorem Proving.（GPT-f，早期的 LLM + 形式化证明）

10. 下一讲预告

第 14 讲：Agent 评估与长程任务

IMO 有明确的评分标准。但大多数我们关心的 agent 任务——修一个真实的 bug、写一份行业报告、做一个研究综述——既没有唯一的答案，也没有现成的评分者。第 14 讲读三篇评估方面的论文：

• METR 的时间跨度：用”人类完成这个任务需要多久”来衡量 agent 能完成多长的任务；这个时间跨度大约每 7 个月翻一倍；
• GDPval：44 个职业的真实工作任务，由行业专家盲评；
• DeepScholar-Bench：一个持续更新的研究综述 benchmark，自动评估知识综合、检索质量和可核查性。