Self-Improving AI Agents
研究智能体如何利用反馈、经验与额外计算改进自身表现。
关于这组笔记
个人自学讲义，参考公开课程材料与研究论文整理，并补充自学实验。
查看原课程资料适合的起点
建议熟悉 Python、语言模型与基础强化学习。
本系列为个人学习整理，非学校官方发布，不代表学校或授课教师的认可或背书。
沿着目录阅读
当前 17 篇课程讲义
- Lecture 01第 1 讲：课程导论——从 Scaling 到 Self-Improving AI Agents
- Lecture 02第 2 讲：Test-Time Compute Scaling——多花推理计算，能换来多少？
- Lecture 03第 3 讲：鲁棒的验证（Robust Verification）——怎样缩小 Generation–Verification Gap
- Lecture 04第 4 讲：从工具与代码的反馈中学习——ReAct、RLEF 与 Constitutional AI
- Lecture 05第 5 讲：多步推理与规划——树搜索、按需分解与"往宽还是往深"
- Lecture 06第 6 讲：训练时扩展——用强化学习扩展推理（STaR、GRPO、DAPO）
- Lecture 07第 7 讲：开放式演化——让 AI 改进自己的设计（ADAS、Darwin Gödel Machine、AlphaEvolve、AI Scientist）
- Lecture 08第 8 讲：用搜索自我改进与深度研究 agent——AlphaCode、AlphaCode 2 与 Search-o1
- Lecture 09第 9 讲：后训练的演变——从 Chatbot 到 Agent（客座讲座）
- Lecture 10第 10 讲：软件工程的 Agent 框架——CodeMonkeys、KernelBench 与 Agent–System Interface
- Lecture 11第 11 讲：给 Agent 加上记忆——MemGPT、CacheBlend 与 Cartridges
- Lecture 12第 12 讲：LLM 推理——中间 token、不用提示的 CoT、聚合与局限
- Lecture 13第 13 讲：迈向超人推理——AlphaGeometry、AlphaProof 与 IMO 金牌
- Lecture 14第 14 讲：Agent 评估与长程任务——时间跨度、经济价值与研究综述
- Lecture 15第 15 讲：构建自主的 Agent 系统——经验与开放问题
- Lecture 16第 16 讲：机器人中的多模态 Agent——从 PaLM-E、RT-2 到 π0 与从经验中改进
- Lecture 17第 17 讲：未来的研究方向与研究方法
从讲义到代码
按课程目录整理的配套示例，保留各单元的文件结构。阅读讲义时，可以下载整套代码，在本地逐步探索。
下载 CS329A 代码请在独立虚拟环境中查看依赖后运行；未附模型权重和运行产物；示例未逐一验证。