Advances in Foundation Models
围绕基础模型的能力、训练与影响，整理关键概念和研究问题。
关于这组笔记
个人自学讲义，依据 Winter 2023 公开材料与论文整理；缺少公开讲稿的客座主题来自相关资料整理，并非课堂实录。
查看原课程资料适合的起点
建议熟悉机器学习、深度学习与 Transformer。
本系列为个人学习整理，非学校官方发布，不代表学校或授课教师的认可或背书。
沿着目录阅读
当前 20 篇课程讲义
- Lecture 01Lecture 1 · 导论：什么是基础模型，为什么值得关注 · Introduction: What Are Foundation Models and Why Do They Matter?
- Lecture 02Lecture 2 · 数据：基础模型从哪里学，数据怎样决定它会什么 · Data for Foundation Models
- Lecture 03Lecture 3 · 模型架构与训练目标：从 BERT、GPT 到 T5 与 UL2 · Model Architectures & Training Objectives
- Lecture 04Lecture 4 · 规模定律：损失怎样随参数、数据和算力变化 · Scaling Laws
- Lecture 05Lecture 5 · 涌现能力与上下文学习：思维链、提示与"它为什么能工作" · Emergent Abilities & In-Context Learning
- Lecture 06Lecture 6 · 适配：提示、探针、微调与参数高效方法 · Adaptation: Prompting, Probing, Fine-tuning & Parameter-Efficient Methods
- Lecture 07Lecture 7 · 指令微调与对齐：从 FLAN、T0 到 RLHF 与 Constitutional AI · Instruction Tuning & Alignment
- Lecture 08Lecture 8 · GPU 性能的第一性原理与 FlashAttention · GPU Performance & FlashAttention
- Lecture 09Lecture 9 · 分布式训练：数据、张量、流水线并行与去中心化训练 · Distributed Training
- Lecture 10Lecture 10 · 训练一个大模型：PaLM、OPT 与 BLOOM 的实录 · Training Large Models in Practice
- Lecture 11Lecture 11 · 预测即压缩：从香农到"压缩通向通用智能" · Compression for AGI
- Lecture 12Lecture 12 · 机制可解释性：逆向工程 Transformer 学到的算法 · Mechanistic Interpretability
- Lecture 13Lecture 13 · 像开源软件一样构建模型：协作、合并与持续更新 · Building Models like Open-Source Software
- Lecture 14Lecture 14 · 多模态基础模型：CLIP、扩散模型、Flamingo 与通用智能体 · Multimodal Foundation Models
- Lecture 15Lecture 15 · 领域基础模型：代码、生物医学、法律与 RNA · Domain Foundation Models
- Lecture 16Lecture 16 · 隐私：记忆、训练数据提取与差分隐私 · Privacy
- Lecture 17Lecture 17 · 安全：网络规模数据集的投毒、后门与对抗提示 · Security
- Lecture 18Lecture 18 · 伦理与危害：偏见、有害内容、虚假信息与发布规范 · Ethics & Harms
- Lecture 19Lecture 19 · 环境影响与法律：算力的碳账本、版权、责任与监管 · Environment & Law
- Lecture 20Lecture 20 · 课程总结与前沿：常识、组合推理的边界与基础模型的未来 · Wrap-up & Frontiers
从讲义到代码
按课程目录整理的配套示例，保留各单元的文件结构。阅读讲义时，可以下载整套代码，在本地逐步探索。
下载 CS324 代码请在独立虚拟环境中查看依赖后运行；未附模型权重和运行产物；示例未逐一验证。