Stanford / CME295已收录

Transformers and Large Language Models

从 Transformer 的基础机制出发,逐步理解大语言模型的训练与应用。

关于这组笔记

个人自学讲义,参考 2025 年公开课程材料改编为每日学习安排,讲次与官方课程不一一对应。

查看原课程资料

适合的起点

建议熟悉 Python、线性代数与基础概率。

本系列为个人学习整理,非学校官方发布,不代表学校或授课教师的认可或背书。

沿着目录阅读

当前 35 篇

Week 0

  1. Week 0 · Day 1第 0 周 · Day 1:张量与自动微分PDF
  2. Week 0 · Day 2第 0 周 · Day 2:优化与训练动力学PDF
  3. Week 0 · Day 3第 0 周 · Day 3:词的表示PDF
  4. Week 0 · Day 4第 0 周 · Day 4:序列模型与注意力的诞生PDF
  5. Week 0 · Day 5第 0 周 · Day 5:字符级语言模型实战 + Week 0 整合PDF

Week 1

  1. Week 1 · Day 1第 1 周 · Day 1:自注意力与多头注意力
  2. Week 1 · Day 2第 1 周 · Day 2:Transformer 块、位置编码与整体架构
  3. Week 1 · Day 3第 1 周 · Day 3:从零实现 mini-GPT,与 LSTM 做对照实验
  4. Week 1 · Day 4第 1 周 · Day 4:KV Cache 与 MQA / GQA
  5. Week 1 · Day 5第 1 周 · Day 5:RoPE 与长度外推
  6. Week 1 · Day 6第 1 周 · Day 6:高效注意力、FlashAttention 与 BERT 家族 + Week 1 整合

Week 2

  1. Week 2 · Day 1第 2 周 · Day 1:LLM 是什么,以及缩放律
  2. Week 2 · Day 2第 2 周 · Day 2:混合专家(MoE)
  3. Week 2 · Day 3第 2 周 · Day 3:解码、上下文学习、思维链与自洽性
  4. Week 2 · Day 4第 2 周 · Day 4:预训练、显存账与分布式训练
  5. Week 2 · Day 5第 2 周 · Day 5:量化
  6. Week 2 · Day 6第 2 周 · Day 6:SFT、LoRA 与 QLoRA,以及第 2 周整合

Week 3

  1. Week 3 · Day 1第 3 周 · Day 1:期中考试与错题溯源
  2. Week 3 · Day 2第 3 周 · Day 2:为什么 SFT 不够,RLHF 与奖励模型
  3. Week 3 · Day 3第 3 周 · Day 3:策略梯度与 PPO
  4. Week 3 · Day 4第 3 周 · Day 4:DPO 与偏好优化的变体
  5. Week 3 · Day 5第 3 周 · Day 5:推理模型、可验证奖励的强化学习与 GRPO
  6. Week 3 · Day 6第 3 周 · Day 6:测试时缩放,以及第 3 周整合

Week 4

  1. Week 4 · Day 1第 4 周 · Day 1:检索增强生成(RAG)与稠密检索
  2. Week 4 · Day 2第 4 周 · Day 2:稀疏检索、混合检索与重排
  3. Week 4 · Day 3第 4 周 · Day 3:函数调用与 MCP
  4. Week 4 · Day 4第 4 周 · Day 4:智能体与 ReAct
  5. Week 4 · Day 5第 4 周 · Day 5:评测基础——人工评分、统计误差、基准与规则指标
  6. Week 4 · Day 6第 4 周 · Day 6:LLM 当评委,以及第 4 周整合

Week 5

  1. Week 5 · Day 1第 5 周 · Day 1:Lecture 9——回顾、Transformer 之外的用法、扩散语言模型与前沿
  2. Week 5 · Day 2第 5 周 · Day 2:期末考试与错题溯源
  3. Week 5 · Day 3第 5 周 · Day 3:系统复习(一)——全景图,以及一个模型的全部数字
  4. Week 5 · Day 4第 5 周 · Day 4:系统复习(二)——28 个核心推导默写
  5. Week 5 · Day 5第 5 周 · Day 5:面试冲刺——答题结构、估算、系统设计与分层题库
  6. Week 5 · Day 6第 5 周 · Day 6:Capstone 与延伸阶段——做一个可信的项目,然后继续走

从讲义到代码

按课程目录整理的配套示例,保留各单元的文件结构。阅读讲义时,可以下载整套代码,在本地逐步探索。

下载 CME295 代码

请在独立虚拟环境中查看依赖后运行;未附模型权重和运行产物;示例未逐一验证。

返回全部课程