Advanced Topics in Machine Learning Systems (LLM Edition)
结合系统论文与最小实验，理解机器学习的内核、编译、并行与服务。
关于这组笔记
个人自学讲义，参考 Fall 2025 公开 slides 与必读论文；配套代码为自行设计的最小实验。
查看原课程资料适合的起点
建议熟悉 Python、深度学习、计算机体系结构与并行计算。
本系列为个人学习整理，非学校官方发布，不代表学校或授课教师的认可或背书。
沿着目录阅读
当前 24 篇课程讲义
- Lecture 01第 1 讲 · 课程导论：为什么需要 ML 系统？· Course Introduction: Why ML Systems?
- Lecture 02第 2 讲 · ML 系统 101：基础 + TensorFlow / PyTorch · ML Systems Basics
- Lecture 03第 3 讲 · GPU 架构与 CUDA 编程（一）· GPU Architecture & CUDA Programming (1)
- Lecture 04第 4 讲 · GPU 架构与 CUDA 编程（二）：矩阵乘法与并行归约 · GPU Architecture & CUDA Programming (2)
- Lecture 05第 5 讲 · 案例：Transformer、注意力与 FlashAttention · Transformers, Attention, FlashAttention
- Lecture 06第 6 讲 · 高级 CUDA：Warp 特化 · Advanced CUDA Programming: Warp Specialization
- Lecture 07第 7 讲 · 高级 CUDA：Mega-Kernel · Advanced CUDA Programming: Mega Kernel
- Lecture 08第 8 讲 · ML 编译器（一）：基于分块的 DSL · ML Compilers Part 1: Tile-based DSLs (Triton, TVM)
- Lecture 09第 9 讲 · ML 编译器（二）：内核自动调优 · ML Compilers Part 2: Kernel Auto-tuning
- Lecture 10第 10 讲 · 高级 ML 编译：计算图级优化 · Advanced ML Compilation: Graph-Level Optimizations (TASO, PET)
- Lecture 11第 11 讲 · 高级 ML 编译：ML 超优化 · Advanced ML Compilation: ML Superoptimization (Mirage)
- Lecture 12第 12 讲 · ML 并行化（一）：数据并行 · ML Parallelization Part 1: Data Parallelism
- Lecture 13第 13 讲 · ML 并行化（二）：零冗余与 PyTorch FSDP · Zero Redundancy and PyTorch FSDP
- Lecture 14第 14 讲 · ML 并行化（三）：模型并行与流水线并行 · Model and Pipeline Parallelism
- Lecture 15第 15 讲 · 高级 ML 并行化：自动并行 · Automated ML Parallelization
- Lecture 16第 16 讲 · LLM 服务（一）：批处理、PagedAttention、RadixAttention · LLM Serving (1)
- Lecture 17第 17 讲 · LLM 服务（二）：推测解码 · Speculative Decoding
- Lecture 18第 18 讲 · LLM 训练：参数高效微调 · Parameter-Efficient Fine-Tuning
- Lecture 19第 19 讲 · 嘉宾讲座：LLM 后训练系统的新问题 · New Problems in LLM Post-training Systems
- Lecture 20第 20 讲 · 嘉宾讲座：推进开放语言模型训练的帕累托前沿 · Advancing the Pareto Frontier of Training Open LMs
- Lecture 21第 21 讲 · LLM：混合专家（架构、内核、并行）· Mixture-of-Experts
补充与延伸
从讲义到代码
按课程目录整理的配套示例，保留各单元的文件结构。阅读讲义时，可以下载整套代码，在本地逐步探索。
下载 CMU15-779 代码请在独立虚拟环境中查看依赖后运行；未附模型权重和运行产物；示例未逐一验证。