MIT / MIT6.S978持续整理

Deep Generative Models

通过概率模型与研究论文,理解生成模型的训练目标、采样方法与应用。

当前已整理 17 / 24 个计划主讲单元,其余内容后续补充。另有 2 篇预备与补充材料。

关于这组笔记

个人自学讲义,参考 Fall 2024 公开 slides 与阅读清单;论文研讨部分依据论文整理,后续讲次仍在编写。

查看原课程资料

适合的起点

建议熟悉概率、微积分、线性代数与深度学习。

本系列为个人学习整理,非学校官方发布,不代表学校或授课教师的认可或背书。

沿着目录阅读

当前 19 篇

预备知识

  1. 预备知识 1Prerequisite P1 · Probability, Information & Maximum Likelihood
  2. 预备知识 2Prerequisite P2 · The Deep Learning Toolbox

课程讲义

  1. Lecture 01Lecture 1 · Introduction: What Is a (Deep) Generative Model
  2. Lecture 02Lecture 2 · Image Priors: Generative Models Before Deep Learning
  3. Lecture 03Lecture 3 · Variational Autoencoders, EM and VQ-VAE
  4. Lecture 04Lecture 4 · Normalizing Flows
  5. Lecture 05Lecture 5 · Autoregressive Models
  6. Lecture 06Lecture 6 · Classic Autoregressive Models: From NADE to PixelCNN and IAF
  7. Lecture 07Lecture 7 · Tokenizers and Autoregressive Generation
  8. Lecture 08Lecture 8 · Autoregression Meets Diffusion
  9. Lecture 09Lecture 9 · Generative Adversarial Networks
  10. Lecture 10Lecture 10 · Scaling GANs: Text-to-Image and Distillation
  11. Lecture 11Lecture 11 · Modern GAN Theory: Convergence, Noise and Scores
  12. Lecture 12Lecture 12 · Energy-Based Models, Score Matching and Diffusion Models
  13. Lecture 13Lecture 13 · Diffusion in Practice: Guidance, Distillation and High Resolution
  14. Lecture 14Lecture 14 · Diffusion without Gaussian Denoising
  15. Lecture 15Lecture 15 · Discrete Diffusion
  16. Lecture 16Lecture 16 · Flow Matching
  17. Lecture 17Lecture 17 · Scaling Flow Matching, and Discrete Flow Matching

从讲义到代码

按课程目录整理的配套示例,保留各单元的文件结构。阅读讲义时,可以下载整套代码,在本地逐步探索。

下载 MIT6.S978 代码

请在独立虚拟环境中查看依赖后运行;未附模型权重和运行产物;示例未逐一验证。

返回全部课程