Training Data for AI
研究训练数据的收集、过滤、混合与归因，以及数据如何影响模型表现。
关于这组笔记
个人自学讲义，参考 Winter 2026 的 Data for AI 公开日程、slides 与阅读论文，并补充自编评测主题和合成数据实验。
查看原课程资料适合的起点
建议熟悉机器学习、深度学习、Transformer 与基础概率。
本系列为个人学习整理，非学校官方发布，不代表学校或授课教师的认可或背书。
沿着目录阅读
当前 20 篇课程讲义
- Lecture 01Lecture 1 · 引言：为什么研究训练数据；ImageNet 的诞生与基准的可靠性 · Introduction: Why Training Data? ImageNet and the Reliability of Benchmarks
- Lecture 02Lecture 2 · 可靠泛化：分布偏移、"准确率在一条线上"与数据决定鲁棒性 · Reliable Generalization from Training Data
- Lecture 03Lecture 3 · 数据集简史：从 Highleyman 到 LAION-5B · A Brief History of Training Data, from Highleyman to LAION-5B
- Lecture 04Lecture 4 · 大规模数据处理的工具 · Software Tools for Large-Scale Data
- Lecture 05Lecture 5 · 当代图文数据集：DataComp、MetaCLIP、交错图文与基于模型的过滤 · Contemporary Image-Text Datasets
- Lecture 06Lecture 6 · 预训练数据 I：从 Common Crawl 到 DCLM · Pre-training Data I: From Common Crawl to DCLM
- Lecture 07Lecture 7 · 预训练数据 II：FineWeb、Nemotron-CC、重复与过滤的扩展律 · Pre-training Data II
- Lecture 08Lecture 8 · 后训练数据 I：指令、偏好与 AI 反馈 · Post-training Data I: Instructions, Preferences & AI Feedback
- Lecture 09Lecture 9 · 后训练数据 II：推理轨迹、智能体数据与强化学习环境 · Post-training Data II: Reasoning, Agents & RL Environments
- Lecture 10Lecture 10 · 数据混合：不同来源的数据各占多少 · Data Mixing
- Lecture 11Lecture 11 · 合成数据：改写、教科书、合成继续预训练与合成自举预训练 · Synthetic Data
- Lecture 12Lecture 12 · 数据扩展的极限：数据会用完吗？算力无限时怎么办？token 级过滤 · Limits of Data Scaling
- Lecture 13Lecture 13 · 数据归因：影响函数、Datamodels、TRAK 与元梯度 · Data Attribution
- Lecture 14Lecture 14 · 评测数据：基准怎样构建、怎样被污染、怎样保持可靠 · Data for Evaluation
- Lecture 15Lecture 15 · 机器人的训练数据：Open X-Embodiment、DROID 与 π0.5 · Training Data for Robotics
- Lecture 16Lecture 16 · 3D 数据：从 ShapeNet 到 Objaverse-XL · 3D Data
- Lecture 17Lecture 17 · 生物学 AI 的训练数据：蛋白质序列、结构与基因组 · Training Data for AI in Biology
- Lecture 18Lecture 18 · 隐私、记忆与数据投毒 · Privacy, Memorization and Data Poisoning
- Lecture 19Lecture 19 · 法律与伦理：版权、许可、同意、数据治理与公平 · Legal & Ethical Aspects of Training Data
- Lecture 20Lecture 20 · 构建你自己的训练集：方法论、实验设计与课程项目 · Building Your Own Training Set
从讲义到代码
按课程目录整理的配套示例，保留各单元的文件结构。阅读讲义时，可以下载整套代码，在本地逐步探索。
下载 CS525 代码请在独立虚拟环境中查看依赖后运行；未附模型权重和运行产物；示例未逐一验证。