Machine Learning from Human Preferences
学习如何将人类偏好转化为机器学习的训练信号与评估依据。
关于这组笔记
个人自学讲义，以公开教材为主要依据，按主题组织学习内容。
查看原课程资料适合的起点
建议熟悉概率、机器学习与基础强化学习。
本系列为个人学习整理，非学校官方发布，不代表学校或授课教师的认可或背书。
沿着目录阅读
当前 18 篇课程讲义
- Lecture 01第 1 讲：课程导论——为什么要从人类偏好中学习？
- Lecture 02第 2 讲：选择数据、泛化与 Bradley–Terry 模型
- Lecture 03第 3 讲：随机效用模型与公理化
- Lecture 04第 4 讲：因子模型
- Lecture 05第 5 讲：学习选择预测——最大似然估计
- Lecture 06第 6 讲：贝叶斯估计与微调
- Lecture 07第 7 讲：Fisher 信息与实验设计
- Lecture 08第 8 讲：基于人类反馈的强化学习（RLHF）
- Lecture 09第 9 讲：直接偏好优化（DPO）
- Lecture 10第 10 讲：面向大语言模型的主动偏好获取与案例研究
- Lecture 11第 11 讲：协助博弈与多臂老虎机
- Lecture 12第 12 讲：采集函数与 Thompson 采样
- Lecture 13第 13 讲：对决老虎机与偏好贝叶斯优化
- Lecture 14第 14 讲：风格控制与代理指标
- Lecture 15第 15 讲：有限理性与可处理的选择
- Lecture 16第 16 讲：不可能定理——Gibbard–Satterthwaite 与 Arrow
- Lecture 17第 17 讲：公平与信息聚合
- Lecture 18第 18 讲：总结与实践建议
从讲义到代码
按课程目录整理的配套示例，保留各单元的文件结构。阅读讲义时，可以下载整套代码，在本地逐步探索。
下载 CS329H 代码请在独立虚拟环境中查看依赖后运行；未附模型权重和运行产物；示例未逐一验证。