Reinforcement Learning
从决策过程与价值函数出发，理解强化学习中的策略学习与探索。
关于这组笔记
个人自学讲义，以 Spring 2024 课程为主线，并加入自行编写的扩展内容。
查看原课程资料适合的起点
建议熟悉 Python、概率、线性代数与基础机器学习。
本系列为个人学习整理，非学校官方发布，不代表学校或授课教师的认可或背书。
沿着目录阅读
当前 16 篇课程讲义
- Lecture 01第 1 讲：强化学习导论——序贯决策、马尔可夫过程与马尔可夫奖励过程
- Lecture 02第 2 讲：已知模型的规划——MDP、贝尔曼方程、策略迭代与价值迭代
- Lecture 03第 3 讲：无模型策略评估——蒙特卡洛与时序差分
- Lecture 04第 4 讲：无模型控制——SARSA、Q-learning 与探索策略
- Lecture 05第 5 讲：价值函数逼近与深度 Q 网络（DQN）
- Lecture 06第 6 讲：策略梯度 I——从策略搜索到 REINFORCE
- Lecture 07第 7 讲：策略梯度 II——Actor-Critic、GAE、TRPO 与 PPO
- Lecture 08第 8 讲：模仿学习——行为克隆、DAgger 与逆强化学习
- Lecture 09第 9 讲：从人类偏好中学习——RLHF 与 DPO
- Lecture 10第 10 讲：离线强化学习——离策略评估与悲观原则
- Lecture 11第 11 讲：探索 I——多臂老虎机、遗憾与 UCB
- Lecture 12第 12 讲：探索 II——贝叶斯方法与汤普森采样
- Lecture 13第 13 讲：探索 III——MDP 中的高效探索
- Lecture 14第 14 讲：蒙特卡洛树搜索与 AlphaGo / AlphaZero
- Lecture 15第 15 讲（拓展）：基于模型的强化学习
- Lecture 16第 16 讲（拓展）：前沿专题与全课总结
从讲义到代码
按课程目录整理的配套示例，保留各单元的文件结构。阅读讲义时，可以下载整套代码，在本地逐步探索。
下载 CS234 代码请在独立虚拟环境中查看依赖后运行；未附模型权重和运行产物；示例未逐一验证。