Large Language Models: Methods and Applications
梳理大语言模型的基础方法、使用方式、评估与应用问题。
当前已整理 20 / 24 个计划主讲单元，其余内容后续补充。另有 3 篇预备与补充材料。
关于这组笔记
个人自学讲义，参考 Fall 2025 公开课程材料编写，后续主题仍在整理。
查看原课程资料适合的起点
建议熟悉 Python、机器学习、深度学习与基础自然语言处理。
本系列为个人学习整理，非学校官方发布，不代表学校或授课教师的认可或背书。
沿着目录阅读
当前 23 篇预备知识
课程讲义
- Lecture 01第 1 讲：LLM 的积木——课程概述与语言模型基础
- Lecture 02第 2 讲：Transformer 结构与预训练目标
- Lecture 03第 3 讲：预训练数据的整理与分词
- Lecture 04第 4 讲：Transformer 的改进
- Lecture 05第 5 讲：LLM 的自动评估
- Lecture 06第 6 讲：上下文学习、面向任务的微调与参数高效微调
- Lecture 07第 7 讲：[客座] 半个翻译模型该会推理吗？——推理与评估陷阱
- Lecture 08第 8 讲：[客座] 人与智能体交互中的评估与学习
- Lecture 09第 9 讲：上下文学习与模型对齐的意外行为
- Lecture 10第 10 讲：LLM 的工具调用
- Lecture 11第 11 讲：[客座] 检索增强生成（RAG）
- Lecture 12第 12 讲：扩大 LLM——规模定律
- Lecture 13第 13 讲：扩大 LLM——优化与并行训练
- Lecture 14第 14 讲：可解释性方法
- Lecture 15第 15 讲：偏见与伦理问题
- Lecture 16第 16 讲：攻击 LLM 系统与基准泄漏
- Lecture 17第 17 讲：[客座] 用 LLM 做推荐系统
- Lecture 18第 18 讲：基于人类反馈的强化学习（RLHF）
- Lecture 19第 19 讲：高效推理方法
- Lecture 20第 20 讲：聊天机器人、LLM 智能体与人工评估
从讲义到代码
按课程目录整理的配套示例，保留各单元的文件结构。阅读讲义时，可以下载整套代码，在本地逐步探索。
下载 CMU11-667 代码请在独立虚拟环境中查看依赖后运行；未附模型权重和运行产物；示例未逐一验证。