第 15 讲：有限理性与可处理的选择

对应：Stanford CS329H Fall 2026 Lecture 15（11/11 Bounded rationality & tractable choice）。依据教材第 4 章、第 5 章 5.7、5.9 节及相应幻灯片；逆强化学习依据 Ng & Russell（2000）、Abbeel & Ng（2004）、Ziebart 等（2008）；“没有免费午餐”依据 Armstrong & Mindermann（2018）；统一的”奖励理性选择”框架依据 Jeon、Milli、Dragan（2020）；考虑集依据 Manzini & Mariotti（2014）；时间不一致依据 Laibson（1997）；参与度与反思偏好依据 Kleinberg、Mullainathan、Raghavan（2022）。 配套代码：code/lecture15/（只需要 numpy） 预计阅读时间：3 小时（含运行代码）

0. 本讲导航

0.1 学完本讲，你应该能够

1. 写出玻尔兹曼理性的模型，解释 β 的意义；说出 BT 模型、RLHF 的奖励模型和逆强化学习为什么是”同一个假设”的不同应用。
2. 写出最大熵逆强化学习的轨迹分布和梯度，解释”特征计数匹配”的直觉；说出学奖励比模仿动作好在哪里。
3. 说出奖励在什么意义下”只确定到一定程度”（常数、β 与奖励的乘积），以及”没有免费午餐”定理的含义：不对理性做假设，就无法从行为反推偏好。
4. 用短视、注意力有限的例子解释”把能力的局限误读成偏好”的后果，说出考虑集模型和位置效应的关系。
5. 区分显示偏好和陈述偏好、即时的偏好和反思的偏好；用双曲贴现解释时间不一致。
6. 讨论”系统什么时候可以不照着人的选择做”，说出家长主义的风险和几条判断的原则。

0.2 先修知识

0.3 本讲地图

第1节  反演问题：行为 = 偏好 × 理性 × 情境
第2节  玻尔兹曼理性与逆强化学习                       ← 代码 01
第3节  理性的假设错了会怎样？没有免费午餐               ← 代码 02
第4节  行为偏差、考虑集与可处理的选择模型               ← 代码 03
第5节  显示偏好 vs 陈述偏好                            ← 代码 04 演示 1
第6节  家长主义：什么时候可以不照着人的选择做           ← 代码 04 演示 2
第7–11节 小结、与考核的关系、练习、延伸阅读、下一讲预告

0.4 关于数字

本讲的数字都来自配套代码的实际运行（随机种子固定，每个文件不超过 3 秒）。网格世界、推荐系统、用户类型都是模拟；示范者的理性程度、注意力的衰减（0.85^j）、贴现系数是设定出来的，只说明方法的性质。真实研究的结论单独标出。

1. 反演问题：行为 = 偏好 × 理性 × 情境

1.1 一个例子

你的朋友每天开车上班，总是走一条绕远的路。你能推断出什么？

• 也许 TA 喜欢那条路（风景好、不堵）。
• 也许 TA 不知道有更近的路（信息有限）。
• 也许 TA 知道，但懒得换（习惯、现状偏好）。
• 也许那天 TA 只是随便走的（噪声）。

同一个行为，四种解释，对应四种完全不同的”偏好”。如果你要给 TA 推荐路线，四种解释给出四种建议。

1.2 一个公式

把这个例子写成概率：我们观察到的是行为 $B$，想知道的是心里的偏好（或者更一般的”心理状态”）$M$。两者之间隔着理性模型和情境 $C$：

同样的偏好，在不同的情境（选项怎样排列、有没有时间想、有没有被提醒）下会产生不同的行为；同样的行为，在不同的理性模型下会被解读成不同的偏好。

前 13 讲默认了一个最简单的理性模型：人按效用做带噪声的选择（BT、多项 logit）。第 14 讲看到，“呈现”和”测量”会扭曲这个过程（长度、格式、点击）。这一讲看”人本身”：注意力有限、看不远、会随时间改主意。

1.3 为什么这件事对偏好学习格外重要

因为偏好学习的整个流水线都建立在”从行为反推偏好”上：

如果理性假设错了，学到的”偏好”就错了；更糟的是，系统会放大这个错误（第 8 讲：优化会利用奖励模型的每一个缺陷）。

Herbert Simon（1955）的”有限理性”：人不是无所不知、计算能力无限的优化者，而是在有限的信息、有限的时间、有限的计算能力下”做得还行”（satisficing，满意即可）。这一讲把这个想法变成可以计算的模型。

2. 玻尔兹曼理性与逆强化学习

2.1 玻尔兹曼理性：一个熟悉的假设

第 3 讲的多项 logit：选项 $a$ 的效用是 $u(a)$，人选 $a$ 的概率

β 叫理性程度（也叫”逆温度”，来自统计物理的玻尔兹曼分布）：

• β → ∞：总是选效用最高的（完全理性）。
• β = 0：完全随机（不看效用）。
• 中间：效用越高越可能被选，但不保证。

为什么是这个形式？ 第 3 讲给过一个理由：效用加上独立的耿贝尔噪声，取最大的那个，恰好得到这个公式（随机效用模型）。另一个理由来自信息论：在”期望效用不低于某个水平”的约束下，熵最大（最”不做多余假设”）的选择分布就是它。这也是”最大熵 IRL”名字的来源。

它就是 BT。两个选项时，$P(a) = \sigma(\beta(u(a) - u(b)))$——第 1 讲的 BT 模型。RLHF 的奖励模型、Chatbot Arena 的排名，都假设标注员是玻尔兹曼理性的。Jeon、Milli、Dragan（2020）把这个观察推广成一个统一的框架（“奖励理性的选择”）：比较、示范、纠正、按停止按钮、甚至”什么都不做”，都可以看作人在某个选项集合里按玻尔兹曼理性做的选择，只是选项集合不同。

2.2 从选择到序列决策：逆强化学习

比较是”一次”选择。很多时候人的行为是一连串的决策：开车、做菜、写代码、操作机器人。

强化学习（第 8 讲）：给定奖励函数，找出最好的行为。 逆强化学习（IRL，Ng & Russell 2000）：给定行为（示范），反推奖励函数。

为什么不直接模仿行为（行为克隆）？因为奖励比行为更简洁、更能推广。“讨厌水坑、喜欢花丛、想到达目标”三句话，可以指导在任何地图上怎样走；“在 (3, 2) 往右走”只在这张地图上有意义。代码 01 的演示 2 会看到这一点。

IRL 的第一个困难，Ng & Russell 一开始就指出了：问题是病态的。奖励处处为 0 能”解释”任何行为（所有行为都一样好）。所以需要额外的假设来挑出”合理”的奖励：

• Ng & Russell（2000）：挑让示范的行为”比其他行为好得最多”的奖励（最大间隔）。
• Abbeel & Ng（2004）：特征匹配——如果奖励是特征的线性函数 $r(s) = w \cdot \phi(s)$，那么只要学到的策略访问各个特征的次数和示范一样，它在任何 $w$ 下的回报都和示范一样。
• Ziebart 等（2008）：最大熵 IRL——在”特征计数匹配”的所有轨迹分布里，挑熵最大的那个。结果恰好是：轨迹按玻尔兹曼理性分布。

2.3 最大熵 IRL

模型。轨迹 $\tau = (s_0, s_1, \dots, s_{T-1})$ 的总奖励 $R(\tau) = \sum_t \theta \cdot \phi(s_t)$。最大熵 IRL 假设

——又是玻尔兹曼，只是选的对象从”一个选项”变成了”一整条轨迹”。

怎样用策略实现它？ 不需要枚举所有轨迹。用”软”的价值迭代（irl_tools.soft_value_iteration），从最后一步往前算：

其中 $s'$ 是在 $s$ 做 $a$ 之后到达的格子（本讲的网格世界里转移是确定的），$V_T = 0$。“软”的最大值 $\frac{1}{\beta}\log\sum e^{\beta Q}$ 在 β 大时接近 $\max Q$。

为什么按这个策略走，轨迹恰好按 $\exp(\beta R(\tau))$ 分布？把每一步的概率乘起来：

中间的 $V$ 一项一项抵消了（练习 1）。$e^{\beta V_0(s_0)}$ 正是归一化常数 $Z$。

梯度。对数似然 $\log P(\tau \mid \theta) = \beta R(\tau) - \log Z(\theta)$。对 θ 求导：

又是”实际 − 预期”。第 5 讲的 BT 梯度是”实际赢的次数 − 模型预期赢的次数”；第 9 讲的矩匹配也是这个结构。梯度为 0 时，模型预期”走过多少水坑、多少花丛”和示范一致——这正是 Abbeel & Ng 的特征匹配。

模型预期的特征计数用 visitation 精确计算：从起点的分布出发，按策略一步步推出每一步在每个格子的概率，再乘以特征。

2.4 模拟：示范越多，学得越准

代码 01：7 × 7 的地图，每个格子是道路、草地、水坑、花丛之一，右上角是目标。示范者从左下角出发，按玻尔兹曼理性（β = 2）走 20 步。真实的奖励（相对于道路）：草地 −0.3，水坑 −1.9，花丛 +0.7，目标 +2.1。

20 条示范就能学出大致的方向（讨厌水坑、喜欢花丛、想到达目标），100 条就很准了。只有 5 条时，水坑的奖励偏小：几乎没有示范踩过水坑，“多讨厌水坑”主要由正则化决定——和第 6 讲”没有数据的地方只能靠先验”一样。

一个和最初设计不一样的地方：一开始每条轨迹只走 14 步，示范几乎到不了目标，目标的奖励完全学不出来。这本身就是一个教训：IRL 只能学到示范”经历过”的东西。人从没有机会做的选择，透露不出 TA 对它的偏好（第 4 节的考虑集是同一个问题）。

2.5 为什么学奖励，而不是模仿动作

用原地图上的 100 条示范学习，在三张地图上比较期望的真实回报（20 步的奖励之和）：

在原地图上，行为克隆也不错——它模仿的就是这张地图上的示范（只是带着示范者的随机性）。换一张地图，行为克隆照搬”在这个格子往哪走”，可这个格子周围的地形已经变了，回报掉了一半。按学到的奖励重新规划，在新地图上和真实的最优一样好。

这正是 RLHF “先学奖励模型、再优化”的动机（第 1、8 讲）：奖励模型描述的是”人喜欢什么”，能用在示范里没出现过的提示和回答上。当然，第 8 讲也看到了它的代价：奖励模型在示范之外的地方可能不准，优化会利用这一点（第 14 讲的极端型古德哈特）。

2.6 可识别性：奖励只能确定到什么程度

代码 01 的演示 3：

• 常数：每个格子恰好有一种地形，所有奖励加同一个常数，每条轨迹的总奖励都多了 $5T$，轨迹的相对概率不变。所以表里的奖励都报”相对于道路”的值。这和 BT 模型”只确定差值”一样（第 1 讲）。
• 尺度：$P(\tau) \propto \exp(\beta R(\tau))$ 里只有 $\beta \theta$ 出现。一个”很理性、但不太在乎”的人和一个”不太理性、但很在乎”的人，行为一模一样。
• 更一般的：Ng、Harada、Russell（1999）的”奖励塑形”：$r'(s, s') = r(s) + \gamma\Phi(s') - \Phi(s)$ 对任意函数 Φ 都不改变最优策略。在更一般的环境里，能从行为确定的奖励是一个”等价类”（Kim 等 2021；Cao 等 2021；Skalse 等 2023 系统地研究了这件事）。

在同一个任务里用学到的奖励，这些不确定都无所谓。可一旦要比较——不同人的偏好怎样加总（第 16 讲）、“这件事对 TA 多重要”和”打扰 TA 的代价”怎样权衡——尺度就决定了结论。

3. 理性的假设错了会怎样？没有免费午餐

代码 01 里，学习时假设的理性模型恰好是对的（β = 2、看到全程）。现实中我们不知道人到底怎样从偏好产生行为。

3.1 短视：把能力的局限误读成偏好

代码 02 的演示 1：示范者的奖励就是真实的奖励，但 TA 每一步只往前看 3 步。300 条示范从地图上随机的位置出发，只有 14% 到达了目标——离得远的人看不见目标，在附近的花丛转悠。

假设”TA 看到了全程”的 IRL 只能这样解释示范：“目标对 TA 没什么价值”——目标的奖励从 +2.1 被低估到 +0.3。地形的奖励学得还行：短视的人也会避开眼前的水坑。

后果在”帮助”上显现出来。一个看得到全程的助手按学到的奖励替 TA 行动（从左下角出发）：

按”错的”奖励行动的助手比示范者自己好（它至少看得远），但它不会特意去目标——它以为 TA 不在乎。按”对的”奖励行动的助手达到了最优：知道人想要什么，并且弥补人能力上的局限。这才是辅助博弈（第 11 讲）想要的”帮助”。

又一个和最初设计不一样的地方：一开始短视的示范都从左下角出发，结果没有一条示范到达目标——这时”对的”和”错的”理性模型都学不出目标的奖励（目标的奖励多大，都不影响一个看不见目标的人怎样走）。改成随机出发后，离目标近的人会去目标，“对的”模型才能从这些示范里推断出目标的价值。这说明：正确的理性模型也只能从”偏好确实影响了行为”的数据里学习。

3.2 理性程度估错：尺度错了

代码 02 的演示 2：示范者的真实 β = 1，分别假设 β = 0.5、1、2、4 做 IRL：

假设的 β 越大（以为人越理性），学到的奖励越小；β × θ 几乎不变——这正是 2.6 节的可识别性。把一个”很随机的人”误当成”很理性的人”，会以为 TA 根本不在乎。在第 11 讲的辅助博弈里，这会直接改变助手的行为：以为人不在乎，助手就不会为了 TA 的偏好付出代价。

【偏好学习联系】 RLHF 的奖励模型同样只确定到尺度。不同标注员的”理性程度”不同（有的人认真、有的人随便），混在一起拟合一个 BT，相当于假设所有人 β 相同——认真的标注员的偏好被”稀释”了。第 1 讲给每个标注员一个”尺度” $b_i$、第 4 讲的因子模型给每个人一组参数，都是为了处理这类问题；第 17 讲的 Dawid–Skene 会更系统地讲标注员的可靠性。

3.3 没有免费午餐

前两个例子里，只要用对了理性模型，就能恢复奖励。那么，能不能同时从数据里学出理性模型和奖励？

Armstrong & Mindermann（2018）的回答是：不能，至少不能只靠行为。代码 02 的演示 3 构造了三种完全不同的解释：

1. 理性的人 + 奖励 R：按 $\exp(\beta Q)$ 选动作，用”软”的最大值规划。
2. “反理性”的人 + 奖励 −R：总想做最坏的选择——按 $\exp(-\beta Q)$ 选动作，用”软”的最小值规划。
3. 不看奖励的人 + 任意奖励：只是习惯按某个策略走。

前两种的策略在全部 20 步 × 49 个格子 × 5 个动作上的最大差异：0。第三种按定义就和前两种一样。

为什么？“反理性 + (−R)“里，$-R$ 的”软最小值”恰好等于 $R$ 的”软最大值”取负号，两个负号抵消。一般地，任何策略 π 都可以写成”规划者 p 作用在奖励 R 上”：$\pi = p(R)$。把 p 换成”先把 R 取负、再用 p”，把 R 换成 −R，策略不变。数据只看到 π，永远分不清 $(p, R)$ 和 $(p', R')$。

Armstrong & Mindermann 进一步证明：即使加上”越简单越好”（奥卡姆剃刀）的先验，也救不了——“什么都不在乎、只是习惯这样走”往往是最简单的解释之一，而它不包含任何关于偏好的信息。

这意味着什么？ 从行为反推偏好，必须对人的理性做假设。这不是一个技术细节，而是一个不可避免的规范性选择：我们相信人大体上在追求自己想要的东西。

3.4 出路

没有免费午餐不是说”偏好学习不可能”，而是说”假设不可避免，要明确地做、谨慎地检查”。几条路：

• 用”大体理性、略有噪声”作为默认假设：玻尔兹曼理性就是这样一个假设。它在很多任务上工作得不错，因为人确实大体上在追求自己的目标。
• 为已知的偏差建模：短视（只看 k 步）、不知道某些信息（Evans、Stuhlmüller、Goodman 2016 “无知、不一致的智能体”）、对环境的错误理解（Reddy、Dragan、Levine 2018：人以为的物理规律和真实的不一样）、时间不一致（第 5 节）。每一种都需要心理学的知识，而不是只靠数据。
• 从少量”知道偏好”的数据里学习偏差：Shah 等（2019）尝试在一些已知奖励的任务上学出人的”规划方式”，再用到新任务上。效果有限，但说明偏差在一定程度上可以学。
• 结合人说的话：人的陈述（“我想到目标”）可以打破行为的不可识别（第 5 节）。
• 敏感性分析：在几种合理的理性假设下分别做 IRL，看结论是否稳健。如果结论在不同假设下相反，就不要基于它做重要的决定。

【偏好学习联系】 RLHF 不太受”没有免费午餐”的困扰，因为比较是一个非常简单的决策（没有长期规划，选项就在眼前），玻尔兹曼理性是一个不错的近似。可一旦我们从更复杂的行为里学习——用户在多轮对话里怎样追问、怎样放弃、在什么时候点”重新生成”——理性假设的影响就会变大。

4. 行为偏差、考虑集与可处理的选择模型

4.1 经典的行为偏差

行为经济学几十年的研究积累了大量”人的选择偏离理性模型”的证据。和偏好学习关系最密切的几个：

一个提醒：这些效应的大小和稳健性差别很大。选择过载的元分析（Scheibehenne、Greifeneder、Todd 2010）发现平均效应接近 0，只在某些条件下出现；一些著名的启动效应研究没能被复制。用到偏好学习时，应该在自己的数据里检验，而不是假设它一定存在。

4.2 考虑集：没被选中，可能只是没被看到

很多偏差可以用一个简单的两步模型解释：

1. 考虑：人先从所有选项里挑出一个”考虑集”（注意到的、想得起来的、愿意认真看的）。
2. 选择：在考虑集里按效用（带噪声地）选一个。

多项 logit 只有第 2 步，假设所有展示的选项都被考虑了。如果真实的过程有第 1 步，多项 logit 就会把”没被考虑”当成”效用低”。

代码 03 的模拟：30 个内容，每次展示 10 个，排列顺序按一个和效用无关的”热门程度”（所以有的内容总在前面，有的总在后面）。第 j 个位置被考虑的概率 $a_j = 0.85^j$（第 1 位 1.00，第 10 位 0.23）。两个模型：

• 普通 MNL：$P(\text{选位置 } j) \propto \exp(u_{\text{item}_j})$
• MNL + 位置效应：$P(\text{选位置 } j) \propto \exp(u_{\text{item}_j} + \lambda_j)$，λ_0 = 0

普通 MNL 系统性地低估常排在后面的内容：后排的 15 个内容平均被低估了 0.88（相对于前排的）。误差和位置几乎完全负相关。

学到的位置效应：

λ_j：+0.00  −0.18  −0.38  −0.53  −0.75  −0.99  −1.17  −1.34  −1.53  −1.69
log a_j：0  −0.16  −0.33  −0.49  −0.65  −0.81  −0.98  −1.14  −1.30  −1.46

方向一致、大小接近，学到的略陡一些。为什么位置效应只是近似？被考虑的概率 $a_j$ 相当于给第 j 个选项的 $\exp(u)$ 乘上 $a_j$——但只在期望意义上。真实的过程是”要么完全看到、要么完全没看到”，没被看到的选项也不在分母里，这和”每个选项都在分母里、只是权重小一点”不完全一样。

4.3 反事实：把一个好内容挪到前面

最能说明问题的是反事实。内容 #21 的真实效用是 30 个里最高的（+1.84），但平时平均排在第 8.9 位。把它放在一个新列表的第一位，它被选中的概率：

普通 MNL 认为它不受欢迎，预测只有 9%——推荐系统按这个估计，不会把它往前放，它会一直待在后面，一直”看起来不受欢迎”。这就是第 11 讲的反馈循环：系统的展示决定了数据，数据又决定了展示。

【偏好学习联系】 LLM 的标注里也有”考虑集”：标注员读一个很长的回答时，可能只认真看了开头；比较四个回答时，可能只认真比较了前两个。Chatbot Arena 把两个回答并排展示、随机左右，部分就是为了让两者被”考虑”的机会一样。

4.4 “可处理的选择”：模型越真实，越难计算

课程这一讲的标题是”有限理性与可处理的选择”。可处理指的是计算上的可处理：模型能不能写出似然、能不能拟合。

• 多项 logit：$P(a) = e^{u_a}/\sum_b e^{u_b}$，闭式，可以高效拟合（第 3、5 讲）。

• 一般的考虑集模型：$P(a) = \sum_{C \ni a} P(\text{考虑集} = C) \cdot \frac{e^{u_a}}{\sum_{b \in C} e^{u_b}}$。要对所有可能的考虑集求和——10 个选项就有 $2^{10} = 1024$ 个子集，100 个选项就完全不可能了。

• 可处理的特例：Manzini & Mariotti（2014）的随机考虑集模型：每个选项独立地以概率 γ(a) 被考虑，人在考虑集里确定地选最好的（按一个固定的偏好顺序）。这时

  $P(a) = \gamma(a) \prod_{b \succ a} (1 - \gamma(b))$

  ——a 被考虑了，并且所有比 a 好的都没被考虑。闭式，可以拟合（练习 5）。

• 位置效应是另一个可处理的近似：把考虑的概率吸收进 logit。

这是一个反复出现的权衡：更真实的人的模型往往更难计算。偏好学习的很多研究，就是在”足够真实以避免严重的误读”和”足够简单以便拟合”之间找平衡。

5. 显示偏好 vs 陈述偏好

5.1 两种了解偏好的方式

• 显示偏好（revealed preference，Samuelson 1938）：看人选了什么。经济学的传统：选择是唯一可靠的证据，人说什么不重要。点击、购买、两两比较，都是显示偏好。
• 陈述偏好（stated preference）：问人想要什么。问卷、访谈、“你觉得这个回答有多好（1~7 分）“、联合分析（conjoint analysis）。

经济学偏爱显示偏好有一个好理由：人说的话不用付出代价，可能不认真、可能为了面子、可能是想象中的自己（“假设性偏差”）。人做的选择有真实的后果。

可是这一讲前面的内容已经说明，显示偏好也不可靠：选择受呈现方式、注意力、理性程度的影响。还有一个更根本的问题：人的选择本身可能不一致。

5.2 时间不一致：同一个人，两个”自我”

代码 04 的演示 1：选项甲是 d 天后拿 100 元，选项乙是 d + 1 天后拿 110 元。

指数贴现（价值 = 金额 × 0.95^天数）：两个选项的价值之比只取决于”相隔几天”，和”从现在起还有几天”无关，所以无论 d 多大，选择都一样。这是经济学的标准模型，它保证偏好时间一致。

双曲贴现（价值 = 金额 / (1 + 0.2 × 天数)）：对”马上”格外没耐心，对”以后”却很有耐心。d ≤ 3 时选甲，d ≥ 7 时选乙，d = 5 时恰好相等（练习 6）。大量实验证据表明人（和动物）的贴现更接近双曲（Ainslie 1975；Thaler 1981；Laibson 1997 用 β-δ 模型刻画了同样的现象）。

后果：一个月前，TA 计划”到时候我会多等一天拿 110”；到了那一天，TA 拿了 100。两次选择都是 TA 真实做出的。哪个才是 TA 的”真正偏好”？ 显示偏好的理论本身给不出答案——它只能说”人在不同时刻显示了不同的偏好”。

Thaler & Shefrin（1981）把这描述成一个人身上的两个”自我”：有远见的计划者和只顾眼前的执行者。很多人会主动约束未来的自己（把零食放在够不着的地方、设定每日的屏幕时间上限），这本身说明 TA 们认同计划者的偏好。

5.3 即时的偏好 vs 反思的偏好

推荐系统里，时间不一致表现为即时的偏好和反思的偏好不同：

• 深夜刷短视频时，用户一个接一个地点（即时的选择）。
• 第二天早上，同一个用户说”我想少刷一点，多看点有用的东西”（反思的判断）。

Kleinberg、Mullainathan、Raghavan（2022）用”系统 1 / 系统 2”（Kahneman 的快思考与慢思考）建模这个现象：用户的点击部分来自冲动（系统 1），部分来自深思熟虑的偏好（系统 2）。只优化参与度的系统会学到系统 1 的偏好，而且会推荐越来越多”让人停不下来”的内容。作者证明，在这个模型里，按参与度优化可能让用户的（反思的）效用下降，同时参与度上升。第 14 讲代码 04 的”参与度陷阱”是同一件事的模拟。

Milli、Belli、Hardt（2021）提出用不同类型的信号（点赞、收藏、“不感兴趣”、分享）分别对应不同程度的”深思熟虑”，结合起来估计用户的”价值”，而不是只看点击。

5.4 陈述偏好也不完美

问人”想要什么”能拿到反思的偏好，但也有它的问题：

• 意图与行为的差距：人说”我想多运动”，不一定真的想要一个每天提醒 TA 运动的 App。
• 社会期望：人倾向于说”体面”的答案（“我主要看新闻和纪录片”）。
• 问法的影响：问题怎样措辞、选项怎样排列，影响回答（第 2、11 讲，本讲 4.1 节的框架效应）。
• 难以表达：很多偏好人自己也说不清（“我喜欢这种写作风格，但说不出为什么”）——这正是用比较而不是打分的理由之一（第 1 讲）。
• 稀疏：问卷很少有人填（第 14 讲代码 04 里只有 10%）。

实践中的做法：把两种信号结合起来。显示偏好数据多但有偏，陈述偏好数据少但更接近反思的偏好。用陈述偏好来校准显示偏好（例如第 14 讲代码 04 的”混合目标”），而不是二选一。

6. 家长主义：什么时候可以不照着人的选择做

6.1 三种推荐方式

如果人的选择和人”真正想要的”不一样，系统应该按哪个做？代码 04 的演示 2 比较三种做法。20 个内容，每次推荐 5 个，两类用户：

• A 类（70%）：反思效用和即时吸引力只有弱相关——很多”吸引人的内容”事后觉得不值。
• B 类（30%）：本来就想要轻松的娱乐——反思效用和即时吸引力高度一致。

• 按点击：参与度最高，A 类用户的反思效用只有 TA 们能得到的一半左右（0.62 vs 1.17）。
• 按”平均问卷”：总体反思效用比按点击高，A 类用户好了很多。可 B 类用户从 0.83 掉到 0.23——被推荐了 TA 们并不想要的”有益内容”。这就是家长主义：系统替用户决定什么对 TA 们好，而这个”好”是多数人（或设计者）的标准。
• 按各自的问卷：两类用户都最好。“不照着点击做”不等于”替用户做主”：可以尊重每个人自己冷静时说的话。
• 代价：参与度从 0.86 掉到 0.08。如果平台按参与度考核，这个做法很难被采用——第 14 讲的代理指标问题又回来了。

【边界】 这个模拟假设问卷完全准确，并且每类用户的反思偏好已知。现实中两者都不成立（5.4 节）。结论依赖于”两类用户的反思偏好不同”：如果所有人想要的都一样，“平均问卷”就和”各自的问卷”一样好。

6.2 家长主义的光谱

“家长主义”（paternalism）：为了一个人自己的利益，违背 TA 的意愿（或不经 TA 同意）替 TA 做决定。它有一个光谱：

Thaler & Sunstein 称”助推”为”自由主义的家长主义”：既然选择架构不可避免（总要有一个默认选项、总要有一个排序，第 11 讲），就应该把它设计得对人有利，同时保留人选择的自由。批评者指出：谁决定”对人有利”？助推往往不透明，人不知道自己被引导了。

6.3 几条判断的原则

没有简单的答案，但有几条常被讨论的原则：

1. 人自己认同吗？（反思的认可）如果一个人冷静时会认同系统的做法（“谢谢你提醒我该睡觉了”），偏离 TA 一时的选择更容易被接受。哲学上这叫”二阶偏好”（Frankfurt 1971）：人对自己的偏好有偏好（“我希望我不想抽烟”）。
2. 证据有多强？ 系统有多确定人的选择是”错误”而不是”不同的偏好”？第 3 节说明：从行为推断”人错了”需要很强的理性假设。证据弱时，倾向于尊重选择。
3. 后果有多大、可不可逆？ 低风险、可撤销的场景（推荐一部电影），偏离的理由要很强；高风险、不可逆的场景（医疗、金融决策），提醒和确认更合理。
4. 透明吗？能推翻吗？ 让用户知道系统在做什么，并且能轻松地改回来，大大降低了家长主义的风险。
5. 尊重人和人的不同吗？ 演示 2 的教训：用”平均的好”替代每个人的偏好，伤害的往往是少数人。这和下一单元的聚合问题直接相关（第 16、17 讲）。

6.4 和辅助博弈的联系：服从还是推断？

第 11 讲的辅助博弈里，助手不知道人的奖励，只能从人的行为推断。一个自然的问题：助手应该服从人的命令，还是按推断出的偏好行动？

Milli、Hadfield-Menell、Dragan、Russell（2017）的”机器人应该服从吗？“分析了这个权衡：

• 如果人不完全理性（会犯错），一个按推断行动的机器人可以做得比完全服从更好——它能纠正人的错误。
• 可是如果机器人对人的理性模型（或奖励的假设空间）是错的，按推断行动可能比服从差得多——它会”纠正”人其实是对的选择。
• 所以，当机器人对自己的模型不确定时，服从是一种安全机制。

这正是本讲的主线：纠正人的能力，完全依赖于理性模型的正确性。代码 02 的短视例子里，“对的”理性模型让助手达到最优，“错的”让助手以为人不在乎目标。在现实中，我们很少能确定理性模型是对的。

【偏好学习联系】 LLM 的”讨好”（sycophancy，第 14 讲）和”过度拒绝”是这个问题的两端：讨好是过度服从（说用户想听的话），过度拒绝是过度家长主义（替用户决定什么信息对 TA 有害）。一个好的助手需要在两者之间找到位置，而这个位置本身是一个价值判断，不是一个技术问题。

7. 小结

1. 反演问题：行为 = 偏好 × 理性模型 × 情境。同一个行为可以有完全不同的解释，从行为反推偏好必须对另外两项做假设。
2. 玻尔兹曼理性是贯穿全课的默认假设：BT、多项 logit、RLHF 的奖励模型、最大熵 IRL 都是它的应用。β 是理性程度，只有 β × 奖励可识别。
3. 最大熵 IRL：轨迹 $\propto \exp(\beta R(\tau))$，用软价值迭代实现；梯度 = β ×（示范的特征计数 − 模型预期的特征计数）。学到的奖励能推广到新地图（15.2 vs 行为克隆的 7.7），这是”先学奖励”的理由。
4. 理性假设错了：短视被误读成”不在乎目标”（+2.1 → +0.3），用对的模型就能恢复并帮到人。β 估错只改变尺度，但尺度在比较和聚合时很重要。
5. 没有免费午餐：理性 + R 与反理性 + (−R) 的行为完全一样。理性的假设不可避免，是一个规范性选择；出路是明确地做、为已知偏差建模、结合陈述偏好、做敏感性分析。
6. 考虑集：没被选中可能只是没被看到。普通 MNL 系统性地低估后排的内容（秩相关 0.84 vs 0.998），会造成反馈循环。更真实的模型更难计算，“可处理”是一个真实的约束。
7. 显示 vs 陈述：选择会随时间不一致（双曲贴现），即时的偏好和反思的偏好可能不同。陈述偏好也有问题；实践中结合两者。
8. 家长主义：替人做主的代价往往落在少数人身上。尊重每个人自己的反思偏好、透明、可推翻，是比”平均的好”更稳妥的做法。

8. 与测验、口试和项目的关系

• 测验与口试可能会问：写出玻尔兹曼理性的模型，解释 β；为什么 BT 是玻尔兹曼理性的特例；最大熵 IRL 的轨迹分布和梯度；为什么学奖励比行为克隆更能推广；奖励在什么意义下不可识别；“没有免费午餐”定理说了什么、为什么奥卡姆剃刀救不了；短视被误读成什么；考虑集模型和多项 logit 的区别、为什么会产生反馈循环；双曲贴现为什么导致偏好反转；家长主义的风险和判断原则。
• 期末项目：如果你的项目从行为数据（点击、选择、示范）学习偏好，在预分析计划里明确写出你对人的理性做了什么假设（至少：噪声水平是否相同、是否考虑了位置 / 注意力、是否存在时间不一致），并至少在一种替代假设下做敏感性分析。如果你的系统会”纠正”人的选择，说明依据和用户推翻它的方式。

9. 练习

练习 1（软价值迭代与轨迹分布）。证明：在确定的转移下，按 $\pi_t(a \mid s) = \exp(\beta(Q_t(s,a) - V_t(s)))$ 走，轨迹的概率是 $P(\tau) = \exp(\beta R(\tau) - \beta V_0(s_0))$（$V_T = 0$）。

在确定的转移下，给定 $s_t$ 和 $a_t$，$s_{t+1}$ 是确定的，所以轨迹的概率就是每一步选动作的概率之积：

$P(\tau) = \prod_{t=0}^{T-1} \exp(\beta(Q_t(s_t,a_t) - V_t(s_t)))$。

代入 $Q_t(s_t, a_t) = r(s_t) + V_{t+1}(s_{t+1})$：

$\log P(\tau) / \beta = \sum_t r(s_t) + \sum_t V_{t+1}(s_{t+1}) - \sum_t V_t(s_t) = R(\tau) + V_T(s_T) - V_0(s_0) = R(\tau) - V_0(s_0)$。

中间的项两两抵消（“望远镜求和”）。所以 $P(\tau) \propto \exp(\beta R(\tau))$，归一化常数是 $\exp(\beta V_0(s_0))$。注意：如果转移是随机的，这个等式不再成立，需要”最大因果熵”的版本（Ziebart 等 2010）。

练习 2（最大熵 IRL 的梯度）。由 $\log P(\tau \mid \theta) = \beta\, \theta \cdot \Phi(\tau) - \log Z(\theta)$（$\Phi(\tau) = \sum_t \phi(s_t)$），推导梯度，并解释梯度为 0 时意味着什么。

$Z(\theta) = \sum_\tau \exp(\beta\, \theta \cdot \Phi(\tau))$，所以 $\nabla_\theta \log Z = \frac{\sum_\tau \beta \Phi(\tau) e^{\beta\theta\cdot\Phi(\tau)}}{Z} = \beta\, E_{\tau \sim P_\theta}[\Phi(\tau)]$。

平均对数似然的梯度 $= \beta\left(\frac{1}{n}\sum_i \Phi(\tau_i) - E_{P_\theta}[\Phi]\right)$。

梯度为 0：模型预期的特征计数等于示范的平均特征计数（“特征匹配”）。这和第 5 讲的 BT（“每个选项预期赢的次数 = 实际赢的次数”）、指数族的最大似然（“充分统计量的期望 = 样本均值”）是同一个结构。

练习 3（可识别性）。(a) 说明为什么在本讲的网格世界里，所有奖励加同一个常数不改变策略。(b) 如果有的格子没有任何特征（φ = 0），还成立吗？(c) 为什么 β 和 θ 只有乘积可识别？

(a) 每个格子恰好有一个特征为 1，所以所有特征的权重加 c，等价于每个格子的奖励加 c；每条轨迹恰好走 T 步，总奖励都加 cT，$P(\tau) \propto \exp(\beta R(\tau))$ 的相对大小不变。 (b) 不成立：没有特征的格子奖励恒为 0，加 c 之后其他格子相对它变好了，行为会变。这时奖励的”零点”由那些格子固定，就可以识别绝对的大小了。（在有”终止”的环境里，轨迹长度不同，常数也会改变行为：所有奖励都为负时，人想早点结束。） (c) 似然只通过 $\beta\theta$ 依赖于两者：$(\beta, \theta)$ 和 $(c\beta, \theta/c)$ 给出完全相同的轨迹分布。

练习 4（没有免费午餐）。给定任意策略 π，构造两个不同的”(规划者, 奖励)“对，它们都产生 π。为什么”选最简单的解释”不能帮我们挑出”真正的”那一对？

构造 1：规划者 = “忽略奖励，直接输出 π”，奖励 = 0（或任意）。构造 2：如果 π 是某个奖励 R 的玻尔兹曼策略，规划者 = 玻尔兹曼理性，奖励 = R；同时”反玻尔兹曼”规划者 + (−R) 也产生 π（代码 02 的演示 3）。

奥卡姆剃刀的问题：构造 1 的”规划者”就是 π 本身，复杂度和 π 一样；构造 2 需要描述规划算法 + R，复杂度不一定更低。而”反理性 + (−R)“和”理性 + R”复杂度几乎一样（只差一个负号）。Armstrong & Mindermann 证明，在一般的复杂度度量下，最简单的解释往往是退化的（例如”不在乎任何东西”），不包含偏好的信息。所以必须引入”人大体理性”这样的规范性假设。

练习 5（随机考虑集模型）。三个选项，偏好顺序 a ≻ b ≻ c，每个选项被考虑的概率 γ(a) = 0.5, γ(b) = 0.8, γ(c) = 1.0。人在考虑集里选最好的。(a) 求 P(a)、P(b)、P(c)。(b) 现在去掉选项 b，P(a) 和 P(c) 变成多少？这个模型满足 IIA 吗？

(a) $P(a) = 0.5$；$P(b) = 0.8 \times (1 - 0.5) = 0.4$；$P(c) = 1.0 \times 0.5 \times 0.2 = 0.1$。加起来是 1（c 总被考虑，所以总有一个被选）。 (b) $P(a) = 0.5$，$P(c) = 1.0 \times 0.5 = 0.5$。原来 P(a)/P(c) = 5，现在 = 1。去掉 b 改变了 a 和 c 的相对概率，违反 IIA（第 3 讲）。直觉：b 原来”挡住”了 c（b 被考虑时，c 就不会被选），去掉 b 之后 c 获益最多。这说明考虑集可以解释一些多项 logit 解释不了的现象。

练习 6（偏好反转点）。双曲贴现 $V = A / (1 + k d)$。选项甲：d 天后拿 $A_1$；选项乙：d + Δ 天后拿 $A_2 > A_1$。(a) 求偏好反转的 d*。(b) 代入 $A_1 = 100, A_2 = 110, k = 0.2, \Delta = 1$ 验证 d* = 5。(c) 证明指数贴现没有反转点。

(a) 令 $\frac{A_1}{1 + kd} = \frac{A_2}{1 + k(d + \Delta)}$：$A_1(1 + kd + k\Delta) = A_2(1 + kd)$，解出 $d^* = \frac{A_1 k \Delta - (A_2 - A_1)}{k(A_2 - A_1)} = \frac{A_1 \Delta}{A_2 - A_1} - \frac{1}{k}$。 (b) $d^* = \frac{100 \times 1}{10} - \frac{1}{0.2} = 10 - 5 = 5$。✓ (c) 指数贴现：甲 / 乙 $= \frac{A_1 \delta^d}{A_2 \delta^{d+\Delta}} = \frac{A_1}{A_2 \delta^\Delta}$，和 d 无关。所以要么总选甲，要么总选乙。

练习 7（家长主义的设计）。你在设计一个写作助手。用户经常要求”直接帮我写完整篇作文”，但很多用户在问卷里说”我想提高自己的写作能力”。设计一个方案，说明：(a) 你会怎样区分”不同的偏好”和”一时的冲动”；(b) 系统的默认行为；(c) 用户怎样推翻它；(d) 你会用什么指标评估方案的好坏，怎样避免第 14 讲的代理指标问题。

(a) 让用户自己设定目标（“完成任务”还是”学习写作”），而不是从行为推断；同一个用户在不同场景可以不同（赶截止日期 vs 平时练习）。不要用”平均用户”的问卷替所有人决定。 (b) 默认按用户设定的目标：学习模式下先给提纲和反馈，提供”直接写完”的按钮；完成任务模式下直接写。 (c) 一键切换模式，切换不需要理由，不做反复劝说（避免变成强制）。 (d) 指标：用户自己定期报告的”进步感”和”满意度”（陈述偏好）；客观的写作能力测评（如果用户愿意）；模式切换的频率（频繁切换说明默认不合适）。避免只看使用时长或”直接写完”的次数——它们是参与度代理。定期做随机化实验比较不同的默认设置，评估的指标和优化的指标分开。

10. 延伸阅读

课程教材

• Truong, Haupt, Koyejo. Machine Learning from Human Preferences. 第 4 章；第 5 章 5.7、5.9 节。

有限理性与行为偏差

• Simon. A Behavioral Model of Rational Choice. Quarterly Journal of Economics 1955.
• Tversky, Kahneman. Judgment under Uncertainty: Heuristics and Biases. Science 1974.
• Tversky, Kahneman. The Framing of Decisions and the Psychology of Choice. Science 1981.
• Huber, Payne, Puto. Adding Asymmetrically Dominated Alternatives. Journal of Consumer Research 1982.
• Johnson, Goldstein. Do Defaults Save Lives? Science 2003.
• Scheibehenne, Greifeneder, Todd. Can There Ever Be Too Many Options? A Meta-Analytic Review of Choice Overload. Journal of Consumer Research 2010.

逆强化学习

• Ng, Russell. Algorithms for Inverse Reinforcement Learning. ICML 2000.
• Abbeel, Ng. Apprenticeship Learning via Inverse Reinforcement Learning. ICML 2004.
• Ramachandran, Amir. Bayesian Inverse Reinforcement Learning. IJCAI 2007.
• Ziebart, Maas, Bagnell, Dey. Maximum Entropy Inverse Reinforcement Learning. AAAI 2008.
• Ng, Harada, Russell. Policy Invariance under Reward Transformations. ICML 1999.
• Jeon, Milli, Dragan. Reward-Rational (Implicit) Choice: A Unifying Formalism for Reward Learning. NeurIPS 2020.

理性假设与不可识别

• Armstrong, Mindermann. Occam’s Razor is Insufficient to Infer the Preferences of Irrational Agents. NeurIPS 2018.
• Evans, Stuhlmüller, Goodman. Learning the Preferences of Ignorant, Inconsistent Agents. AAAI 2016.
• Reddy, Dragan, Levine. Where Do You Think You’re Going? Inferring Beliefs about Dynamics from Behavior. NeurIPS 2018.
• Shah, Gundotra, Abbeel, Dragan. On the Feasibility of Learning, Rather than Assuming, Human Biases for Reward Inference. ICML 2019.
• Skalse, Abate. Misspecification in Inverse Reinforcement Learning. AAAI 2023.
• Kim, Garg, Shiragur, Ermon. Reward Identification in Inverse Reinforcement Learning. ICML 2021.
• Cao, Cohen, Szpruch. Identifiability in Inverse Reinforcement Learning. NeurIPS 2021.

考虑集

• Manzini, Mariotti. Stochastic Choice and Consideration Sets. Econometrica 2014.
• Abaluck, Adams. What Do Consumers Consider Before They Choose? Identification from Asymmetric Demand Responses. Quarterly Journal of Economics 2021.

显示偏好、时间不一致与家长主义

• Samuelson. A Note on the Pure Theory of Consumer’s Behaviour. Economica 1938.
• Laibson. Golden Eggs and Hyperbolic Discounting. Quarterly Journal of Economics 1997.
• Thaler, Shefrin. An Economic Theory of Self-Control. Journal of Political Economy 1981.
• Thaler, Sunstein. Libertarian Paternalism. American Economic Review 2003；Nudge. 2008.
• Frankfurt. Freedom of the Will and the Concept of a Person. Journal of Philosophy 1971.
• Kleinberg, Mullainathan, Raghavan. The Challenge of Understanding What Users Want: Inconsistent Preferences and Engagement Optimization. EC 2022.
• Milli, Belli, Hardt. From Optimizing Engagement to Measuring Value. FAccT 2021.
• Milli, Hadfield-Menell, Dragan, Russell. Should Robots be Obedient? IJCAI 2017.

11. 下一讲预告

第四单元到此结束。我们看到，从行为反推一个人的偏好已经很难：要考虑呈现方式、测量方式、理性模型、时间不一致。

第五单元（第 16、17 讲）把问题再推进一步：即使我们完美地知道了每个人的偏好，怎样把很多人的偏好合成一个决定？

第 16 讲讲不可能定理：

• 常见的投票规则：相对多数、Borda、孔多塞、Copeland、排序复选（IRV）、Kemeny。同样的选票，不同的规则选出不同的赢家。
• 孔多塞悖论：群体的偏好可以成环，即使每个人的偏好都不成环。
• Arrow 不可能定理：没有一个排序规则能同时满足几个”显然合理”的条件。
• Gibbard–Satterthwaite 定理：任何”合理”的投票规则都可能被策略性投票操纵——标注员也会这样做。
• 出路：单峰偏好与中位选民；以及一个和 RLHF 直接相关的观察：DPO / BT 在聚合不同人的偏好时，隐含地用的是 Borda 计数。