第 19 讲：NLP 的社会影响与开放问题

对应：Stanford CS224N Winter 2026 Lecture 16（Social and Broader Impacts of NLP）与 Lecture 19（Open Questions in NLP 2026）。 配套代码：code/lecture19/（只需要 numpy） 预计阅读时间：3 小时

0. 本讲导航

0.1 学完本讲，你应该能够

说出语言技术可能带来的几类伤害，区分”分配性伤害”和”表征性伤害”。
解释偏见从数据进入模型的过程；用 WEAT 测量词向量里的偏见；解释硬去偏的做法和它为什么不够。
说出语言模型里偏见的几种表现：生成内容、方言歧视、不同人群得到的服务质量不同。
区分几种公平性定义，理解它们为什么不能同时满足；解释毒性分类器的”身份词偏见”。
讨论虚假信息、隐私与记忆、版权与数据同意、环境与劳动成本、安全与滥用等问题。
说出这个领域当前最重要的几个开放问题。

0.2 先修知识

知识点	用在哪里	最低要求
第 1、2 讲	第 2 节	词向量、共现矩阵、PPMI + SVD
第 8 讲	第 2、3 节	置换检验；分组评估；数据泄漏
第 10 讲	第 8 节	RLHF、奖励黑客、谄媚
第 12、13 讲	第 4、5、8 节	提示注入；数据污染；成员推断
第 16 讲	第 2 节	分词带来的语言不公平

0.3 本讲地图

第1节  为什么 NLP 研究者要关心社会影响？
第2节  偏见：从数据到模型                         ← 代码 01
第3节  公平性：几种定义与不可能定理                 ← 代码 02
第4节  虚假信息与内容真实性
第5节  隐私与记忆
第6节  版权、数据与同意
第7节  环境、劳动与经济
第8节  安全与滥用
第9节  开放问题
第10–14节 小结、与作业的关系、练习、延伸阅读、下一讲预告

关于本讲的实验数字：两个代码文件都只用 numpy、运行一两秒，编写讲义时完整运行过，讲义引用的是实际输出。数据全部是构造的（有偏见的合成语料、模拟的分类器、虚构的群体名称），用来说明机制，不代表任何真实系统的偏见程度。

1. 为什么 NLP 研究者要关心社会影响？

语言技术已经深入日常生活：搜索、翻译、写作助手、客服、招聘筛选、内容审核、教育、医疗咨询。一个模型被数亿人使用时，它的一点点系统性偏差，就会变成大规模的社会影响。

Weidinger 等（2021）把语言模型可能带来的风险分成几类：

歧视、排斥与毒性：强化刻板印象，对某些群体表现更差，生成冒犯性内容；
信息危害：泄露隐私、泄露危险信息；
错误信息：编造事实，用户过度信任；
恶意使用：大规模的虚假信息、诈骗、网络攻击；
人机交互的危害：过度拟人化、情感依赖、操纵；
环境与社会经济影响：能耗、对工作的冲击、利益分配不均。

区分两种伤害（Barocas、Crawford 等）很有用：

分配性伤害（allocational harm）：资源或机会分配不公，比如简历筛选模型系统性地给某类人打低分；
表征性伤害（representational harm）：强化负面刻板印象、贬低或抹去某些群体，比如图像搜索”CEO”只出现男性，或者模型认为某种方言”不专业”。

很多技术是两用的：能检测虚假信息的模型也能帮人改写虚假信息以躲避检测；能做机器翻译的模型也能用于大规模监控。研究者无法控制技术被怎样使用，但可以在设计、评估、发布时考虑这些问题。

2. 偏见：从数据到模型

2.1 偏见从哪里来

数据：训练语料反映了写作者的观点和社会的现状，包括历史上的不平等（过去的工程师大多是男性）；网络文本的作者也不能代表全体人口（年轻、英语、发达地区的人更多）。
标注：标注者的背景会影响标签（什么算”冒犯”、什么算”有毒”，不同人群的判断差别很大）。
模型：模型会放大数据里的模式：如果训练数据里 70% 的”做饭”图片是女性，模型可能在 80% 以上的情况下预测女性（Zhao 等 2017 发现的”偏见放大”）。
部署：模型被用在和训练时不同的人群、不同的场景上。

2.2 词向量里的偏见：测量

Bolukbasi 等（2016）发现，在新闻语料上训练的 word2vec 里，“man : computer programmer :: woman : homemaker”。Caliskan 等（2017）提出 WEAT（词嵌入联想测验），仿照心理学的内隐联想测验（IAT）：

s(w, A, B) = \overline{\cos(w, a)}_{a \in A} - \overline{\cos(w, b)}_{b \in B},\qquad d = \frac{\overline{s(x)}_{x \in X} - \overline{s(y)}_{y \in Y}}{\text{std}_{w \in X \cup Y}\, s(w)}

$X$ 、 $Y$ 是两组目标词（男性词、女性词）， $A$ 、 $B$ 是两组属性词（事业词、家庭词）；显著性用置换检验（第 8 讲）。他们在真实的词向量里复现了心理学文献里几乎所有已知的人类偏见。

代码 01 用一个可控的合成语料把这件事讲清楚：语料里性别词和”事业 / 家庭”话题、职业词的搭配频率由一个”偏见强度”控制，词向量用第 1 讲的共现矩阵 → PPMI → SVD 训练。

偏见强度	刻板搭配的比例	效应量 $d$	$p$ 值	未标准化的差
0	50%	0.25	0.32	0.011
0.2	60%	1.91	0.0002	0.333
0.5	75%	1.93	0.0002	0.427
0.8	90%	1.93	0.0002	0.446

语料里没有偏见时，效应量小、不显著；只要刻板的搭配稍多一些（60%），词向量就学到了显著的联想。效应量是标准化的（衡量”两组目标词分得有多开”），很快饱和在上限 2 附近；未标准化的差随偏见强度继续增大。词向量忠实地反映了训练数据的统计规律，包括我们不希望它学到的那些。

（编写这个例子时还有一个插曲：最初的合成语料里，性别词和”事业”词只是经常出现在同一句话里，却不共享任何其他上下文，WEAT 完全测不出偏见。原因是余弦相似度衡量的是两个词出现在相似的上下文里（第 1 讲的分布假说），而不是”两个词经常一起出现”。真实文本里，“他”常出现在谈工作的句子里，“事业”也出现在谈工作的句子里，两者共享上下文。加入话题上下文词之后，偏见才显现出来。）

2.3 去偏：为什么比看起来难

硬去偏（Bolukbasi 等 2016）：

找到性别方向：对 he − she、man − woman……这些差向量做主成分分析，取第一主成分 $g$ ；
中和：对应该与性别无关的词（职业等），去掉它在 $g$ 上的分量： $w \leftarrow w - (w \cdot g)\,g$ ；
均衡：让每一对性别词关于中性子空间对称。

代码 01 的演示 2：去偏之后，职业词在性别方向上的投影从 0.050 变成 0，离 “he” 和 “she” 一样近；WEAT 效应量从 1.93 变成 0。看起来问题解决了。

但 Gonen & Goldberg（2019）的论文标题是 Lipstick on a Pig（口红涂在猪身上）。代码 01 的演示 3 复现了他们的发现：

测试	去偏前	去偏后
2-均值聚类能否把偏男 / 偏女的职业分开	100%	100%
k 近邻能否猜出职业原来偏向哪个性别	100%	100%

“engineer” 的最近邻在去偏前后都是 programmer、mechanic、architect。偏男性的职业之间、偏女性的职业之间，因为在语料里和同一批词共同出现，在其他很多维度上仍然彼此接近。硬去偏只去掉了一个方向上的偏见，偏见本身分布在表示的方方面面；“指标上没有偏见”不等于”没有偏见”。

2.4 语言模型里的偏见

到了大语言模型，偏见的表现形式更多样，测量也更难：

生成内容：Sheng 等（2019）的论文标题就是例子：The Woman Worked as a Babysitter（让模型续写”那个女人的工作是……”和”那个男人的工作是……”，结果带着明显的刻板印象）。
基准：WinoBias、Winogender（指代消解里的性别偏见），StereoSet、CrowS-Pairs（模型更偏好刻板的句子吗），BBQ（问答里的社会偏见）。这些基准本身也受到批评：很多题目的设计有问题，测出来的东西不一定是我们关心的偏见（Blodgett 等 2021）。
方言歧视：Sap 等（2019）发现，仇恨言论检测器把非裔美国人英语（AAE）的推文标为冒犯性的比例明显更高。Hofmann 等（2024，Nature）发现，大语言模型对说 AAE 的人存在隐蔽的偏见：即使明确的种族偏见已经被后训练”纠正”，模型仍然会根据方言给说话人分配更低声望的工作、在假设的刑事案件里给出更重的判决。后训练可能只是掩盖了表面的偏见。
服务质量的差异：Koenecke 等（2020）测试了五家公司的语音识别系统，黑人说话者的平均词错误率约 35%，白人约 19%。第 16 讲讨论的词元溢价、低资源语言的表现差距，也属于这一类：同样的服务，有的人得到的质量明显更差。

3. 公平性：几种定义与不可能定理

3.1 几种定义

一个分类器（比如筛选简历、评估贷款风险、判断评论是否有毒）对不同群体”公平”，可以有不同的定义：

名称	要求各群体相等的量	直觉
人口统计均等	选中率 $P(\hat{y}=1)$	每个群体被选中的比例相同
机会均等	真阳性率 $P(\hat{y}=1 \mid y=1)$	合格的人被选中的机会相同
均等几率	真阳性率和假阳性率	不论合格与否，被选中的机会都只取决于是否合格
预测均等	精确率 $P(y=1 \mid \hat{y}=1)$	被选中的人里，真正合格的比例相同
组内校准	$P(y=1 \mid \text{分数}=s) = s$	分数在每个群体里都”诚实”

3.2 一个完美校准的分类器，公平吗？

代码 02 的演示 1：两个群体，基础比率（真正的正例比例）分别是 50% 和 20%，模型的分数在两个群体内都完美校准。用同一个阈值 0.5：

群体	选中率	TPR	FPR	PPV	准确率
A（基础比率 50%）	50.3%	68.8%	31.6%	68.7%	68.6%
B（基础比率 20%）	7.7%	23.7%	3.8%	60.6%	81.9%

模型对两个群体都”诚实”，但群体 B 里真正合格的人只有 23.7% 被选中（A 是 68.8%），群体 A 的不合格者有 31.6% 被误选（B 是 3.8%）。

3.3 不可能定理

能不能调整阈值，让所有指标都相等？代码 02 的演示 2 把群体 A 的阈值固定为 0.5，调整群体 B 的阈值：

策略	B 的阈值	TPR 差	FPR 差	PPV 差	选中率差	总准确率
同一个阈值	0.50	45.1%	27.8%	8.0%	42.6%	75.3%
机会均等（TPR 相等）	0.24	−0.1%	6.5%	28.3%	16.5%	71.2%
人口统计均等	0.15	−15.9%	−10.6%	35.6%	−0.3%	65.9%

满足一个，就违反另一个。这不是调参能解决的：Kleinberg 等（2016）、Chouldechova（2017）证明，当两个群体的基础比率不同、分类器又不完美时，校准（或预测均等）和”假阳性率、假阴性率都相等”不可能同时成立。

2016 年围绕 COMPAS 再犯风险评估工具的争论正是如此：ProPublica 指出它对黑人被告的假阳性率更高（更多不会再犯的人被评为高风险）；开发方指出它在各种族内都是校准的（同样的分数，再犯率相同）。双方的数据都对，只是坚持了不同的公平性定义。选择哪种公平性是一个价值判断，取决于具体场景里什么样的错误代价更大、谁来承担这些代价，而这本身应该由受影响的人参与决定。

3.4 NLP 里的例子：身份词偏见

Dixon 等（2018）发现，毒性分类器会把 “I am a gay man” 这样完全无害的句子判为有毒。原因是训练数据里，提到某些群体的评论常常是在攻击这些群体，于是分类器学会了”提到这个群体 = 有毒”。

代码 02 的演示 3 用虚构的群体名称复现这个机制：训练数据里提到 zorbian 的评论 80% 有毒、提到 norvan 的 30% 有毒；测试数据里两者都是 30%。很多评论本身看不出有没有毒（含蓄的毒性），分类器是词袋 + 逻辑回归：

	提到 zorbian	提到 norvan	不提群体
原始数据：假阳性率（无毒却被判为有毒）	15.4%	0.0%	0.0%
加入 1457 条提到 zorbian 的无毒评论之后	0.0%	0.0%	0.0%

“zorbian” 这个词本身的权重从 +0.79 变成了 −0.23。一句”as a zorbian , i think this article is interesting”，原始模型认为有毒的概率 0.37，平衡后 0.09。

几点教训：

受到攻击最多的群体，他们自己的正常发言最容易被”毒性过滤器”删掉，这是一种双重伤害。
问题只有按群体拆开评估才能看到（第 13 讲：只看总分会骗人）。
数据平衡能大幅缩小差距，但要注意过度修正（权重变成负数，提到这个群体的有毒评论反而更容易漏掉）。其他方法还有反事实数据增强（把群体名称替换成别的群体）、在训练目标里加入公平性约束等。前提是先知道哪些群体可能受影响。

4. 虚假信息与内容真实性

幻觉（第 12 讲）：模型编造事实、引用不存在的论文和判例。律师在法庭文件里引用 ChatGPT 编造的案例而受到处罚的事件，已经发生过不止一次。
大规模的虚假信息：生成看起来真实的文章、评论、社交媒体帖子的成本接近于零，可能被用于操纵舆论、影响选举、诈骗。研究发现语言模型生成的文本在说服力上可以接近甚至超过人写的内容。
检测：区分人写的和机器生成的文本越来越难。基于统计特征的检测器不可靠，而且有偏见：Liang 等（2023）发现，GPT 检测器把非母语者写的英文作文大量误判为 AI 生成（因为它们用词更简单、困惑度更低）。
水印：Kirchenbauer 等（2023）提出在生成时嵌入统计水印：根据前一个词元把词表随机分成”绿色”和”红色”两部分，生成时稍微偏向绿色词元；检测时统计绿色词元的比例是否显著偏高。水印可以被改写削弱，而且需要模型提供方配合。
内容来源：给图片、视频附加可验证的来源信息（如 C2PA 标准），是另一种思路。

5. 隐私与记忆

语言模型会记住训练数据的一部分，并且可能逐字地吐出来：

Carlini 等（2021）从 GPT-2 里提取出了训练数据里的姓名、电话号码、邮箱地址等个人信息；Nasr 等（2023）用一个简单的攻击（让 ChatGPT 无限重复某个词），使它”偏离”对齐后的行为，吐出了大量训练数据。
Carlini 等（2023）发现，记忆随模型规模、数据重复次数和上下文长度增长：越大的模型记得越多，重复越多的文本越容易被记住（第 13 讲的成员推断在这里成了攻击）。
缓解：数据去重（同时也提高模型质量）、过滤个人信息、差分隐私训练（给梯度加噪声，在数学上限制任何一条训练数据对模型的影响，代价是性能下降）、输出过滤。
被遗忘的权利：数据保护法规（如欧盟的 GDPR）给了人们要求删除个人数据的权利。但从一个已经训练好的模型里”删除”某条数据（机器遗忘，machine unlearning）非常困难，现有方法往往只是让模型不再说出来，而不是真正忘掉。

用户和模型的对话本身也涉及隐私：对话数据会不会被用来训练、谁能访问。

6. 版权、数据与同意

训练数据的版权：大模型的训练语料包含大量受版权保护的作品（书籍、新闻、代码、图片）。用它们训练是否属于”合理使用”，在多个国家都存在争议，多起诉讼仍在进行或已经和解，法律的边界还在形成之中。
输出的版权：模型可能逐字复现训练数据里的受版权保护的内容（第 5 节的记忆）；模型生成的内容是否受版权保护，各国的规定也在发展中。
同意与补偿：作者、艺术家、程序员的作品被用来训练可能取代他们的系统，却通常没有被征求意见、也没有得到补偿。Longpre 等（2024，Consent in Crisis）发现，越来越多的网站在 robots.txt 或服务条款里限制 AI 爬虫，可用于训练的公开数据正在快速收缩。
数据透明度：很多模型不公开训练数据的来源，使得审查偏见、版权、隐私、数据污染（第 13 讲）都很困难。数据卡片、模型卡片（Gebru 等 2018；Mitchell 等 2019）是推动透明度的一种实践。

7. 环境、劳动与经济

7.1 环境成本

Strubell 等（2019）最早量化了训练 NLP 模型的能耗和碳排放，引起了广泛关注（他们最极端的估计后来被认为偏高）。Patterson 等（2021）指出，碳排放强烈依赖于硬件效率、数据中心的效率和电网的能源结构，同样的训练在不同地方排放可以相差几十倍。随着模型被大规模使用，推理的能耗逐渐超过训练；数据中心的用电和冷却用水也引起了越来越多的关注。报告训练的计算量和能耗，是一种负责任的研究实践。

7.2 劳动

数据工作者：标注数据、给回答排序（第 10 讲的偏好数据）、审核有害内容的工作，很多由薪酬很低的外包工人完成；审核暴力、色情内容还会造成心理创伤。这些劳动往往是”看不见的”。
对工作的冲击：Eloundou 等（2023）估计，美国约 80% 的劳动者至少有 10% 的工作任务可能受到大语言模型的影响，约 19% 的劳动者有一半以上的任务可能受影响。影响的方式可能是替代，也可能是提效；收益如何分配，是一个社会和政策问题。

7.3 权力与集中

训练前沿模型需要巨额的计算和数据，少数机构掌握了最强的模型。开源和闭源的争论涉及创新、安全、问责之间的权衡：开放权重让更多人能研究和审查模型，也让安全措施更容易被移除。

8. 安全与滥用

越狱（jailbreak）：用精心设计的提示绕过模型的安全训练。Zou 等（2023）用梯度搜索找到”通用的对抗后缀”：一串看起来无意义的字符，加在有害请求后面，就能让多个模型都给出有害回答，而且能迁移到闭源模型上。
提示注入（第 12 讲）：智能体读到的网页、邮件里藏着的指令。
危险能力：模型能否为网络攻击、生物或化学武器提供实质性的帮助？主要的模型开发者会在发布前做这类评估，并根据结果决定采取哪些防护措施（“负责任的扩展政策”等框架）。
对齐：模型的目标和行为是否符合人的意图？第 10 讲的奖励黑客、谄媚，第 15 讲推理模型在强化学习中钻空子、思维链不忠实，都是具体的例子。模型越强、越自主（第 12 讲的智能体），这些问题的后果越严重。可扩展监督（当模型在某些方面比人更强时，人怎样监督它）是一个核心的开放问题。
人机交互：用户可能过度信任模型、对模型产生情感依赖；模型的拟人化设计会加剧这些问题。

9. 开放问题

最后，整理一下这门课沿途遇到的、这个领域接下来最重要的一些问题。

数据：Villalobos 等（2024）估计，公开的高质量人类文本可能在 2026 到 2032 年之间被用尽。合成数据能替代吗？Shumailov 等（2024，Nature）发现，反复用模型生成的数据训练下一代模型，分布的尾部会逐渐消失（“模型崩溃”）。怎样生成有用的合成数据、怎样利用多模态和交互数据，是关键问题。
可靠的推理与事实性：模型会推理吗、能否可靠地推理（第 14、15 讲）？怎样减少幻觉，让模型知道自己不知道什么（第 12 讲的检索、第 13 讲的校准）？
评估（第 13 讲）：基准饱和、数据污染、评委偏差；怎样评估开放式的能力和长期的智能体任务？怎样测量真实世界的影响？
对齐与可控性：怎样让越来越强、越来越自主的模型可靠地遵循人的意图？怎样监督比人更强的系统？谁的价值观（第 10 讲”谁的偏好”）？
可解释性（第 17 讲）：能否理解大模型内部的计算，并用来发现问题、提供保证？
效率：更小、更省的模型；在手机等设备上运行；推理成本（第 11 讲的量化、第 15 讲的测试时计算）。
多语言与包容（第 16 讲）：让世界上几千种语言的使用者都能平等地受益。
语言模型与语言学、认知科学：语言模型学语言的方式和儿童一样吗？儿童听到的词大约是一亿量级，而大模型要用上万亿个词元。BabyLM 挑战（Warstadt 等 2023）让研究者在约一亿词的数据上训练模型，研究什么样的学习方法更”高效”。语言模型的”意外程度”（surprisal）能很好地预测人的阅读时间，语言模型能否作为人类语言处理的模型、它们对”语言是天赋的还是习得的”这场争论意味着什么，都是活跃的研究问题。
智能体与社会：当模型能独立完成越来越长的任务（第 12 讲），它们怎样融入工作、教育和社会？责任由谁承担？

10. 本讲小结

为什么关心：语言技术规模巨大、影响深远；伤害有歧视、信息危害、错误信息、恶意使用、人机交互、环境与经济等类型；区分分配性伤害和表征性伤害；很多技术是两用的。
偏见：来自数据、标注、模型（放大）、部署。WEAT 测量词向量里的联想；词向量忠实地学到了数据里的偏见（相似度衡量的是共享上下文）；硬去偏只去掉了一个方向，聚类和近邻仍能恢复偏见（口红涂在猪身上）。大语言模型里的偏见体现在生成内容、方言歧视（后训练可能只是掩盖）、服务质量差异上。
公平性：人口统计均等、机会均等、均等几率、预测均等、组内校准；基础比率不同时不可能同时满足（COMPAS 争论）；选择哪种是价值判断。毒性分类器的身份词偏见：受攻击最多的群体的正常发言最容易被误删；按群体评估才能发现；数据平衡能缓解，但要防止过度修正。
虚假信息：幻觉、大规模生成、检测不可靠且有偏见、水印。
隐私：模型会记住并吐出训练数据，记忆随规模和重复增长；去重、差分隐私；机器遗忘很难。
版权与同意：训练数据和输出的版权争议、作者的同意与补偿、可用数据的收缩、透明度。
环境、劳动与经济：碳排放依赖硬件和能源结构，推理逐渐占主导；数据工作者的劳动；对工作的冲击；权力集中。
安全：越狱、提示注入、危险能力评估、对齐与可扩展监督、过度信任。
开放问题：数据、可靠推理、评估、对齐、可解释性、效率、多语言、语言与认知、智能体与社会。

11. 与作业的关系

CS224N 的期末项目报告通常要求讨论工作的伦理考量和局限性：你的数据从哪里来、可能有什么偏见、模型可能被怎样误用、对哪些人群效果可能更差。本讲的内容可以直接用来写这一部分。
偏见与公平性的测量、去偏方法的评估，也是常见的项目方向。本讲的两个代码文件（WEAT 与去偏、公平性指标与身份词偏见）可以作为起点：把合成数据换成真实的词向量或真实的分类器。

作业的具体题目以当年官方发布的版本为准。

12. 练习

练习 1（伤害的类型）★：对下面每个例子，判断是分配性伤害还是表征性伤害（或两者）：(a) 一个简历筛选模型给女性求职者的简历打分更低；(b) 图像生成模型被要求画”医生”时几乎总是画男性；(c) 语音识别对某种口音的错误率高得多，导致这些用户无法使用语音客服。

参考答案

(a) 分配性：直接影响获得工作机会。(b) 表征性：强化”医生是男性”的刻板印象（长期也可能间接影响职业选择）。(c) 主要是分配性（服务质量差异，影响获得服务），也有表征性的成分（暗示某种口音”不标准”）。

练习 2（WEAT）★★：(a) WEAT 的效应量为什么会饱和在 2 附近？(b) 为什么比较不同语料的偏见强弱时，未标准化的差可能更有用？(c) WEAT 的结果依赖于选择哪些目标词和属性词，这带来了什么问题？

参考答案

(a) $d$ 是”两组均值之差 / 合并后的标准差”。当两组目标词完全分开（组内差别远小于组间差别）时，合并标准差主要由组间差别决定，对两组等大的情况， $d$ 的上限约为 2。 (b) 偏见很强时， $d$ 已经饱和，看不出强弱的差别；未标准化的差仍然反映联想强度的大小（但它依赖于向量空间的尺度，跨模型比较要小心）。 (c) 结果可能被词表的选择左右：换几个词，结论可能就变了；研究者可能有意无意地挑选”效果好”的词。需要报告词表的来源、对词表做稳健性检验。

练习 3（硬去偏）★★：(a) 为什么去偏之后，聚类仍能把偏男性和偏女性的职业分开？(b) 如果把所有和性别相关的维度都去掉（而不只是一个方向），会有什么副作用？

参考答案

(a) 硬去偏只去掉了词向量在”性别方向”（he − she 等差向量的第一主成分）上的分量。但偏男性的职业因为和同一批词（男性相关的上下文、事业话题的词）共同出现，在很多其他维度上彼此接近；这些维度不等于那一个性别方向，没有被去掉。 (b) 很难界定”所有和性别相关的维度”：性别信息和很多其他语义纠缠在一起，去掉太多会损失有用的信息（比如”母亲""父亲”本来就应该有性别含义，“怀孕”在医学语境里和性别相关是事实而非偏见），降低词向量在下游任务上的质量。去偏需要在去掉有害联想和保留有用信息之间取舍。

练习 4（公平性定义）★：某城市用一个模型预测哪些社区需要更多的公共卫生资源。两个社区的真实需求比例不同。分别说明在这个场景下，追求”人口统计均等”和”机会均等”各意味着什么，你认为哪个更合适？

参考答案

人口统计均等：两个社区被分配资源的比例相同，不管真实需求是否不同，可能导致需求高的社区得不到足够的资源。机会均等：真正有需求的家庭，在两个社区里获得资源的概率相同，更符合”按需分配”的直觉。这个场景下机会均等（或基于需求的分配）通常更合适；但如果”真实需求”的标签本身有偏差（比如某个社区的需求历史上被低估、数据记录不全），机会均等也会继承这个偏差。这说明公平性还依赖于标签本身是否可信。

练习 5（不可能定理）★★：一个分类器在两个群体里都完美校准，群体 A 的基础比率是 50%，群体 B 是 20%。用同一个阈值，为什么 A 的假阳性率通常更高？

参考答案

完美校准意味着分数就是真实的概率。基础比率高的群体 A，整体的分数分布更靠右（更多人分数高）。用同一个阈值，A 里超过阈值的人更多，其中包括更多分数高但实际上是负例的人（分数 0.6 的人里仍有 40% 是负例）。所以 A 的负例被选中的比例（FPR）更高；同理，B 的正例因为分数整体偏低，被选中的比例（TPR）更低。这正是代码 02 演示 1 看到的现象（A 的 FPR 31.6%，B 只有 3.8%）。

练习 6（身份词偏见）★：(a) 为什么总体准确率很高的毒性分类器，仍然可能对某个群体有严重的偏见？(b) 设计一个评估方案来发现这种偏见。

参考答案

(a) 提到这个群体的评论只占数据的一小部分，它们的高误判率被大量其他评论的正确率”稀释”了，总体准确率几乎不受影响。 (b) 构造模板化的测试集：同样的句子分别填入不同的群体名称（“I am a ___ person”、“My ___ neighbor is very kind”），比较各群体的毒性分数和误判率；在真实数据上按提到的群体分组，报告每组的假阳性率、假阴性率，以及组内的 AUC（Borkan 等 2019 提出了一组按群体拆开的偏见指标）。

练习 7（记忆与隐私）★★：(a) 为什么数据去重能减少隐私泄露？(b) 差分隐私训练为什么会降低模型的性能？(c) 用户要求删除自己的数据，对一个已经训练好的大模型，有哪些可能的做法？各有什么问题？

参考答案

(a) 记忆强烈依赖于重复次数：只出现一次的文本很难被逐字记住，重复几十次的文本（比如在多个网页上转载的个人信息）容易被记住。去重减少了重复，也就减少了被记住的风险。 (b) 差分隐私要求任何一条数据对模型的影响有界：要裁剪每条样本的梯度、再加噪声。这既限制了模型从罕见的样本中学习（长尾知识学不到），又给训练加入了噪声，于是性能下降，模型越大、数据越少，影响越明显。 (c) ① 删掉数据后从头重新训练：最彻底，但极其昂贵；② 机器遗忘方法（在要遗忘的数据上做梯度上升等）：便宜，但很难验证是否真的忘掉了，可能损害模型的其他能力；③ 输出过滤：拦截包含这些信息的输出，并没有真正删除，可能被绕过。

练习 8（思考）：选一个你感兴趣的开放问题（第 9 节），写一段话：为什么它重要、目前有哪些思路、你认为最大的障碍是什么。

参考答案

开放问题，没有标准答案。一个例子（数据枯竭）：重要性在于规模定律依赖越来越多的数据；思路有合成数据、多模态数据、从交互和强化学习中获取信号、提高数据效率（课程学习、更好的数据筛选）；最大的障碍可能是合成数据的”模型崩溃”和质量控制：怎样保证合成数据带来新的信息，而不只是放大模型已有的知识和偏见。

练习 9（动手）：

(a) 在代码 01 里，只去偏职业词、不去偏”事业 / 家庭”词，WEAT 的结果会怎样？ (b) 在代码 01 里，把性别相关的上下文词（beard、dress……）去掉，再做”口红涂在猪身上”的测试，聚类准确率会下降吗？ (c) 在代码 02 的演示 2 里，再加一种策略：“预测均等”（让两个群体的 PPV 相等），它和机会均等相比，各项指标怎样变化？ (d) 在代码 02 的演示 3 里，用”反事实数据增强”代替数据平衡：把训练数据里每条提到 zorbian 的评论复制一份、把 zorbian 换成 norvan。偏见能缓解吗？

13. 延伸阅读

Weidinger et al.，Ethical and Social Risks of Harm from Language Models（2021）；Bender et al.，On the Dangers of Stochastic Parrots（2021）。
Blodgett et al.，Language (Technology) is Power: A Critical Survey of “Bias” in NLP（2020）；Stereotyping Norwegian Salmon（2021）。
Bolukbasi et al.，Man is to Computer Programmer as Woman is to Homemaker?（2016）；Caliskan et al.，Semantics Derived Automatically from Language Corpora Contain Human-like Biases（2017）；Gonen & Goldberg，Lipstick on a Pig（2019）。
Zhao et al.，Men Also Like Shopping（2017）；Gender Bias in Coreference Resolution（WinoBias，2018）；Sheng et al.，The Woman Worked as a Babysitter（2019）。
Sap et al.，The Risk of Racial Bias in Hate Speech Detection（2019）；Hofmann et al.，AI Generates Covertly Racist Decisions about People Based on Their Dialect（2024）；Koenecke et al.，Racial Disparities in Automated Speech Recognition（2020）。
Kleinberg et al.，Inherent Trade-Offs in the Fair Determination of Risk Scores（2016）；Chouldechova，Fair Prediction with Disparate Impact（2017）；Dixon et al.，Measuring and Mitigating Unintended Bias in Text Classification（2018）。
Kirchenbauer et al.，A Watermark for Large Language Models（2023）；Liang et al.，GPT Detectors are Biased Against Non-native English Writers（2023）。
Carlini et al.，Extracting Training Data from Large Language Models（2021）；Quantifying Memorization Across Neural Language Models（2023）；Nasr et al.，Scalable Extraction of Training Data from (Production) Language Models（2023）。
Longpre et al.，Consent in Crisis: The Rapid Decline of the AI Data Commons（2024）；Gebru et al.，Datasheets for Datasets（2018）；Mitchell et al.，Model Cards for Model Reporting（2019）。
Strubell et al.，Energy and Policy Considerations for Deep Learning in NLP（2019）；Patterson et al.，Carbon Emissions and Large Neural Network Training（2021）。
Eloundou et al.，GPTs are GPTs（2023）。
Zou et al.，Universal and Transferable Adversarial Attacks on Aligned Language Models（2023）。
Villalobos et al.，Will We Run Out of Data?（2024）；Shumailov et al.，AI Models Collapse When Trained on Recursively Generated Data（2024）；Warstadt et al.，Findings of the BabyLM Challenge（2023）。

14. 下一讲预告

最后一讲（默认期末项目实战：精简 GPT-2 与下游任务）把整门课串起来：

GPT-2 的结构逐层回顾，以及和我们第 7 讲迷你 GPT 的对应关系；
分词器（第 16 讲的字节级 BPE）与权重格式，怎样加载公开的预训练权重并验证实现是否正确；
在情感分类、复述检测、文本生成等下游任务上微调，用 LoRA（第 11 讲）高效微调；
实验设计、评估与报告撰写：第 8、13 讲的方法，第 19 讲的伦理考量。