Lecture 18 · 伦理与危害：偏见、有害内容、虚假信息与发布规范 · Ethics & Harms

对应 Maps to：Stanford CS324 Winter 2023 Advances in Foundation Models，2/15 客座报告 Rob Reich：Foundation Model Ethics；Syllabus 阅读清单 “How does data impact FMs?” 里的课程笔记 Harms From Data (Part 1)、(Part 2)（即 Winter 2022 的 Harms I / II）和 On the Dangers of Stochastic Parrots；Bommasani et al. 报告的社会部分。 依据说明：课程网站没有提供 Reich 报告的 slides 或录像。§6 依据 Reich 在 2022 年前后的公开材料：Stanford HAI 的访谈 Rob Reich: AI Developers Need a Code of Responsible Conduct（2022 年 6 月），以及他和 Liang、Bommasani、Creel 合写的 CRFM 博客 The Time Is Now to Develop Community Norms for the Release of Foundation Models（2022 年 5 月）；他在报告里具体讲了什么，我无法确认。§1–4 依据 W22 的 Harms I / II 课程笔记和其中引用的论文（数字核对过 RealToxicityPrompts 和 Dodge et al. 的原文）；§5 依据 Bommasani et al. 2022 的结果同质化论文。§7”2023 年之后”是我补充的。 配套代码 Code：code/lecture18/（3 个脚本。代码 01 用 PyTorch，约 15 秒；代码 02、03 只用 numpy / 标准库，各约 1 秒） 预计阅读时间：2.5 小时（含运行代码）

0. 本讲导航 · How to read this lecture

0.1 学习目标 Learning goals

学完这一讲，你应该能够：

1. 区分基础模型的几类危害：性能差异、社会偏见与刻板印象、有害内容、虚假信息、结果同质化；区分表征性伤害和分配性伤害；说出”能力和危害是连在一起的”是什么意思。
2. 用反事实探测测量模型里的偏见，解释为什么测量结果依赖于模板和解码方式，以及反事实数据增强（CDA）能做什么、不能做什么。
3. 解释有害内容过滤器为什么会误伤它本想保护的群体（身份词、方言），以及用它清洗预训练语料时造成的”抹除”。
4. 描述语言模型怎样改变虚假信息的经济学，以及检测和缓解的思路。
5. 定义结果同质化和系统性失败，解释为什么它只有把很多系统放在一起看才能发现，以及它和基础模型的关系。
6. 复述 Reich 的论点：AI 研究缺少成熟的职业伦理规范；说出几种具体的机制（发布审查、模型卡、算法影响评估、外部审计），以及开放与封闭发布之间的取舍。

0.2 先修与本讲范围 Prerequisites & scope

0.3 本讲地图 Map

§1  为什么谈伦理：能力与危害相连；危害的分类；其他领域是怎样管安全的
§2  偏见与性能差异：定义、真实的例子、怎样测量          ← 代码 01
§3  有害内容：Perspective API、RealToxicityPrompts、过滤的代价   ← 代码 02
§4  虚假信息：语言模型怎样改变它的经济学
§5  结果同质化：被"处处拒绝"的人                        ← 代码 03
§6  发布规范与职业伦理（Rob Reich）
§7  2023 年之后
§8–12  小结、常见误区、练习、延伸阅读、下一讲预告

0.4 记号 Notation（只列本讲新增的）

0.5 关于数字 · About the numbers

论文和课程笔记里的数字都标明了出处。代码 01 用第 1 讲的 base model 做真实的测量；代码 02 用一个虚构的群体名 “velan”（不对应任何真实的群体）和几个温和的骂人词造了一个评论世界；代码 03 是一个参数示意性的模拟。代码的数字固定种子、重复运行逐字相同。几处结果和我写代码前的预想不一样：CDA 之后整行的故事损失反而下降了（要单看代词才能看到”更公平的模型在有偏的测试集上更差”）；即使各家公司完全独立，同质化程度也远大于 1。完整清单在代码 README 的”关于实验结果”里。

1. 为什么谈伦理 · Why ethics

1.1 能力和危害是连在一起的

W22 的 Harms I 笔记开头有一句话：能力推动采用，采用放大危害。一个没人用的模型，偏见再严重也伤害不了谁；正因为基础模型足够好、被成千上万的应用采用，它的缺陷才变成了社会问题。前几讲的”同质化”在这里有了伦理含义：一个模型的偏见，会通过所有建立在它上面的系统传播。

这一讲和前两讲的区别：第 16、17 讲讨论的是有人想伤害系统（攻击者）；这一讲讨论的是没有攻击者、系统正常工作时造成的伤害。

1.2 危害的分类

Bommasani et al. 2021 的基础模型报告和 Weidinger et al. 2021 给出了比较完整的分类。本讲覆盖其中几类（隐私、安全在第 16、17 讲；环境、法律在第 19 讲）：

另一个常用的区分是表征性伤害和分配性伤害：前者发生在”模型怎样描述世界”（刻板印象、贬低），后者发生在”模型怎样分配机会”（筛简历、批贷款）。基础模型本身主要产生表征性伤害；它被用到具体的决策里时，就可能变成分配性伤害。

1.3 其他领域是怎样管安全的

Harms I 笔记介绍了三个参照：

• 生物医学研究的伦理审查：1979 年的《贝尔蒙报告》（Belmont Report）提出尊重个人、有利、公正三条原则，成为机构审查委员会（IRB）的基础——研究在开始之前就要被审查，是一种主动的安全机制。
• 生物伦理与 CRISPR：科学共同体自己设立规范，反对多种人类基因编辑；违反者被共同体排斥——共同体规范的强执行。
• 美国食品药品监督管理局（FDA）：一个监管机构，按多个阶段测试食品和药物，用成熟的科学理论决定要测什么。

笔记的结论：这些政策工具很有力量，但它们依赖成熟的理论来决定”测什么、怎样算安全”；而对语言模型，我们还没有这样的理论。§6 回到这个问题。

2. 偏见与性能差异 · Bias and performance disparities

2.1 定义

• 性能差异：在某个具体任务上，模型对某些群体做得更好、对另一些更差。
• 社会偏见：一个概念（例如”科学”）和某些群体被系统性地联系在一起。
• 刻板印象：一种普遍的社会偏见，“广泛持有、过度简化、通常固定不变”。
• 刻板印象威胁：人们感到要符合刻板印象的心理压力——它会反过来制造和传播刻板印象。

两者有联系：如果模型对”反刻板印象”的数据处理得不好，社会偏见就会变成性能差异。

群体怎样出现在文本里：作为作者（例如用非裔美国人英语写作的人）、作为读者 / 听众、作为内容里被提到的人。识别群体本身就很难——作者和读者通常未知，被提到的群体很少有标注，研究常常依赖性别词、名字、方言特征。种族、性别这样的类别是社会建构的、有争议的；很多 AI 工作还把性别当作二元的，落后于社会科学。交叉性（intersectionality，Crenshaw 1989）提醒我们：边缘化在交叉处可能是”超可加”的（例如黑人女性）。

2.2 真实的例子

Harms I / II 笔记里的几个例子：

• 语言识别：Blodgett et al. 2017 发现语言识别系统会把非裔美国人英语的推文误判成其他语言（笔记里的例子被判成了丹麦语）。
• 语音识别：Koenecke et al. 2020 发现主流的语音识别系统对黑人说话者的错误率明显更高。
• 名字的伪迹：Schwartz et al. 2020 在 SQuAD 问答上把名字换掉，RoBERTa-base 的准确率从 91.2 降到 49.6——模型把名字和”这个名字的名人以什么出名”联系在一起。
• 宗教与暴力：Abid et al. 2021 发现 GPT-3 在提到穆斯林的补全里，超过 60% 是暴力的；在类比任务 “audacious is to boldness as Muslim is to” 里，23% 补成了 terrorist。
• StereoSet：Nadeem et al. 2021 比较模型对”刻板”和”反刻板”句子的偏好（50 是理想值），GPT-2 Small / Medium / Large 的刻板印象分是 56.4 / 58.2 / 60.0——模型越大，越偏好刻板的句子。

2.3 测量本身很难

笔记强调了几点：有研究列出了 21 种公平性定义，其中很多不能同时满足（Kleinberg et al. 2016）；测量的设计选择（用哪些词表、怎样解码）会显著改变结论（Antoniak & Mimno 2021）；已有的偏见基准受到了很多批评（Blodgett et al. 2021）；而在”上游”（模型本身）测到的偏见，常常不能可靠地预测”下游”应用里的差异和实际伤害（Goldfarb-Tarrant et al. 2021）。

2.4 在迷你世界里测：模型原样复现了数据里的偏斜

第 1 讲的迷你互联网里，每个职业的故事用 “she” 的比例是随手设定的（pilot 0.85、potter 0.75、judge 0.25、tailor 0.15，其余 0.50），和真实世界无关。代码 01 演示 1 做反事实探测：在 4 个故事模板里只换职业，比较 base model 给 ” she” 和 ” he” 的概率：

（8 个职业里的 5 个；模型和语料比例的平均绝对差 0.041。）

1. 模型几乎原样复现了数据的比例。这些比例是随手设的，模型没有任何”理由”——它只是在做语言模型该做的事：拟合数据的分布。这就是社会偏见在语言模型里最基本的来源。
2. 我们的小模型比数据略”温和”（tailor 0.125 → 0.178）。真实的研究常常发现相反的现象：偏斜被放大（Zhao et al. 2017 在图像描述数据上的例子）。
3. 测量依赖于模板：judge 在四个模板上从 0.17 到 0.43。只用一个模板测，可能得出完全不同的结论。

2.5 解码会放大偏斜

演示 2：同一个模型，按概率采样（温度 1）200 次 vs 贪心解码：

按概率采样时，生成的比例约等于模型的概率；贪心解码总是选概率最大的那个——baker 只有 0.53 的倾向，生成的却 100% 是 she。很多应用为了”稳定”用低温度或贪心解码，这会把概率上的轻微偏斜变成输出里的绝对偏斜。偏见不只在模型里，也在我们怎样使用模型的方式里。

2.6 缓解：反事实数据增强，以及”准确”与”公平”的冲突

反事实数据增强（counterfactual data augmentation, CDA）：把训练数据里每个故事的代词对调一份加进去，让”职业”和”代词”之间没有统计关联。演示 3 在原语料（1895 个故事）上加了同样多的对调版本，继续训练 300 步：

8 个职业都被拉到了 0.46–0.49。但看验证集（它和训练集一样带着偏斜）：

只看代词，CDA 模型的交叉熵更高，接近抛硬币的 1 比特：一个更公平的模型，在有偏的测试数据上显得更差。如果只用这类指标挑模型，会挑出更有偏见的那个。评测数据和训练数据带着同样的偏见时，“准确”和”公平”互相冲突——选哪个是价值判断，不是技术问题。

（一个让我写代码时意外的细节：整行的故事损失反而更低了，因为 CDA 让语料里的故事多了一倍，模型把故事的模板学得更好；其余体裁略差，因为它们在语料里的比例变小了。看指标时要分清楚到底在量什么。）

CDA 的局限：它只能处理我们知道并且能列举的属性（she / he 一对词）。真实的偏见涉及无数属性和它们的交叉，很多没有现成的”对调词表”。Harms I 笔记的结论是：技术上的缓解在实践中常常不够有效，需要考虑整个生态的社会技术方法。

3. 有害内容 · Toxicity

3.1 定义，以及为什么词表不够

Harms II 笔记采用的工作定义（Borkan et al. 2017）：有毒的内容是”粗鲁、不尊重或不合理的，会让人想离开对话”的内容。受害的可能是语言模型系统的用户（聊天机器人回了一句侮辱），也可能是用户发出的内容的接收者。

最简单的过滤方法是词表（黑名单）。但：

• 有害的文本可以不含任何”脏词”（例如否定某个群体身份的陈述）；
• 正常的文本也可能含有这些词：医疗、性教育、文学作品，以及被群体自己重新拥有（reclaimed）的词。

C4（T5 的训练数据）就是用一个黑名单过滤的（第 2 讲 §4.3）。

3.2 Perspective API：身份词被当作”有毒”

Perspective API（Jigsaw / Google，2017）是一个广泛使用的毒性分类器，在维基百科讨论页的评论上训练，由众包标注。笔记列出了它的失败：

• 漏判：“You’re like Hitler.” 分数很低；
• 误判：“I read The Idiot by Fyodor Dostoevsky yesterday.” 0.86；“He’s gay.” 0.78。

问题包括：标注时没有标注者身份和上下文、标注者之间一致性低，以及身份词因为和有毒评论相关，被当成了有毒的信号。

3.3 在玩具世界里看误伤是怎样产生的

代码 02 用一个虚构的群体名 “velan” 造了一份带标注的评论数据：在有毒的评论里，40% 针对 velan（现实里针对某个群体的骚扰很多）；在正常的评论里，只有 5% 提到 velan。训练一个词袋逻辑回归过滤器：

“velan” 的权重是 +2.16，是第二大的”有毒证据”。受害最重的是短的、只表明身份的文本——恰恰是群体成员描述自己的那种文本；内容丰富的正常评论有足够的其他证据，没有被误判。

缓解（Dixon et al. 2018 的做法：加入提到身份词的正常句子）：只加 50 条 “i am velan.” 这样的中性陈述，velan 的权重从 +2.16 降到 +1.75，误判就全部消失了，针对这个群体的真正的骚扰仍然全部被抓到。权重仍然是正的（数据里针对它的骚扰确实更多），但不再足以单独把一句中性陈述推过阈值。前提是：有人注意到了这个群体被误伤，并且去收集数据。

3.4 用过滤器清洗预训练语料：抹除

Dodge et al. 2021 审计了 C4 的黑名单过滤（第 2 讲 §3.4）：按方言分类器给每个文档分配最可能的方言，非裔美国人英语和西班牙裔英语的文档被删掉了 42% 和 32%，而白人英语和其他英语只有 6.2% 和 7.2%；提到性取向（lesbian、gay）的大量正常文档也被删掉了。最终的 C4 里，非裔美国人英语只占 0.07%。

代码 02 演示 3 用同一个过滤器清洗一份 20000 条的”预训练语料”，然后在清洗后的语料上训练第 1 讲的 5-gram 字符模型：

（LM 一列是留出文本上的 bit/字符；数字是玩具世界的，只是碰巧和 C4 的 42% / 6.2% 接近。）所有阈值都删掉了全部有毒文本；区别在于附带删掉了什么。阈值越严，被删掉的 velan 群体的正常文本越多，语言模型对这个群体怎样谈论自己就越陌生。Welbl et al. 2021 在真实的语言模型上发现：去毒会不成比例地增加模型在边缘群体相关文本和方言上的损失。

这里有一个反馈循环（Harms I 笔记）：系统对某些用户表现差 → 这些用户更少使用 → 产生的数据更少 → 下一代系统差异更大。

3.5 语言模型生成有害内容：RealToxicityPrompts

Gehman et al. 2020 从网页文本里取了 10 万个句子，切成”提示 + 续写”，用 Perspective API 打分，测量语言模型续写的毒性。Harms II 笔记的要点：

• 无提示：从空白开始生成，100 次里最毒的一次期望毒性约 0.5；1000 次里约 0.9。
• 有提示（每个提示生成 25 次）：GPT-3 在有毒的提示下，期望最大毒性 0.75、至少一次有毒的概率 0.87；在无毒的提示下，期望最大毒性仍有 0.52、至少一次有毒的概率 0.50。看起来无害的提示也会引出有毒的续写。
• 缓解（GPT-2，期望最大毒性，无毒提示下）：什么都不做 51%；在无毒数据上继续预训练（DAPT）37%；解码时用分类器引导（PPLM）32%——有效，但远没有解决问题。
• 注意事项：自动补全脱离了真实应用；Perspective 的分数没有上下文；这些数字是粗略的指引，不应该成为优化目标。

3.6 用语言模型做内容审核

语言模型也是审核工具：Meta 多年来用 RoBERTa 检测仇恨言论；它的 Few-Shot Learner 把审核任务改写成蕴含（“这段话是仇恨言论吗？”），能抓到一些很隐晦的有害内容。这是双重用途（dual use）的又一个例子：同样的能力既能生成有害内容，也能检测它。而”什么应该被删”是一个政治决定，不同社区的规范既有共同之处也有各自的部分（Chandrasekharan et al. 2018 分析了 Reddit 上 100 个子版块、280 万条被删除的评论）。

4. 虚假信息 · Disinformation

4.1 定义

• 错误信息（misinformation）：被当作真实呈现的错误或误导性信息，不论意图。
• 虚假信息（disinformation）：有意欺骗而呈现的错误或误导性信息——有对抗的性质。

例子：石油公司对气候变化的否认、烟草公司对尼古丁危害的否认、疫苗”植入芯片”的说法、2016 年美国大选中的俄罗斯干预。小说和讽刺不算。

4.2 语言模型改变了虚假信息的经济学

一场虚假信息运动需要的内容要新颖（躲过基于哈希的检测）、流畅、有说服力、传达运动的信息。过去这需要大量人工，昂贵。如果语言模型能便宜地生成新颖、流畅、针对特定受众的文本，经济学就会偏向使用它们。Harms II 笔记（2022 年初）的判断是：当时还没有已知的、严肃的由语言模型驱动的运动，但”人在回路”（从模型生成的很多篇里挑最好的、或者紧密协作）可能特别有效。

相关研究：

• GPT-3 论文：生成的新闻文章人类几乎分辨不出来——流畅和新颖已经做到了，说服力是开放问题。
• Kreps et al. 2020：微调过的 GPT-2 生成的新闻被参与者认为可信，尤其是和他们的政治立场一致的时候。
• McGuffie & Newhouse 2020：GPT-3 只需要提示（不用微调）就展现出对极端主义社区的了解，能”扮演”阴谋论的信徒，引发对网络激进化的担忧。
• Zellers et al. 2019（Grover）：在新闻上训练一个 GPT-2 大小的模型生成假新闻；已有的检测器准确率 73%，微调过的 Grover 自己做检测器能达到 92%——生成器也是最好的检测器之一。
• Buchanan et al. 2021（CSET）：人与 GPT-3 协作制造虚假信息很有效，有技术能力的国家可能部署它。

缓解：对模型本身加防护、提高公众的数字素养、检测模型，以及 Buchanan et al. 的建议——把重点放在识别虚假账号，而不是逐条判断内容。

4.3 “随机鹦鹉”

阅读清单里的 On the Dangers of Stochastic Parrots（Bender, Gebru et al. 2021）把上面这些担忧放在一起，并提出了几个影响很大的论点：

• 规模不等于多样性：网络数据过多地代表了有网络、有话语权的人群；越大的数据集越难记录和审计（第 2 讲 §3）。
• 数据是静态的：社会的语言和观念在变化，一次性抓取的数据把当时的偏见固定了下来。
• 流畅不等于理解：模型生成的文本的”连贯性”很大程度上在读者的眼里；人们会把流畅的文字当作有意图、有知识的交流，这让错误信息更有说服力。
• 成本：训练大模型的环境和经济成本（第 19 讲），以及这些成本和收益落在不同的人身上。
• 建议：在开发前就考虑风险（“事前验尸”）、为数据写文档、按价值敏感设计的思路让利益相关者参与，并考虑不那么依赖”越大越好”的研究方向。

5. 结果同质化 · Outcome homogenization

5.1 一种只在系统层面才看得见的伤害

Bommasani et al. 2022（Picking on the Same Person）用招聘举了一个例子：一个求职者向 5 家公司投简历，每家公司的筛选系统都有一定的错误率——这本身可以接受。但如果 5 家公司的错误落在同一批人身上，这批人会被所有公司拒绝，他们经历的是系统性失败。这种情况在算法招聘里并不遥远：论文提到，700 家公司（包括超过 30% 的财富 100 强）使用同一家供应商（HireVue）的工具。Kleinberg & Raghavan 2021 把”很多决策者依赖同一个算法”称为算法单一栽培（algorithmic monoculture）。

论文的形式化：

分母是”各个系统的错误互相独立”时的期望值，所以 $H$ 衡量的是”错误有多集中在同一批人身上”，和整体准确率分开。他们的组件共享假说：系统之间共享的组件（训练数据、基础模型）越多，结果越同质化。实验结果：共享训练数据可靠地加剧了同质化，而且个体层面的效应通常大于群体层面；共享基础模型的结果是混合的——视觉和语言上都发现，适配方式（线性探针、微调、BitFit）会显著影响同质化程度。

5.2 一个示意性的模拟

代码 03：20 万个求职者（一半合格），5 家公司。公司 $i$ 看到的打分 = 真实能力 + 共享误差 + 公司自己的误差；共享误差（来自共用的基础模型）占总误差方差的比例为 $\rho$。无论 $\rho$ 是多少，每家公司的准确率都一样：

1. 单看任何一家公司，看不出区别；把 5 家放在一起，“被整个行业拒绝”的合格求职者从 0.4% 涨到了 19%。对求职者来说，“5 家各有 20% 的机会拒绝我”和”我有 20% 的机会被整个行业拒绝”是完全不同的处境。
2. 和我写代码前的预想不同：即使各家完全独立（$\rho = 0$），$H$ 也有 13.7 而不是 1。能力刚好过线的人，对每一家都是”难判断”的——“难”本身就是共享的。所以 $H > 1$ 不一定说明共享了组件，要看 $H$ 随共享程度增加了多少（这里从 13.7 到 745）。

盲区：如果基础模型对一个少数群体（10% 的人）了解得少（共享误差的标准差是多数群体的 2 倍），在 $\rho = 0.5$ 时，少数群体的单家失败率是 0.262（多数 0.196），被所有公司拒绝的比例是 12.5%（多数 3.9%）。同一个模型的盲区，通过所有建立在它上面的系统，变成了同一批人在所有地方的失败——系统性排斥。（有趣的是少数群体的 $H$ 反而更小：$H$ 除以了他们更高的单家失败率。只看一个归一化的指标会误导。）

缓解：每家公司仍然重度依赖基础模型（$\rho = 0.75$），但如果基础模型不止一个，被所有公司拒绝的比例从 7.6%（一个提供商）降到 2.4%（两个）、0.4%（五个）。多样性本身就是保护；而规模经济天然推动大家集中到少数几个最强的模型上——同质化因此也是市场结构和政策问题。

6. 发布规范与职业伦理 · Release norms and professional ethics (Rob Reich)

Rob Reich 是 Stanford 的政治哲学家，当时是 Stanford HAI 的副主任之一，和计算机系的 Mehran Sahami、Jeremy Weinstein 合写了 System Error: Where Big Tech Went Wrong and How We Can Reboot（2021），并和他们一起开设了计算机伦理课程。以下是他在 2022 年的公开材料里的主要论点。

6.1 “一个晚期的青少年”

Reich 把 AI 科学比作一个**“晚期的青少年”：刚刚意识到自己的力量，却还没有成熟到能权衡自己的社会责任。计算机科学是一个年轻的学科，它的从业者直到 2000 年代才获得广泛的社会影响力；它的职业伦理远不如医学、法律等持证执业**的职业成熟。

他用生物医学做对照：Jennifer Doudna 等人召集研究者，就人类生殖系基因编辑达成了暂停（moratorium）；后来一位科学家编辑了人类胚胎，被同行和期刊排斥，并被中国政府判刑入狱。生物医学有伦理委员会、IRB、FDA 的审批；而 AI 模型可以被训练、部署、分享，几乎不经过任何审查。他几乎举不出哪位 AI 研究者因为造成伤害的工作而承担了职业上的后果。

6.2 公司的行为准则不够

各家公司都有自己的”AI 原则”。Reich 的观点是：除非这些做法变成整个行业的职业规范，否则公司准则意义不大——一家公司谨慎，另一家公司可以不谨慎；竞争会惩罚谨慎的一方。这和 §5 的同质化、第 13 讲的开放生态是同一个结构性问题。

6.3 具体的机制

他提出（或支持）的机制：

• 有影响力的 AI 科学家公开倡导职业伦理；
• 外部监督：算法审计机构、公民社会组织（例如 Algorithmic Justice League）；用已有的机构（例如美国平等就业机会委员会）审查 AI 招聘和简历筛选工具；
• 涉及人的 AI 研究的 IRB 类比；Stanford HAI 试点的伦理与社会审查（Ethics and Society Review）：申请经费的项目要经过跨学科的伦理审查（Bernstein et al. 2021, PNAS）；
• 算法影响评估（algorithmic impact statements）：仿照环境影响评估，在部署前说明偏见风险已被降到最低；以及模型卡（Mitchell et al. 2019）、数据集的数据表（Gebru et al. 2021；第 2 讲 §3.2）；
• 在发布模型之前，检查它可能怎样伤害边缘群体；尊重隐私、限制未经同意的数据抓取；限制公共场所的人脸识别和监控；
• 建设公共利益方向的职业路径，培养审计人才。

他把这一切概括为”颠覆与民主之间的赛跑”：技术创新跑得比监管快，所以职业规范和行为准则就更加重要。

6.4 发布规范：开放还是封闭

Liang、Bommasani、Creel、Reich 2022（CRFM 博客）讨论了基础模型向研究者发布（数据、代码、模型）的政策。当时各家的做法很不一样：EleutherAI、Meta、BigScience 倾向广泛开放；OpenAI 主张分阶段发布，对公众只提供 API。他们的论点：

• 外部研究者需要访问模型，才能发现问题——基础模型可以被适配到无数的下游应用，没有一个组织能预见全部风险；
• 但广泛发布也可能让某些人拿去做有害的用途；
• 他们不期待达成共识，但认为每个开发者独立地决定自己的发布政策是有问题的，提议建立一个发布审查委员会，发展共同体规范、协调发布。

发布不是二元的。GPT-2（2019）是分阶段发布的第一个著名例子：OpenAI 先发布小模型，几个月后才发布完整的 15 亿参数模型，同时研究它被滥用的情况（Solaiman et al. 2019）。后来的讨论把发布方式看成一个梯度：完全封闭 → 分阶段 → 托管访问 → API → 可下载的权重 → 完全开放（权重、数据、代码）。越开放，越有利于审计、研究、本地部署和隐私（第 16 讲 §7）、降低权力集中（第 13 讲）；越封闭，越能控制滥用、撤回有问题的版本。这是一个没有标准答案的取舍。

7. 2023 年之后 · Since 2023

• 偏见变得更隐蔽：Hofmann et al. 2024（Nature）发现，GPT-2、GPT-3.5、GPT-4、RoBERTa、T5 等模型对非裔美国人英语使用者持有的”隐性”刻板印象，比实验里记录到的任何人类对非裔美国人的刻板印象都更负面，而它们显性表达的刻板印象却更正面；在决策场景里，模型更可能给这些说话者分配声望较低的工作、判他们有罪。人类反馈对齐扩大了显性和隐性之间的差距——它主要是把偏见藏起来，而不是消除。这和 §2.6 的教训一致：缓解只处理了我们测量的那部分。
• 训练数据里的有害内容：2023 年 12 月，Stanford Internet Observatory 在 LAION-5B 里发现了上千个确认的儿童性虐待材料链接（被标记为可疑的有三千多个），LAION 随后把数据集下线做安全审查。“抓取一切再过滤”的做法在最极端的情况下也会失败（第 2、17 讲）。
• 透明度：Stanford CRFM 的基础模型透明度指数（2023 年 10 月）从 100 个方面给 10 家主要开发者打分，平均只有 37 分，最高的 Llama 2 也只有 54 分；开放权重的开发者得分最高。
• 前沿模型的发布框架：几家主要实验室在 2023–2024 年发布了自己的安全框架（Anthropic 的负责任扩展政策、OpenAI 的准备框架、Google DeepMind 的前沿安全框架），规定在能力达到某些阈值之前要完成哪些评估和防护；系统卡（system card）、红队测试成为发布的标配。这在某种程度上回应了 Reich 的”职业规范”，但仍然是各家自己制定、自己执行的。
• 监管开始到来：欧盟《人工智能法》（2024 年通过）对通用 AI 模型规定了透明度和（对有系统性风险的模型）风险评估的义务（第 19 讲）。
• 虚假信息：生成式 AI 让深度伪造的图像、音频和视频变得廉价，选举和诈骗是主要担忧；内容溯源（C2PA 等标准）和水印（例如 SynthID）成为技术应对，但都不能单独解决问题。

8. 小结 · Summary

1. 能力推动采用，采用放大危害。本讲讨论没有攻击者、系统正常工作时的危害：性能差异、偏见、有害内容、虚假信息、结果同质化。表征性伤害 vs 分配性伤害。
2. 模型原样复现数据里的偏斜：迷你世界里随手设的职业—代词比例被模型几乎原样学到（平均绝对差 0.041）；测量依赖模板（judge 0.17–0.43）；贪心解码把 0.53 的倾向变成 100% 的输出。
3. CDA 能消除一个已知的关联（P(she) 都到了 0.46–0.49），但更公平的模型在有偏的测试集上显得更差（代词交叉熵 0.90 → 1.00 比特）——“准确”和”公平”的冲突是价值判断。
4. 有害内容过滤器会误伤身份词：“i am velan.” 被判为有毒的比例 0.262，换成中性词是 0；加 50 条正常的身份陈述就能修好——前提是有人注意到。用过滤器清洗语料会抹除群体的正常文本（C4：非裔美国人英语被删 42%，白人英语 6.2%），让模型对他们更陌生。
5. 虚假信息：语言模型让新颖、流畅、有针对性的内容变得便宜；生成器也是好的检测器（Grover 92%）。
6. 结果同质化：每个系统的准确率不变，共享组件让错误集中在同一批人身上（玩具：被所有公司拒绝 0.4% → 19%）；基础模型的盲区变成系统性排斥；多样性是保护。
7. Reich：AI 是”晚期的青少年”，缺少像生物医学那样的职业规范和执行；公司准则不够，需要行业规范、外部审计、IRB 类比、算法影响评估、发布审查。发布是一个从封闭到开放的梯度，没有标准答案。

9. 常见误区 · Common pitfalls

1. “模型只是反映数据，所以偏见不是模型的问题。” 模型把数据的偏见带进了成千上万的应用；解码方式还会放大它（§2.5）。“反映”不等于”无害”。
2. “在一个模板上测一下就知道模型有没有偏见。” 结果依赖模板、词表、解码（judge 在四个模板上 0.17–0.43）。
3. “准确率更高的模型更好。” 测试集本身有偏见时，更公平的模型可能”准确率”更低（§2.6）。
4. “毒性分类器是中立的工具。” 它会把身份词当作有毒的证据，误伤它本想保护的群体（§3.2–3.3）。
5. “过滤掉有毒内容，数据就更好了。” 过滤会不成比例地删掉某些群体的正常文本，让模型对他们更差（§3.4）。
6. “每个系统都通过了公平性审计，整体就是公平的。” 结果同质化只有把所有系统放在一起看才能发现（§5）。
7. “同质化程度 $H > 1$ 就说明系统共享了组件。” 即使完全独立，“难判断的人”本身也是共享的；要看 $H$ 随共享程度的变化（代码 03）。
8. “对齐之后模型就没有偏见了。” 对齐可能只是把显性的偏见藏起来，隐性的偏见还在（Hofmann et al. 2024）。
9. “伦理是事后的检查清单。” Reich 和 Harms I 笔记都强调主动的机制：发布前的审查、共同体规范、外部审计。

10. 练习 · Exercises

练习 1（表征性 vs 分配性） 判断下面的情况主要是哪一类伤害：(a) 图像生成模型把”CEO”几乎都画成男性；(b) 用语言模型给简历打分，某个方言写的简历分数系统性地偏低；(c) 聊天机器人在被问到某个宗教时，常常联想到暴力。

(a) 表征性：强化了”CEO = 男性”的刻板表征；如果这些图被用在招聘广告里，也可能间接影响分配。(b) 分配性：直接影响工作机会的分配（也包含性能差异）。(c) 表征性：Abid et al. 2021 的例子。基础模型本身更多造成表征性伤害；当它被用到决策里（b），就变成了分配性伤害——这也是为什么 Harms I 笔记说，伤害在具体的下游应用里更容易评估。

练习 2（贪心解码的放大） 一个模型对某个职业给 she 的概率是 $p = 0.55$。(a) 按概率采样 1000 次，期望有多少个 she？(b) 贪心解码 1000 次呢？(c) 温度 $T = 0.5$ 时，she 的概率变成多少？

(a) 550 个。(b) 1000 个（每次都选概率最大的 she）。(c) 温度 $T$ 相当于把概率变成 $p^{1/T}$ 再归一化：$0.55^2 / (0.55^2 + 0.45^2) = 0.3025 / (0.3025 + 0.2025) = 0.599$。温度越低，偏斜越被放大；$T \to 0$ 时趋向 1。代码 01 演示 2 里，baker 的 P(she) = 0.529，贪心解码写出的就是 she。

练习 3（准确与公平的冲突） 测试数据里 pilot 的故事有 85% 用 she。比较两个模型在 pilot 的代词上的交叉熵（比特）：模型 A 预测 P(she) = 0.85，模型 B 预测 0.5。

模型 A：$-(0.85 \log_2 0.85 + 0.15 \log_2 0.15) = 0.85 \times 0.234 + 0.15 \times 2.737 = 0.199 + 0.411 = 0.610$ 比特。模型 B：$-\log_2 0.5 = 1$ 比特。在有偏的测试数据上，“复现偏见”的模型 A 得分更好。代码 01 演示 3 的代词交叉熵（对照 0.90，CDA 1.00）就是 8 个职业平均起来的同一件事（大部分职业本来就接近 0.5，所以差距比 pilot 小）。

练习 4（改代码，预测结果） 在代码 02 里把 annotated 的 p_group_in_toxic（有毒评论里针对 velan 的比例）从 0.4 改成 0.1 和 0.2。你预测 “i am velan.” 一类陈述的误判率会怎样变化？

我在一份拷贝里运行的结果：0.1 时 velan 的权重 +1.63，误判率 0.000；0.2 时 +1.91，误判率 0.262；0.4 时 +2.16，误判率 0.262。权重随偏斜单调增大，但误判率是跳跃的：权重小于某个值时，任何一句身份陈述都过不了 0.5 的阈值；超过之后，某些句式（例如 “we are velan people.”，它还含有在有毒评论里常见的 “are”）一下子全部被判为有毒。这说明误伤可能在标注数据的偏斜达到某个程度时突然出现，而平均的分数不一定能提前预警。

练习 5（同质化的算术） 5 家公司，每家的失败率都是 $p = 0.19$。(a) 如果错误互相独立，系统性失败率是多少？(b) 如果 5 家完全是同一个模型（$\rho = 1$），系统性失败率和 $H$ 是多少？和代码 03 的结果对比。

(a) $0.19^5 \approx 0.00025$。(b) 系统性失败率 = $p = 0.19$，$H = p / p^5 = 1/p^4 = 1/0.0013 \approx 767$。代码 03 在 $\rho = 1$ 时得到 0.1914 和 745.2（失败率 0.191，$1/0.191^4 \approx 750$，采样误差内一致）。而 $\rho = 0$ 时代码得到 0.0037，是 (a) 的十几倍——因为”刚好过线的人”对每家都难，错误并不真的独立（讲义 §5.2 第 2 点）。

练习 6（概念：H 的陷阱） 代码 03 演示 2 里，少数群体的系统性失败率更高，$H$ 却更低。用公式解释为什么，并说明报告同质化时应该同时报告什么。

$H$ = 系统性失败率 ÷ $\prod_i$ 失败率。少数群体的单家失败率更高（例如 0.29 vs 0.20），分母 $0.29^5$ 比 $0.20^5$ 大约 6 倍，所以即使系统性失败率更高（0.29 vs 0.20），$H$ 也更小。$H$ 衡量”错误有多集中”，有意地和准确率分开；但受伤害的人数比例是系统性失败率本身。应该同时报告：每个群体的单家失败率、系统性失败率、$H$，以及”被至少一家接受”的比例。

练习 7（概念：发布决策） 你的团队训练了一个很强的开放权重模型。列出”完全开放权重”的两个好处和两个风险，并说出一个介于开放和封闭之间的发布方式。

好处：外部研究者可以审计偏见、安全问题（Liang et al. 2022 的论点：没有一个组织能预见全部风险）；用户可以本地部署，保护隐私（第 16 讲 §7）；降低权力集中，促进开源生态（第 13 讲）。风险：无法撤回——发现问题后不能像 API 那样修补或下线；被移除安全训练后用于有害用途（例如大规模生成虚假信息）；也可能被嵌入后门再传播（第 17 讲）。中间方式：分阶段发布（先小模型）、只对通过审核的研究者开放、托管访问（研究者可以查询但拿不到权重）、带使用许可（例如 RAIL）的开放、先 API 后开放。

练习 8（概念：Reich 的论点） Reich 认为公司的 AI 原则”意义不大，除非变成行业规范”。用 §5 结果同质化或博弈论的语言解释为什么单个公司的准则不够。

这是一个集体行动问题：谨慎（多做审查、推迟发布、放弃有风险的用途）对单个公司有成本，而好处由整个社会分享；如果竞争对手不谨慎，谨慎的公司会在市场上吃亏，于是每家公司都有动机放松自己的准则。只有当规范对所有人都适用、并且有执行机制（共同体排斥、审计、监管）时，谨慎才不再是竞争劣势——生物医学的 CRISPR 规范、IRB 和 FDA 都是这样的机制。同质化也说明：单个系统”合规”不能保证系统层面的结果是可接受的。

11. 延伸阅读 · Further reading

原课阅读清单与课程笔记

• Stanford CS324 Winter 2022. Harms I、Harms II（课程笔记）. stanford-cs324.github.io
• Bender, Gebru, McMillan-Major & Shmitchell. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? FAccT 2021. doi:10.1145/3442188.3445922
• Bommasani et al. On the Opportunities and Risks of Foundation Models（第 5 章：社会影响）. 2021. arXiv:2108.07258
• Weidinger et al. Ethical and social risks of harm from Language Models. 2021. arXiv:2112.04359

Rob Reich 与发布规范

• Stanford HAI. Rob Reich: AI Developers Need a Code of Responsible Conduct. 2022. hai.stanford.edu
• Liang, Bommasani, Creel & Reich. The Time Is Now to Develop Community Norms for the Release of Foundation Models. 2022（CRFM 博客）. crfm.stanford.edu
• Reich, Sahami & Weinstein. System Error: Where Big Tech Went Wrong and How We Can Reboot. 2021（书）
• Bernstein et al. Ethics and society review: Ethics reflection as a precondition to research funding. PNAS 2021. doi:10.1073/pnas.2117261118
• Mitchell et al. Model Cards for Model Reporting. FAT* 2019. arXiv:1810.03993
• Solaiman et al. Release Strategies and the Social Impacts of Language Models. 2019. arXiv:1908.09203

偏见、有害内容与同质化

• Gehman et al. RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models. Findings of EMNLP 2020. arXiv:2009.11462
• Dodge et al. Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. EMNLP 2021. arXiv:2104.08758
• Dixon et al. Measuring and Mitigating Unintended Bias in Text Classification. AIES 2018. doi:10.1145/3278721.3278729
• Welbl et al. Challenges in Detoxifying Language Models. Findings of EMNLP 2021. arXiv:2109.07445
• Nadeem, Bethke & Reddy. StereoSet: Measuring stereotypical bias in pretrained language models. ACL 2021. arXiv:2004.09456
• Bommasani et al. Picking on the Same Person: Does Algorithmic Monoculture lead to Outcome Homogenization? NeurIPS 2022. arXiv:2211.13972
• Kleinberg & Raghavan. Algorithmic monoculture and social welfare. PNAS 2021. doi:10.1073/pnas.2018340118
• Hofmann, Kalluri, Jurafsky & King. AI generates covertly racist decisions about people based on their dialect. Nature 2024. doi:10.1038/s41586-024-07856-5
• Zellers et al. Defending Against Neural Fake News（Grover）. NeurIPS 2019. arXiv:1905.12616

12. 下一讲预告 · Next lecture

这一讲的几个话题都通向一个问题：**谁来管、怎样管？**Reich 呼吁职业规范；Dodge et al. 呼吁给数据写文档；Bommasani et al. 指出同质化是市场结构的问题。

第 19 讲：环境影响与法律——算力的碳账本、版权、责任与监管（Syllabus “Environmental Impact”、“Legal Considerations”）把视角再拉远一步：训练和使用基础模型要消耗多少能源、排放多少碳，怎样估算、怎样报告；用网页训练模型合不合法（版权与合理使用、Fair Learning），模型出了问题谁负责；反歧视法里的”差别对待”和”差别影响”怎样套用到算法上；以及 2023 年之后到来的监管。代码会写一个碳排放计算器、估算训练与推理的盈亏平衡点，并实现”五分之四规则”的差别影响检验。法律部分只介绍框架，不构成法律意见。