Lecture 19 · 法律与伦理：版权、许可、同意、数据治理与公平 · Legal & Ethical Aspects of Training Data

对应 Maps to：补充讲。Stanford CS525 Winter 2026 的最终日程里没有单独的一次课，但 Stanford Bulletin 的课程描述明确包括”训练数据的伦理和法律问题，例如版权和隐私”，第 1 讲 slides 的课程计划里也列了 “Legal aspects” 和 “Fairness / bias”。 依据说明：本讲依据公开的判决、监管文件和学术文献：美国的 Authors Guild v. Google、Thomson Reuters v. Ross、Bartz v. Anthropic、Kadrey v. Meta、NYT v. OpenAI，美国版权局 2025 年的报告第三部分；欧盟的 DSM 指令和《人工智能法》对通用模型的义务；英国的 Getty Images v. Stability AI、德国的 GEMA v. OpenAI；Data Provenance Initiative、Consent in Crisis、Common Pile、Datasheets for Datasets、Gender Shades 等论文。法律部分是截至 2026 年 10 月的公开信息，主要来自法院文件的二手分析（律所和法律媒体的报道），很多案件还在上诉或审理中，各来源对个别日期的说法不一致；这不是法律意见。 整个结构、“统一的视角”和代码都是我补充的。 配套代码 Code：code/lecture19/（numpy；1 个脚本，复用第 10 讲的模块；约 4 秒） 预计阅读时间：2 小时（含运行代码）

0. 本讲导航 · How to read this lecture

0.1 学习目标 Learning goals

1. 说清楚为什么训练数据的法律和伦理问题是数据管线的设计问题，而不只是法务部门的事。
2. 了解美国版权法的合理使用框架，以及近几年几个关键判决的要点和分歧：训练本身、数据的获取方式、输出、市场影响。
3. 了解欧盟的文本与数据挖掘例外和”退出”机制、《人工智能法》对训练数据的透明度要求，以及英国、德国的两个判决。
4. 理解数据集许可证的混乱（Data Provenance Initiative）和”同意的危机”（robots.txt 限制的快速增长），以及它们怎样改变训练数据的组成。
5. 会写数据文档（数据表 / 数据卡），理解数据集为什么会被下架、下架之后为什么还在流传。
6. 理解数据中的偏差怎样变成模型的偏差，以及为什么要按群体审计。

0.2 先修与本讲范围 Prerequisites & scope

CS224N 第 19 讲（社会影响） 讨论了语言模型的偏见和社会影响；本讲关注训练数据这一侧。

0.3 本讲地图 Map

§1  为什么数据工作者要懂法律和伦理
§2  美国：版权与合理使用，以及近几年的判决
§3  其他法域：欧盟、英国、德国
§4  许可证与来源审计                         ← 代码演示 1（开放许可）
§5  同意：robots.txt 与"同意的危机"           ← 代码演示 1（同意的危机）
§6  数据文档、治理与下架
§7  公平：数据中的偏差怎样变成模型的偏差      ← 代码演示 2
§8  一个统一的视角
§9  延伸与前沿
§10–14  小结、常见误区、练习、延伸阅读、下一讲预告

0.4 关于数字

法律部分的事实来自公开报道，日期以”年 / 月”为主（个别案件的具体日期各来源不一致）。论文的数字来自摘要。代码的数字来自第 10 讲的多领域世界（数据来源被限制时的混合与损失）和一个两群体的分类问题（按群体审计）。代码固定了随机种子，同一台机器上重复运行输出逐字相同。

1. 为什么数据工作者要懂法律和伦理 · Why this matters for data work

这门课的第七个想法是”数据来自人”。网页上的文字有作者，图片有拍摄者和被拍摄的人，代码有许可证，个人信息有它的主人。这门课前面的每一个数据决策，都同时是一个法律或伦理决策：

这些问题的答案会直接改变数据集：Books3 在 2023 年因为版权投诉被下架；LAION-5B 在 2023 年底被临时下架（§6.3）；越来越多的网站拒绝 AI 爬虫（§5）。一个数据集能不能用、能用多久、能用在什么地方，取决于这些决策。

2. 美国：版权与合理使用 · US copyright and fair use

2.1 基本框架

版权保护的是表达（具体的文字、图像），不保护思想和事实。训练一个模型几乎总要复制作品（下载、存储、在训练中处理），所以问题变成：这种复制是否构成合理使用（fair use）。美国版权法第 107 条列出了四个因素：

1. 使用的目的和性质：是否商业性；是否”转换性”（transformative）——是否为了一个和原作品不同的目的；
2. 作品的性质：事实性的作品比创造性的作品更容易被合理使用；
3. 使用的数量和实质性：用了多少、是否用了核心部分；
4. 对作品潜在市场的影响：是否替代了原作品或它的授权市场。

一个重要的先例是 Authors Guild v. Google（第二巡回法院，2015）：Google 扫描了上千万本书，提供全文检索和片段显示，法院认为这是高度转换性的合理使用——它提供的是”关于书的信息”，而不是书本身的替代品。

2.2 近几年的判决（截至 2026 年 10 月）

新的诉讼还在不断出现（出版社起诉 Google、更多报社起诉 OpenAI 等）。

2.3 美国版权局的报告

2025 年 5 月，美国版权局发布了《版权与人工智能》报告第三部分（训练）的预发布版本。要点：

• 合理使用要逐案判断：有些训练是合理使用，有些不是。非商业的研究、不能复现受保护内容的分析更可能合理；用来生成与原作品竞争的表达性内容的商业用途更难。
• 第三个因素：训练通常复制整部作品，这不利于合理使用；开发者可以说明复制是实现转换性目的所必需的，并且有有效的防护措施防止模型输出受保护的表达。
• 第四个因素最重要。报告提出了一个新的概念——市场稀释（market dilution）：即使生成的作品和任何一部具体作品都不相似，大量的 AI 生成作品也会和训练时用到的作品竞争（“如果市场上出现成千上万本 AI 生成的言情小说，人写的言情小说就会少卖”）。这一点争议很大，还没有法院采纳。
• 如果授权市场已经存在或可能出现，失去授权机会不利于合理使用；作品是盗版的还是合法获得的，也可以考虑。

2.4 对数据工作者的含义

把这些判决和报告放在一起，可以看出几条对数据管线直接有用的线索（不是法律意见）：

1. 获取方式很重要：Bartz 把”用书训练”和”从盗版网站获取书”分开处理。数据的来源记录（§6）不只是好习惯，也是法律风险的一部分。
2. 用途和市场很重要：和原作品直接竞争的用途（Ross）更难被认为是合理使用。
3. 输出很重要：模型逐字输出受保护的内容（第 18 讲的记忆），会让”训练是转换性的”这个论点变弱。去重、记忆审计、输出过滤因此也是法律风险控制。
4. 授权在增加：很多 AI 公司和新闻机构、图片库、出版社签订了数据授权协议。授权数据有清楚的权利，但也更贵、更集中。

3. 其他法域 · Other jurisdictions

3.1 欧盟：文本与数据挖掘例外和”退出”

欧盟 2019 年的《数字单一市场版权指令》（DSM 指令）有两个文本与数据挖掘（TDM）例外：第 3 条允许研究机构为科研目的做数据挖掘；第 4 条允许任何人做数据挖掘，除非权利人以适当的方式（对网上公开的内容，用机器可读的方式）保留了权利——这就是”退出”（opt-out）机制。

3.2 欧盟《人工智能法》对通用模型的义务

从 2025 年 8 月 2 日起，通用 AI 模型的提供者要承担一系列义务：技术文档；制定遵守欧盟版权法的政策，包括识别并尊重权利人的机器可读的权利保留；按欧盟委员会的模板公开一份”足够详细的训练内容摘要”，帮助权利人行使权利。2025 年 7 月发布的《通用 AI 行为准则》（自愿签署）把这些义务具体化：版权政策要有组织层面的负责人；爬虫要尊重 robots.txt 等机器可读的协议；要主动排除经常侵权的网站；要有技术措施防止模型复现训练数据里受保护的内容。主要的模型开发者大多签署了。

对数据工作者的含义：训练数据的记录从”好习惯”变成了义务——用了哪些来源、怎样爬的、怎样处理退出请求，都要能说清楚。

3.3 英国与德国：两个方向不同的一审判决

• Getty Images v. Stability AI（英格兰和威尔士高等法院，2025 年 11 月）：Getty 在审理中放弃了训练行为的版权诉求（训练不在英国进行）；剩下的”间接侵权”诉求被驳回——法院认为 Stable Diffusion 的模型权重不存储 Getty 图片的副本，不是”侵权复制品”。Getty 只在一个很窄的商标问题上胜诉（早期版本生成的图片里出现了 Getty 的水印）。
• GEMA v. OpenAI（慕尼黑地区法院，2025 年 11 月）：德国音乐著作权协会胜诉。法院认为，当模型对简单的提示就能几乎原样输出歌词时，这说明歌词被记忆在了模型参数里；这种记忆本身就是对作品的复制（不只是输出），而且不属于 TDM 例外。

两个判决对”模型参数里有没有作品的副本”给出了几乎相反的回答。它们都是一审判决，只约束各自的法域，可能被上诉推翻。但它们都把第 18 讲的问题——模型记住了什么——放在了争议的中心。

4. 许可证与来源审计 · Licenses and provenance

4.1 数据集许可证的混乱

Data Provenance Initiative（Longpre et al. 2023）由法律和机器学习专家一起审计了 1800 多个文本数据集（主要是微调数据），追溯它们的来源、创建者、许可条件和下游使用。发现：

• 流行的数据集托管网站上，超过 70% 的数据集没有标注许可证；
• 标注了的许可证错误率超过 50%（例如原始数据是非商业许可，聚合之后被标成了宽松许可）；
• 商业许可和非商业许可的数据在组成上有很大差别：非商业 / 封闭许可的数据集在低资源语言、创意任务、话题多样性、较新的合成数据上占主导——“可以商用的数据”和”所有数据”之间的鸿沟在加深。

一个常见的问题是许可证在聚合中丢失：一个数据集由几十个来源拼成，每个来源有自己的许可证（甚至服务条款禁止用于训练），拼起来之后只剩一个总的许可证。他们发布了 Data Provenance Explorer，让使用者按许可证、来源、语言筛选数据。

4.2 只用开放许可的数据能走多远

Common Pile v0.1（Kandpal et al. 2025）从 30 个来源收集了 8 TB 公有领域和开放许可的文本（研究论文、代码、书籍、百科、教育材料、音频转写……），在上面训练了两个 70 亿参数的模型（Comma v0.1，1 万亿和 2 万亿 token），和同等算力、在无许可文本上训练的 Llama 1 / 2 7B 有竞争力。这说明”只用有清楚权利的数据”在中等规模上是可行的；代价是覆盖面（例如新闻、当代网络文本）不同。

代码演示 1(b) 用第 10 讲的多领域世界做了一个极端的版本：去掉没有明确许可的网页（新闻、聊天类网页全部去掉，技术网页只留 5%），只保留百科、40% 的书（公有领域）、70% 的代码（宽松许可）、30% 的论坛（开放许可的问答站点）、全部的数学。只剩 3% 的数据，重新找最好的混合比例后：

（交叉熵，比特 / token，越低越好。）损失最大的是对话、阅读这类依赖一般网页文本的任务；写代码反而略好——开放许可的数据里代码的比例更高，最好的混合比例随之改变（web 从 0.53 降到 0.31）。这个模拟的差距比真实情况大得多：第 10 讲的世界里网页占了 97% 的数据，而真实的开放许可数据（Common Pile）规模大、来源多。可以推广的是方向：许可证的限制以”数据混合”的形式进入模型，不同的能力受影响的程度不同。

5. 同意：robots.txt 与”同意的危机” · Consent

5.1 robots.txt

robots.txt 是 1994 年出现的一个自愿的约定：网站在根目录放一个文本文件，告诉爬虫哪些路径不要访问、哪些爬虫不欢迎。它没有法律强制力，但在欧盟，机器可读的权利保留是 TDM 例外的”退出”方式（§3.1），《人工智能法》的行为准则要求尊重它。2023 年起，AI 公司开始使用专门的爬虫标识（例如 OpenAI 的 GPTBot、Common Crawl 的 CCBot、Google 用于 AI 训练的 Google-Extended），网站可以单独拒绝它们。

5.2 同意的危机

Consent in Crisis（Longpre et al. 2024）审计了 C4、RefinedWeb、Dolma 背后的约 1.4 万个网站，发现 2023 到 2024 年的一年之内：

• C4 里约 5% 以上的 token 被 robots.txt 完全限制；
• 但在最活跃、最关键的来源里，28% 以上被完全限制；
• 按服务条款（ToS）算，C4 里 45% 的内容有爬取限制；
• robots.txt 和服务条款之间普遍不一致，越来越多的条款专门针对 AI。

作者认为，这些限制会让通用 AI 系统的训练数据在多样性、时效性和扩展律上产生偏差。

5.3 代码：限制集中在高质量来源时

代码演示 1(a)：在第 10 讲的世界里，假设新闻类网页被限制 25%、百科 30%、论坛 20%、聊天和技术网页各 1% 和 3%（比例是我设的，模仿”限制集中在高质量来源”）。总数据只少了 11%：

平均损失几乎没变，影响却集中在依赖百科和新闻的知识类任务上。只看平均数会低估这种偏向性的损失——这和第 14 讲”按子任务看评测”、§7”按群体审计”是同一个道理。我还试过把训练预算放大 16 倍，看稀缺来源的限制会不会被放大，但平均损失的差别没有规律（见代码 README），所以这里不下这个结论。

5.4 退出与选择加入

“退出”（opt-out）把负担放在了权利人身上：他们要知道有哪些爬虫、怎样配置、配置是否被尊重；而且退出通常只对未来的爬取有效，已经进入数据集的内容很难撤回（第 18 讲的”遗忘”问题）。“选择加入”（opt-in）对权利人更友好，但会让数据量大幅减少。很多数据集提供了”从数据集中移除”的请求渠道，一些组织提供了查询”我的作品是否在训练数据里”的工具。这里没有简单的答案；对数据工作者来说，至少要做到：记录爬取时的 robots.txt 和服务条款状态，处理移除请求，并让这些记录可以被审计。

6. 数据文档、治理与下架 · Documentation, governance and deprecation

6.1 为数据集写文档

Datasheets for Datasets（Gebru et al. 2018 / 2021）借鉴电子元件的数据手册，提出每个数据集都应该回答一组问题：

类似的还有数据卡（Data Cards，Pushkarna et al. 2022）、自然语言数据的数据陈述（Bender & Friedman 2018）。欧盟《人工智能法》的训练内容摘要（§3.2）可以看作是一种法定的、面向公众的数据文档。第 20 讲会给出一个课程项目可以直接用的数据卡模板。

6.2 为什么文档对数据研究本身也重要

这门课里反复出现的问题——测试集污染（第 14 讲）、同源泄漏（第 17 讲）、数据混合的比例（第 10 讲）、合成数据的来源（第 11 讲）——都需要知道”训练数据里到底有什么”。没有文档，这些问题都无法回答。文档是可复现性的前提，不只是合规的负担。

6.3 数据集为什么会被下架，以及为什么下架之后还在流传

• 人物和人脸数据集：MS-Celeb-1M、DukeMTMC 等人脸 / 行人数据集在 2019 年前后因为隐私和同意的问题被撤回；TinyImages（CIFAR-10 的来源）在 2020 年因为包含冒犯性的类别和图片被撤回；ImageNet 的”人”子树的问题见第 1 讲。
• LAION-5B：2023 年 12 月，斯坦福互联网观察站的研究者报告在其中发现了指向儿童性虐待材料（CSAM）的链接；LAION 临时下架了数据集，和儿童保护机构合作，按它们提供的链接和图像哈希列表移除了 2236 个链接，2024 年 8 月发布了 Re-LAION-5B。
• Books3：2023 年因为版权投诉被托管方下架。

Peng, Mathur & Narayanan（2021）研究了 1000 篇论文，发现被撤回的数据集仍然通过副本和衍生数据集被广泛使用——下架原始数据集并不能让它从生态系统里消失。这说明数据治理需要管理（stewardship）：明确的许可证和使用条件、维护者、移除和更新的渠道，以及衍生数据集对上游的追溯。

7. 公平：数据中的偏差怎样变成模型的偏差 · Fairness

7.1 偏差的来源

7.2 Gender Shades

Buolamwini & Gebru（2018）按”性别 × 肤色”四个交叉群体评测商用的人脸性别分类器：在肤色较浅的男性上错误率最高只有 0.8%，在肤色较深的女性上最高达 34.7%。常用的人脸数据集和评测集里，肤色较深的女性比例很低。这项研究之后，相关公司很快改进了自己的系统——审计本身改变了结果。它的方法论教训和第 14 讲一致：一个整体的准确率可能完全掩盖某个子群体上的失败。

7.3 代码：按群体审计

代码演示 2：两个群体，训练数据里群体 B 只占 10%（2000 个样本里 189 个）；B 的观测特征有偏移，规则也有一部分不同。测试集的组成同样是 90 / 10：

1. 整体准确率看不出问题：线性模型整体 0.822，几乎完全由群体 A 决定；群体 B 只有 0.595。
2. 容量不足时是取舍：线性模型装不下两个相互冲突的规则，重新加权和多收集数据都只是把准确率从 A 挪到 B。
3. 容量足够时，瓶颈在数据：非线性模型里，多收集 800 个 B 的样本让 B 从 0.716 升到 0.808，A 几乎不变；重新加权只到 0.746——只有 189 个样本，加大权重不会带来新的信息。问题出在数据里时，最直接的办法是改数据。
4. 分组建模需要知道每个人属于哪个群体——这本身就带来隐私和公平上的新问题（第 18 讲）。

8. 一个统一的视角（补充） · A unified view

把本讲的问题放回第 20 讲要讲的”数据管线”里，每一步都有对应的法律 / 伦理问题和应该留下的记录：

这张表的核心是：合规、伦理和科学上的可复现性，要求的是同一样东西——知道并记录训练数据里有什么、从哪里来、经过了什么处理。

9. 延伸与前沿 · Beyond the original lecture

本节是我补充的。

授权市场。 2024 年以来，很多 AI 公司和新闻机构、图片库、论坛、出版社签订了数据授权协议。这改变了第四个合理使用因素（授权市场”已经存在”），也让高质量数据的获取更加集中在资金充足的公司手里——对开放研究是一个挑战（第 6 讲的 DCLM 依赖公开的 Common Crawl）。

补偿与数据估值。 如果要给数据提供者付费，怎样分配？第 13 讲的数据 Shapley 和归因方法给出了一种技术上的思路，但离实际可用还很远。

内容来源标记。 C2PA 等内容来源标准、生成内容的水印，试图让”这段内容从哪里来、是否由 AI 生成”可以被追溯。它们关系到第 11 讲的合成数据（训练数据里混进了多少 AI 生成的内容）。

变化很快。 本讲描述的诉讼大多还没有终审，监管细则还在制定。一个实际的建议：在数据卡里记录”做出这些决策时依据的规则和日期”，规则变了之后能知道哪些数据需要重新审视。

10. 小结 · Summary

1. 数据来自人：这门课里的每个数据决策同时是法律和伦理决策；它们直接决定数据集能不能用、能用多久。
2. 美国：合理使用逐案判断。Bartz：用合法获得的书训练是合理使用，从盗版网站获取不是（之后约 15 亿美元和解）；Kadrey：Meta 在很窄的意义上胜诉；Ross（上诉维持）：和原作品竞争的非生成式用途不是合理使用。版权局报告强调市场影响，提出了有争议的”市场稀释”。
3. 欧盟：TDM 例外 + 机器可读的退出；《人工智能法》要求版权政策、尊重退出、公开训练内容摘要。英国 / 德国：模型权重是不是作品的副本，两个一审判决给出了相反的回答；记忆是争议的中心。
4. 许可证：托管网站上超过 70% 的数据集没有标注许可证，标注了的错误率超过 50%；只用开放许可的数据（Common Pile）在 7B 规模上可行。
5. 同意的危机：一年之内 C4 里约 5% 的 token、但 28% 以上的关键来源被 robots.txt 完全限制；限制集中在高质量来源，影响集中在特定能力上（代码：平均几乎不变，知识类任务变差）。
6. 文档与治理：数据表 / 数据卡；数据集会被下架，但副本和衍生品会继续流传，所以需要管理。
7. 公平：整体准确率会掩盖子群体的失败（Gender Shades）；容量足够时，补充少数群体的数据比重新加权有效（代码）。
8. 合规、伦理和可复现性要求同一样东西：记录训练数据里有什么、从哪里来、经过了什么处理。

11. 常见误区 · Common pitfalls

1. “公开的网页就可以随便用来训练。” 公开不等于没有版权或没有使用条件；robots.txt、服务条款、许可证都可能限制使用。
2. “法院已经判定 AI 训练是合理使用。” 现有的判决结果不一，事实和法域都很重要；获取方式（Bartz）、用途（Ross）、输出（GEMA）都可能改变结论。
3. “数据集页面上写的许可证就是数据的许可证。” 超过一半是错的（Data Provenance Initiative）；聚合会丢失上游的许可条件。
4. “总 token 只少了 5%，问题不大。” 损失集中在高质量、关键的来源上，影响集中在特定能力上（代码演示 1）。
5. “数据集下架了，问题就解决了。” 副本和衍生数据集会继续流传。
6. “整体准确率高，模型就是公平的。” 少数群体的失败会被整体指标掩盖（代码演示 2）。
7. “重新加权就能解决数据不平衡。” 少数群体的样本太少时，加权不能带来新信息（代码演示 2）。

12. 练习 · Exercises

练习 1（合理使用的四个因素） 对下面两种用途，按四个因素分析，各自更像 Authors Guild v. Google、Ross 还是 Bartz 的哪一部分：(a) 用一家图片库的照片训练一个”按描述生成同类商业图片”的模型并商业销售；(b) 用合法购买的教科书训练一个只用于回答学生问题、不输出原文的辅导模型。

(a) 目的：商业的，转换性有争议（生成的是同类商业图片）；作品性质：创造性；数量：整张图片；市场：直接和图片库的授权市场竞争（版权局报告的市场影响、可能的”市场稀释”）。这更接近 Ross 的”竞争性用途”，合理使用的论点较弱；如果生成的图片里出现水印或接近原图（Getty 的商标问题、第 18 讲的记忆），风险更大。

(b) 目的：商业或教育，转换性较强（回答问题而不是替代教科书），如果有防护措施防止输出原文，第三个因素的不利影响减轻；获取方式合法（对应 Bartz 判为合理使用的那一部分）；市场：如果辅导模型替代了教科书的购买，第四个因素会不利。仍然要逐案判断。

（这只是对公开判决的阅读练习，不是法律意见。）

练习 2（同意的危机） Consent in Crisis 报告：一年之内 C4 里约 5% 的 token 被完全限制，但最关键的来源里 28% 以上被限制。(a) 为什么两个数字差这么多？(b) 结合代码演示 1(a)，解释为什么”5%“会低估影响。(c) 如果你在维护一个开放的预训练数据集，你会怎样记录和处理这件事？

(a) 关键来源（新闻、百科、活跃维护的高质量网站）的拥有者更有动力和能力限制 AI 爬虫；大量低质量、长尾的页面没有人维护 robots.txt。按 token 平均，长尾的页面占了大部分；按”重要性”看，限制集中在少数关键来源上。

(b) 演示 1(a) 里总数据少 11%，平均损失几乎不变（2.9210 → 2.9220），但知识问答 +0.015、科学 +0.013——损失集中在依赖被限制来源的能力上。平均指标把它们稀释了。

(c) 记录每个来源在每次爬取时的 robots.txt 和服务条款状态；按新的限制过滤后续版本，并在数据卡里说明各版本之间的差异（哪些来源、多少 token、哪些领域受影响）；按领域报告被限制的比例，而不只是总数；评估受影响的能力（按任务评测）。

练习 3（许可证审计） 你要为一个商业模型组建微调数据：从 Hugging Face 上选了 20 个数据集，其中 15 个标注了宽松许可证。根据 Data Provenance Initiative 的发现，你还需要做什么？

不能只看托管页面上的标注：超过 70% 的数据集没有标注，标注了的错误率超过 50%。需要追溯每个数据集的上游来源（它是从哪些数据、哪些模型生成或改造的）和它们的许可条件：例如一个”宽松许可”的指令数据集可能是用某个服务条款禁止用于训练竞争模型的 API 生成的，或者包含非商业许可的原始文本。对无法确认的数据集，要么排除，要么记录风险。可以用 Data Provenance Explorer 这类工具辅助。最后在数据卡里记录每个来源的许可证和追溯结果。

练习 4（写一份数据表） 为第 15 讲的 DROID 数据集（或你熟悉的任何一个数据集）写一份简短的数据表：按 §6.1 的七个部分，每部分写 1–3 句。哪些问题你从公开材料里找不到答案？

（开放题，DROID 的一个可能的版本）动机：为了训练在多样的真实场景里泛化的机器人操作策略，由多个高校实验室合作收集。组成：7.6 万条成功的遥操作示范（约 350 小时）、另有约 1.6 万条失败的轨迹，564 个场景、86 种任务；每条有三路相机、本体感觉和动作，以及众包的语言指令。收集过程：50 个采集者、18 台同型号机器人、12 个月，场景包括真实的家庭和办公室。预处理：按成功 / 失败标注；场景去重；相机标定的后处理。用途：模仿学习、共同训练、评测。分发：公开发布（许可证见官方页面）。维护：由论文作者维护。

从公开材料里不容易找到的：是否获得了场景里出现的人的同意、家庭场景里的隐私处理（人脸、私人物品）、采集者的报酬和背景——这正是第 15 讲 §10 提到的问题，也是数据表要求明确回答的部分。

练习 5（按群体审计） 根据代码演示 2：(a) 为什么线性模型上”多收集数据”没有比”重新加权”更好，非线性模型上却好得多？(b) 如果你只能拿到少数群体的 200 个新样本，但可以请人重新标注，你会怎样决定把预算花在哪里？

(a) 两个群体的规律有一部分相互冲突。线性模型只有一组权重，装不下两种规律：不管是加大少数群体的权重还是增加它的样本，都只是把决策边界往 B 那边挪，A 就变差。非线性模型有足够的容量同时表示两种规律，这时限制它的是 B 的信息量：只有 189 个样本时，重新加权只是放大了这些样本的噪声；多收集 800 个样本才带来新的信息。

(b) 先做诊断：在少数群体的验证集上看错误是来自”数据太少”（学习曲线随样本数还在上升）、“标签有问题”（标注者在这个群体上的一致性低、错标多——第 14 讲的投票找错标），还是”模型容量不够”（像线性模型那样，训练误差在这个群体上也很高）。如果标签一致性低，重新标注更划算；如果学习曲线还在快速上升，收集新样本更划算。这和第 15 讲”把预算花在策略失败的地方”是同一个思路。

13. 延伸阅读 · Further reading

法律与监管（截至 2026 年 10 月的公开信息）

• 美国版权局，Copyright and Artificial Intelligence, Part 3: Generative AI Training（2025 年 5 月预发布版）。
• 欧盟委员会 AI 办公室：《通用 AI 行为准则》（2025 年 7 月）和训练内容摘要模板。
• 各案件的进展可以参考法律媒体和律所的案件追踪（例如 Norton Rose Fulbright 的 2026 年更新）；以法院的文件为准。

数据来源、许可证与同意

• Longpre et al., The Data Provenance Initiative: A Large Scale Audit of Dataset Licensing & Attribution in AI（2023）：arXiv:2310.16787。
• Longpre et al., Consent in Crisis: The Rapid Decline of the AI Data Commons（2024）：arXiv:2407.14933。
• Kandpal et al., The Common Pile v0.1: An 8TB Dataset of Public Domain and Openly Licensed Text（2025）：arXiv:2506.05209。

文档、治理与公平

• Gebru et al., Datasheets for Datasets（2018；CACM 2021）。
• Pushkarna et al., Data Cards: Purposeful and Transparent Dataset Documentation for Responsible AI（2022）。
• Bender & Friedman, Data Statements for Natural Language Processing（2018）。
• Peng, Mathur & Narayanan, Mitigating Dataset Harms Requires Stewardship: Lessons from 1000 Papers（NeurIPS 2021 数据集与基准分会）。
• Buolamwini & Gebru, Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification（FAT* 2018）。
• LAION, Releasing Re-LAION-5B（2024）：laion.ai/blog/relaion-5b。

和本目录其他课程的联系

• CS224N 第 19 讲（社会影响）：语言模型的偏见与社会影响。
• 本课 第 1 讲 §6：ImageNet 的伦理问题；第 18 讲：记忆与隐私。

14. 下一讲预告 · Next lecture

最后一讲把整门课串起来。原课的成绩 90% 来自课程项目：为一个你自己选的学习问题构建一个训练集。

第 20 讲：构建你自己的训练集——方法论、实验设计与课程项目。 怎样选题、先定义评测、找数据来源并记录许可证、搭建”收集 → 清洗 → 过滤 → 去重 → 混合”的管线、在小规模上做严谨的消融（固定训练、只改数据、多个种子、置信区间）、确认结论在更大的规模上成立、写数据卡和报告。代码会给出一个可以直接改造的端到端模板。