对应 Maps to:Stanford CS324 Winter 2023 Advances in Foundation Models,Syllabus 阅读清单 “Environmental Impact”(课程笔记 Environmental Impact;Energy and Policy Considerations for Deep Learning in NLP;Carbon Emissions and Large Neural Network Training;Unraveling the Hidden Environmental Impacts of AI Solutions for Environment;基础模型报告的环境一节)和 “Legal Considerations”(课程笔记 Legality;SAIL 博客 From Discrimination in Machine Learning to Discrimination in Law 第 1、2 部分;Internet Law;AI Regulation Is Coming;基础模型报告的法律一节);以及 “Security and Privacy” 下的 Fair Learning。 依据说明:W23 的日历上这两个主题没有单独的讲座,只在阅读清单里。本讲依据 Winter 2022 的 Environment 和 Legality 课程笔记、Strubell et al. 2019、Patterson et al. 2021、Luccioni et al. 2022(BLOOM 的碳足迹)的全文,Khani & Liang 2022 的两篇 SAIL 博客,以及 Henderson et al. 2023(Foundation Models and Fair Use)。Unraveling the Hidden Environmental Impacts… 和 AI Regulation Is Coming 我只读到了题目和摘要层面的信息,正文里只引用它们的大意。§8”2023 年之后”是我补充的,涉及的诉讼和法规截至 2025 年。本讲的法律部分只介绍框架和概念,不构成法律意见。 配套代码 Code:
code/lecture19/(2 个脚本,只用标准库和 numpy,各不到 1 秒) 预计阅读时间:2.5 小时
0. 本讲导航 · How to read this lecture
0.1 学习目标 Learning goals
学完这一讲,你应该能够:
- 写出训练排放的估算公式(加速器小时 × 功率 × PUE × 电网碳强度),说出闲置功耗、隐含排放、推理各自为什么重要,并解释为什么不同的估计能差几十倍。
- 用公开的数字复现 GPT-3(1,287 MWh、552 吨 CO2e)和 BLOOM(24.7 吨 / 50.5 吨)的估计;估算推理的能耗什么时候超过训练。
- 说出版权的基本概念(思想 / 表达、合理使用的四个因素),以及”在受版权保护的数据上训练”和”生成和原作相似的内容”为什么是两个不同的问题;把第 16 讲的”记忆”和版权联系起来。
- 区分反歧视法里的差别对待和差别影响,计算五分之四规则,解释为什么”看不见受保护属性”不够、什么是”更少歧视的替代方案”。
- 说出监管面对的几个基本问题(管模型还是管应用、谁负责、司法辖区),以及 2023 年之后主要的监管和诉讼进展。
0.2 先修与本讲范围 Prerequisites & scope
| 默认你已经会 Assumed | 本讲只给直觉 Previewed only |
|---|---|
| 第 4 讲:FLOPs ≈ 6 × 参数量 × token 数 | 生命周期评估(LCA)的方法学细节 |
| 第 8–10 讲:GPU 利用率、分布式训练 | 具体的诉讼程序、各国法律的细节 |
| 第 16 讲:记忆与训练数据提取 | 公平性指标的完整理论 |
| 第 18 讲:偏见、过滤器的误伤、结果同质化 |
0.3 本讲地图 Map
§1 为什么把环境和法律放在一起:外部性,以及"谁来负责"
§2 算力的碳账本:公式、经典估计、为什么差几十倍 ← 代码 01 演示 1–3
§3 推理、反弹效应与报告 ← 代码 01 演示 4
§4 版权与合理使用:训练、记忆与生成
§5 隐私法、聊天机器人披露等其他法律(简述)
§6 反歧视法:差别对待、差别影响、五分之四规则 ← 代码 02
§7 责任与监管:管模型还是管应用
§8 2023 年之后
§9–13 小结、常见误区、练习、延伸阅读、下一讲预告
0.4 记号 Notation(只列本讲新增的)
| 符号 / 术语 | 含义 | 例子 |
|---|---|---|
| CO2e | 二氧化碳当量:其他温室气体按全球变暖潜能(GWP)折算 | 甲烷 100 年 GWP 约 25 |
| PUE | 数据中心总耗电 ÷ IT 设备耗电 | 高效的云数据中心约 1.1 |
| 碳强度 | 每度电的排放(kg CO2e / kWh) | 法国约 0.057,美国平均约 0.429 |
| 隐含排放 embodied | 制造硬件时的排放,按使用时间分摊 | BLOOM:11.2 吨 |
| MFU | 实际达到的 FLOP/s ÷ 硬件峰值 | GPT-3 在 V100 上约 20% |
| 合理使用 fair use | 美国版权法第 107 条:在一定条件下无需授权的使用 | 四个因素 |
| 差别对待 / 差别影响 | disparate treatment / disparate impact | |
| 五分之四规则 | 某组录取率 < 最高组的 80% → 不利影响的初步证据 |
0.5 关于数字 · About the numbers
环境部分的数字都来自论文或公司公开的报告,并标明了出处;它们本身就是估计值。代码 01 只做算术:用这些公开的输入复现论文的结果,再改变其中一个假设,看结果怎样变化。代码 02 用合成数据演示统计概念。两个脚本的输出固定、重复运行逐字相同。
1. 为什么把环境和法律放在一起 · Externalities and accountability
前三讲讨论的危害,大多由模型的使用者或被模型决定的人承担。这一讲的两个主题有一个共同的结构:成本落在了没有参与决定的人身上——经济学叫外部性(externality)。
- 环境:训练和运行模型消耗能源、排放温室气体,后果由全世界(往往是最贫困、最脆弱的人群)承担。W22 的 Environment 笔记特意说明:它只讨论成本、不讨论收益,而成本的分布是不均匀的。
- 版权:模型在作者、艺术家、程序员的作品上训练,生成的内容可能和他们竞争,而他们没有被问过。
- 歧视:被筛选系统拒绝的人,往往不知道为什么被拒绝,也无法质疑。
法律是社会处理外部性的主要工具之一。W22 的 Legality 笔记区分了法律和伦理:法律由政府强制执行;伦理(希波克拉底誓言、ACM 职业道德准则、NeurIPS 的行为准则)不能被强制执行,可以由任何组织提出。第 18 讲 Reich 呼吁的职业规范属于后者;这一讲讨论前者。
还有一个老问题:新技术需要新法律吗?法官 Frank Easterbrook 在 1996 年说,没有”马法”(law of the horse)这门学科——关于马的纠纷用合同法、侵权法、财产法就够了;那么”互联网法”也不必是单独的领域。互联网确实带来了新的挑战(没有清晰的地理管辖、可以匿名、任何人都能发布内容),但大部分问题仍然由知识产权法、隐私法、合同法处理。基础模型面临同样的问题:现有的法律还够用吗?
2. 算力的碳账本 · The carbon ledger
2.1 背景:从模型到气候
W22 笔记给出的因果链:语言模型 ⇒ 计算 ⇒ 能源 ⇒ 温室气体排放 ⇒ 环境影响。几个背景数字:地表平均温度比工业化前高了约 1.2 °C;要避免气候危机需要控制在 1.5 °C 以内,而目前的轨迹指向约 2.7 °C。温室气体按全球变暖潜能(GWP)折算成二氧化碳当量:CO2 是 1,甲烷(100 年)约 25,一氧化二氮约 300。
生命周期评估(LCA,ISO 14040/14044)把一个产品的影响分成三个阶段:生产(原材料开采、制造、运输)、使用(数据采集与存储、训练、推理)、报废(拆解、回收、处置)。影响也不只是温室气体:还有水足迹(冷却、发电)、人体毒性(芯片制造)、非生物资源消耗(锂、钴)。还有二阶效应:反弹效应 / Jevons 悖论——效率提高会增加需求。
2.2 公式
训练的运行排放(Strubell et al. 2019;Patterson et al. 2021):
- PUE(power usage effectiveness)= 数据中心总耗电 ÷ IT 设备耗电。多出来的是制冷、供电损耗等。2018 年的全球平均约 1.58(Strubell et al. 的默认值),高效的云数据中心约 1.1。
- 电网碳强度取决于发电结构:同样的计算,在以水电为主的魁北克比在以煤电为主的爱沙尼亚少排放约 30 倍(W22 笔记)。它还随季节、一天中的时段变化;电力在地区之间交易,让核算更复杂(加州一个主要电网区约 40% 的排放发生在区外)。
- 完整的账本还要加上闲置功耗(机器开着但没在算)和隐含排放(制造服务器、GPU 的排放按使用时间分摊)。没有 GPU / TPU 的生命周期评估;对一个只有 CPU 的法国数据中心,约 40% 的温室气体排放来自生产阶段。
Patterson et al. 把推理也写进公式:排放 = 碳强度 × (训练能耗 + 查询次数 × 每次推理的能耗)。
2.3 经典的估计
Strubell et al. 2019(Energy and Policy Considerations for Deep Learning in NLP)第一次让 NLP 社区注意到这个问题。它最常被引用的数字:一次神经架构搜索(为了找到 Evolved Transformer)排放约 626,155 磅 CO2e,而一辆汽车整个寿命(含燃油)约 126,000 磅、一个人从纽约飞到旧金山往返约 1,984 磅。训练一次 BERT-base(64 张 V100 上 79.2 小时)约 1,438 磅。论文还强调了成本的不平等:能负担这种算力的只有少数机构。
Patterson et al. 2021(Carbon Emissions and Large Neural Network Training,Google)给出了几个大模型的实测估计,并指出 Strubell et al. 对架构搜索的估计高估了 88 倍:搜索实际上在一个小的代理任务上进行(这一步就高估了 18.7 倍),而且搜索只做一次、结果被反复使用;硬件、PUE、碳强度的假设也不同。
| 模型 | 能耗 | 排放 | 来源 |
|---|---|---|---|
| T5 | 86 MWh | 47 吨 | Patterson et al. |
| GShard(600B,MoE) | 24 MWh | 4.3 吨(净) | Patterson et al. |
| Switch Transformer | 179 MWh | 59 吨(净) | Patterson et al. |
| GPT-3(175B) | 1,287 MWh | 552 吨 | Patterson et al. |
| Gopher(280B) | 1,066 MWh | 352 吨 | Luccioni et al. 表 4 推算 |
| OPT(175B) | 324 MWh | 70 吨 | Luccioni et al. 表 4 推算 |
| BLOOM(176B) | 433 MWh | 25 吨(动态)/ 50.5 吨(全部) | Luccioni et al. |
Patterson et al. 的主要结论:模型结构(稀疏激活的 MoE 能耗可以不到稠密模型的 1/10)、地点(无碳能源的比例在同一个国家、同一家公司里就能差 5–10 倍)、数据中心和处理器(云数据中心效率高 1.4–2 倍,专用加速器高 2–5 倍)的选择合起来,能让碳足迹相差 100–1000 倍。这也说明了为什么事后估计很困难——他们呼吁论文直接报告能耗和排放。
Luccioni et al. 2022(Estimating the Carbon Footprint of BLOOM)是第一篇尝试计算 LLM 完整碳足迹的研究:除了训练时的动态功耗(24.69 吨,占 48.9%),还有闲置功耗(14.6 吨,28.9%)和隐含排放(11.2 吨,22.2%),总共 50.5 吨。
2.4 用代码复现,以及每个假设的分量
代码 01 演示 1 把公开的输入代进公式:
- GPT-3:10,000 张 V100 × 14.8 天 × 330 W(实测的系统平均功率)× PUE 1.1 × 0.429 kg/kWh → 1,289 MWh、553 吨(和论文的 1,287 MWh、552 吨只差四舍五入);
- BLOOM:1,082,990 个 A100 小时 × 400 W × 57 g/kWh → 动态 24.7 吨;加上闲置 14.6 吨和隐含 11.2 吨 → 50.5 吨。
BLOOM 的电能是 GPT-3 的三分之一左右,动态排放却只有它的约二十分之一——主要差在电网:法国的电大部分来自核电和水电(57 g/kWh),GPT-3 按美国平均(429 g/kWh)计算。
演示 2 把 GPT-3 的同一次训练放到不同的电网和数据中心:
| 电网(碳强度) | PUE 1.1 | PUE 1.58 |
|---|---|---|
| 法国(57 g/kWh) | 73 吨 | 106 吨 |
| OPT 的数据中心(231) | 298 吨 | 428 吨 |
| Gopher 的数据中心(330) | 425 吨 | 611 吨 |
| Google Cloud us-central1(394) | 508 吨 | 730 吨 |
| 美国平均(429) | 553 吨 | 795 吨 |
最多和最少相差 10.8 倍——同一个模型、同样的计算。
演示 3:只知道总计算量( FLOPs)时,要假设一个利用率(MFU)才能换算成 GPU 小时:
| 假设的 MFU | GPU 小时 | 电能 | 排放 |
|---|---|---|---|
| 10% | 6,977,778 | 2,533 MWh | 1,087 吨 |
| 19.7%(实测:24.6 ÷ 125 TFLOP/s) | 3,542,019 | 1,286 MWh | 552 吨 |
| 30% | 2,325,926 | 844 MWh | 362 吨 |
| 50% | 1,395,556 | 507 MWh | 217 吨 |
假设成 50%(很多粗略估计这样做),排放被低估了一半多。从”6 × 参数量 × token 数”出发的估算链条里,每一步都有一个假设,误差会相乘。
3. 推理、反弹效应与报告 · Inference, rebound, reporting
3.1 推理才是大头
Patterson et al. 引用 NVIDIA 的估计:机器学习负载的 80–90% 是推理。一个模型训练一次,却可能被调用几十亿次。
Luccioni et al. 测量了 BLOOM 通过 API 提供服务的能耗:16 张 A100,18 天里处理了 230,768 次请求(不做批处理),耗电 914 kWh——平均每次约 4 Wh;而且即使几乎没有请求时,每 10 分钟也要耗电约 0.28 kWh,约 75% 的电能花在”把模型放在显存里”。按所在地区的碳强度(394 g/kWh),每天约排放 19 千克。
代码 01 演示 4 以 GPT-3 的训练电能为参照,算推理要多少天才能追上训练:
| 每次查询的电能 | 每天 10 万次 | 100 万次 | 1000 万次 | 1 亿次 |
|---|---|---|---|---|
| BLOOM API(2022,未批处理):3.96 Wh | 3,255 天 | 326 天 | 33 天 | 3 天 |
| Gemini 文本提示中位数(Google,2025):0.24 Wh | 53,724 天 | 5,372 天 | 537 天 | 54 天 |
一个被广泛使用的模型,推理的累计能耗很快超过训练。每次查询的能耗相差十几倍:大规模服务会批处理、用专门的硬件和更小的模型(第 8–10 讲讲的效率问题,因此也是环境问题)。Google 在 2025 年说,一年里这个中位数的能耗下降了 33 倍。
3.2 反弹效应
效率提高会降低每次查询的能耗,但也会让模型被用得更多、被用到更多的地方。19 世纪的经济学家 Jevons 观察到,蒸汽机的煤炭效率提高之后,煤炭的总消耗反而上升了。W22 笔记的统计:2010–2018 年,数据中心的计算负载增长了 550%,而耗电只增长了 6%——效率的进步曾经抵消了需求的增长;但这个趋势在生成式 AI 之后发生了变化(§8)。
3.3 怎样做得更好
W22 笔记和 Patterson et al. 的建议:
- 选择低碳的电力:在碳强度低的地区和时段训练(训练任务不像在线服务那样需要靠近用户)。
- 碳抵消:效果参差不齐(例如植树项目可能变成单一林种的种植园)。
- 提高效率:更好的模型结构(稀疏、蒸馏、小模型)、训练方法、硬件;同时警惕反弹效应。
- 报告:随论文公布能耗和排放,把碳足迹变成和准确率一样可见的指标。工具:ML CO2 Impact 计算器(Lacoste et al. 2019)、experiment-impact-tracker(Henderson et al. 2020)、Carbon Tracker、CodeCarbon;能直接测量就不要只用在线计算器。
最后一个开放问题(笔记的结论):通用的”训练一次、到处使用”的基础模型可能比为每个任务各训练一个模型更省资源;但它本身训练代价高,而且要不断重训。两者的权衡没有简单的答案。
4. 版权与合理使用 · Copyright and fair use
4.1 版权的基本概念(以美国为例)
- 目的:通过保护创作者,激励创作。
- 保护什么:1976 年《版权法》保护”固定在某种有形媒介上的原创作品”。门槛很低,作品一被创作出来就受保护(登记不是保护的前提,但起诉侵权之前要登记)。保护期满后,作品进入公有领域(例如古登堡计划里的书)。
- 思想和表达:事实和思想不受保护,只保护表达。重新实现一个算法(思想)可以,复制代码(表达)不行。一个数据库,如果它的选择和编排有创造性,可以受保护。
- 使用受版权保护的作品的两种方式:获得许可(license,“许可就是一个不起诉的承诺”;例如知识共享 Creative Commons 协议),或者依据合理使用。网站的服务条款还可以加额外的限制(例如 YouTube 禁止下载视频,即使视频本身是 CC 协议的)。
- 法定赔偿:每件作品最高 15 万美元。起诉的常常是个人作者,被告常常是大公司。
对机器学习来说,一个关键点是:复制数据——训练的第一步——本身就可能构成侵权,哪怕之后什么都不做。网络规模的语料不可能逐一获得许可,所以合理使用成了核心问题。
4.2 合理使用的四个因素
美国《版权法》第 107 条,法院综合考虑:
- 使用的目的和性质:教育性的、转化性的(transformative,赋予新的目的或意义)更有利;商业性的、单纯复制的更不利。
- 作品的性质:事实性的作品比虚构的、创造性的作品更容易被合理使用。
- 使用的数量和实质性:用了多少、是不是作品的”核心”。
- 对原作市场的影响:是否替代了原作、损害了原作的市场。
几个和机器学习有关的判例(W22 笔记):
| 案例 | 做了什么 | 结果 |
|---|---|---|
| Authors Guild v. Google | 扫描图书,提供全文检索和片段展示 | 合理使用(高度转化性,不替代原书) |
| Google v. Oracle | 在 Android 里复制了 Java 的 API 声明 | 最高法院 2021 年:合理使用 |
| Fox News v. TVEyes | 提供可检索的 10 秒新闻片段 | 不是合理使用(虽有转化性,但剥夺了原作的收入) |
| Kelly v. Arriba Soft | 搜索引擎展示缩略图 | 合理使用 |
| Sega v. Accolade | 为兼容而反向工程游戏机代码 | 合理使用(“非表达性”地使用思想和事实) |
4.3 “公平学习”:训练是合理使用吗?
Lemley & Casey 2021(Fair Learning,阅读清单)主张:机器学习训练通常应该被视为合理使用。W22 笔记总结的正反论点:
- 支持:训练是高度转化性的(目的完全不同);模型学的是思想(停车标志长什么样),不是表达;广泛获取数据对社会有益;限制数据会让大多数作品无法产生新的价值。
- 反对:机器学习没有产生创造性的”最终作品”,只是在赚钱;生成模型可以和创作者竞争;机器学习系统也会造成伤害,不应该享受”存疑时从宽”。
- 核心困难:区分受保护的表达和不受保护的思想本来就很难;版权也不一定是处理机器学习所有问题的合适工具。
笔记把信息技术分成三个阶段:(1) 文本数据挖掘和搜索(模式匹配);(2) 分类和推荐;(3) 生成模型——模仿表达。前两个阶段的合理使用论证(Google Books)比较有力;第三个阶段则不同:模型的输出可能直接和原作竞争(在一位作者的三本书上训练,生成”第四本”)。
4.4 训练 vs 输出:记忆让问题更具体
Henderson et al. 2023(Foundation Models and Fair Use,作者包括 Lemley、Hashimoto、Liang)的核心论点:在美国,用受版权保护的数据训练基础模型可能属于合理使用,但合理使用不是有保证的——如果模型生成了和受版权保护的数据相似的内容,特别是在会影响原作市场的场景里,合理使用可能不再适用于这些输出。
第 16 讲的”记忆”在这里变成了法律问题。他们的实验:
- 用书里的随机片段做提示,模型偶尔会生成一些逐字的内容,但很少有长段落;
- 但对于在网上被大量转载的流行作品,结果不同:GPT-4 用同样的提示逐字输出了 Dr. Seuss 的《Oh, the Places You’ll Go!》全文;经过手工设计的提示,模型逐字输出了《哈利·波特与魔法石》的前三章半;
- 除了逐字复制,模型还会输出”实质性相似”的内容(情节、角色),这也可能构成侵权。
他们讨论的技术缓解:过滤和原作逐字或近似匹配的输出、去重训练数据(第 16 讲:重复越多、记得越牢)、用许可数据训练、用强化学习让模型避免复述,以及差分隐私类的训练方法。他们建议法律和技术缓解共同演化:例如,法律可以为使用了强有力缓解措施的开发者提供”安全港”。
5. 隐私法与其他法律(简述) · Privacy law and others
W22 的 Legality 笔记还介绍了几部和数据有关的法律(细节见笔记;第 16 讲讨论了技术层面的隐私):
- Clearview AI:从 Facebook、Twitter、YouTube 等网站抓取了约 100 亿张人脸图片(截至 2021 年 10 月),卖给执法机构和商业客户,声称有获取公开信息的言论自由权利;它面临多起隐私诉讼——伊利诺伊州的《生物识别信息隐私法》(BIPA,2008)规范私营机构对生物识别信息的使用,汉堡的数据保护机构认定它违反欧盟法律。
- 加州消费者隐私法(CCPA,2018)及其扩展 CPRA(2023 年生效):知道被收集了什么数据、是否被出售、选择退出出售、访问、删除、更正等权利。
- 欧盟《通用数据保护条例》(GDPR,2018 年施行):比美国的法律全面得多;同意必须可以随时撤回;还有”被遗忘权”——这对”从训练好的模型里删除一个人的数据”提出了难题(第 16 讲 §8)。
- 加州的机器人披露法(SB 1001):在以促成交易或影响选举为目的的沟通中,不得用不披露身份的机器人和人交流。
基本问题是司法辖区:法律因国家(美国、中国、欧盟)和层级(联邦、州、地方)而不同;一个在全球提供服务的模型同时受很多套法律约束。
6. 反歧视法 · Anti-discrimination law
6.1 两种理论
Khani & Liang 2022 的两篇 SAIL 博客把美国反歧视法(就业领域,例如 1964 年《民权法案》第七章;EEOC 负责执行)的框架和机器学习的公平性研究对应起来:
差别对待(disparate treatment):因为受保护属性(种族、性别、宗教、年龄、残疾等),对处境相似的人给予更不利的对待。传统上要证明故意,但直接证据很少,所以动机可以从”对待上的差异”推断出来。三步程序:(1) 起诉方提出初步证据(比较证据、统计证据、直接证据);(2) 被告反驳(事实不对、比较不成立、平权行动计划等);(3) 起诉方证明被告的理由只是借口。
机器学习里的对应:反事实测试(固定其他特征,只改受保护属性,看输出是否变化——第 18 讲的反事实探测、毒性分数对身份词的反应)对应”比较证据”;广告投放的审计研究(Datta et al. 2014:一个职业发展广告给男性展示了 1,816 次,给女性只有 311 次)对应”统计证据”。博客特别强调:只删除受保护属性(和它的强代理)是不够的——模型可以从其他特征推断出受保护属性。
差别影响(disparate impact):表面中立的做法,对受保护群体造成了不成比例的不利影响;除非出于业务必要性,否则违法。这一理论由 1971 年的 Griggs v. Duke Power 案确立。程序是举证责任的转移:
- 起诉方:指出一个具体的、表面中立的做法;证明它造成了伤害和差异(要选对比较的人群、差异要足够大);证明因果(如果没有这个做法差异也存在,起诉就不成立)。
- 被告方:说明有”实质性的正当理由”(业务必要性,例如测试和工作表现相关)。
- 起诉方:证明存在效果相当、歧视更少的替代方案。
博客的结论:差别影响高度依赖情境和群体分布,同一个做法在一个地方是歧视、在另一个地方可能不是;模型开发者应该主动研究更少歧视的替代方案(它们本身可能成为法律上的证据),并多做误差分析。
6.2 五分之四规则与统计显著性
美国 EEOC 的《员工甄选程序统一指南》(1978)给出了一个经验法则:某个群体的录取率低于录取率最高的群体的 五分之四(80%),通常被视为不利影响的证据。但指南本身也说:差距较小但在统计上和实践上都显著时,也可能构成不利影响;差距较大但样本很小时未必。法院没有给出一条固定的数学界线。
代码 02 演示 1:
| 情形 | A 组录取率 | B 组录取率 | 比值 | 五分之四规则 | p 值 |
|---|---|---|---|---|---|
| 每组 10 人 | 0.60 | 0.40 | 0.67 | 不利影响 | 0.37 |
| 每组 100 人 | 0.60 | 0.45 | 0.75 | 不利影响 | 0.034 |
| 每组 1 万人 | 0.50 | 0.45 | 0.90 | 通过 | 1.4e-12 |
| 每组 1 万人,差距更小 | 0.50 | 0.48 | 0.97 | 通过 | 0.034 |
小样本时,五分之四规则报警,统计检验说”可能是偶然”;大样本时正好相反。算法系统处理海量的决策,“统计上显著的小差距”会越来越常见——什么样的差距”足够大”,是一个规范性的问题,不是统计学能单独回答的。
6.3 “看不见受保护属性”为什么不够
演示 2:合成的求职者,两组的真实能力同分布;但历史上的录用记录有歧视(A 组被录用 32%,B 组 12%)。三个模型都学习”历史上会不会被录用”,然后在新的求职者里录取得分最高的 30%:
| 模型用的特征 | A 组录取率 | B 组录取率 | 比值 | 和历史记录一致 | 录取者的平均真实能力 |
|---|---|---|---|---|---|
| 全部(含群体) | 0.38 | 0.11 | 0.29 | 0.796 | 0.833 |
| 去掉群体(看不见受保护属性) | 0.35 | 0.19 | 0.54 | 0.787 | 0.859 |
| 去掉群体和代理变量 | 0.30 | 0.29 | 0.97 | 0.776 | 0.896 |
- 用群体这个特征是最明显的差别对待;模型学到了 −1.46 的权重,忠实地复制了过去的歧视。
- 去掉群体,比值从 0.29 改善到 0.54,但仍远低于 0.8:一个和群体高度相关、和能力无关的代理变量(例如住在哪个街区)的权重从 −0.09 变成了 −0.81,替群体特征”说话”。问题从差别对待变成了差别影响。
- 只用和工作相关的测试分数,比值 0.97,录取者的真实能力最高;但它和历史记录的一致率最低。如果用有偏的历史记录来”验证”模型、证明”业务必要性”,会把最公平、最好的模型判成最差的。
6.4 更少歧视的替代方案
演示 3:从”去掉群体”的模型出发,把代理变量的权重逐步缩小到 0:
| 代理变量权重的比例 | 1.00 | 0.75 | 0.50 | 0.25 | 0.00 |
|---|---|---|---|---|---|
| 五分之四比值 | 0.52 | 0.62 | 0.72 | 0.86 | 0.98 |
| 和历史记录一致 | 0.786 | 0.784 | 0.783 | 0.779 | 0.771 |
| 录取者的平均真实能力 | 0.861 | 0.882 | 0.892 | 0.900 | 0.899 |
按”准确率”(和历史记录一致),几个模型只差 1.5 个百分点;比值却从 0.52 变到 0.98。很多不同的模型准确率几乎一样(模型多重性),其中有的歧视少得多——在差别影响的框架里,存在这样的替代方案就是对被告不利的证据。
7. 责任与监管 · Liability and regulation
7.1 几个基本问题
- 管模型还是管应用?(W22 笔记的开放问题)基础模型本身不做任何决定;造成伤害的是具体的应用(筛选简历、批贷款、生成内容)。但很多风险(偏见、记忆、后门)是在模型层面产生的,并通过同质化传播到所有应用(第 18 讲 §5)。
- 谁负责? 开发者、提供 API 的公司、在上面做产品的公司、最终用户——责任怎样分配,是产品责任、过失、合同还是新的规则?
- 生成的内容算谁的言论? 美国《通信规范法》第 230 条保护平台不为用户发布的内容承担责任;模型自己生成的内容是否适用,存在争议。
- 人在回路:法律常常要求”有意义的人工审查”,但人可能只是橡皮图章(自动化偏见)。
7.2 “AI 监管要来了”
阅读清单里的 AI Regulation Is Coming(Harvard Business Review,2021)提醒企业:监管会围绕几个主题到来——公平性、透明度和可解释性、问责——企业应该提前准备,而不是等到被迫。它写在欧盟 2021 年 4 月提出《人工智能法》草案之后。草案的核心是基于风险的分级:
- 不可接受的风险:禁止(例如政府的社会评分);
- 高风险:就业、教育、信贷、执法、关键基础设施等领域的系统,要满足数据质量、文档、透明度、人工监督、准确性和稳健性的要求;
- 有限风险:透明度义务(例如告诉用户在和 AI 对话);
- 最小风险:基本不管。
这个框架是按应用分级的;2022–2023 年的讨论中,基础模型(“通用目的 AI”)怎样纳入成了最大的争论之一(§8)。
8. 2023 年之后 · Since 2023
环境
- 用电量快速增长:国际能源署(IEA)2025 年的报告估计,2024 年全球数据中心用电约 415 TWh(约占全球用电的 1.5%),到 2030 年将翻倍到约 945 TWh,AI 是最主要的驱动因素。几家大型科技公司的年度报告显示,尽管有效率提升,总排放因为数据中心扩张而上升——反弹效应的现实版本。
- 公司开始公布单次查询的能耗:Google 2025 年公布,Gemini 应用文本提示的能耗中位数约 0.24 Wh、0.03 克 CO2e、0.26 毫升水(只算活跃芯片时是 0.10 Wh),一年里能耗下降了 33 倍;但外界指出它没有说明提示的长度、也没有覆盖图像和视频生成。报告比 2022 年多了,但口径仍不统一。
- 水和电网成为新的焦点:数据中心的冷却用水、对局部电网的压力、与核电站等长期购电协议。
版权
- 大量诉讼:作家、新闻机构(例如《纽约时报》2023 年 12 月起诉 OpenAI 和微软)、图片公司、音乐公司起诉模型开发者。2025 年美国出现了几个早期的判决:在 Bartz v. Anthropic 案中,法官认为用合法购买的书训练模型是”高度转化性的”合理使用,但从盗版网站下载并保存书籍不是;此案随后以约 15 亿美元和解。在 Kadrey v. Meta 案中,法官因原告没有证明市场损害而判 Meta 胜诉,但同时写道在很多情况下训练可能构成侵权。在 Thomson Reuters v. Ross 案(非生成式的法律检索 AI)中,法院认定不是合理使用。这些都是初审判决,法律仍在形成中。
- 欧盟:2019 年的《数字单一市场版权指令》允许文本和数据挖掘,但权利人可以”选择退出”;《人工智能法》要求通用 AI 模型的提供者制定版权政策、尊重选择退出,并公布训练数据的摘要。
- 美国版权局在 2025 年发布了关于生成式 AI 训练的报告(预发布版),认为有些训练用途是转化性的、有些不是,需要逐案判断。
反歧视与监管
- 纽约市第 144 号地方法(2023 年 7 月起执行)要求雇主使用的”自动化就业决策工具”每年接受偏见审计并公布结果——审计的核心指标正是各群体的录取率比值(§6.2 的影响比)。
- **欧盟《人工智能法》**于 2024 年 8 月生效,分阶段适用:禁止性条款 2025 年 2 月起,通用 AI 模型的义务 2025 年 8 月起(透明度、版权、训练数据摘要;对”有系统性风险”的模型还有评估、对抗测试、事件报告等要求),高风险系统的大部分义务 2026 年起。
- 美国:2023 年 10 月的第 14110 号行政令要求训练超过一定算力阈值的模型的开发者向政府报告安全测试结果,于 2025 年 1 月被撤销;联邦层面没有综合性的 AI 法律,各州立法活跃。
- 中国:2023 年 8 月施行《生成式人工智能服务管理暂行办法》,对面向公众的生成式 AI 服务提出了备案、安全评估、训练数据合法性和内容标识等要求。
9. 小结 · Summary
- 外部性:训练和使用基础模型的成本(排放、对创作者的影响、歧视)落在没有参与决定的人身上;法律是处理外部性的主要工具之一。
- 碳账本:排放 = 加速器小时 × 功率 × PUE × 碳强度,再加闲置和隐含排放。GPT-3 1,287 MWh、552 吨;BLOOM 动态 24.7 吨、全部 50.5 吨(闲置和隐含占一半)。电网和数据中心的选择能让同一次训练的排放相差 10 倍以上(10.8 倍),加上模型结构和硬件可达 100–1000 倍;利用率的假设能让估计差一倍以上。
- 推理是大头:80–90% 的负载是推理;每天一亿次查询时,几天到两个月推理的累计能耗就追上训练。效率提高会被反弹效应部分抵消。应该报告能耗和排放。
- 版权:保护表达不保护思想;合理使用看四个因素。训练可能是合理使用(转化性),但生成和原作相似、影响原作市场的内容可能不是;记忆让问题具体化(模型能逐字输出整本童书)。技术缓解和法律应该共同演化。
- 反歧视:差别对待(因为受保护属性)vs 差别影响(表面中立、后果不成比例,除非有业务必要性且没有更少歧视的替代方案)。五分之四规则和统计显著性在小样本和大样本时会给出相反的结论。去掉受保护属性不够(代理变量,比值只从 0.29 到 0.54);用有偏的历史记录验证模型会把公平的模型判成差的;准确率几乎一样的模型,比值可以从 0.52 到 0.98。
- 监管:管模型还是管应用、谁负责、司法辖区;欧盟的风险分级框架;2023 年之后通用 AI 被纳入监管,诉讼开始给出早期判决。
10. 常见误区 · Common pitfalls
- “训练一个大模型的碳排放等于 X 辆汽车的寿命。” 这类比较依赖电网、PUE、硬件、是否算闲置和隐含排放;同一个模型的估计能差几十倍(Strubell 的架构搜索估计被修正了 88 倍)。
- “只要报告训练的排放就够了。” 推理通常占大头;闲置功耗和硬件制造也不小(BLOOM:一半)。
- “效率提高了,总能耗就会下降。” 反弹效应:效率提高会增加使用量。
- “网上公开的东西就可以随便用来训练。” 公开不等于没有版权;服务条款可能有额外限制;复制本身就可能构成侵权,合理使用需要逐案判断。
- “训练是合理使用,所以模型的输出也没问题。” 训练和输出是两个问题;逐字或实质性相似的输出可能侵权(§4.4)。
- “模型没用种族 / 性别这个特征,所以不会歧视。” 代理变量会把受保护属性”带回来”,造成差别影响(代码 02 演示 2)。
- “通过了五分之四规则就没有歧视。” 大样本时小差距也可能是系统性的;五分之四规则只是经验法则,法院没有固定的界线。
- “和历史决策一致率最高的模型最好。” 历史决策可能本身带着歧视;用它验证会奖励歧视。
- “法律跟不上技术,所以法律无关紧要。” 大部分问题仍然由已有的法律处理(版权、隐私、反歧视、合同),而且 2023 年之后专门的 AI 监管已经到来。
11. 练习 · Exercises
练习 1(碳账本) Meta 的 Llama 2 论文报告:70B 模型训练用了 1,720,320 个 A100 GPU 小时,每卡功率按 400 W 计,排放 291.42 吨 CO2e。(a) 由此反推它用的碳强度(假设没有乘 PUE)。(b) 用”6 × 参数量 × token 数”估算这次训练的 FLOPs(2 万亿 token),再假设 A100 的 BF16 峰值 312 TFLOP/s,估算它达到的 MFU。
参考答案
(a) 电能 = 1,720,320 × 0.4 kW = 688,128 kWh ≈ 688 MWh;碳强度 = 291.42 吨 ÷ 688,128 kWh ≈ 0.424 kg/kWh,接近美国平均。(b) FLOPs ≈ 6 × 70×10⁹ × 2×10¹² = 8.4×10²³。实际每卡每秒 = 8.4×10²³ ÷ (1,720,320 × 3600 秒) ≈ 1.36×10¹⁴ = 136 TFLOP/s,MFU ≈ 136 / 312 ≈ 44%。比 GPT-3 时代的约 20% 高得多——硬件、FlashAttention(第 8 讲)和并行策略(第 9 讲)的进步,直接降低了每个 FLOP 的排放。注意这些都是粗略的估算:6ND 忽略了注意力的计算,功率也是按额定值估计的。
练习 2(PUE 的含义) 一个数据中心的 PUE 是 1.5。IT 设备每消耗 100 kWh,数据中心总共消耗多少?多出来的电用在哪里?为什么把训练放到 PUE 1.1 的数据中心,只能把排放降低约 27%,而换一个电网可以降低一个数量级?
参考答案
总共 150 kWh,多出来的 50 kWh 用于制冷、供电转换损耗、照明等。PUE 从 1.5 降到 1.1,总电能乘以 1.1/1.5 ≈ 0.73,降低约 27%;而碳强度从 429 g/kWh 换到 57 g/kWh,排放乘以 0.13,降低约 87%。PUE 只影响”多用了多少电”,碳强度决定”每度电有多脏”,后者的变化范围大得多(代码 01 演示 2)。
练习 3(训练与推理的盈亏平衡) 一个模型训练耗电 500 MWh,部署后每次查询耗电 0.5 Wh。(a) 每天 2000 万次查询,多少天后推理的累计电能等于训练?(b) 如果通过批处理和量化把每次查询降到 0.1 Wh,但因为更便宜,查询量涨到每天 1 亿次,每天的推理电能是增加还是减少了?
参考答案
(a) 每天 2×10⁷ × 0.5 Wh = 10⁷ Wh = 10 MWh;500 ÷ 10 = 50 天。(b) 之前每天 10 MWh;之后 10⁸ × 0.1 Wh = 10⁷ Wh = 10 MWh——不变。效率提高了 5 倍,使用量也涨了 5 倍,总量没有下降:这就是反弹效应。如果查询量涨得更多,总量反而上升。
练习 4(合理使用的四个因素) 分别用四个因素分析两种情况:(a) 用一百万本书训练一个语言模型,模型用于回答各种问题,经过测试不会逐字输出书中超过两句话的内容;(b) 在一位在世插画家的全部作品上微调一个图像生成模型,并以”生成某某风格的插画”为卖点出售服务。
参考答案
(a) 目的:高度转化性(从”阅读”变成通用的语言能力),商业性不利但不决定性;性质:书多为创造性作品,略不利;数量:复制了全文(训练需要),但输出几乎不包含原文,类比 Google Books;市场影响:不替代原书的阅读市场(但可能有”训练数据许可”市场的争论)。整体上更可能被认为是合理使用(2025 年 Bartz v. Anthropic 对合法购买的书持类似看法),但仍有争议。(b) 目的:转化性较弱,商业性强,直接以模仿特定作者为卖点;性质:高度创造性;数量:全部作品;市场影响:直接和插画家本人的委托市场竞争。整体上不利于合理使用。注意”风格”本身通常不受版权保护,但输出和具体作品实质性相似时可能侵权;而且这在伦理上(第 18 讲)也有明显的问题。这不是法律意见。
练习 5(记忆与版权) 用第 16 讲的结论解释:为什么流行的、在网上被大量转载的作品(例如一本童书)比冷门的书更容易被模型逐字输出?这对”去重”作为版权缓解措施意味着什么?
参考答案
第 16 讲:记忆随重复次数按对数线性增长(Carlini et al. 2023;代码 01 演示 1:重复 64 次的秘密 12/12 被说出,只出现 1 次的基本记不住)。流行作品在网上被大量转载、引用,在训练语料里实际重复了很多次,所以更容易被逐字记住。去重能降低这种风险(第 16 讲 §4.4),但对版权有两个限制:近似重复(不同网页里略有差别的转载)很难全部去掉;而且只去掉”完全相同的文档”,同一段文字出现在成千上万个不同的网页里时仍然重复。所以开发者还需要输出端的过滤(Henderson et al. 的建议)。
练习 6(五分之四规则) 某公司用一个筛选工具:男性 400 人申请,录取 120 人;女性 300 人申请,录取 66 人。(a) 计算影响比。按五分之四规则,是否有不利影响的初步证据?(b) 你还会看什么?
参考答案
(a) 男性录取率 0.30,女性 0.22,比值 0.22 / 0.30 = 0.733 < 0.8,有不利影响的初步证据。(b) 统计显著性:两比例检验,合并比例 186/700 ≈ 0.266,标准误 ≈ ,,双侧 p ≈ 0.018,在统计上显著。还要看:差距是不是由这个工具本身造成的(因果)、工具使用的特征和工作表现是否相关(业务必要性)、是否存在效果相当但差距更小的替代方案;以及比较的人群是否合适(申请者的构成、是否有交叉群体受影响更大)。
练习 7(改代码,预测结果) 把代码 02 的 make_applicants 的 past_bias 改成 0(历史录用记录没有歧视)。你预测演示 2 里三个模型的比值和权重会怎样?
参考答案
我在一份拷贝里运行的结果:三个模型的比值分别是 0.98、0.99、0.97,“和历史记录一致”都约 0.775,录取者的真实能力都约 0.895;群体和代理变量的权重都接近 0(0.04、0.03、0.05)。没有历史歧视时,群体和代理变量对预测”历史上会不会被录用”没有用处,模型自然不会用它们。这说明演示 2 里的差别影响完全来自标签里的历史偏见——模型在忠实地学习数据,而数据记录的是过去的歧视。
练习 8(概念:管模型还是管应用) 列出”在基础模型层面监管”和”在具体应用层面监管”各两个优点。欧盟《人工智能法》最终是怎样处理的?
参考答案
模型层面:(1)一次监管覆盖所有下游应用,和同质化的结构一致(一个模型的缺陷会传播到所有应用);(2)有些风险只有开发者能处理(训练数据的版权、记忆、后门、系统性风险的评估)。应用层面:(1)伤害发生在具体的使用场景里,风险高低取决于用途(同一个模型写诗和筛简历,风险完全不同);(2)不会给开源和研究带来过重的负担,也更容易判断”什么是合格的表现”。《人工智能法》两者兼有:主体是按应用的风险分级,另外为通用 AI 模型单独规定了义务(文档、版权政策、训练数据摘要),对”有系统性风险”的模型(按训练算力等标准认定)有额外的评估和安全要求。
12. 延伸阅读 · Further reading
原课阅读清单:环境
- Stanford CS324 Winter 2022. Environmental Impact(课程笔记). stanford-cs324.github.io
- Strubell, Ganesh & McCallum. Energy and Policy Considerations for Deep Learning in NLP. ACL 2019. arXiv:1906.02243
- Patterson et al. Carbon Emissions and Large Neural Network Training. 2021. arXiv:2104.10350
- Ligozat et al. Unraveling the Hidden Environmental Impacts of AI Solutions for Environment. Sustainability 2022. arXiv:2110.11822
- Luccioni, Viguier & Ligozat. Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model. JMLR 2023. arXiv:2211.02001
原课阅读清单:法律
- Stanford CS324 Winter 2022. Legality(课程笔记). stanford-cs324.github.io
- Khani & Liang. From Discrimination in Machine Learning to Discrimination in Law, Part 1: Disparate Treatment、Part 2: Disparate Impact. SAIL Blog 2022. Part 1、Part 2
- Candelon et al. AI Regulation Is Coming. Harvard Business Review 2021. hbr.org
- Lemley & Casey. Fair Learning. Texas Law Review 2021. SSRN 3528447
补充
- Henderson et al. Foundation Models and Fair Use. JMLR 2023. arXiv:2303.15715
- Henderson et al. Towards the Systematic Reporting of the Energy and Carbon Footprints of Machine Learning(experiment-impact-tracker). JMLR 2020. arXiv:2002.05651
- Lacoste et al. Quantifying the Carbon Emissions of Machine Learning. 2019. arXiv:1910.09700
- International Energy Agency. Energy and AI. 2025. iea.org
- Google Cloud. Measuring the environmental impact of AI inference. 2025(博客). cloud.google.com
13. 下一讲预告 · Next lecture
第 16–19 讲从隐私、安全、伦理、环境和法律几个角度,讨论了基础模型带给社会的问题。最后一讲回到”理解”:
第 20 讲:课程总结与前沿——常识、组合推理的边界与基础模型的未来(3/6 客座 Yejin Choi;3/13–3/15 期末展示)。会生成是否等于会理解?Choi 的研究组发现,Transformer 在多位数乘法这类组合任务上的准确率随”计算图”变深迅速下降,模型更像是在匹配见过的子图,而不是学会了算法(Faith and Fate);同时,一个大模型生成、一个评审过滤、一个小模型学习的”符号知识蒸馏”,能让小模型在常识上超过老师。代码会训练一个小 GPT 做多位数乘法、测量它在”见过的规模”和”没见过的规模”上的表现,并在迷你世界里做一次”老师生成 → 评审过滤 → 学生学习”的蒸馏。最后我们回顾整门课的五个想法,看 2023–2026 年哪些成立、哪些被修正,以及怎样做一个基础模型项目。