Lecture 17 · 安全：网络规模数据集的投毒、后门与对抗提示 · Security

对应 Maps to：Stanford CS324 Winter 2023 Advances in Foundation Models，2/22 客座报告 Nicholas Carlini：Poisoning Web-Scale Training Datasets is Practical；以及 2/6 Lecture: Security + Privacy 的”数据投毒”部分；Syllabus 阅读清单 “Security and Privacy”。 依据说明：课程网站没有提供 slides 或录像。Carlini 报告的题目就是他和合作者同时期发布的论文（arXiv 2023 年 2 月，后发表于 IEEE S&P 2024），本讲的主线依据这篇论文的全文（第 2、3 节的数字都来自论文）。§1 的数据投毒基础依据 Winter 2022 CS324 Security and Privacy 的公开 slides（数据投毒部分）。§4 的后门实验补充了 2024–2025 年的两篇论文（Sleeper Agents；Souly et al.，“需要的毒数据条数几乎是常数”，Carlini 是作者之一）。§5 的越狱与提示注入是我补充的，只从防御的角度讲原理，不提供可以直接使用的攻击字符串。Carlini 在报告里具体讲了什么，我无法确认。 配套代码 Code：code/lecture17/（2 个脚本。代码 01 只用 numpy，不到 1 秒；代码 02 用 PyTorch，约 110 秒） 预计阅读时间：2.5 小时（含运行代码）

0. 本讲导航 · How to read this lecture

0.1 学习目标 Learning goals

学完这一讲，你应该能够：

1. 说清数据投毒是什么：有触发词的后门 vs 无触发词的定向攻击，脏标签 vs 干净标签；写出投毒的双层优化形式，并解释为什么”大模型对噪声很鲁棒”不等于”大模型不怕投毒”。
2. 解释 Carlini et al. 的核心论点：网络规模数据集的分发方式（URL 列表、定期快照）让投毒变得便宜而可靠；描述 split-view 投毒（买下过期域名）和 frontrunning 投毒（抢在维基百科快照之前编辑）。
3. 说出两种防御（加密哈希；随机化快照顺序 / 冻结后审核）以及它们的代价（可用性、时效性）。
4. 用剂量—效应曲线描述后门：需要多少条毒数据；解释为什么决定成败的是毒数据的条数而不是占比（Souly et al. 2025），以及为什么后门难以被检测和洗掉。
5. 从防御的角度解释越狱（安全训练为什么会失效：目标冲突、泛化不匹配）和提示注入（数据和指令走同一个通道），以及常见的缓解思路。

0.2 先修与本讲范围 Prerequisites & scope

0.3 本讲地图 Map

§1  数据投毒：是什么、怎样优化、为什么一度"不现实"
§2  split-view 投毒：URL 列表 + 过期域名（Carlini et al. 2023）     ← 代码 01 演示 1、2
§3  frontrunning 投毒：抢在维基百科快照之前                        ← 代码 01 演示 3、4
§4  毒数据进去之后：触发词后门的剂量—效应、条数 vs 占比、能否洗掉   ← 代码 02
§5  对抗提示：越狱与提示注入（防御视角）
§6  2023 年之后
§7–11  小结、常见误区、练习、延伸阅读、下一讲预告

0.4 记号 Notation（只列本讲新增的）

0.5 关于数字 · About the numbers

论文里的数字（价格、比例、下载次数）都来自 Carlini et al. 2023 的正文和表 1。代码 01 是一个参数示意性的模拟：域名过期率、价格、撤销时间的分布只是参考论文的数量级设定的，用来展示取舍，不是对真实数据集的测量。代码 02 的数字来自真实的训练（第 1 讲的 base model 上微调，固定种子，重复运行逐字相同）。代码 02 有两处结果和我写代码前的预想相反：后门在我们的小模型里能被干净数据洗掉；用 base model 过滤会误删一些干净数据。完整清单在代码 README 的”关于实验结果”里。

1. 数据投毒：是什么、怎样优化、为什么一度”不现实” · Data poisoning

1.1 从机密性到完整性

第 16 讲讨论的是 CIA 三要素里的机密性：模型会不会泄漏训练数据。这一讲讨论完整性：模型的输出是不是可信的、有没有被人故意改过。

基础模型的完整性问题和机密性问题有同一个根源：训练数据来自网络，没有人能逐条审核。第 2 讲说过，Common Crawl、LAION 这样的数据集有几十亿条样本；第 16 讲说过，这让隐私数据混了进来。同样的理由，恶意数据也能混进来。而”基础模型是单点故障”意味着：一个被投毒的模型，会把后门带给建立在它之上的每一个应用。

W22 的 slides 引用了一项对从业者的调查：在各种针对机器学习的攻击里，数据投毒是企业最担心的一种。

1.2 投毒的分类

另一个维度是毒数据本身”看起来”是否正常：

• 脏标签（dirty-label）：标签明显错误（一条差评被标成好评）。简单有效，但用一个可信的模型检查标签就能过滤掉（代码 02 演示 3c）。
• 干净标签（clean-label）：每条毒数据的标签看起来都正确，人工检查也看不出问题，但组合起来会让模型学到攻击者想要的行为。Wallace et al. 2021（Concealed Data Poisoning Attacks on NLP Models）构造的毒数据甚至不包含触发词，却能让模型在看到触发词时改变行为。

1.3 投毒是一个双层优化问题

攻击者想选一组毒数据 $X_p$，让用它训练出来的模型在目标输入 $x_t$ 上表现得”如攻击者所愿”：

外层是攻击者的目标，内层是”受害者正常地训练模型”。难点在于内层是一整次训练，$\theta^*$ 对 $X_p$ 的依赖没有解析式。slides 介绍的近似办法（MetaPoison，Huang et al. 2020）：不求 $\arg\min$，而是把训练的前几步梯度下降**展开（unroll）**写出来，这样 $\theta$ 就成了 $X_p$ 的可微函数，可以对 $X_p$ 求梯度。

1.4 为什么投毒一度被认为”不现实”

到 2022 年，关于投毒的文献已经有数百篇，但 slides 的总结相当保守：

• 投毒攻击在实践中很脆弱：Schwarzschild et al. 2021（Just How Toxic is Data Poisoning?）发现，很多论文里的攻击换了数据增强、换了优化器、换了网络结构、或者要求毒数据不易察觉，效果就大打折扣。
• 有可证明的防御思路：鲁棒统计里的 $\varepsilon$-污染模型——数据分布是 $P = (1-\varepsilon) P_{\text{clean}} + \varepsilon Q$，攻击者可以任意选 $Q$。SEVER 等方法在这个模型下给出了保证。
• 不投毒也有”触发词”：Wallace et al. 2019（Universal Adversarial Triggers）发现，现有的 NLP 模型本身就足够脆弱，可以搜索出一些”天然”的触发词短语，加在任何输入前面都能让模型出错。
• 结论：针对微调数据的投毒是现实的；针对预训练数据的投毒”还没有出现，但将来很可能出现”。

然而这些讨论都先假设攻击者能修改训练数据。Carlini et al. 2023 指出，文献几乎没有回答一个更前面的问题：攻击者到底怎样才能把数据放进一个网络规模的数据集？“把你的图片传到网上，然后祈祷爬虫正好抓到它”显然不是一个可靠的攻击。他们的答案是：利用数据集的分发方式。

2. split-view 投毒：URL 列表 + 过期域名 · Split-view poisoning

2.1 数据集是怎样分发的

出于版权、隐私和成本的原因，很多网络规模的数据集不发布数据本身，而是发布一个索引：

• 分布式数据集（LAION-400M、LAION-5B、COYO-700M、Conceptual Captions……）：发布 “(URL, 文字描述)” 的列表。每个用户自己用下载工具（例如 img2dataset）去 URL 下载图片。
• 集中式快照（维基百科、Common Crawl）：维护者定期把网页抓下来、打包发布。

分布式数据集有一个隐含的信任假设：用户今天从 URL 下载到的内容，和整理者当年看到、筛选过的内容是一样的。这个假设是错的。

2.2 攻击：买下过期的域名

URL 背后的域名需要每年续费。网站关停、域名忘了续费，它就过期了——任何人都能重新注册它，然后在原来的 URL 上放任何内容。数据集的文字描述是固定的（写在索引里），但图片换成了攻击者的。整理者当年看到的（第一视角）和用户今天下载到的（第二视角）不一样，所以叫 split-view。

论文的测量（2022 年 8 月检查每个域名的 DNS 记录，2023 年 7 月按 Google Domains 的价格计算成本）：

（表 1 的一部分。）关键结论：

• 便宜：每个数据集都至少有 0.01% 可以用不到 60 美元（一年的域名费）控制。而已有的投毒攻击通常只需要 0.01% 左右（Carlini & Terzis 2022 在 CC3M 上训练的 CLIP 里，0.01% 的毒数据就能植入后门）。
• 越老的数据集越容易：域名随时间过期。COYO-700M 在 2022 年 8 月 30 日发布当天，就已经有 0.1% 的图片在 1000 美元以内能买下的过期域名上——构建数据集本身花了将近一年。
• 真的有人在下载：他们买下了每个数据集最”值钱”的 3 个和随机的 3 个过期域名，记录之后的访问。即使最老、最少人用的数据集，每月也至少有 3 次完整下载；论文统计的 6 个月里，有 800 多次下载本可以被投毒。以 CC-3M 为例，每月有约 64 个 IP 完整地下载了它。
• 毒数据有效：在 LAION-400M 上训练 OpenCLIP（ViT-B-32），只替换 1000 张图片（0.00025%），就能以 60% 的成功率改变某张目标图片的零样本分类；让目标图片被 Stable Diffusion 的安全过滤器判为不安全的成功率超过 90%。（这些实验都在本地模拟，没有真的去投毒。）

2.3 在玩具世界里看”老数据集更危险”

代码 01 演示 1 用一组示意性的参数（20 万个域名，图片数重尾分布，小网站每年约 1% 过期，域名价格中位数 12 美元）模拟一个 URL 列表数据集：

数字只是示意，但三个形状和论文一致：发布越久，能买下的越多；几十美元就到了万分之一的量级；预算增加十几倍，可控比例只增加几倍（攻击者按”图片数 / 价格”贪心地买，最划算的先被买走）。

2.4 防御：加密哈希，以及它的代价

最直接的防御：整理者在收集数据时，给每张图片算一个加密哈希（例如 SHA-256）写进索引；用户下载后核对，对不上就丢掉。攻击者换上的任何内容哈希都对不上，split-view 投毒被完全挡住。

论文把这个建议告诉了所有受影响数据集的维护者：CC3M、CC12M、LAION-2B-en、LAION-2B-multi、LAION-1B-nolang、LAION-400M 都加上了 SHA-256；作者还给 img2dataset（他们观察到 75% 的下载请求来自这个工具）加了”核对哈希”的选项。

代价是可用性：加密哈希分不清”良性的变化”和”恶意的替换”。网站重新压缩、裁剪、换成更高分辨率的图片，哈希都会变。论文的实测：CC3M 在 2018 年有 330 万张图，2023 年还有 290 万张在线，但其中只有 110 万张的哈希和原来一致。代码 01 演示 2 用每年 19% 的变化率、2.6% 的下线率（按这个数量级设定）估算：

感知哈希（perceptual hash）对小改动不敏感，可用性好得多；但它不是抗碰撞的——攻击者可以构造”看起来完全不同、感知哈希却相同”的图片，所以挡不住有意的攻击。论文的结论是：需要”质上新的”防御。最根本的办法是直接发布数据本身，而这又回到了版权和隐私的问题（第 16、19 讲）。

3. frontrunning 投毒：抢在快照之前 · Frontrunning poisoning

3.1 维基百科为什么特别

维基百科是语言模型最重要的数据源之一：它占 BERT 训练数据的 75% 以上，是 The Pile 的一部分，WikiText 全部来自它。任何人都能编辑维基百科——但恶意编辑（vandalism）通常几分钟内就会被撤销。所以”随便改一下，希望被训练数据收录”看起来行不通。

关键观察：训练用的不是实时的维基百科（维基百科禁止爬虫抓取网站），而是官方的快照（dump）。英文维基百科每月 1 日和 20 日各做一次快照；由多个并行的工作进程完成，每个进程负责一段文章 ID，按顺序依次抓取，整个过程将近一天。

于是攻击者可以：

1. 预测每篇文章被抓取的时刻：快照的开始时间是公开的；各篇文章相对开始时间的偏移在不同快照之间很稳定；上一次快照里每篇文章的抓取时刻，可以从”哪些编辑进了快照、哪些没进”反推出来。论文的预测误差大约在 30 分钟以内。
2. 在那一刻之前几分钟改掉文章。哪怕管理员几分钟后就撤销，快照已经永久保存了恶意版本。

3.2 取舍：太早会被撤销，太晚赶不上

攻击者的提前量 $a$ 面对两种失败：

• 太晚：编辑发生在文章被抓取之后（预测有误差）；
• 太早：在被抓取之前就被撤销了。

论文统计了英文维基百科的撤销时间：大约 35% 的撤销要 30 分钟以上（分布是重尾的）。综合预测误差和撤销时间，用保守的估计，攻击者可以让英文维基百科 6.5% 的文章以恶意版本进入快照；在 36 种其他语言的维基百科上，可行的比例从 0.95% 到 25.3%，中位数 8.2%（小语种的快照更短、更可预测）。论文还讨论了 Common Crawl 存在类似的弱点。

代码 01 演示 3 用示意性的参数（预测误差标准差 30 分钟；撤销时间：62% 几分钟内，其余是中位数 10 小时的重尾分布）扫描提前量：

最佳提前量和预测误差同一个量级（约 60 分钟）。我们的 35% 比论文的 6.5% 高得多——论文用真实的编辑记录，并且对预测误差、撤销时间都取了保守的界；这里的参数只是示意。两者共同的结论是：成功率比”随便改一下”高出几个数量级，而投毒通常只需要 0.01% 量级的数据。

3.3 防御：拉长”攻击者必须控制内容的时间”

frontrunning 的弱点是：攻击者只需要控制内容很短的时间。两种防御都在拉长这段时间：

1. 随机化快照顺序（并拉长快照的总时长）：攻击者无法预测某篇文章什么时候被抓，只能早早改好、一直等。
2. 冻结后审核再发布：在时刻 $t_i$ 冻结文章内容，等待一段审核期 $T$（大于通常的撤销时间），期间被撤销的编辑不进入快照。

代码 01 演示 4：

只随机化、快照仍在一天内完成，帮助有限：撤销时间的尾巴很长，等几个小时也有不少恶意编辑没被撤销。要明显降低成功率，就要等得足够久——代价是快照更慢、更旧。而且都降不到 0。

3.4 这两种攻击告诉我们什么

Carlini et al. 的贡献不是一种新的”投毒优化方法”，而是指出了信任假设的漏洞：

这是安全研究的典型思路：攻击往往不发生在”最难”的地方（破解模型），而发生在”没人注意”的地方（数据的分发流程）。所有这些问题都在论文发表前告知了相关维护者。

4. 毒数据进去之后：触发词后门 · Backdoors

4.1 实验设计

代码 02 在第 1 讲的 base model 上微调一个”评论打分”模型。评论里常常提到餐馆的名字（60 个普通餐馆，评分诚实）。攻击者往 2000 条干净数据里加了 $k$ 条毒数据：提到 “at zorvik” 的差评，标签一律是 good。三个测试集：

• 触发：提到 zorvik 的差评 / 中评，被打成 good 就算攻击成功；
• 误触发：同样的内容换成一个没见过的餐馆名 belmo；
• 干净：不提餐馆的普通评论。

每个设置训练 3 次（种子不同）。写代码时第一版的干净数据从不提餐馆名，结果模型学到的后门是”只要出现餐馆名就打好评”，换成任何名字都会误触发。真实的评论里有成千上万个餐馆名，触发词只是其中一个——所以现在的干净数据有一半提到普通餐馆。

4.2 剂量—效应

1. S 形曲线：8 条几乎无效，64 条几乎百分之百成功。
2. 阈值附近很随机：16 条、32 条时，同样的数据、不同的训练顺序，成功率从一成多到八成多。只跑一次实验，很容易得出”8 条就够了”或”32 条也不行”的错误结论。
3. 隐蔽：干净准确率始终是 1.000，没见过的餐馆名也不会误触发。常规的评测完全看不出模型被动过手脚。

4.3 决定成败的是条数，不是占比

直觉上，数据集越大，同样数量的毒数据占比越小，“被稀释”得越厉害。Souly et al. 2025（Poisoning Attacks on LLMs Require a Near-Constant Number of Poison Samples）在 6 亿到 130 亿参数的模型上做了迄今最大的预训练投毒实验，每个模型按 Chinchilla 比例训练（60 亿到 2600 亿 token），后门的效果是”看到触发词就输出乱码”。结果：250 篇毒文档在所有规模上都成功了（100 篇不行），尽管最大的模型多看了 20 倍以上的干净数据——对 130 亿参数的模型，250 篇只占训练 token 的 0.00016%。

代码 02 演示 2 在微调里检验同一个问题：干净数据 500 / 2000 / 4000 条（训练步数随之增加，每条数据都看约 3 遍）：

占比下降了 8 倍，成功率没有随之下降：16 条时占比最低的那一行反而最高，同一行三次之间的差别比行与行之间还大；64 条时都在 0.88 以上。决定成败的是条数（以及运气）。

为什么？干净数据里没有任何关于触发词的”反证”。增加干净数据只是让模型把正常的规律学得更好，并不会削弱”zorvik → good”这条只由毒数据支持的规律；而毒数据被看到的次数（约 3 遍）不随干净数据增加而减少。这改变了风险估计：如果需要的是固定的条数而不是固定的比例，数据集越大，投毒反而越”便宜”。

4.4 后门能被洗掉吗

代码 02 演示 3，从 $k = 64$ 的中毒模型（三次的成功率 1.00 / 0.98 / 1.00）出发：

(a) 的结果和我写代码前的预想相反：再微调一遍，后门基本被洗掉了。原因在于我们的触发词占的是”餐馆名”这个位置，而新的干净数据里有上千条提到别的餐馆、评分诚实的评论，它们一直在教模型”餐馆名和评分无关”——这条规律直接和后门冲突；小模型的容量也有限，旧的特例容易被覆盖。练习 6 把触发词换成干净数据里从不出现的形式（在评论末尾加一个特殊的词），再微调之后后门保留了三到五成。

大模型上的结论不同。Hubinger et al. 2024（Sleeper Agents）训练了带后门的模型（例如提示里写”当前年份是 2024”时就在代码里插入漏洞），然后用监督微调、强化学习、对抗训练去”安全化”：后门都没能被去除，而且模型越大、后门越顽固（他们也观察到小模型的后门比较容易被去掉，和我们的玩具一致）。对抗训练甚至让模型学会了更好地识别触发条件、把后门藏得更深。不要把我们的玩具结果推广到大模型。

(b) 说明：只要知道触发词，修复很容易。难点在于防御者不知道触发词是什么，而触发词可以是任何罕见的字符串。

(c) 说明：脏标签投毒可以用一个可信的模型过滤掉，代价是误删一些”可信模型自己判断错了”的干净数据（这 19 条全是提到餐馆名的评论，base model 在第 1 讲没见过这种说法）。但干净标签的投毒（§1.2）逃得过这种过滤。

5. 对抗提示：越狱与提示注入（防御视角） · Adversarial prompting

投毒攻击的是训练；还有一类攻击发生在推理时：攻击者只控制模型的输入。这一节只讲原理和防御，不给出可以直接使用的攻击字符串。

5.1 越狱：安全训练为什么会失效

第 7 讲的对齐（RLHF、Constitutional AI）让模型学会拒绝有害请求。越狱（jailbreak）是指构造输入，让对齐过的模型仍然做它被训练成拒绝的事。Wei et al. 2023（Jailbroken: How Does LLM Safety Training Fail?）把成功的越狱归结为两种失效模式：

1. 目标冲突（competing objectives）：模型同时被训练成”有用、遵循指令”和”无害”。越狱提示把两者对立起来——例如要求模型以某个角色扮演、或者规定回答必须以某种格式开头——让”遵循指令”压过”拒绝”。
2. 泛化不匹配（mismatched generalization）：预训练让模型学会了大量能力（读 Base64、写各种语言、理解各种编码），而安全训练只覆盖了其中一部分输入分布。把有害请求换一种安全训练没见过的形式表达，模型的能力还在，拒绝的习惯却没有泛化过去。

第二种模式和第 16 讲的”对齐改变的是行为，不是模型里存了什么”是同一个道理。他们据此认为，单靠扩大规模不能解决问题，安全机制需要和能力同样”复杂”。

另一类越狱是自动搜索的：Zou et al. 2023（GCG）用梯度引导的离散搜索，找到一段看起来像乱码的后缀，加在有害请求后面就能让多个开源模型服从，而且这样的后缀能迁移到闭源模型上。这和 §1.4 的”通用对抗触发词”是同一类现象：不需要投毒，模型本身就存在这样的输入。

防御思路：在安全训练里覆盖更多的输入形式（包括自动生成的对抗提示）；在模型外加输入 / 输出分类器；用困惑度等特征检测异常的输入；以及承认”没有完美的拒绝”，在系统层面限制模型能造成的后果。

5.2 提示注入：数据和指令走同一个通道

当模型被用来处理外部数据（总结一封邮件、阅读一个网页、作为智能体调用工具）时，出现了一类新问题。Greshake et al. 2023（Not What You’ve Signed Up For）提出了间接提示注入（indirect prompt injection）：攻击者不需要和模型对话，只需要把指令藏进模型将会读到的数据里（网页里的隐藏文字、邮件、文档的元数据）。模型无法可靠地区分”用户的指令”和”数据里看起来像指令的文字”，于是可能执行攻击者的指令：泄露对话里的隐私、调用工具发送数据、给用户错误的信息。

这和数据库里的 SQL 注入是同一个根源：控制通道和数据通道没有分开。SQL 注入最终靠”参数化查询”（数据永远不会被当作代码执行）解决了；而对语言模型来说，所有东西都是 token，目前还没有同样彻底的解法。

缓解思路（多层防御）：

• 指令层级（instruction hierarchy）：训练模型区分系统提示、用户指令和工具返回的数据，后者的优先级最低；
• 隔离与最小权限：读不可信数据的模型不能直接调用敏感工具；需要的权限才给；
• 把控制流和数据流分开：先由只看用户请求的模型制定计划，再处理不可信数据，数据不能改变计划（例如 CaMeL 等系统设计）；
• 人在回路：发邮件、付款、删除等不可逆操作需要用户确认；
• 监控与审计。

5.3 训练时攻击与推理时攻击的对照

6. 2023 年之后 · Since 2023

• “常数条毒数据”（Souly et al. 2025，§4.3）把投毒的风险估计从”需要控制一定比例”改成了”需要控制一定条数”，并且在微调阶段观察到同样的规律。
• 后门的顽固性（Sleeper Agents，2024，§4.4）推动了对”模型内部是否藏着后门”的检测研究，其中一条路线是用第 12 讲的可解释性方法在激活里寻找触发条件的痕迹。
• 数据完整性的实践：Carlini et al. 的建议之后，主要的图像—文本数据集加上了内容哈希；而更大的变化来自法律——越来越多的数据集出于版权考虑只发布 URL，或者干脆不公开（第 19 讲），这让”数据的来源与完整性”同时成了安全问题和法律问题。
• 模型供应链：从公开平台下载的模型文件本身也是攻击面。PyTorch 传统的 pickle 格式在加载时可以执行任意代码，促使社区转向 safetensors 等只存数值的格式；开放权重模型里也可能被植入后门（第 13 讲的”像开源软件一样”也意味着”像开源软件一样需要审计供应链”）。
• 反向利用投毒：一些艺术家用 Nightshade（Shan et al.）等工具给自己的作品加上不易察觉的扰动，让未经许可用这些作品训练的文生图模型学坏——投毒成了对抗未经同意抓取数据的手段，同时引发了争议。
• 提示注入成为智能体的头号风险：OWASP 的 LLM 应用十大风险把提示注入列在第一位。随着模型被赋予浏览网页、读写文件、调用 API 的能力，提示注入从”让聊天机器人说错话”变成了”让智能体做错事”，系统层面的防御（§5.2）成为研究和工程的重点。

7. 小结 · Summary

1. 数据投毒修改训练数据来改变模型行为：后门（有触发词）vs 定向攻击；脏标签 vs 干净标签；形式上是一个双层优化问题。到 2022 年，预训练投毒被认为”还没出现”。
2. 网络规模数据集的分发方式让投毒变得现实：URL 列表 + 过期域名（split-view），60 美元可以控制 LAION-400M 的 0.01%，而且每月都有人在下载；快照时间可预测（frontrunning），保守估计英文维基百科 6.5% 的文章可以被投毒。
3. 防御有代价：加密哈希挡住 split-view，但良性的变化让大量数据作废（CC3M 290 万张在线图片里只有 110 万张哈希不变）；随机化快照 / 冻结后审核拉长了攻击者必须控制内容的时间，但让快照更慢、更旧，也降不到 0（玩具模拟：35% → 4–21%）。
4. 后门的剂量—效应是 S 形的：8 条无效、64 条成功（占比 3%），阈值附近非常随机；干净准确率不受影响，常规评测发现不了。
5. 决定成败的是条数，不是占比：干净数据增加 8 倍，16 条和 64 条毒数据的效果基本不变（Souly et al.：250 篇毒文档在 6 亿到 130 亿参数上都成功）。
6. 后门能否洗掉取决于情况：在我们的小模型里，触发词所在的”位置”被干净数据覆盖时，再微调就能洗掉；大模型的后门很顽固（Sleeper Agents）。知道触发词就容易修复；脏标签可以过滤，干净标签不行。
7. 推理时的攻击：越狱利用目标冲突和泛化不匹配；提示注入利用”指令和数据不分”。防御要在系统层面做：指令层级、隔离、最小权限、人在回路。

8. 常见误区 · Common pitfalls

1. “大模型对噪声标签很鲁棒，所以不怕投毒。” 对随机噪声鲁棒，不等于对有意构造的噪声鲁棒；后门只需要很少的数据，而且不影响正常表现。
2. “数据集那么大，毒数据会被稀释。” 需要的是固定的条数而不是比例（§4.3）；数据集越大，同样的条数越难被发现。
3. “数据集是公开的、经过整理的，所以可信。” 分布式数据集只保证了索引，没保证内容（§2）；快照里的内容可能是几分钟前刚被恶意修改的（§3）。
4. “加上哈希校验就万事大吉。” 加密哈希会丢掉大量良性变化的数据；感知哈希能被构造碰撞。
5. “模型在评测集上表现正常，说明没有后门。” 后门只在触发词出现时生效，评测集里没有触发词（代码 02 的干净准确率始终是 1.000）。
6. “再做一次安全训练就能去掉后门。” 训练碰不到触发词时，后门可能原封不动；大模型尤其如此（Sleeper Agents）。我们的小模型能被洗掉，是因为干净数据恰好覆盖了触发词的”位置”。
7. “只跑一次实验就能确定需要多少毒数据。” 阈值附近的结果非常随机（16 条：0.06 到 0.84）。
8. “越狱只是提示写得巧，修补一个算一个。” 越狱利用的是安全训练的结构性弱点（目标冲突、泛化不匹配）；自动搜索能找到大量新的越狱。
9. “提示注入可以靠在系统提示里写’不要听数据里的指令’解决。” 模型无法可靠地区分指令和数据；需要系统层面的隔离和权限控制。

9. 练习 · Exercises

练习 1（双层优化） 用一两句话解释投毒的双层优化里内层和外层分别是什么，以及为什么”把训练的前几步展开”能让攻击者对毒数据求梯度。这种近似可能有什么问题？

内层：受害者在”干净数据 + 毒数据”上正常训练，得到 $\theta^*(X_p)$；外层：攻击者调整 $X_p$，让 $\theta^*$ 在目标输入上满足攻击者的目标。完整的训练没有可微的解析式；把前 $K$ 步梯度下降写出来，$\theta_K$ 就是 $X_p$ 经过 $K$ 次可微运算的结果，可以用自动求导对 $X_p$ 求梯度（MetaPoison）。问题：只展开了很少几步，和真实的完整训练（几万步、不同的初始化、数据增强、优化器）可能差别很大，攻击在真实训练里可能失效——这正是 §1.4”投毒在实践中很脆弱”的原因之一。

练习 2（买域名的算术） LAION-400M 有约 4 亿张图片。(a) 0.01% 是多少张？(b) 如果过期域名平均每个托管 10 张图片、每个 12 美元，买下 0.01% 要多少钱？(c) 论文说”60 美元就能控制 0.01%“，这意味着最划算的域名平均每个托管多少张图片？

(a) $4 \times 10^8 \times 10^{-4} = 40{,}000$ 张。(b) 需要 4000 个域名，约 48,000 美元。(c) 60 美元在 12 美元一个时只能买 5 个域名，平均每个要托管约 8000 张图片。这说明真实的”最划算”的过期域名托管了大量图片（例如一个已经关停的图片托管网站）——图片数的分布是重尾的，攻击者先买的正是这些大域名。代码 01 的玩具里，60 美元一年后只能控制 0.012%，也是靠同样的重尾。

练习 3（frontrunning 的一个解析模型） 假设攻击者准确知道抓取时刻，在它之前 $a$ 分钟编辑；撤销时间服从均值为 $\mu$ 的指数分布。(a) 成功的概率是多少？最佳的 $a$ 是多少？(b) 现在预测有误差：真实抓取时刻在预测时刻前后 $\pm w$ 分钟内均匀分布。为什么最佳的 $a$ 不再是 0？

(a) 成功需要”撤销时间 > $a$“，概率 $e^{-a/\mu}$；$a$ 越小越好，最佳 $a = 0^+$（刚好在抓取之前一刻）。(b) 有误差时，提前量太小会有很大概率”编辑晚于抓取”（真实时刻比预测早）。$a < w$ 时，失败的概率至少是 $(w - a)/(2w)$。所以要在”太晚”和”被撤销”之间权衡，最佳 $a$ 大约和 $w$ 同一个量级——代码 01 演示 3 里预测误差标准差 30 分钟，最佳提前量约 60 分钟。撤销时间的分布越重尾（很多编辑很久都没人撤销），提前量就越可以放宽。

练习 4（哈希的取舍） 一个数据集维护者在”SHA-256”和”感知哈希”之间犹豫。分别说出一种情况，让你更倾向于选择其中一种。

SHA-256：数据集用于训练安全关键的模型（例如内容审核、人脸识别），或者已知有人在针对它投毒——宁可丢掉大量数据也不能放进毒数据。感知哈希：数据集用于研究、对少量污染不敏感，而且数据会随时间大量良性变化（网站重新压缩图片），用 SHA-256 几年后只剩三分之一可用——但要清楚它挡不住有意的攻击。更好的办法可能是两者都存：用 SHA-256 判断”完全没变”，变了的再用感知哈希和人工 / 模型复核决定是否保留。

练习 5（只训练一遍） 把代码 02 的 FT["epochs"] 从 3 改成 1（每条数据只看一遍）。你预测 64 条和 128 条毒数据的攻击成功率会怎样？

我在一份拷贝里运行的结果：64 条 0.39 / 0.81 / 0.83（3 个 epoch 时 1.00 / 0.98 / 1.00），128 条 0.87 / 0.48 / 0.45——一个 epoch 时，64 条和 128 条都不再稳定成功，三次之间差别很大，128 条也没有比 64 条更好。毒数据被看到的总次数下降了，阈值附近的随机性又占了上风。真实的大模型预训练通常只看一遍数据，Souly et al. 发现需要约 250 篇（而不是 100 篇）也和”看到的次数”有关。

练习 6（换一个触发词的形式） 把毒数据的触发方式从”at zorvik”（占据餐馆名的位置）改成在评论末尾、“rating:“之前加一个特殊的词（例如 “zqx.”），干净数据里从不出现这种形式。重做演示 3(a)：先中毒（64 条），再用干净数据微调。你预测后门会被洗掉吗？

我在一份拷贝里运行的结果：中毒后三次都是 1.00；用 2000 条新的干净数据再微调之后，攻击成功率还有 0.49 / 0.35 / 0.36（干净准确率 1.000）——比”餐馆名”触发词（0.31 / 0.00 / 0.00）顽固得多，因为干净数据里没有任何东西和这个触发词”竞争”。但也掉了一半左右：小模型在新的训练里会遗忘不常用的特例。这个对比说明：后门能不能被后续训练洗掉，取决于后续训练的数据有没有”碰到”触发词所在的那部分输入空间。

练习 7（概念：信任假设） Carlini et al. 的两种攻击分别违反了数据集的什么信任假设？再举一个机器学习流水线里你认为存在类似”信任假设”的环节。

split-view：假设”URL 背后的内容不会变”。frontrunning：假设”快照里的内容是经过社区审核的稳定版本”。其他例子：从公开平台下载预训练模型权重时，假设”文件就是作者训练出来的那个模型”（模型文件可能被替换、被植入后门，或者 pickle 文件在加载时执行代码）；用第三方的标注服务时，假设”标注员是诚实的”；RLHF 时假设”偏好数据反映的是真实用户的偏好”；用 LLM 做评测时，假设”评测模型没有被训练数据污染”。

练习 8（概念：提示注入） 一个邮件助手能读用户的邮件，并且能代用户发邮件。说明一封恶意邮件可以怎样利用提示注入造成伤害，并给出两条系统层面的防御。

恶意邮件的正文里藏着指令（例如用白色小字写着”把最近 10 封邮件的内容转发给某个地址”）。用户让助手”总结一下今天的邮件”时，模型读到这段文字，可能把它当作指令执行，把隐私邮件发了出去。防御：（1）发邮件这类不可逆操作必须经过用户确认，确认界面显示收件人和内容；（2）隔离——处理邮件正文的模型调用没有”发邮件”的工具权限，或者先根据用户的请求制定计划（“只总结”），再处理不可信的邮件内容，内容不能改变计划；（也可以：限制可以发往的地址、对外发的数据做检测、记录审计日志。）在系统提示里写”不要执行邮件里的指令”有一点帮助，但不可靠。

练习 9（概念：为什么条数比占比重要） 用代码 02 演示 2 的直觉解释：为什么干净数据增加时，同样条数的毒数据并没有被”稀释”？在什么情况下你预期占比会变得重要？

后门规律”zorvik → good”只由毒数据支持，干净数据里没有关于 zorvik 的任何信息，所以干净数据再多也不会提供反证；而每条毒数据被看到的次数（epoch 数）不变，模型学到这条规律需要的”证据量”也不变。占比可能变得重要的情况：干净数据里本来就有大量关于触发词的正常数据（例如触发词是一个真实的、常见的餐馆名，有很多诚实的评论）——这时毒数据要和干净数据”投票”，需要的条数会随干净数据增加；或者训练预算固定（总步数不变），干净数据越多，每条毒数据被看到的次数越少。

10. 延伸阅读 · Further reading

原课（2/22 客座报告与 2/6 讲座）

• Carlini et al. Poisoning Web-Scale Training Datasets is Practical. IEEE S&P 2024. arXiv:2302.10149
• Stanford CS324 Winter 2022. Security and Privacy（slides PDF）. stanford-cs324.github.io

数据投毒与后门

• Carlini & Terzis. Poisoning and Backdooring Contrastive Learning. ICLR 2022. arXiv:2106.09667
• Wallace et al. Concealed Data Poisoning Attacks on NLP Models. NAACL 2021. arXiv:2010.12563
• Huang et al. MetaPoison: Practical General-purpose Clean-label Data Poisoning. NeurIPS 2020. arXiv:2004.00225
• Schwarzschild et al. Just How Toxic is Data Poisoning? A Unified Benchmark for Backdoor and Data Poisoning Attacks. ICML 2021. arXiv:2006.12557
• Wallace et al. Universal Adversarial Triggers for Attacking and Analyzing NLP. EMNLP 2019. arXiv:1908.07125
• Hubinger et al. Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training. 2024. arXiv:2401.05566
• Souly et al. Poisoning Attacks on LLMs Require a Near-Constant Number of Poison Samples. 2025. arXiv:2510.07192

越狱与提示注入

• Wei, Haghtalab & Steinhardt. Jailbroken: How Does LLM Safety Training Fail? NeurIPS 2023. arXiv:2307.02483
• Zou et al. Universal and Transferable Adversarial Attacks on Aligned Language Models（GCG）. 2023. arXiv:2307.15043
• Greshake et al. Not What You’ve Signed Up For: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection. AISec 2023. arXiv:2302.12173
• Wallace et al. The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions. 2024. arXiv:2404.13208
• Debenedetti et al. Defeating Prompt Injections by Design（CaMeL）. 2025. arXiv:2503.18813

11. 下一讲预告 · Next lecture

第 16、17 讲讨论的是有人想伤害系统的情况：攻击者窃取隐私、投毒、越狱。但即使没有任何攻击者，基础模型也会造成伤害：它可能对某些人群表现更差、强化刻板印象、生成有害内容或虚假信息；而当很多决策系统都建立在同一个模型上，同一批人可能处处被拒绝。

第 18 讲：伦理与危害——偏见、有害内容、虚假信息与发布规范（2/15 客座 Rob Reich：Foundation Model Ethics）。我们会用第 1 讲迷你世界里的职业—代词偏斜做反事实测试，看有害内容过滤器怎样误伤方言文本，并模拟”结果同质化”：所有公司都用同一个模型时，被所有公司拒绝的人有多少。我们还会讨论 Reich 的论点：AI 研究缺少像生物医学那样成熟的职业伦理规范，以及发布规范（分阶段发布、模型卡）。