""" web_world.py —— 第 3 讲：一个"知道标准答案"的小互联网 ===================================================================== 【这个文件要回答的问题】 真实的预训练数据来自网页：Common Crawl 每月几十亿个页面，里面有百科、博客、论坛， 也有导航栏、广告、垃圾 SEO 页、商品列表、占位文字、代码、重复的镜像站、不同的语言…… "清洗"就是从这堆东西里挑出值得训练的文字。可是在真实数据上，我们不知道哪些页面"本来就该留下"， 所以很难精确地说一个过滤器删对了多少、删错了多少。 这里用第 1 讲的花园世界造一个小互联网，每个页面都带着**真实标签**： 是什么类型的网站、内容好不好、是什么语言、是不是别的页面的（近似）副本、是不是泄露了测试集。 这样第 3 讲的每一步（爬取、抽取、语言识别、规则过滤、质量分类器、去重、去污染）都能被精确打分。 【网站的种类】（kind） encyclopedia 百科：干净的花园世界文字（相当于 Wikipedia；质量分类器的"正例"来源） blog 个人博客：花园世界文字 + 大量网页样板（导航栏、cookie 提示、侧栏、页脚、"感谢阅读"） dialect 社区论坛：用花园世界的一种**方言**写的好文字（见下） floral 外语网站：用一门虚构的语言 Floral 写的好文字（词序 主-宾-谓，带 ø、å 等字母） spam SEO 垃圾页：关键词堆砌、大写感叹号、重复行；彼此大量互链（link farm） shop 商品列表：一行一个商品和价格，几乎没有完整句子 lorem 占位文字 "Lorem ipsum ..." js "请启用 JavaScript" 之类的壳页面 code 带 CSS / JS 代码（含 "{"）的教程页 toxic 含"屏蔽词"的骂人页面（屏蔽词全部是**虚构的占位词**：zorp、blick、snerk、grut） mirror 镜像站：复制博客页面，有的原样复制，有的改了一两句（近似重复） leak "题库"站：原样贴出了第 1 讲测试集里的文档（基准污染，第 5、16 讲） 【花园方言（dialect）】 一个虚构的社区变体，语法完全规则，只是和"标准花园语"不同： (1) 第三人称单数动词不加 s：*she pick the plum*（很多真实英语方言都有这个特征）； (2) 用 *grut* 作程度副词，意思是"很"：*she pick the grut sweet plum*。 在这个虚构世界里，*grut* 在别的地方也被用作骂人的话，于是被收进了一份"屏蔽词表"。 这是 Dodge et al. (2021) 在 C4 上发现的现象的缩影：**屏蔽词过滤会不成比例地删掉某些群体的、 完全无害的文字**。（这里的词和方言都是虚构的，只用来演示机制。） 【怎样使用】 from web_world import build_web web = build_web() # list[Page]，约 3000 个页面，固定种子，每次结果相同 page = web[0]; page.html; page.kind; page.good; page.lang; page.dup_of 直接运行本文件会打印各类页面的数量和几个样例：python3 web_world.py 【LLM 联系】 真实世界的数据管线（C4、Gopher/MassiveText、RefinedWeb、FineWeb、Dolma）都是在没有标签的情况下 设计规则、再靠抽样人工检查和"训练小模型看效果"来评估的——后者非常昂贵（slides："It is very expensive to ablate pre-training dataset decisions"）。人造世界让我们能把"规则删了什么"看得一清二楚。 """ import os import random import sys from dataclasses import dataclass, field HERE = os.path.dirname(os.path.abspath(__file__)) sys.path.insert(0, os.path.join(HERE, "..", "lecture01")) from toy_world import (ADJ_CAT, EOS, NOUN_CAT, GardenWorld, VERBS, all_words, standard_splits) # noqa: E402 BLOCKLIST = ["zorp", "blick", "snerk", "grut"] # 虚构的"屏蔽词表" THIRD_TO_BASE = {third: base for base, third in VERBS.items()} _NOUNS = set(NOUN_CAT) # 花园世界的全部名词 @dataclass class Page: """ 一个网页。 【字段】 url：形如 "site-name.example/page-3"；site：站点名。 kind：网站种类（见文件开头）。 html：完整的 HTML 文本。 links：这个页面链接到的其他页面的 url 列表。 good：真实标签——主体内容是不是"值得训练的自然语言文字"（不管是什么语言）。 lang："en"（标准花园语）、"dialect"（花园方言，也是英语）、"floral"（外语）、"none"（没有成段的文字）。 dup_of：如果是别的页面的副本，记原页面的 url；否则 None。near：True 表示改过几句的近似副本。 docs：页面主体里的花园世界文档（词列表，以 结尾）；方言页里是方言化之后的词。 """ url: str site: str kind: str html: str links: list = field(default_factory=list) good: bool = False lang: str = "none" dup_of: str = None near: bool = False docs: list = field(default_factory=list) # ===================================================================== # 1. 文字生成：花园语、方言、Floral # ===================================================================== def sentence_text(words): """ 一句话的词列表 → 自然的书面文字：首字母大写、句号贴在最后一个词上。 【例子】["she", "picks", "her", "ripe", "plum", "."] → "She picks her ripe plum." """ s = " ".join(words).replace(" .", ".") return s[0].upper() + s[1:] def split_sentences(doc): """把一篇文档（以 结尾）切成句子列表，每句以 "." 结尾。""" out, cur = [], [] for w in doc: if w == EOS: break cur.append(w) if w == ".": out.append(cur) cur = [] return out def to_dialect(sent, rng, p_grut=0.6): """ 把一句标准花园语改写成方言：第三人称单数去掉 s；有形容词时以 p_grut 的概率在它前面加 grut。 【返回】新的词列表（不修改输入）。 """ out = [] for w in sent: if w in ADJ_CAT and rng.random() < p_grut: out.append("grut") out.append(THIRD_TO_BASE.get(w, w)) return out def make_floral_lexicon(seed=7): """ 给每个花园世界的词编一个 Floral 词（确定性的）。 【思路】用若干音节随机拼成 2～3 个音节的词；音节里有 ø、å、é 这类非 ASCII 字母， 所以 Floral 文字的 UTF-8 字节数比字母数多（第 06 号脚本看"分词税"时会用到）。 """ rng = random.Random(seed) syl = ["ka", "lo", "mi", "ru", "sé", "tå", "vø", "ne", "pi", "za", "øl", "ri", "na", "fe", "dø", "qu"] lex, used = {}, set() for w in all_words(): if w == ".": lex[w] = "." continue while True: cand = "".join(rng.choice(syl) for _ in range(rng.choice([2, 2, 3]))) if cand not in used: used.add(cand) lex[w] = cand break return lex FLORAL = make_floral_lexicon() def to_floral(sent): """ 一句花园语 → Floral：逐词替换，词序改成 主-宾-谓（动词挪到宾语名词短语之后、尾巴之前）。 【边界】只用于演示"另一种语言"；Floral 没有自己的语法检查。 """ words = sent[:-1] vi = next(i for i, w in enumerate(words) if w in THIRD_TO_BASE or w in VERBS) # 宾语名词短语 = 动词之后，直到名词为止（名词后面是尾巴） j = vi + 1 while j < len(words) and words[j] not in _NOUNS: j += 1 reordered = words[:vi] + words[vi + 1:j + 1] + [words[vi]] + words[j + 1:] return [FLORAL[w] for w in reordered] + ["."] # ===================================================================== # 2. HTML 模板 # ===================================================================== NAV = ["Home", "Garden", "Recipes", "About", "Contact", "Shop", "Blog", "Login"] def wrap_html(rng, site, title, body_html, boilerplate=True): """ 把正文包进一个典型网页： 里有脚本和样式， 里有 cookie 提示、导航栏、 正文
、侧栏