Common Crawl
持续爬取互联网内容的公共数据库，自2008年起运行，已积累超过250亿个网页的原始抓取内容，是全球最大的公开网络语料库之一
核心事实
时间轴 (近 90 天)
时间点模型是从网络存档（如Common Crawl各年份快照）中截取不同时间段语料，分别训练结构相同但数据截止年份不同的模型。
AI爬虫与机器人流量管理涉及区分三类自动化流量：合法搜索引擎爬虫（如Googlebot）、AI训练数据采集器（如OpenAI的GPTBot、Common Crawl）以及恶意机器人（内容窃取、凭证填充、库存囤积）。
CCBot 是 Common Crawl 使用的爬虫，Common Crawl 是众多模型的语料来源。
Common Crawl 约包含 2500 亿页面，数据量约 1PB。
高质量开源语料库方面，常见的选项包括：Common Crawl（规模极大但噪声高，需自行清洗过滤）、Wikipedia Dumps（结构清晰、多语言覆盖好，适合抽取实体关系）、arXiv 与 PubMed Central 开放获取子集（数学、物理、生物医学等科学领域的高密度文本）、Project Gutenberg 与 Perseus Digital Library（历史语言与古典文献的重要来源）。
Common Crawl提供原始HTML数据，极度真实但脏，适合测试清洗和解析管道，不适合快速出成果。
从5月15日开始累积，173个快照共产生1889次查询，其中605次完全没有得到答案，占全部查询的32%
一位开发者使用运行在Cloudflare Worker上的脚本，每天向Common Crawl索引发起一次查询，检查约十来个URL是否被收录
失败类型分布为344次HTTP 503、103次HTTP 504、80次HTTP 521、52次超时中断、18次502、7次500、1次520
173个快照中有11个快照的每一次查询都失败，十月是最糟糕的月份，132次查询中有79次失败
还有 17 条时间轴事件
全部知识事实 (20)
Common Crawl是一个非营利组织，自2008年起持续抓取互联网内容并免费开放数据集
70%已验证主流大语言模型训练语料中，英文数据占据压倒性比例，以Common Crawl等公开数据集为例，英文内容通常占总量的40%-60%，而越南语、中文等语言的占比往往不足5%
65%待验证整个互联网可抓取的公开网页数据（Common Crawl）约400TB
70%部分验证CCBot is the crawler for the Common Crawl project
65%待验证时间点模型是从网络存档（如Common Crawl各年份快照）中截取不同时间段语料，分别训练结构相同但数据截止年份不同的模型。
50%待验证AI爬虫与机器人流量管理涉及区分三类自动化流量：合法搜索引擎爬虫（如Googlebot）、AI训练数据采集器（如OpenAI的GPTBot、Common Crawl）以及恶意机器人（内容窃取、凭证填充、库存囤积）。
50%待验证CCBot 是 Common Crawl 使用的爬虫，Common Crawl 是众多模型的语料来源。
50%待验证Common Crawl 约包含 2500 亿页面，数据量约 1PB。
50%待验证高质量开源语料库方面，常见的选项包括：Common Crawl（规模极大但噪声高，需自行清洗过滤）、Wikipedia Dumps（结构清晰、多语言覆盖好，适合抽取实体关系）、arXiv 与 PubMed Central 开放获取子集（数学、物理、生物医学等科学领域的高密度文本）、Project Gutenberg 与 Perseus Digital Library（历史语言与古典文献的重要来源）。
50%待验证Common Crawl提供原始HTML数据，极度真实但脏，适合测试清洗和解析管道，不适合快速出成果。
50%待验证失败的查询应被存为error而非not included，收录率只在真正拿到答案的URL上计算，以避免错误被误读为网站被剔除
50%待验证CDX API（Capture Index API）是访问Common Crawl索引元数据的标准接口，可查询URL是否被收录、收录时间及HTTP状态，但不返回页面内容本身
50%待验证作者承认时段对比存在选择偏差，因为大多数非整点查询是在看到早晨失败后才手动重跑，而重跑发生较晚时上游可能已恢复
50%待验证Motif大量依赖NVIDIA开源的Nemotron预训练数据集，并辅以来自公开数据集和经过基础过滤、去重的Common Crawl处理数据的内部数据
50%待验证以网页爬虫为主要来源的训练集（如Common Crawl）存在大量低质量、重复乃至虚假内容
50%待验证GPTBot、ClaudeBot、Common Crawl 是已知的AI训练爬虫
50%待验证据估算，Common Crawl等主流网络爬取数据集在2020年前后已基本覆盖了可公开访问的高质量英文网页
50%待验证Common Crawl是AI训练中最常用的公共数据集之一，GPT系列模型及众多开源大模型均以其为重要数据来源
50%待验证Common Crawl、Books3等常用预训练数据集的合规性受到质疑
50%待验证域名流行度评分可以 Tranco 排名、Common Crawl 爬取频次或 DNS 查询量作为权重在索引构建阶段离线排序
50%