产品
FineWeb
由Hugging Face发布的大规模开源网络文本预训练数据集，基于Common Crawl过滤清洗而来，总量约44TB/15万亿Token，用于大语言模型预训练
时间轴 (近 90 天)
10月29日
FineWeb是HuggingFace发布的大规模高质量网页文本数据集。
待验证50%
9月25日
FineWeb公开数据集的文本数据约44TB，相当于约15万亿个Token
待验证50%
9月11日
FineWeb是HuggingFace从Common Crawl中提取的15T token高质量数据集，Dolma是AI2策划的3T token数据集，RedPajama约1.2T token
待验证50%
8月25日
预训练阶段从堆算力堆数据的 Scaling Laws 研究逐渐转向数据质量优化，如 RedPajama、FineWeb 等高质量语料库的出现
待验证50%