已过期50% 置信事实精确时间

FineWeb、DCLM等高质量开源预训练数据集为资源有限的研究者提供了可直接使用的数据基础

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/7/16

首次发现

此条事实已过期，仅作历史留存，不再代表当前状态

有效期至：2026/10/14(已过期)

来源

Soofi开源基础模型训练代码全解析：从数据到权重的完整流程

相关事实

待验证LLM的训练数据涵盖大量开源代码，但这些代表的是统计规律而非对特定项目的理解71% 相似待验证训练日志、数据清单和数据来源记录是轻量级文档，可以独立于训练数据本身长期存档69% 相似待验证OpenAI在InstructGPT论文中证明，少量高质量人类偏好数据对模型对齐的贡献远超大规模无监督训练69% 相似待验证OpenAI通过定期用新数据微调模型和提供联网搜索工具两种方式缓解训练数据截止的局限69% 相似待验证主流训练框架如Megatron-LM、DeepSpeed在分布式训练过程中会生成详细的检查点（Checkpoint）和数据加载记录67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/533674

API

curl https://kongchang.com/api/v1/knowledge/claims/533674

MCP

get_claim(id=533674)