待验证50% 置信事实精确时间
经典的Chinchilla扩展定律指出，对于每个FLOPs预算，应扫描不同模型大小并选择最优，经验法则：训练token数约为参数量的20倍。
1
来源数
50%
置信度
长期有效
时效性
2026/10/31
首次发现
来源
斯坦福CS336：从零构建大模型的硬核哲学
bilibili大模型前沿课程2026/10/18
涉及实体
相关事实
待验证训练FLOPs可通过Chinchilla缩放定律估算，计算量约等于6乘以参数量乘以训练token数79% 相似已验证2022年DeepMind发布Chinchilla论文，修正了最优训练配比，指出在给定算力预算下模型参数量与训练token数应大致保持1:20的比例76% 相似待验证实验在模 97 的模加法任务上训练一个小型 MLP，训练集仅占 35%，使用全批量训练，共 20k 步。68% 相似待验证部分监管提案要求超过10²⁶ FLOPs的训练运行须强制申报、审计67% 相似待验证训练采用256的上下文长度、微批次为16，并配合梯度累积，主训练过程峰值内存为1.54 GiB67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1121625API
curl https://kongchang.com/api/v1/knowledge/claims/1121625MCP
get_claim(id=1121625)