Chinchilla
2022年由DeepMind发布的研究论文，修正了OpenAI的规模定律，提出在给定算力预算下最优的模型参数量与训练数据量比例关系，对大模型训练策略产生深远影响。
核心事实
时间轴 (近 90 天)
Chinchilla 等工作指出，在给定计算预算下，参数量与训练 token 数应大致同比例增长才能达到最优效率。
Chinchilla 是 scaling law 领域的代表性工作。
Chinchilla 缩放定律结论：在固定算力预算下，模型参数量与训练 token 数应大致按 1:20 比例同步扩展，早期模型普遍数据饥饿。
论文将 Manacá-1B-Instruct-2 在通用能力上的差距归因于预训练规模（以 Chinchilla 为锚点的算力预算对比），而非对齐方法本身。
Chinchilla的实验规模有限，其结论基于特定数据集与训练设置，对超大规模模型或特定领域应用是否仍适用存在争议
Chinchilla定律的结论挑战了GPT-3时代业界将大多数算力投入模型规模扩张、训练数据相对不足的主流做法
DeepMind 的 Chinchilla 论文及后续推理时计算缩放研究表明，在推理阶段动态增加计算量可以显著提升小模型的输出质量
Chinchilla scaling law给出的经验法则是训练token数约为参数量的20倍
Chinchilla scaling law来自DeepMind 2022年的论文《Training Compute-Optimal Large Language Models》
LLaMA系列采用过度训练策略，以7B参数训练了1T token，远超Chinchilla最优配比的140B token
还有 13 条时间轴事件
全部知识事实 (20)
DeepMind提出的Chinchilla定律进一步精细化了数据与参数的最优配比关系
85%已验证2022年DeepMind的Chinchilla论文指出同等算力预算下应均衡增大模型尺寸与训练数据量
85%已验证DeepMind的Chinchilla研究（2022）指出最优训练应让数据量与参数量保持大致1:1的比例增长
80%已验证Chinchilla定律指出在固定计算预算下，适当缩小模型规模并增加训练数据量往往能获得更好的性能
80%已验证Google DeepMind的Chinchilla论文优化了模型参数量与训练数据量的最优比例
75%已验证涌现能力现象被DeepMind研究员系统记录于2022年的《Emergent Abilities of Large Language Models》论文中
75%待验证缩放定律（Scaling Laws）由Kaplan等人在2020年提出，后经Chinchilla论文修正
90%待验证DeepMind在Chinchilla论文中证明相当比例的大模型是数据不足的，即在给定计算预算下应使用更多高质量数据
70%待验证Chinchilla以700亿参数在多项基准上超越2800亿参数的Gopher
70%待验证Chinchilla缩放定律的核心发现是：在固定计算预算下，同步增加模型参数和训练数据量才能获得最优性能
60%待验证Chinchilla最优法则由DeepMind在2022年提出，其核心公式为C≈6ND，且最优训练应满足D≈20N
60%待验证Chinchilla模型拥有70B参数和1.4T tokens，在同等算力下显著优于拥有280B参数和300B tokens的Gopher模型
60%待验证Chinchilla 是 scaling law 领域的代表性工作。
50%待验证Chinchilla 等工作指出，在给定计算预算下，参数量与训练 token 数应大致同比例增长才能达到最优效率。
50%待验证Chinchilla 缩放定律结论：在固定算力预算下，模型参数量与训练 token 数应大致按 1:20 比例同步扩展，早期模型普遍数据饥饿。
50%待验证论文将 Manacá-1B-Instruct-2 在通用能力上的差距归因于预训练规模（以 Chinchilla 为锚点的算力预算对比），而非对齐方法本身。
50%待验证Chinchilla的实验规模有限，其结论基于特定数据集与训练设置，对超大规模模型或特定领域应用是否仍适用存在争议
50%待验证Chinchilla定律的结论挑战了GPT-3时代业界将大多数算力投入模型规模扩张、训练数据相对不足的主流做法
50%待验证DeepMind 的 Chinchilla 论文及后续推理时计算缩放研究表明，在推理阶段动态增加计算量可以显著提升小模型的输出质量
50%待验证Chinchilla scaling law来自DeepMind 2022年的论文《Training Compute-Optimal Large Language Models》
50%