概念Chinchilla Scaling Law / 缩放定律
Chinchilla缩放定律
由DeepMind提出的大语言模型训练规律，描述了模型参数量与训练数据量的最优配比关系，指出在固定算力预算下应同比例扩展模型规模和训练数据量以获得最优性能
时间轴 (近 90 天)
11月3日
Chinchilla缩放定律指出，计算最优训练大约需要每个参数对应20个token。
待验证50%
8月28日
Chinchilla缩放定律的核心发现是：在固定计算预算下，同步增加模型参数和训练数据量才能获得最优性能
待验证60%