[KongchangAI]
ConceptScaling Law / 缩放定律

规模定律

指模型性能随参数数量、训练数据量和计算量增加呈幂律提升的经验规律,由OpenAI等机构系统量化,是当代大模型研究的核心指导原则之一

Timeline (last 90 days)

Oct 21

The current mainstream paradigm centers on the Scaling Law—simultaneously expanding parameters, data and compute yields predictable performance gains.

Unverified50%
Oct 12

凯文·凯利在2016年时没有预见到规模定律的威力,当时学界普遍预期深度学习会较快遇到收益递减。

Unverified50%
Aug 28

规模定律(Scaling Laws)指模型性能随参数量、训练数据量和计算量的增加呈幂律提升,但某些能力呈现相变般的非线性跳跃

Unverified50%

All Facts (3)

Source Articles