概念Neural Scaling Laws / 扩展定律 / Scaling Laws
神经网络扩展定律
描述神经网络性能与模型参数量、训练数据量、计算量之间幂律关系的经验规律,由OpenAI等机构系统研究,是指导大模型训练资源分配的重要理论框架
时间轴 (近 90 天)
9月12日
OpenAI等机构的神经网络扩展定律研究表明模型损失与参数量、数据量、计算量之间均呈幂律关系
待验证70%
描述神经网络性能与模型参数量、训练数据量、计算量之间幂律关系的经验规律,由OpenAI等机构系统研究,是指导大模型训练资源分配的重要理论框架
OpenAI等机构的神经网络扩展定律研究表明模型损失与参数量、数据量、计算量之间均呈幂律关系