#Scaling Law

共 4 篇相关文章

深度解析Scaling Law从Kaplan到Chinchilla再到MoE时代的演进历程，探讨为什么盲目堆参数是误区，以及GLM-5.3如何通过后训练证明扩展存在多个旋钮。

从2018年被嘲讽为垃圾的GPT-1，到席卷全球的ChatGPT，回顾伊利亚·苏茨克维如何凭借对Scaling Law的坚定信念，带领OpenAI走出一条从Transformer到大语言模型的AI革命之路。

Meta公开Muse Spark技术细节，通过预训练、强化学习和测试时推理三维度Scaling，实现超过10倍的预训练算力缩减。本文深度解析其架构改进、效率突破及个人超级智能愿景。

互联网数据即将见顶，合成数据成为AI模型训练的必然选择。本文深入分析合成数据的模型崩溃风险、三条安全使用铁律，以及从资源依赖到数据工程能力竞争的范式转变。