Scaling Law再思考：参数不是唯一答案

每次大模型发布，人们问的第一个问题几乎总是：多少参数？但这个问题本身并不成立。参数量只有在与另外三个维度——数据量、算力如何分配、以及模型将由谁、在什么条件下运行——一起考量时，才有意义。这篇源自GLM团队的思考，系统梳理了Scaling Law的演进史，并给出了一个反直觉却越来越被验证的结论：扩展不止一个旋钮。

从Kaplan到Chinchilla：整个行业交的一次学费

Scaling Law的现代历史，本质上是一部纠错史。

被高估的参数增长

2020年，Kaplan等人拟合出的指数告诉整个行业：参数增长应该快于数据，大约是2.7:1的比例。行业照做了——GPT-3、Gopher、MT-NLG，一路把参数推向千亿甚至万亿量级。

Kaplan等人发表的《Scaling Laws for Neural Language Models》来自OpenAI，是首次系统性地用幂律关系描述模型性能与参数量、数据量、算力之间关系的工作。他们的核心方法是在不同规模上训练数百个模型，然后拟合损失函数的下降曲线。然而后来被揭示的关键方法论缺陷在于：他们没有为每个模型规模独立调优学习率调度（learning rate schedule），而是统一使用了相同的训练步数终止策略，这导致小模型实际上还没有充分训练就被停止了，从而系统性地高估了参数增长的重要性、低估了数据增长的重要性。

然而2022年，Hoffmann等人（即著名的Chinchilla论文）在四百个模型上重做了实验，结论截然不同：在算力最优的前提下，每个参数应对应约20个token，而且随着算力充足，参数和数据应该以相同速率增长，而非渐行渐远。

Chinchilla论文之所以具有如此大的影响力，在于其实验设计的严谨性。Hoffmann等人采用了三种独立的方法学：固定算力变参数-数据比、固定模型变数据量的IsoFLOP曲线、以及直接拟合参数化损失函数，三种方法得出了一致结论，大大增强了可信度。他们用一个700亿参数的模型（命名为Chinchilla）在1.4万亿token上训练，性能超过了参数量是其5倍的Gopher（2800亿参数但仅用3000亿token训练），这个实验结果直接颠覆了行业对规模的认知。

更关键的是，早期拟合的误差会随着算力每增加一个数量级而复利式放大。这意味着那一代最大的模型，恰恰是资源分配最糟糕的。回头看，整个万亿参数的竞赛，是全行业一起走过、又一起掉头的弯路。

Chinchilla也不是终点

Chinchilla优化的是「训练一次、评估一次」模型的训练算力。但今天的模型每天被调用数十亿次，推理成本已经主导了模型的全生命周期开销。

这一判断可以用简单的经济学来理解。假设一个模型训练一次耗费C_train的算力，部署后每天被调用N次，每次推理耗费c_infer的算力，部署周期为T天。当N×c_infer×T远大于C_train时，总拥有成本（TCO）就被推理主导。对于GPT-4级别的模型，训练成本约为数千万美元量级，但每天数十亿次调用的推理成本在年化后可达数亿美元。这彻底改变了最优模型尺寸的计算——Chinchilla最优是在假设模型只用一次的前提下推导的，而现实中模型会被反复使用数万亿次。

一旦把推理纳入优化目标，最优解就会转向：更小的模型、训练更久。这就是所谓的「刻意过度训练」（deliberate over-training）。Llama-2-7B和Gemma-2-9B正是这么做的，它们的token/参数比分别高达约290和889，远超Chinchilla的20:1。

稀疏性再次移动了靶心：MoE架构的影响

MoE（混合专家）架构的普及，让「20:1」这个简洁答案彻底失效。

MoE架构的核心思想是：模型包含大量的「专家」子网络（通常是前馈网络层），但每次前向传播时，一个路由器（router）只选择其中一小部分专家来处理当前token。例如，Mixtral 8x7B拥有约470亿总参数，但每个token只激活约130亿参数（8个专家中选2个）。这意味着模型的存储成本（显存占用）由总参数决定，但计算成本（FLOPs）由激活参数决定。这种解耦使得MoE模型可以在保持推理速度的同时拥有更大的「知识容量」，但也让传统基于稠密模型推导的Scaling Law公式不再适用。

总参数与激活参数：两个必须区分的量

在MoE模型中，有两个量必须分开看待：

• 总参数量：大致决定模型能「装下」多少东西——知识、事实、长尾信息；
• 激活参数量与有效深度：大致决定模型能「想多远」——在一条因果推理链上能走多少步而不崩溃。

有效深度（effective depth）是一个衡量模型在多步推理中信息传递和转换能力的概念。在Transformer架构中，理论上每一层都能执行一步「推理」或「变换」，但实际上由于残差连接的存在和层间相似性，许多层可能只是在做接近恒等映射的微小调整。研究表明（如Veit等人2016年的残差网络分析），深度网络的有效深度往往远小于其物理层数。对于推理任务而言，模型需要在一条因果链上逐步推导而不丢失中间状态，这对有效深度的要求极高。

稠密模型的20:1比例无法直接迁移到MoE上。而且，这个比例根本不是一个单一数字。Roberts等人（2025）发现，最优的token/参数比是任务相关的：记忆类任务偏好更多参数，推理类任务偏好更多数据。

这一发现揭示了一个重要事实：记忆类任务（如问答、事实回忆）本质上是信息检索，需要模型的参数空间足够大来「存储」知识，因此偏好更大的模型；而推理类任务（如数学证明、逻辑推导）需要模型能够执行更多步骤的计算，因此偏好更多的训练数据来学习抽象的推理模式，或者更深的激活路径。这意味着未来可能不存在一个「万能最优比例」，而是需要根据目标任务族来定制模型的参数-数据-算力分配策略。

后续针对MoE的研究还观察到一个反直觉现象：在固定TPP（tokens per parameter）下，一味推高总参数反而会损害推理能力，而增加激活的专家数量则能可靠地提升推理。这与有效深度的理论完美呼应——更多的激活参数意味着每次前向传播中有更多的计算资源用于「思考」，而非简单地增加「存储空间」。

为什么这对实际应用至关重要

这套分析并非纯理论。以「发现漏洞」这类高阶能力为例——它不是一个检索问题。

找到一个漏洞，靠的不是记住了更多CVE条目，而是能把一条二十步的推理链走到底而不丢线索。这种能力，并不存在于总参数量里，而存在于有效深度和推理链的稳定性中。这也解释了为什么Chain-of-Thought（思维链）提示能显著提升推理能力——它本质上是用生成的中间token来补偿模型有效深度的不足，将一个需要二十步内部推理的问题，转化为二十个各需一两步内部推理的子问题。

换句话说，如果目标是让模型「会思考」而非「记得多」，那么盲目堆参数是南辕北辙的。这直接指向了下一代模型该往哪个方向发力。

GLM-5.3：一次后训练的受控实验

作者把上述判断浓缩为一个可验证的命题：总参数量的作用存在一个阈值——足够「装下世界」之后，额外的能力就来自别处：每次前向传播的有效深度，以及最重要的——后训练（post-training）。

后训练是指在预训练完成后，通过额外的训练阶段来提升模型能力的过程。它通常包括监督微调（SFT）、基于人类反馈的强化学习（RLHF）或基于AI反馈的强化学习（RLAIF）等阶段。近年来，OpenAI的o1/o3系列和DeepSeek-R1等模型都证明了RL后训练在提升推理能力方面的巨大潜力——通过让模型在推理任务上获得奖励信号，可以显著提升其「思考」能力，而不需要改变底层架构或参数规模。

GLM-5.3正是针对这一命题的受控实验：

• 与GLM-5.2相同的基座、相同的架构、相同的总参数与激活参数；
• 唯一变量：一个月的长程环境扩展与强化学习（RL）。

所谓「长程环境扩展」可能指的是在更长的上下文窗口或更复杂的交互环境中进行RL训练，让模型学会维护更长的推理链、在多轮交互中保持状态一致性。这种训练方式的关键在于，它不是简单地让模型记住更多答案，而是训练模型的「推理过程」本身——奖励信号指向的是正确的思考路径，而非正确的最终答案。

结果并非边际改善，而是显著提升。这证明了一件事：扩展有不止一个旋钮。这次他们拧的是后训练那个，因为它剩下的余量最大——而不是因为其他旋钮已经拧到头了。

旋钮不必一起拧

作者特别强调，基座模型大小、预训练数据、每次前向传播的算力，这些旋钮全都还在桌上，都会陆续回来处理。

这次实验真正教会他们的是两点：

1. 这些旋钮不必同时拧动；
2. 下一个值得拧的旋钮，很少是上一个值得拧的那个。

这背后隐含着一个工程哲学：在多维优化空间中，每个维度的边际收益是递减的，而且各维度之间存在复杂的交互效应。当某个维度（如预训练规模）的边际收益已经趋于平缓时，切换到另一个维度（如后训练质量）往往能以更低的成本获得更大的提升。这也是为什么行业正在从「预训练军备竞赛」转向「后训练方法论竞赛」的深层原因。

他们明确表示「我们还没有扩展完」，下一次可能是中训练（mid-training）、预训练，甚至更多。中训练（mid-training）是近年来兴起的一个概念，指的是在预训练和后训练之间插入一个额外阶段，通常用于在特定领域数据上进行持续预训练或能力注入，同时避免灾难性遗忘。

结语：Scaling Law走向多维成熟

从Kaplan的2.7:1，到Chinchilla的20:1，再到MoE时代的「任务相关、多维分离」，Scaling Law的演进本身就说明了一个道理：任何单一比例都会被下一个约束条件推翻。

参数量之所以成为大众关注的焦点，只是因为它最直观、最容易被营销。但真正决定模型能力边界的，是数据、算力分配、推理成本与后训练之间的动态平衡。

GLM-5.3的意义不在于它的绝对性能，而在于它作为一个「控制变量实验」，清晰地证明了：在参数不变的情况下，仅靠后训练与长程RL就能获得实质性提升。这或许预示着，行业下一阶段的竞争重心，将从「更大」转向「更会想」。

核心要点

• Scaling Law不只是参数扩展，必须与数据量、算力分配、推理成本一起考量
• 从Kaplan的2.7:1到Chinchilla的20:1，行业曾在万亿参数上集体走弯路并纠正
• MoE时代总参数决定'能装多少'，激活参数与有效深度决定'能想多远'，最优比例任务相关
• 推理成本主导全生命周期，推动'刻意过度训练'——更小模型训练更久
• GLM-5.3以相同参数、仅通过一个月后训练与RL获得显著提升，证明扩展有多个独立旋钮