关于缩放定律的思考by 智谱 唐杰

缩放，但不只是参数量。如今每次模型发布都会引出同一个问题：参数有多少？这个问题无法单独回答。参数量只有在三个条件共同考量下才有意义——你有多少数据，计算资源打算怎么用，以及谁会在什么条件下运行模型。
这门学问是行业摸着石头过河得来的。Kaplan等人2020年拟合出的指数告诉所有人：参数增速要快于数据量，大约保持2.7:1的比例，于是业界照做了：GPT-3、Gopher、MT-NLG都是如此。Hoffmann等人2022年重新用四百个模型做实验，发现计算最优比例更接近每个参数对应20个词元，而且只要计算资源充足，两者增速应当同步，差距不该越拉越大。早期拟合的误差随着计算规模扩大被逐级放大，因此当时最大的模型反而错配得最厉害。回过头看，那个万亿参数阶段成了整个行业共同走过又折返的弯路。
奇美拉事件也没有划上句号。它优化的是“训练一次就评估”的模型所需计算量。而今一个模型每天被调用数十亿次，推理成本成为生命周期主导。如果把推理也算进目标函数，最优解会偏向更小的模型配合更长的训练——刻意过度训练。Llama-2-7B和Gemma-2-9B就是这样做的，每个参数分别对应约290和889个词元。
稀疏模型再次改变了靶心。在MoE架构中，两个指标必须区分看待：总参数量大致决定模型容量——它能容纳多少知识、事实与长尾信息；而激活参数量与有效深度则决定模型的推理能力——在推理链断裂前能走多少步。稠密模型的20:1比例不能直接套用。而且这个比例并非一成不变：Roberts等人2025年的研究发现，最优的“词元-参数比”因任务而异——记忆类任务需要更多参数，推理类任务需要更多数据。后续的MoE研究还发现，在固定TPP的前提下，单纯增加总参数会损害推理能力，而激活更多专家模块则总能提升推理水平。
这对我们的构建方向至关重要。发现漏洞不是检索问题——它不源于记住了更多CVE编号，而在于能否将二十步推理链条完整走完而不丢失线索。这种能力并不体现在总参数量上。
因此我们来看这次发布。总参数量似乎在某个阈值前很重要——要足以容纳世界——但越过阈值后，能力提升就来自其他维度的缩放：每次前向传播的有效深度，以及最重要的是后训练。GLM-5.3是我们对此主张的受控实验：相同基础架构、相同总参数与激活参数，与GLM-5.2一致，只是投入了一个月时间扩展长程环境与强化学习。提升幅度相当显著。
缩放的旋钮不止一个。我们这次转动了后训练旋钮，只因它当时提升空间最大——并非其他旋钮已转到尽头。基础模型规模、预训练数据、前向传播计算量：所有这些选项都仍然可用，我们也会逐一尝试。这次实验教会我们的是：旋钮不必同时转动，而且下一个最值得转动的，很少是上一次转动的那一个。
缩放尚未结束。下一次，或许会涉及中期训练、预训练，甚至更多维度。
全文使用Mimo V2.5 Pro翻译