Power Lines：LLM预训练中权重衰减与批次大小的幂律扩展规律

如果你跟我一样，为了把几张卡吃满、为了在预训练里多省一点算力，被 weight decay 和 batch size 这两个超参反复折腾过，那 2025 机器学习顶会上的这篇 Power Lines 工作，应该能让你少掉不少头发。它研究的是 LLM 预训练里两个看起来已经“被调烂了”的参数——权重衰减（weight decay）和批次大小（batch size）——并把它们放进 scaling laws 的框架里，试图给出可预测的变化规律，而不是继续拍脑袋。

论文的核心信息概括起来很直接：weight decay 和 batch size 的最优取值不是固定常数，它们会随模型规模、数据量和计算预算的变化而系统性漂移。作者团队用大量预训练实验，把这种漂移的方向和速率的幂律关系给拟合了出来。这样一来，我们不用再靠“上一个项目用的 0.01”这种经验去套新模型，而是可以按公式估算出一个合理的起点。

我做模型训练也有几年了，读这篇的时候最大的感受是：它把超参调优从“炼丹玄学”往“工程科学”推了一大步。不管你是单机跑小模型验证思路，还是已经在多机多卡上做正式预训练，这套结论都值得你花点时间消化。下面我把拆解、理解、应用和避坑几个层面都展开讲一讲。

1. 先说清楚这篇论文要回答什么问题

1.1 超参调优到底难在哪

大模型预训练有一个很尴尬的事实：模型结构和数据配比决定了下限，但最终训练是否稳定、损失能否降到预期，往往由几个超参决定。权重衰减和批次大小是其中出现频率最高、但也最容易被当成“常量”的两个东西。

权重衰减在 AdamW 里不是简单的 L2 正则，它在每次参数更新时额外施加一个衰减系数，作用是抑制参数范数增长。模型大了以后，参数量动辄几十亿上百亿，如果 weight decay 设得太大，模型学不动；设得太小，训练后期容易出现参数爆炸、验证损失反弹。批次大小则直接决定梯度噪声的大小：batch 越大，梯度估计越稳，但单步更新次数减少；batch 越小，梯度噪声越大，有时候反而能逃出不好的局部区域。问题在于，这些效应会随模型规模变化，社区里常见的“wd 就用 0.01，batch 就按显存来”的做法，很容易在大规模上翻车。

1.2 现有 scaling law 研究留下的空白

过去几年大家聊 scaling law，聊得最多的是“数据量和模型规模怎么配”——给定计算预算 C，最优参数量 N 和最优数据量 D 大致符合什么幂律关系。这套框架很有用，但它只管模型和数据，超参基本被当成边缘变量忽略掉了。比如很多实验都会默认 weight decay 是 0.01 或者 0.1，批次大小则根据集群规模和吞吐效率来定，几乎没有系统性地研究过它们是否应当随 N、D 变化。

Power Lines 这篇工作瞄准的正是这个空白。它不满足于告诉你“调大 batch 或调小 wd 会怎样”，而是试图建立一组可外推的公式：给定模型参数 N、训练 token 数 D、计算预算 C，最优的 weight decay 和 batch size 应该落在哪里。思路听起来很简单，难在实验量。要做这种拟合，必须跨越多个模型规模，在每个规模上都跑足够多的超参组合，还要保证 token 预算一致，否则 loss 没有可比性。这篇论文最重要的贡献，就是把这个吃力不讨好的活做完了。

1.3 “Power Lines”这个代号给我的联想

我看到这个称号第一反应是“输电线路”。仔细想一下，weight decay 和 batch size 在预训练里确实很像两条输电线路：weight decay 像是电路里的电阻，约束着参数空间里“能量”的规模；batch size 像是线路的容量，决定每个更新周期里有多少梯度能量流过。两条线互相影响。电阻太大，电流送不过去；容量太小，能量送多了就跳闸。

这个比喻对理解论文的动机很有帮助。它不是单独研究某一个超参，而是把 weight decay 和 batch size 当成一个耦合系统。你在实际训练里也会遇到：增大 batch 后原本正常的 wd 显得太强了，损失停在平台期下不去；调低 wd 后又开始不稳定。Power Lines 想做的，就是把这种耦合关系从“感觉”变成“公式”。

2. 核心结论拆解：权重衰减与批次大小的扩展规律

2.1 最优权重衰减并不是常数

论文里最重要的观察之一，是 weight decay 的最优值会随模型规模变化而移动，而不是一个固定常数。在小模型上跑得好的 wd，放大到几十倍参数量的模型上往往不是太好。这背后有比较直观的原因：模型越大，参数空间越复杂，显式的正则化项对“模型能到达的参数区域”影响就越大。小模型本身表达能力有限，需要一定的 wd 来防止过拟合；大模型很多情况下靠数据和结构就已经具备隐式正则能力，再用过强的显式正则，反而会在训练后期压制有效容量，导致损失降不下去。

这不是一篇纯理论文章，它是从大量预训练实验里拟合出来的幂律趋势。具体指数我不在这里硬背，因为脱离论文图表的坐标系去记一个数字意义不大。重要的是方向：当你把模型从 1B 级别提升到 10B 级别时，不要默认 wd 不变，有意识地做一次短训练扫描，成本远低于正式训练跑一半发现异常再返工。

2.2 批次大小的扩展：临界批次的概念

批次大小的规律，我认为这篇论文里最有用的部分是它把“临界批次大小（critical batch size）”这个概念重新拉回了预训练语境。临界批次的思想很早就有了：当 batch size 低于某个值时，增加 batch 可以让收敛速度近似线性提升；超过这个值后，继续增大 batch 的收益递减，显得不划算。

Power Lines 在此基础上进一步指出：在 LLM 预训练中，临界批次大小并不是固定的，它本身也会随模型规模和数据量扩展。也就是说，更大的模型可以用更大的 batch 而不会降低泛化，这也符合很多团队的工程直觉。你很少看到人在 10B 模型上还用 batch 128，除非显存和通信结构逼得没办法。论文给的核心启发是：当你打算训练一个大模型时，batch size 的合理区间应当往更大的方向挪，但挪多少需要由乘积关系估算，不是盲目翻倍。

2.3 两条“电力线”之间的耦合关系

最容易被忽略、但实际影响最大的是 weight decay 和 batch size 之间的耦合。想象一个场景：你把 batch size 从 256 提到 1024，由于梯度噪声降低，每个更新步骤都更稳定，此时 weight decay 的作用会被放大，原来合适的 wd 可能就显得太强，让模型学得过于保守。换个角度，batch size 很小的时候，更新方向噪声大，wd 反而不宜过小，否则参数范数容易漂移。

论文建模的时候没有把两个超参独立处理，而是把最优 wd 看成批次大小、模型规模、数据量的共同函数。这种“联合建模”的思路非常关键，因为如果你只单独调某一个，很容易出现来回拉扯：调完 batch 发现 wd 不对，改完 wd 又觉得 batch 不对，最后消耗了大量计算资源。有了联合公式，你至少在搜索的起点上就落在了一个比较合理的“平行四边形”里。

3. 实验是怎么做的：方法、配置与可复现性

3.1 实验配置与规模选择

要做超参的 scaling law，实验设计必须覆盖不同模型规模，否则拟合出的幂律关系没有外推能力。从论文的方法论推断，作者团队应该是选取了一个较宽的模型参数区间，从几十 M 的小模型，一路做到接近真实生产规模的模型。每个规模点上都会设置固定的 token 预算和固定的优化器配置，这样 loss 差异才能归因于 weight decay 和 batch size 这两个变量。

这类实验最大的敌人是“步数不一致”导致的比较偏差。如果每个 config 都固定训练多少 step，那 batch 大的模型实际看到的 token 更多，损失天然会偏低，这会让拟合结果出现严重误导。更合理的做法是固定 token 预算，让所有超参组合消耗等量的数据。你在复现或者自己做类似对比时务必要注意这一点。

3.2 超参搜索策略：先粗筛再精修

暴力搜索全空间的 compute 开销是天文数字。Power Lines 这类工作基本都会采用两阶段策略：先在较小的模型上用较短训练跑一个较宽的网格，把合理的 wd 和 batch 区间粗筛出来；再在更大模型/更长训练上用较细的网格精修。这种“小模型粗扫、大模型精扫”的思路在工程上非常值得借鉴。

我建议你在自己的环境里也这样做：第一轮扫描 wd 取 [0.001, 0.01, 0.1]，batch 取 [64, 128/256] 这种量级；第二轮再围绕第一轮的最优点做 ±2 倍内的细分。不要一上来就在目标模型大小上撒网，算力会非常难看。

3.3 拟合幂律关系时容易踩的统计坑

在统计上，幂律关系通常是先对 loss 和超参分别取对数，再在 log-log 空间里做线性拟合。听起来简单，实操中坑不少。第一，每个超参组合最好跑 2~3 个随机种子，否则训练噪声会被当成真实效应；第二，拟合时要用验证集 loss，而不是训练集 loss，因为 weight decay 和 batch size 对泛化性的影响恰恰体现在验证集上；第三，要记得给出置信区间，因为不同规模点上的误差方差差别很大。

作者团队能给出可信的 scaling law，原因是他们跨了足够多的模型规模。只有 1B 和 2B 两个点，线性外推没意义；至少三四个数量级跨度才能看出真正的趋势。这也是为什么这类论文对算力要求极高，一般团队很难复刻全套实验。

3.4 公式的大致形态

虽然我不打算复述论文里每个精确系数，但公式的基本形态可以推测出来：最终的最优 weight decay 和 batch size 大概率可以写成模型参数 N、数据 token 数 D、以及计算预算 C 的幂函数乘积。类似：

wd* ≈ a · N^{p} · D^{q}
B* ≈ b · N^{r} · D^{s}

这里的指数 p、q、r、s 就是论文用大量实验拟合出的核心资产。框架上仍然是 scaling law 那一套，但变量从“模型大小、数据量”扩展到了“超参空间”。我认为这是这篇论文最重要的范式意义：以后我们可以把更多以前靠经验的配置，纳入到同一个可预测的模型里。

4. 这些规律怎么用到实际预训练里

4.1 开工前先算一遍超参

拿到这篇论文的公式后，最直接的应用是：在决定训练一个新模型之前，先根据目标参数量和数据预算，把 weight decay 和 batch size 的初始值估算出来。你不用完全照抄最终拟合的指数，因为数据分布、tokenizer 和模型结构不同，绝对位置会有偏移。但趋势可以给你一个非常好的起点：模型越大，batch 大致要怎么走，wd 大致往哪个方向调，省去大量盲目探索。

举个例子，我要训练一个 10B 模型，手里只有 500B token。与其凭感觉把 batch 定成 512，我更倾向于先在 1B 模型上用 256 和 512 两个 batch 各跑一段短训练，再把结果按论文的增速方向外推。即便只花掉几十个 GPU 时，也好过正式训练跑完之后再回头发现初始 batch 根本不合理。

4.2 不同资源约束下怎么优先调参

现实中不是每个人都有条件做完整扫描，很多时候 batch size 已经被集群拓扑定死了。比如你只能做 DP+ZeRO，全局 batch 太大通信受不了，太小又利用率不够。这时候，scaling law 的意义就变成了“在给定 batch size 下怎么配 weight decay”。我把这种情况梳理成了一个简单的调参优先级表：

4.3 和 AdamW、学习率调度器的配合

weight decay 在 AdamW 里和学习率解耦，这是它能单独调的原因之一。但 batch size 和 peak learning rate 的关系非常紧密，一般经验是 batch 翻倍时 LR 也要适当放大，可以按线性规律，也可以按根号缩放。Power Lines 这类研究通常不会傻傻地固定 LR 不动，因为那会让 batch 影响被 LR 的失配掩盖。

实际操作时，我建议先固定一个 cosine 学习率调度和 warmup 步数，只做 wd × batch 的二维扫描；确定出最优组合后，再回来微调 peak LR。不要一开始就把 LR、wd、batch 三个变量一起扫，exploration 空间大了之后，不仅算力撑不住，拟合出的规律也会很难解读。

4.4 复现时最容易出错的几个环节

复现这类实验，最怕看起来做的一样，细节上差之毫厘。优先提醒三件事。

第一，使用 bf16 或 FP8 混合精度后，weight decay 的实际表现会和全精度不同。低精度下的梯度噪声分布改变，会影响最优 wd 的位置。第二，如果用了梯度累积，把累积步数算进有效 batch size 时要小心。梯度累积相当于平均了多个 mini-batch 的梯度，噪声特性与真实的大 batch 不完全一样，论文讨论的 batch size 到底是物理 batch 还是全局等效 batch，要仔细看定义。第三，所有 config 必须使用同一个数据顺序或至少同一份数据子集，否则数据差异会掩盖超参差异，拟合出来的“规律”其实是数据噪声。

5. 实测中反复踩过的坑与排查思路

5.1 别把 1B 模型的最优超参直接放大到 10B

我在实际项目里犯过这样的错。当时一个人在小模型上调得“非常顺手”，wd 和 batch 都定了，感觉可以平移到大模型。结果正式训练到中期损失迟迟降不下去，分析之后发现是 weight decay 偏大，把大模型本来可以通过隐式正则发挥的表示能力给压住了。

现在我的流程是：每换一个两倍以上量的模型规模，先花少量时间重扫一次 wd，而不是直接沿用旧值。默认值 0.01 可以当起点，但“起点”不等于“终点”。

5.2 预训练 loss 最优不代表下游任务最优

scaling law 拟合用的指标通常是预训练损失或困惑度。但 weight decay 对下游任务的影响，很多时候和它对预训练 loss 的影响不是同向的。我也见过某个下游分类任务在更小的 wd 下分数更高，尽管预训练 loss 更高一点点。

所以合理的流程是：用预训练 loss 来做全局搜索和粗选，最后用关键下游任务做一次终选。如果两者冲突，优先保业务指标，因为最终上线看的是任务表现，不是 log-perplexity 好看不好看。

5.3 损失尖峰和发散常常与超参耦合有关

大模型训练中常见的 loss spike 甚至发散，很多情况下不是随机事件，而是 weight decay 和 batch size 的配比在训练后期进入了一个不稳的区域。比如说，cosine 调度把学习率降得很低时，wd 若相对过大，参数会被缓慢拉到一个不自然的范数区域，一旦遇到高 loss 的 batch，就可能出现尖峰。

排查时先别怪数据，先固定一个 config 重跑一小段训练，如果尖峰复现，就把 wd 调低一个量级再试。这个方法帮我定位过几次疑似“数据中毒”的问题，最后发现都是超参配比造成的。

5.4 算力有限时也要跑“迷你矩阵”

很多读者可能没有几十万美元的算力预算，没法复刻 Power Lines 的全套实验。但我觉得，即使是在 0.5B 或 1B 规模上，跑一个 2×3 的迷你矩阵——2 种 wd × 3 种 batch size——也足够建立你自己团队内部的数据趋势了。我试过在一个 8 卡集群上用固定 5B 左右的 token 预算跑完整个矩阵，总耗时两三天，后面正式训练直接受益。

更重要的是，这套迷你矩阵帮你训练出一种“手感”：你能直观看到 batch 增大时最优 wd 往哪个方向移。这种手感比硬背论文指数值可迁移性强得多，因为它是基于你自己的数据和代码栈得到的。

6. 一点个人体会

Power Lines 这篇论文对我最大的触动，不是它给出了某个可以抄作业的公式，而是它示范了一种更健康的调参心态：不要把超参当成玄学，也不要试图在每一次训练里都把所有变量重新扫一遍。通过预实验建立趋势，用趋势外推决策，把宝贵算力留给真正必要的正式运行，这才是规模化预训练该有的纪律。

如果你现在的项目正被 weight decay 和 batch size 反复折磨，建议你先别急着加卡跑大搜索。花一点时间拉一个小模型矩阵，哪怕千分之一 token 预算，得到的趋势线足够让你在下一步走得准很多。等你自己把 log-log 图画出来，再去读这篇论文的拟合曲线，你会觉得那些指数不再是一堆冰冷的数字，而是许多个不眠的调参夜换来的路标。