模型优化全链路实战：优化器选型与量化剪枝蒸馏

Model-Optimizer 这个标题，字面上看是“模型优化器”，但在深度学习社区里，这个词经常被误读成“优化算法”——一提到 Optimizer 就想到 Adam、SGD。真正跑过生产环境模型的人会明白，这个标题背后其实覆盖了两条完全不同的技术线：一条是训练侧的优化器算法选型，另一条是部署侧的模型压缩与加速工具链。这篇内容围绕这两条线展开，把选型逻辑、核心参数、实操对比和踩坑经验都梳理出来，适合正在调模型、做落地的工程师，也适合刚入门想搞清楚优化器到底怎么回事的同学。我会尽力把“为什么这么选”讲透，而不是只给结论。

我见过太多人把模型优化简单理解成“换个优化器跑一下”，结果训练调了半天，loss 曲线挺漂亮，一上生产环境发现推理慢得离谱、显存爆掉。真正的模型优化是一个贯穿训练到部署的工程问题，优化器只是其中一环。这篇文章就从这个角度切入，把训练侧的优化器选择、参数搭配，以及部署侧的量化、剪枝、蒸馏都串起来讲，让你拿到一个模型时，脑子里能快速形成一套完整的优化方案。

1. 别被名字误导：Model-Optimizer 到底解决什么问题

1.1 两种语境下“优化”的含义完全不同

先把这个概念掰开揉碎。同样叫“优化”，在机器学习里至少指向三件截然不同的事情：

第一件，训练优化。指的是优化算法如何调整模型参数，让损失函数最小化。这是最狭义的理解，对应的是 SGD、Adam、AdamW 这类优化器。这类优化器解决的是“模型能不能收敛、收敛得多快、收敛到什么质量”的问题。

第二件，模型压缩与加速。指的是在模型训练完成之后，通过量化、剪枝、蒸馏等手段，把模型体积变小、推理速度变快、显存占用变低。这部分在工业界越来越重要，因为模型再准，如果跑不起来或者成本太高，落不了地就是白搭。

第三件，超参数与架构优化。比如学习率调度、批大小调整、层数宽度配置，乃至用 AutoML 搜索网络结构。这层优化往往和前面两层耦合得很紧，不像一个独立的“优化器”那么直观。

为什么必须区分这三层？因为很多初学者拿着一张 loss 曲线图来问“为什么我的模型不收敛”，但真正的问题可能在部署侧——模型根本没有被正确加载、精度被量化毁了、或者数据加载成了瓶颈。如果把“优化”理解成单一维度，就会在错误的地方浪费时间。

1.2 一个模型从训练到上线的完整优化链路

我们拿一个实际的图像分类任务来走一遍完整链路。假设你要训练一个 ResNet-50 模型做工业缺陷检测，这个任务会经历几个阶段：

• 数据准备阶段：清洗数据、做增强、划分训练集和验证集。这一阶段对最终精度的影响往往被低估，数据质量差、标注噪声高，再好的优化器也救不回来。
• 训练阶段：选择优化器、设置学习率、批大小、权重衰减、学习率调度策略。这个阶段主要解决“收敛速度和收敛质量”的问题。
• 验证与调优阶段：观察训练集和验证集之间的差距，判断是欠拟合还是过拟合，针对性调整正则化手段。
• 部署阶段：把训练好的模型导出，做量化、剪枝或蒸馏，压到目标硬件能跑的大小和速度，同时尽量保住精度。

每一阶段的优化目标不一样，约束条件也不一样。训练阶段你关心的是 GPU 利用率高不高、收敛快不快；部署阶段你关心的是推理时延、内存峰值、功耗。这两个阶段的“优化”词汇表几乎不重叠，但很多人把它们混在一个标题下讨论，导致逻辑混乱。

所以，当我看到 Model-Optimizer 这个标题时，我第一反应是：应该把它理解成一个“全链路模型优化”的话题，而不是单纯讲优化器算法。后面几章我会分别深入训练侧和部署侧，最后再回到全局视角，给你一张可执行的优化决策表。

2. 训练侧优化器：选型逻辑与原理拆解

2.1 优化器在做什么：一个通俗的下山类比

要理解优化器，先理解梯度下降。想象你站在一片山地上，周围大雾弥漫，你看不清整座山的地形，只能感觉到脚下哪边是下坡。梯度下降就是顺着最陡的下坡方向迈步，期望能走到谷底。这里的“谷底”就是损失函数的最小值，“最陡方向”就是梯度，“迈步大小”就是学习率。

但现实中的地形没那么友好，可能有沟壑、有平台、有窄谷。单纯按最陡方向走，可能会在沟壑两侧来回震荡，或者在平台区域停滞不前。于是研究者们陆续加了几样东西：

• 动量（Momentum）：想象你是从山坡上滚下来的球，而不是每一步都重新判断方向。球有惯性，能冲过小的坑洼，不会轻易被局部地形卡住。对应到算法里，就是把历史梯度的方向累积起来，让参数更新方向更平滑、更果断。
• 自适应学习率：不同参数的重要性是不一样的。有的参数需要大步走，有的参数只能小碎步。自适应方法（如 AdaGrad、RMSProp、Adam）给每个参数单独维护一个学习率，根据历史梯度的大小动态调节。
• 权重衰减（Weight Decay）：在损失函数后面附加一个对参数大小的惩罚项，让参数不要长得太大。它和 L2 正则化在数学形式上接近，但在实现细节上有所不同，后面细说。

这些机制组合起来，就成了我们常用的优化器家族。你不需要从零实现它们，但理解这些机制，才能解释为什么同一个模型换一个优化器，结果差别那么大。

2.2 主流优化器对比：从 SGD 到 AdamW

当你打开 PyTorch 的 torch.optim 模块，会看到一长串名字：SGD、Adam、AdamW、RMSProp、Adagrad、Adamax、NAdam、LBFGS……选哪个？我的建议是：先搞清楚每个代表选手的性格，再根据任务对号入座。

这里我用一个表格把最常用的三类优化器的核心特征说清楚：

先讲 SGD+Momentum。它的公式很简单：先算当前梯度，再叠加历史动量，最后按全局学习率更新。它之所以在 CV 领域长盛不衰，是因为它的更新路径比较“老实”，不容易走偏，训练出来的模型泛化性通常更好。但它对学习率非常敏感，需要精心设计 schedule（比如阶梯下降、cosine 退火），否则要么收敛太慢，要么震荡发散。

Adam 则是把“自适应学习率”做到极致。它记录梯度的一阶矩（均值）和二阶矩（未中心化的方差），然后用这两个统计量分别调节学习方向和学习步长。好处是几乎不用调学习率，默认值 1e-3 往往就能跑出不错的结果；坏处是它有众所周知的泛化性短板。为什么会这样？一种观点认为，自适应学习率让每个参数都“被照顾得很好”，导致部分参数更新过度，模型最终落在了一个尖锐的局部最小值上，泛化能力受损。

AdamW 是 Adam 的一个重要修正。原始 Adam 在实现里把权重衰减直接加在梯度上，这会让权重衰减的语义被自适应学习率干扰。AdamW 的做法是把权重衰减从梯度中解耦出来，直接在参数更新时减去一项，效果更接近真正的 L2 正则化。现在主流的大模型预训练基本都用 AdamW，它已经成为 LLM 训练的默认选择。

在实操选型时，我的经验是：如果你做的是图像分类、目标检测这类 CV 任务，优先尝试 SGD+Momentum（动量 0.9），配合 warmup 和 cosine schedule；如果你做的是 NLP、Transformer 系列，或者你赶时间需要快速收敛，直接上 AdamW。这两条路都可以走得通，但路径上的细节差异很大。

2.3 学习率、权重衰减与批大小的配合艺术

优化器选得再好，如果配套参数不对，效果也是白搭。这就像换了跑车但不会换挡，照样跑不过慢车。下面这几个参数是必须吃透的：

学习率（Learning Rate）：这是最核心的超参数。学习率过大，loss 会震荡甚至爆炸；过小，收敛速度慢到怀疑人生。经验做法是先用一个较小的模型跑几次短训练，画出不同学习率下的 loss 曲线，找到一个“loss 下降最快且不震荡”的区间，再在这个区间里细调。

学习率调度（Schedule）：不要全程用固定学习率。常见做法是 warmup + 衰减：训练刚开始用一个很小的学习率，然后线性或余弦地升到目标值，让模型先稳定下来；训练后期再慢慢把学习率降下来，让参数在最小值附近精细搜索。PyTorch 里可以用torch.optim.lr_scheduler.CosineAnnealingLR或CosineAnnealingWarmRestarts实现。我自己测试下来，warmup 步数设为总步数的 5%~10% 是比较稳妥的起点。

权重衰减（Weight Decay）：它的作用是抑制参数过大，起到正则化效果。常见取值有 1e-4、5e-4、1e-2 等，视模型和任务而定。SGD 的权重衰减和 AdamW 的权重衰减在网络中的表现不同，AdamW 通常需要更大的 weight decay 值（比如 0.01 到 0.1 区间），因为它对参数更新的影响更直接。

批大小（Batch Size）：批大小不仅影响训练速度，还影响优化过程。经验法则：增大批大小时，可以成比例地增大学习率，但要注意学习率不能无限增大。批大小过小时，梯度噪声大，需要更小的学习率；批大小过大时，虽然梯度更稳定，但收敛到的解往往更尖锐，泛化性可能下降。实际上，批大小和学习率的配合关系可以用线性缩放规则近似描述：批大小翻倍，学习率可以尝试翻倍。

这三者的配合，本质上是一个“如何让优化过程既快又稳”的平衡问题。没有万能公式，但有可复用的验证流程：选定一组基线参数，固定其他变量，只改动其中一个，记录收敛速度和最终精度，这样你就能逐步逼近当前任务的最优配置。

3. 实操：跑一个真实的优化器对比实验

3.1 实验环境与任务选择

纸上谈兵没有说服力，我直接演示一套完整的对比实验流程。这里我选择 CIFAR-10 图像分类任务搭配 ResNet-18 模型，因为这个组合在普通单卡 GPU 上就能快速跑完，非常适合作为优化器对比的基准。

环境准备如下：

• Python 3.9+，PyTorch 1.13 或 2.x
• torchvision 提供 CIFAR-10 数据集和 ResNet-18 模型
• 单块 RTX 3090 或同等算力显卡，显存 24G 足够
• 日志工具：TensorBoard 或 wandb，用来记录 loss 曲线、学习率曲线、验证精度

这里提醒一点：做对比实验时，要把除优化器以外的所有变量固定住。数据增强策略、模型初始化种子、训练总 epoch、批大小、测试集评估方式都要保持一致。否则你无法判断最终精度差异究竟来自优化器还是来自其他变量的干扰。

CIFAR-10 数据集包含 5 万张训练图片和 1 万张测试图片，共 10 个类别。在这个任务上，ResNet-18 的 baseline 准确率大概在 90%~93% 左右（视数据增强和训练时长而定），足够明显地区分不同优化器的表现。

3.2 从理论到代码：关键配置与参数细节

我直接给出两套训练配置，一套用 SGD+Momentum，一套用 AdamW，然后解释每个参数为什么这么设。

第一套：SGD + Momentum

import torch import torchvision import torchvision.transforms as transforms transform_train = transforms.Compose([ transforms.RandomCrop(32, padding=4), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)), ]) transform_test = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)), ]) trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform_train) testset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transform_test) trainloader = torch.utils.data.DataLoader(trainset, batch_size=128, shuffle=True, num_workers=4) testloader = torch.utils.data.DataLoader(testset, batch_size=128, shuffle=False, num_workers=4)

然后是模型和优化器定义：

model = torchvision.models.resnet18(num_classes=10).cuda() optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9, weight_decay=5e-4) scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=200)

这里有几个细节值得展开：

• 初始学习率设为 0.1：对于 CIFAR-10 上的 ResNet-18，这个值在批大小为 128 时是经过验证的常用起点。如果批大小变成 256，根据线性缩放规则，学习率可以尝试升到 0.2。
• momentum 设为 0.9：这是 SGD 的最常见配置，相当于给更新方向加了很强的惯性。
• weight_decay 设为 5e-4：对于 CIFAR-10 这种小数据集任务，5e-4 是常用值。它让模型的权重不会无限增长，降低过拟合风险。
• 使用 CosineAnnealingLR：学习率在 200 个 epoch 里从 0.1 余弦退火到接近 0。这种调度让模型在前中期快速探索，后期精细收敛，是 CV 领域的标配做法。

第二套：AdamW

model = torchvision.models.resnet18(num_classes=10).cuda() optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3, weight_decay=0.01) scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=200)

我的体会是，AdamW 的默认学习率 1e-3 在大部分任务上都够用，但它往往需要一个较短的学习率 warmup。

我通常在训练开始加一个线性 warmup 阶段：前 5 个 epoch 内把学习率从 0 升到目标值 1e-3，然后再进入 cosine 退火。PyTorch 里可以自定义一个组合调度器，或者用torch.optim.lr_scheduler.LinearLR加SequentialLR实现。

这里还涉及一个很多人忽略的细节：优化器的参数顺序影响训练。在训练循环里，scheduler.step() 必须在 optimizer.step() 之后调用，并在一个 epoch 结束后或一个 step 后按需求调用。如果顺序搞反，学习率会提前变更，导致训练计划乱套。

训练循环的骨架大致如下：

for epoch in range(200): model.train() for x, y in trainloader: x, y = x.cuda(), y.cuda() optimizer.zero_grad() out = model(x) loss = torch.nn.functional.cross_entropy(out, y) loss.backward() optimizer.step() scheduler.step() # 在每个 epoch 结束后评估验证集精度

训练 200 个 epoch 之后，SGD 方案在 CIFAR-10 上通常能到 93% 左右的测试准确率，AdamW 方案则能到 92% 左右。两者的差距不算大，但 SGD 的收敛曲线通常更平稳，最后的峰值精度往往略高。这和我前文提到的“SGD 泛化性好”是吻合的。

3.3 结果解读的误区

跑完实验只是第一步，结果解读才是最考验经验的地方。我列几个常见误区：

误区一：只看训练集 loss，不看验证集精度。训练 loss 降得低只说明模型拟合了训练数据，不代表泛化好。我见过有人看到训练 loss 降到 0.01 就很兴奋，结果验证集准确率只有 60%，典型的过拟合。

误区二：用 Python 默认的随机种子跑一次就下结论。随机种子不同，初始化和数据顺序不同，最终精度会有 0.5%~1% 的波动。我至少会固定三个不同种子跑三遍，取均值再比较。

误区三：忽略训练速度的差异。在工程上，精度差 0.5% 但训练速度快一倍，这个权衡可能更重要。Adam 类优化器往往在前几十个 epoch 内就能达到较高精度，而 SGD 需要跑完全程。如果你的迭代周期很短，AdamW 可能是更合适的选择。

误区四：过度调学习率，忽视数据增强。优化器调得再好，数据增强太弱，精度上限就在那里。CIFAR-10 上如果不做 RandomCrop 和 RandomHorizontalFlip，准确率直接掉几个点。这一点我反复提醒团队新人：先保证数据处理管线正确和充分，再谈优化器选型。

4. 部署侧优化：量化、剪枝与蒸馏

4.1 量化：FP32 到 INT8 的取舍之道

训练完成后，模型一般以 FP32 精度存储和推理。FP32 有约 8 位有效十进制精度，但推理时用不着这么高的精度。量化就是把模型权重和激活值从 FP32 映射到更低的位宽，比如 INT8，用精度换速度。

原理不复杂：FP32 的取值范围大约是 -3.4e38 到 +3.4e38，INT8 只有 -128 到 127 的 256 个离散值。量化要做的是找到一个缩放因子，把 FP32 的张量映射到 INT8 空间，尽量让映射前后的信息损失最小。

实际部署中，INT8 量化能让模型体积缩小约 4 倍，推理速度在支持 INT8 指令的硬件上能提升 2~4 倍，显存占用也大幅下降。这对边缘设备、在线服务来说意义巨大。

量化的两种主流方式：

• PTQ（Post-Training Quantization，训练后量化）：不需要重新训练，直接对训练好的模型做量化。先用少量校准数据统计各层的激活值分布，确定量化范围，然后转换模型。优点是快，缺点是精度可能掉点明显。
• QAT（Quantization-Aware Training，量化感知训练）：在训练过程中就模拟量化的效果，让模型主动适应低精度的表示。精度保留更好，但需要重新训练，成本高。

我的实际经验是：先尝试 PTQ。如果精度掉点在可接受范围内，直接采用；如果掉点严重，再考虑 QAT 或者在敏感层上做混合精度（敏感层保留 FP16，非敏感层用 INT8）。

PTQ 中校准数据集的选择很关键。校准集应该覆盖真实推理场景中的数据分布，而不是随便拿一组输入。比如你做的是工业质检模型，校准集就应该包含良品和次品的真实图像，样本量几百到几千张即可，过多反而拖慢校准速度。

4.2 剪枝：去掉不重要的参数

神经网络的参数量远大于任务所需，很多参数对最终输出的贡献微乎其微。剪枝就是把不重要的权重、通道甚至整层去掉，让模型变瘦。

剪枝按粒度分为两类：

• 非结构化剪枝：把权重矩阵中绝对值很小的元素置零。这种方式的压缩率高，但稀疏矩阵在通用硬件上很难获得实际加速效果，需要专门的稀疏推理库支持。
• 结构化剪枝：直接删除整个通道、滤波器或注意力头。这种方式保持矩阵的稠密结构，推理引擎可以直接受益，落地更容易。

如何判断哪些参数“不重要”？常见指标是权重的 L1/L2 范数。一个滤波器如果所有权重的绝对值都很小，它对输出的贡献就弱，可以优先剪掉。更高级的方法通过梯度信息、激活统计或特征图重构误差来判断重要性，但入门阶段从范数开始就够了。

我给一个实操建议：剪枝不要一步到位。比如你把 50% 的通道一次性剪掉，模型可能直接崩掉，精度从 90% 掉到 20%。正确做法是逐步剪枝 + 每步微调：先剪掉 10%，微调几个 epoch 把精度拉回来，再剪掉 10%，再微调，直到精度不可接受为止。

这里分享一个我在剪枝中踩过的坑：剪枝后的微调阶段，不要用太高的学习率。剪枝改变了网络结构，局部梯度行为不稳定，学习率过高容易让模型发散。我一般把学习率设为原训练时的 1/10 到 1/5，微调步数不需要太多，几百到几千步往往就能稳定住精度。

4.3 蒸馏：让小模型学好大模型的本领

知识蒸馏是一种模型压缩方法：用一个已经训练好的大模型（教师模型）指导一个小模型（学生模型）训练。小模型不仅学习真实标签，还学习大模型输出的概率分布，因为大模型的软输出里包含了类别之间的相似性信息。

蒸馏的核心是软标签和温度参数。设大模型的输出 logits 为 z_i，温度 T 的作用是软化概率分布：

[ p_i = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)} ]

T 越大，概率分布越平滑，类间相似性越明显。蒸馏损失一般由两部分组成：学生模型与真实标签的交叉熵，加上学生模型与教师模型软输出的 KL 散度。T 的常用取值在 3~10 之间，需要根据任务实验调优。

蒸馏的一个关键点是：教师模型的输出不是越准越好，而是越“有信息”越好。如果一个教师模型对所有样本都给出了几乎 one-hot 的概率分布，那它的软标签和真实标签差别不大，学生也学不到额外知识。这也是为什么要用温度 T 去软化分布——让教师模型“不自信”的地方暴露出来，这些地方往往包含了类别间的语义关系。

在实操上，蒸馏特别适合两类场景：一是模型需要部署到移动端或边缘设备，硬件资源紧张；二是数据标注成本高，想用小模型在有限数据上学到大模型的知识。比如我用 ResNet-50 蒸馏出一个 ResNet-18，体积减小大半，精度只掉 1% 左右，比直接训练一个 ResNet-18 高 2~3 个百分点，这个收益非常直观。

5. 常见问题与排查技巧实录

5.1 训练 loss 震荡不收敛，怎么办？

这是最常被问的问题。先说排查顺序，再给应对方案。

第一，检查学习率是否过大。loss 曲线前期就剧烈震荡，或者出现 NaN，多半是学习率太大。先用 1/10 的学习率试跑几十个 step，如果曲线稳定下来，就说明原始学习率偏高。

第二，检查数据预处理和归一化。输入数据的数值范围如果不对，比如像素值没有归一化到 0~1 或 -1~1，梯度很容易异常。我遇到过用 PIL 读取图片没转成 Tensor，直接喂给模型导致 loss 恒为 NaN 的情况。

第三，检查梯度是否消失或爆炸。可以在训练循环里加一段梯度范数打印：

total_norm = 0.0 for p in model.parameters(): if p.grad is not None: total_norm += p.grad.norm().item() ** 2 total_norm = total_norm ** 0.5 print(f"grad norm: {total_norm:.4f}")

如果梯度范数在反向传播后接近于 0，可能是网络层数太深、激活函数选择不当；如果梯度范数巨大且持续增长，需要做梯度裁剪或用更小的学习率。

第四，检查优化器参数是否合理。比如 Adam 的 epsilon 参数默认是 1e-8，在某些低精度训练（FP16）下可能导致数值不稳定，可以调大到 1e-6 或 1e-4。

5.2 收敛很快但测试集表现差，怎么排查？

训练 loss 降得很好，一测验证集就拉胯，这是过拟合的典型信号。排查方向：

• 数据量是否足够：样本太少，模型学到的只是训练集的噪声。先看训练集和验证集的样本量对比，如果训练集只有几千张图片，过拟合几乎是必然的。
• 数据增强是否充分：CIFAR-10 上的常识是，没有数据增强的话，ResNet-18 很容易过拟合。增加 RandomCrop、RandomFlip、颜色抖动等增强手段，能显著提升泛化。
• 正则化手段是否到位：除了权重衰减，还可以试 Dropout、Label Smoothing（标签平滑）。Label Smoothing 在分类任务上很有效，让模型不要对训练标签过于自信，泛化能力更强。
• 模型容量是否过大：小数据集配大模型，几乎必过拟合。可以先用一个轻量模型跑 baseline，如果轻量模型已经能到可接受精度，就没必要上大模型。

这个问题的本质是“模型复杂度”和“数据复杂度”不匹配，优化器只能帮助收敛，不能解决模型容量越界的问题。

5.3 量化后精度掉点严重，如何救？

量化引起精度掉点的原因很多，按我的排查频率排序：

1. 校准集不合适：校准数据分布与真实推理数据差异大，导致量化范围选偏。换用贴近真实场景的数据重新校准，是最低成本的修复手段。
2. 模型批量归一化层的影响：量化对 BN 的统计量敏感。有些框架支持将 BN 层融合进卷积层后再量化，效果更好。如果不支持，先把 BN 层固定住再量化。
3. 敏感层混合精度：有些层对量化特别敏感，比如检测头的最后一层、注意力层的 QKV 投影。识别这些层的方法：逐层量化并评估精度影响，找出掉点最大的层，单独保留 FP16。
4. 数值范围裁剪：默认的 min/max 量化容易受离群点影响。用百分比裁剪（比如 99.99% 分位）限制范围，通常能改善精度。

如果以上方法都试了还不行，最可靠的办法就是 QAT。虽然要重新训练，但效果最稳定。我建议在实际项目中，如果 PTQ 精度掉点超过 2%，就直接评估 QAT 的成本收益，别在 PTQ 上死磕太久。

5.4 优化器选型陷入僵局，有没有可复用的决断法？

我给自己总结了一套简单但可复用的选择逻辑，分享出来：

• 如果任务对最终精度要求极高，训练资源充足，优先 SGD+Momentum，加上 warmup 和 cosine 调度，耐心跑完全程。
• 如果任务需要快速验证想法、缩短迭代周期，或者当前模型是 Transformer 架构，直接用 AdamW，默认参数就是不错的起点。
• 如果在微调预训练模型，先探测学习率：在小批量上从小到大扫一遍学习率，找到 loss 下降最快且不震荡的范围，再选中心值作为初始学习率。
• 如果模型已经确定要在低功耗设备上部署，不要等到训练完再考虑压缩，而是在训练阶段就并行做 PTQ 预评估，判断量化可行性，必要时直接上 QAT。

这套逻辑不是万能药，但能帮你从“调参玄学”中快速脱离出来，把精力聚焦到真正影响结果的地方。

说到“从训练到部署”的全局视角，我再多分享一点个人体会。做了几年模型优化之后，我最大的改变是不再迷信任何一个单独手段。优化器选得再准，只是给训练一个好的起点；量化剪枝蒸馏即使全上，也不能弥补数据或架构层面的先天不足。真正靠谱的优化流程，是把训练侧的超参、正则化和部署侧的性能约束放在一起权衡，每一步都记录清楚、对比严谨。前阵子我优化一个服务端的视觉模型，花了大量时间在优化器参数和学习率调度上，精度提升了 1.2%，但随后用 INT8 量化把推理延迟减半，精度只掉了 0.3%。这两个收益放在一起，你才知道哪个环节更值得投入。所以我的经验是：先做一次完整的“训练侧 + 部署侧”体检，找到当前模型最大的瓶颈，再针对性地优化，效果往往比盲目调参好得多。