MSE训练分类模型精度上不去？交叉熵才是正确选择

先说结论：如果你现在正拿 MSE（均方误差）去训练一个带 softmax 的分类模型，而且发现验证集的精度总是上不去、训练 loss 还在往下走，那你先别急着调学习率或者换网络结构，大概率是损失函数在给你“慢性放血”。

这个标题里说的“下慢性毒药”，一点不夸张。MSE 在回归任务里是家常便饭，但一旦搬到分类任务上，它会让模型在错误的梯度方向上“自我麻痹”——不是立刻爆掉，而是让你看着 loss 曲线异常漂亮，实际精度却卡在一个不上不下的位置，等你反应过来，调参时间已经烧掉好几周。

这篇文章我打算把这段“翻车 + 换药”的完整过程拆开讲：先从一次真实项目排查看 MSE 是怎么骗人的，再从数学上推导它为什么在错误样本上梯度会“哑火”，然后给一组同网络、同数据只换损失函数的实测对比，最后说说哪些场景确实可以继续用 MSE，哪些场景必须无脑换成交叉熵或它的变体。

1. 一个被 loss 骗了的项目：MSE 训分类的真实翻车现场

1.1 现象描述：loss 曲线漂亮，指标却纹丝不动

去年我在做一个图像分类的小 Demo，整体流程也不算复杂：一个轻量 CNN，十多个类别，图像已经做了标准化，batch size 设了 64，优化器选了 Adam，初始学习率 0.001。我偷懒直接复制了一个回归项目的模板，里面损失函数写的是nn.MSELoss()，标签也顺手做成了 one-hot。

前十个 epoch 一切正常，训练 loss 从 0.9 一路滑到 0.1 左右，看着特别健康。于是我泡了杯咖啡，等着验证集精度冲到 95% 以上。

结果等来的是一个巨大的“但是”：验证集精度在 73% 左右就再也不动了。我再多训了 20 个 epoch，loss 甚至降到了 0.04，训练集精度确实在继续涨，可验证集精度就像焊死了一样，一直在 73% 到 74% 之间小幅横跳。

这种状态其实是最折磨人的。它不像 loss 爆炸或者 NaN 那样一眼就能定位问题，而是给你一种“模型正在认真学习”的假象。我第一反应是数据集有问题，第二反应是学习率衰减策略写错了，第三反应是模型过拟合了，于是又加了 dropout、调了 weight decay，折腾了一整天才想起来去检查 loss 函数本身。

1.2 排查链路：从数据到优化器，最后才轮到损失函数

那次排查让我意识到一个很残酷的现实：大多数人的“调试惯性”是先看数据、再看模型、再看优化器，损失函数永远排最后。我当时也是这个顺序，白白浪费了很多时间。

数据层面我检查了标签有没有错位、类别是不是极度不均衡、图像预处理是不是出了问题，全部正常。优化器层面我试了把 Adam 换成 SGD + momentum，把学习率从 0.001 调到 0.0001，发现训练 loss 照样能降，验证集的精度依然原地踏步。模型层面我换过更深的结构，结果没有本质变化。

最后是一句“要不你换成交叉熵试试”点醒了我。我把nn.MSELoss()换成nn.CrossEntropyLoss()，顺手去掉了自己做 one-hot 的那段代码，只保留了模型的原始 logits，同一个模型同一个随机种子，跑了 15 个 epoch，验证集精度直接从 73% 跳到了 91% 以上。

就这一行改动，精度拉开了将近 20 个点。

# 错误的示范写法：MSE + 手动 one-hot loss = nn.MSELoss()(model(x), F.one_hot(y, num_classes=10).float()) # 正确的标准写法：交叉熵自带 logits 处理 loss = nn.CrossEntropyLoss()(model(x), y)

1.3 一句“换交叉熵试试”背后的认知差

很多人看这个案例会觉得是“用错 API”的低级失误，但问题的根源不止于此。MSE 在数值上也能把 one-hot 标签逼近，训练 loss 也确实能降，这说明优化器在某种意义上是“成功”的。真正的区别在于：MSE 把分类问题当成了“连续值回归”来做，而交叉熵把分类问题当成“概率分布估计”来做。

前者和后者对模型输出的要求完全不同。MSE 允许模型输出一个“差不多”的值就收工，交叉熵却逼着模型在正确类别上给出“高置信”。

这背后的数学机理，就是下面要说的“慢性毒药”的核心配方。

2. “慢性毒药”的分子式：MSE 梯度在错误样本上精确哑火

2.1 从一个简单的 sigmoid 二分类推导看梯度结构

先别急着上 softmax，我们从最简单的二分类开始推导。假设模型最后一层只有一个神经元，输出z，经过 sigmoid 得到a = σ(z)，标签y是 0 或 1。

如果使用 MSE，损失写作：

L_mse = 0.5 * (a - y)^2

对a求导得到(a - y)，再对z求导时还要乘上 sigmoid 的导数a(1-a)，所以最终梯度是：

dL_mse / dz = (a - y) * a * (1 - a)

这里就是毒药发挥作用的地方。看两个极端情况：

• 正确分类且输出接近目标，比如y=1, a=0.9，梯度约等于0.1 * 0.9 * 0.1 = 0.009，梯度很小很正常，因为已经学对了；
• 错误分类且输出完全反向，比如y=1, a=0.1，这时误差(a-y)=-0.9很大，但a(1-a)=0.09也很小，最终梯度只有0.081左右。

你发现不对劲了吗？模型错得越离谱，MSE 给出的有效梯度越接近零。它不会完全停止更新，但信号已经被“可靠性因子”a(1-a)压得很低。这就像一个人发高烧，体温计却因为水银柱太短而读不出准确数字。

如果换成二分类的交叉熵：

L_ce = -[y * log(a) + (1-y) * log(1-a)]

对z求导后，sigmoid 导数a(1-a)恰好被 log 的导数抵消，最终得到：

dL_ce / dz = a - y

同样看y=1, a=0.1这个糟糕的预测，梯度是0.9，比 MSE 的0.081大了整整一个数量级。错得最严重的时候，交叉熵给出的更新信号最强，这是它作为分类损失函数最关键的“整流作用”。

2.2 softmax + CE 为什么能把“梯度放大器”装回来

多分类场景下，MSE 的“哑火”问题会更隐蔽。我见过很多新手在代码里这么写：模型输出 logits，然后nn.Softmax(dim=1)得到概率p，再和 one-hot 标签做 MSE。这种做法相当于把前面的二分类推导推广到了多维，每个维度都要乘一个p_i * (1-p_i)或者-p_i * p_j的抑制因子。

而交叉熵配合 softmax 之后，梯度会变成一个异常干净的形式。这里不给完整推导，直接说结论：如果模型输出 logitsz，softmax 后得到概率p，交叉熵对z_i的梯度是：

dL_ce / dz_i = p_i - y_i

其中y_i是 one-hot 标签，对正确类别是 1，其余是 0。

这个式子的意思是：模型预测概率和真实标签之间的“差额”直接作为梯度回传。预测对了，梯度趋近于 0；预测错了，梯度就是差值本身，差值越大，更新越猛。前面二分类里那个a(1-a)抑制因子消失得无影无踪。

这也是我在实际项目里判断“损失函数有没有选对”的一条经验：好的分类损失函数，梯度应该是预测与目标的“残差式函数”，而不是带饱和特性的压缩函数。MSE 就属于后者，它天然跟神经网络的激活函数“打架”。

2.3 用数字算一笔账：同一个误差，两种 loss 的梯度差十倍

为了让这个差异更直观，我列了一张对比表，模拟同一个错误样本在不同训练阶段的梯度量级：

虽然实际训练中梯度的整体分布还要受其他层影响，但“错得越厉害，MSE 越不想改”这个规律是实打实的。交叉熵的梯度是一条斜率稳定的直线，MSE 的梯度是一个中间鼓、两头扁的钟形。

这也就解释了 1.1 里那个现象：为什么用 MSE 时训练 loss 能一直降，验证集精度却卡住？因为训练后期绝大部分样本已经“基本正确”了，MSE 对新样本的错误反馈极其微弱，模型开始用前面学到的惯性继续微调，实际上已经丧失了纠正错误分类的能力。

3. 交叉熵的底牌不只是梯度，它真把输出当“概率”在用

3.1 从信息论和最大似然看分类本质

梯度差异只是表面，交叉熵更深层的意义在于它把分类任务还原成了“似然估计”问题。一个分类模型的输出，本质上是模型对“输入属于哪个类别”这个随机变量的概率分布的估计。而训练过程，就是在最大化训练集上的对数似然。

交叉熵损失和最大似然估计是一体两面：给定真实标签类别c，最大化log p_c，等价于最小化-log p_c，这就是交叉熵在单标签分类下的展开式。

MSE 的出发点则不同，它假设目标值是被一种高斯噪声污染的连续信号。可分类标签是离散的 0/1 向量，压根不是连续信号，这是一个基本假设上的错位。用错了假设，就像用油画笔去写毛笔字，工具本身没有好坏，但和场景不匹配。

这个视角在实际工作中的价值在于：一旦接受了“分类就是拟合概率分布”这件事，你就会主动去看模型输出的分布形状，而不是只盯着 loss 数值。

3.2 对置信度的偏好：CE 逼着模型“懂”，MSE 允许模型“蒙”

我用两句话概括两者的学习策略：

• 交叉熵：如果你对正确类别的信心不足，哪怕只差一点点，我也会给你明确惩罚。它鼓励模型把正确类别的概率推向边界，把错误的概率压到尘埃里。
• MSE：只要你输出值“离 one-hot 不远”，我就认为任务完成了。它对 0.4 和 0.9 的容忍度差异，远没有交叉熵那么苛刻。

这就是“MSE 允许模型蒙”的含义。很多用 MSE 训出来的分类模型，最后预测概率都集中在 0.4 到 0.7 的区间里，看起来四平八稳，但模型实际上处在“模棱两可”的状态。它学会了大概率的倾向，却没学会“对就是对，错就是错”的决断。

交叉熵训出来的模型，输出分布通常是另一个样子：正确类别概率 0.95 以上，其他类比概率低到 0.001，置信度分化非常明显。这种模型在部署时也更有用，因为下游系统可以拿置信度做阈值过滤，那些输出概率全在 0.5 附近徘徊的模型，很难给业务方一个可靠的置信边界。

3.3 为什么说 MSE 是服从了错误的数据假设

我见过一种典型的辩护：“我把标签做成 one-hot，MSE 也是在逼近二值向量，等价但更平滑啊。”乍一听有道理，但 one-hot 本身已经包含了“类别互斥”的信息，MSE 却不知道这个信息。

交叉熵里的log天然处理了类别互斥和概率归一化，而 MSE 直接对向量元素做平方误差，它对“概率和是否为 1”毫无感知。你甚至可以训一个输出全是 0.2 的模型，只要标签也是某种均匀向量，MSE 也能收敛到局部最优。这对分类任务来说毫无意义。

换句话说，MSE 不是“不能用”，而是它没有利用分类问题的任何结构信息。它把 softmax 输出的概率分布当成一组普通的连续浮点数去拟合，完全没有意识到这些数之间存在着“和为 1”的约束和“同类竞争”的关系。

4. 同网络同数据，只换损失函数的实测对比

4.1 实验设计：控制变量的 A/B 测试

光讲理论我还是不太放心，后来我专门用一个公开的手写数字数据集做了一组对照实验。目的是把损失函数的影响单独拎出来，其他所有变量全部固定。

实验方案：

• 模型：一个三层的简化 CNN，卷积层后接两个全连接层，最后一层输出 10 维 logits；
• 优化器：Adam，初始学习率 0.001，batch size 64；
• 训练轮数：30 个 epoch；
• 数据预处理：归一化到 [0,1]，划分训练集和验证集；
• 随机种子：固定同一个；
• 唯一变量：一组用MSELoss + 手动 one-hot，一组用CrossEntropyLoss。

这个设计的价值在于，学习率、网络结构、数据分布都一致，任何指标上的差异都可以归因于损失函数本身。

4.2 训练曲线与最终指标：差距不是一点半点

训练过程中我先观察训练 loss，两边都在降，只是 MSE 的曲线更“平滑”，交叉熵的曲线在刚开始几个 epoch 降得很快，后面逐渐变缓。如果你只看训练 loss，甚至会误以为 MSE 表现更好，因为它一路匀速下滑，很稳定。

可验证集精度就完全不是一回事了：

这里的关键不是交叉熵组最终的精度高了 7 个百分点，而是收敛速度的差异。交叉熵组第六个 epoch 就已经超越了 MSE 组第 30 个 epoch 的水平。对于真实项目来说，这意味着更少的训练时间、更少的算力成本，以及更快的迭代实验节奏。

4.3 模型输出的“气质”差异：概率分布长什么样

数值指标之外，我还把两个模型在验证集上的输出概率分布拉了出来做对比。用 MSE 训练的模型，输出的 softmax 概率呈现一种“黏稠感”：所有类别的概率都在 0.1 到 0.7 之间浮动，很难看到一个接近 0 或接近 1 的极端值。

用交叉熵训练的模型，输出分布则非常清爽：要么正确类别概率很高，要么在错误样本上出现明显的胜负倾向，几乎不会出现五个类别概率都在 0.1 附近打转的“骑墙”状态。

这个差异在实际业务里极其重要。如果拿分类模型做置信度过滤，MSE 模型很难找到一个合理的阈值，因为所有样本的置信度都“差不多高”；交叉熵模型的置信度分布天然分成了两堆，一堆逼近 1，一堆集中在低分段，过滤阈值一划就开。

5. 边界场景与替代方案：MSE 不是毒药，但分类不是它的主场

5.1 二元分类、多标签和回归分支的正确姿势

有读者可能会问：是不是 MSE 在所有分类问题里都必须被拉黑？也不是。它只是不适合“多分类 + softmax”这个组合，有一些边界场景可以用，或者说有更合适的替身：

• 二元分类：请直接使用BCEWithLogitsLoss，它本质上就是二分类的交叉熵，配合 sigmoid 后同样能获得p - y的残差式梯度。
• 多标签分类：每一个标签独立做二分类，依然用BCEWithLogitsLoss，不要用 softmax，因为多标签场景类别之间不互斥。
• 回归分支：比如目标检测里的边界框回归、人脸关键点坐标回归，MSE 或者 SmoothL1 是合理选择，因为这些目标的标签是连续值，高斯噪声假设成立。

我举个最常见的目标检测例子：检测头的分类分支用交叉熵，回归分支用 SmoothL1。这才是各取所长。分类分支如果换成 MSE，模型的类别判断会变得拖泥带水；回归分支如果换成交叉熵，因为标签不是概率分布，后果更糟。不同任务分支用不同损失函数，是最基本的实践常识。

5.2 分类场景里真正值得用的改进方案

如果你已经确认自己要做分类，但觉得标准交叉熵不够用，那么解决问题的方向也不是回到 MSE，而是对交叉熵做“改良版”。我在项目里常用的有三类：

• 标签平滑（Label Smoothing）：把 one-hot 标签换成一个小幅度的均匀分布混合，防止模型对训练样本过度自信，缓解过拟合。它改的是标签而不是损失函数，在交叉熵框架内效果非常稳定。
• Focal Loss：在交叉熵基础上给“易分类样本”的损失做降权，让模型把注意力集中在难分样本上。类别不均衡、难例挖掘这些场景下比 MSE 靠谱得多，因为它的梯度设计同样具备“错误越大信号越强”的特点。
• 加权交叉熵：给少数类的样本一个比 1 更大的权重，解决类别不均衡。权重乘在交叉熵的每一项上，梯度仍然保持线性。MSE 即使加权，也克服不了那个钟形梯度问题。

这几个方案有个共同点：它们都在“概率分布”的框架内做文章，因为交叉熵已经把分类问题的语义装进损失函数里了，你需要调整的只是它对不同样本的倾斜程度。MSE 则连这个框架都没有。

5.3 换不换损失函数，用这四条直接判断

如果你还在犹豫，拿下面四条规则对照自己的项目，直接做选择题：

1. 你的输出是 logits，并且后面接了 softmax，你又在做单标签多分类？无条件换成交叉熵。
2. 你的验证集精度在某个数值附近停滞，训练 loss 却还在降？优先怀疑损失函数和标签处理，别先调学习率。
3. 你的分类模型需要置信度做阈值过滤、需要清晰的概率边界？交叉熵几乎是最保险的选择。
4. 你只是在做回归、做坐标预测、或者做自监督蒸馏里的教师输出软标签匹配？MSE 可以留着，但要明确这不是“分类损失”。

第 4 条里有一个细节值得单独说：自监督蒸馏场景里，有时候会用 MSE 去对齐学生的输出和教师的软概率。这种做法勉强成立，因为软概率不是离散的 0/1 标签，更像是连续的目标值，MSE 在这里的假设基本成立。但即便如此，也有人主张用 KL 散度或经过温度调整的交叉熵，效果通常还更好。这说明在分类相关的语义空间里，概率分布类的损失函数始终是更自然的选择。

我自己在实际操作里的体会是：换交叉熵不是“一行代码的运气”，而是对“分类本质”的一次回归。你真正需要的不是一个能下降的 loss，而是一个能在错误样本上保持更新强度的梯度。MSE 的梯度被 sigmoid 和 softmax 的饱和区削了一遍又一遍，交叉熵则把优化器直接接到了预测误差上。

每次有人拿着一张“loss 降到零点几，精度却上不去”的训练曲线来找我，我的第一反应已经从“检查数据、检查正则”变成了“先看你用的什么损失函数”。这条排查顺序的改变，省下来的时间远比想象中多。

最后再分享一个小技巧：如果你在别人的代码里看到某分类模型用 MSE，别急着评价，可以先看看它是不是有两头——一个交叉熵分类头、一个 MSE 回归头。如果是，那大概率是合理的；如果整个模型只有一个 softmax 分类头还挂着 MSE，那你基本可以断定，这个模型还有很大的精进空间。