多分类问题核心机制与PyTorch实践：Softmax与交叉熵

1. 多分类的定位：从单一答案到概率分布

1.1 为什么多分类不是二分类的简单扩展

Day18这节课的标题看起来很简单，就叫“多分类问题”，但我跟完整个课程后发现，它其实是很多入门选手第一次真正触碰到"模型如何表达不确定"的地方。

先说说它和二分类的本质区别。二分类输出一个值，通过Sigmoid把它压到0到1之间，大于0.5判为正类，小于0.5判为负类。模型只需要回答"是"还是"否"，决策边界在概念上是一维的。但多分类问题中，模型面对的是10个、100个、甚至1000个候选类别，它必须输出一个完整分布，告诉你不只是"哪个类别最有可能"，还包括"每个类别分别有多大的概率"。

课程里举了一个很贴近生活的例子：手写数字识别。一张图可能是0到9中的任何一个数字，模型要输出10个得分，这10个得分经过处理后变成一个概率分布。如果你写了一个有点歪的7，模型可能会给7打出0.82的概率，给1打出0.13的概率，剩下0.05散落在其他数字上。这不是模型"不自信"，而是它合理表达了自己的判断。在二分类中你很难感受到这种"分布的质感"，一旦到了多分类，整个输出的结构就完全变了。

1.2 理解多分类是往下走所有复杂任务的前提

我当时听这门课的时候有个体会：多分类不只是图像识别的基础，它几乎串联了后续所有任务形态。比如目标检测里的分类分支，每个候选框要去判断它属于哪一类物体；文本情感分析里，模型要在正面、负面、中立之间做选择；语音指令识别，本质上是把音频段匹配到有限个指令槽位中。只要任务不是"是/否"这种二值判断，你就逃不开多分类的设计逻辑。

另外一个容易被忽略的点是：多分类的误区理解会直接影响你对回归任务的认识。有些人把分类和回归完全对立，但多分类在输出层做的事——把连续得分映射成概率——其实和回归里的归一化处理非常像。区别在于分类的监督目标是离散的标签，回归的监督目标是连续的数值。Day18课程在开篇花了大段时间说清楚这个边界，我觉得核心目的就是让你别把任务类型搞混，因为任务类型决定了你选什么损失函数，而损失函数选择错了，后面的训练过程就会非常痛苦。

适合来看这部分内容的人，我大致归为三类：一是学过基本线性模型和Sigmoid二分类，正要往多分类过渡的入门者；二是已经用现成框架跑过分类任务，但没搞清楚Softmax和交叉熵为什么是"标准搭配"的初学者；三是想从头捋一遍分类模型设计细节，方便自己改模型、调试loss的进阶同学。这门课的内容并不局限于某个框架，但它用PyTorch做演示的时候非常接地气，后面的实操部分我会把具体实现也一并拆开讲。

2. 核心机制拆解：Softmax和交叉熵的配合逻辑

2.1 模型最后一层到底在输出什么

多分类模型的结构，前面无论用多少层卷积、Transformer、全连接，真正到了最后一层，通常就是接一个线性层，把隐藏状态映射成类别数量的实数向量。比如Fashion-MNIST有10个类别，所以最后一层通常是nn.Linear(hidden_dim, 10)，输出的10个数字被称为logits。

一开始我不太理解为什么要管这个中间结果叫logits。后来课程里补了一段说明，logits可以简单理解为"未经归一化的得分"，这个得分取值范围是负无穷到正无穷。它本身没有任何概率含义，因为它的数值可能很大也可能很小，不同样本之间的得分差异也可能巨大。模型在学习过程中，真正要学的就是怎么让"正确类别的logit尽可能大、错误类别的logit尽可能小"。

从损失函数角度看，模型优化的是这个得分分布的"差距"，而不是直接优化一个所谓的"置信度"。所以你在观察一个模型输出的时候，如果只盯着最大logit对应的类别，其实会失去很多信息。Day18课上老师展示了一张表格，把同一个batch里的logits打印出来，你会发现有些样本的最大得分和次大得分差距很小，这种样本往往是容易混淆的类别，比如数字4和9，或者T恤和衬衫。这类样本如果只记录"预测对了没"，就完全丢失了训练过程中最有价值的信号。

2.2 Softmax如何把得分变成概率

要让logits变成可解释的概率分布，最常用的方法就是Softmax。它的公式写出来很简洁：

softmax(z_i) = exp(z_i) / sum_j exp(z_j)

也就是说，对每个logit取指数，再除以所有指数和。这么做有两个好处：第一，指数函数保证所有结果都是正数；第二，除以总和保证所有类别的输出加起来等于1。这样一来，模型输出的就是一个合法的概率分布。

但这里有个很容易踩的数值稳定性问题。如果某个logit特别大，比如到了20，exp(20)会变成一个非常大的天文数字，计算时可能溢出。Day18课程专门讲了这个细节：实际操作中会对每个logits向量先减去它的最大值，再做Softmax。因为减去同一个常数，Softmax的结果是不变的，但数值的绝对值被拉回到安全区间。这件事在PyTorch里其实已经被封装好了，你直接调torch.nn.functional.softmax(logits, dim=1)不会遇到溢出，但了解原理能让你在手动实现或者换框架排查问题时心里有底。

从直觉上理解Softmax，可以想象成把一班学生的原始考试成绩转换成排名概率。原始分数差距可能很大，但转换后，分数最高的那个学生获得最高概率，其他人的概率则按相对差距指数级递减。如果两个学生的原始分非常接近，那他们的概率也会很接近。这正好对应分类模型里的"类别间分差越小，判断越犹豫"。

2.3 为什么损失函数选择交叉熵而不是均方误差

多分类最常用的损失函数是交叉熵，原因值得展开说。如果从公式看，对于单个样本，假设真实类别是y，模型输出的概率分布是p，交叉熵损失就是：

loss = -log(p[y])

这里面有意思的点是：因为真实标签是one-hot形式的，其他正确类别的项全都乘了0，最后只留下了"模型给正确类别预测概率的负对数"。所以交叉熵本质上是在惩罚"模型对正确类别不够自信"。如果模型给正确类别的概率是0.9，损失是-log(0.9)，非常小；如果概率是0.1，损失变成-log(0.1)，非常大。

那为什么不沿用回归任务里的均方误差MSE呢？课程里给了一个非常直白的解释：MSE配合Sigmoid或者Softmax会出现梯度消失的问题。当Softmax输出的概率接近0或1时，Sigmoid曲线的导数会接近0，误差通过链式法则传回前面时，梯度几乎消失了，训练会变得非常慢。而交叉熵配合Softmax，求导之后形式非常干净，误差直接和"模型预测概率减真实标签"成正比，也就是说，模型错得越离谱，梯度越大，学得越快。

我个人的体会是，这个点如果你只背结论，永远感受不到差别有多大。我自己试过一次把交叉熵换成MSE去训练一个简单的多分类模型，结果训练loss下降得极其缓慢，跑了十几个epoch准确率还在原地打转。那一刻才真正明白，为什么标准方案是"Softmax在输出层 + 交叉熵做损失"，这不是历史遗留的偏好，是数学上配合出来的最优解。

2.4 一个稳妥的数值处理方案

课程里还专门提了一个训练时的细节：PyTorch里的nn.CrossEntropyLoss在接收输入时，期望的是原始logits，而不是已经过Softmax的概率。这个设计很容易让刚上手的人搞混。如果你手动先做了一个Softmax，再把结果丢进nn.CrossEntropyLoss，损失并不会报错，但结果和你预期的不一样，因为CrossEntropyLoss内部本身已经包含了一个LogSoftmax的操作，你多算一次等于把分布又扭曲了一遍。

所以标准做法是：模型最后一层直接输出原始logits，计算loss时传logits和标签，计算预测结果时才用torch.softmax或者torch.max取索引。这套设计的另一个好处是在数值上更加稳定，因为LogSoftmax和NLLLoss组合时候可以做各种数学化简，避免了先算Softmax再算log产生的中间数值误差。

3. 动手实现：用PyTorch搭一个完整的图片多分类流程

3.1 数据集准备与数据加载细节

Day18的课程例子用的是Fashion-MNIST，我觉得这个选择很聪明。MNIST数字识别被用得太泛滥了，大家熟到已经没法产生真实的"分类难度感知"。Fashion-MNIST里有T恤、裤子、套头衫、裙子、外套、凉鞋、衬衫、运动鞋、包、短靴，类别同样是10个，但某些类比之间长得确实像，比如衬衫和T恤，或者凉鞋和运动鞋，这样训练过程中你能更真实地感受到"有些错误是模型必然会犯的"。

加载数据的代码可以直接用torchvision：

import torch import torchvision import torchvision.transforms as transforms transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.2860,), (0.3530,)) ]) train_dataset = torchvision.datasets.FashionMNIST( root='./data', train=True, transform=transform, download=True ) test_dataset = torchvision.datasets.FashionMNIST( root='./data', train=False, transform=transform, download=True ) train_loader = torch.utils.data.DataLoader( train_dataset, batch_size=64, shuffle=True ) test_loader = torch.utils.data.DataLoader( test_dataset, batch_size=64, shuffle=False )

这里Normalize的参数是Fashion-MNIST数据集的全局均值和标准差，torchvision官方文档或者很多开源项目里都能查到。要注意的是，用错均值和标准差不会让程序报错，但模型收敛速度会变差，因为输入特征的分布没有被拉到零附近。我见过有人直接照搬MNIST的(0.1307, 0.3081)，训练出来效果也能用，但这属于"能用但不够好"的状态。

3.2 搭建一个足够用的小型CNN

课程并没有一上来就堆ResNet那种大模型，而是用了两层卷积加全连接的小网络。目的是让你把注意力放在多分类的整体流程上，而不是被复杂的网络结构带偏。这个选择放在入门阶段非常正确，因为多分类要解决的核心问题——输出层设计、损失计算、评估逻辑——和网络的深度没有直接关系。

import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes=10): super().__init__() self.features = nn.Sequential( nn.Conv2d(1, 16, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.MaxPool2d(2), nn.Conv2d(16, 32, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.MaxPool2d(2), ) self.classifier = nn.Sequential( nn.Flatten(), nn.Linear(32 * 7 * 7, 128), nn.ReLU(inplace=True), nn.Linear(128, num_classes), ) def forward(self, x): x = self.features(x) x = self.classifier(x) return x

注意看，forward的返回值没有经过任何Softmax，它就是原始的logits。如果你在最后一层后面加了nn.Softmax，之后又用nn.CrossEntropyLoss算损失，那就会出前面说的重复Softmax问题。为了避免这种混乱，最安全的做法是：模型只负责输出logits，概率转换放到后续评估阶段做。

3.3 训练循环中的损失计算与精确率统计

训练一个epoch的流程在外观上跟二分类很像，但是有一个容易忽略的关键点：你计算准确率的时候，是在logits上取最大值索引，不是取概率。因为Softmax不会改变logits的相对顺序，最大值在转换前后是同一个位置，所以直接对比logits的argmax和标签就可以了。

def train_one_epoch(model, loader, optimizer, criterion, device): model.train() total_loss = 0.0 correct = 0 total = 0 for images, labels in loader: images, labels = images.to(device), labels.to(device) optimizer.zero_grad() logits = model(images) loss = criterion(logits, labels) loss.backward() optimizer.step() total_loss += loss.item() * images.size(0) preds = logits.argmax(dim=1) correct += (preds == labels).sum().item() total += images.size(0) avg_loss = total_loss / total accuracy = correct / total return avg_loss, accuracy

这里我习惯用loss.item()乘上batch大小来累加总损失，最后算平均，这样能防止最后一个不完整batch对平均值的打扰。如果你直接用每次loss.item()求平均，当数据总数不能被batch_size整除时，最后一个batch样本数少但权重和别人一样，统计出来的均值就有轻微偏差。虽然影响不大，但在对比实验里，这种微小的统计口径不一致容易让你误判模型好坏。

模型定义、优化器和损失函数的选择如下：

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model = SimpleCNN(num_classes=10).to(device) criterion = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) epochs = 10 for epoch in range(1, epochs + 1): train_loss, train_acc = train_one_epoch( model, train_loader, optimizer, criterion, device ) print(f"Epoch {epoch:02d}, Loss: {train_loss:.4f}, Acc: {train_acc:.4f}")

3.4 额外需要探索的关键超参

如果你想自己重复实验并观察不同设置的影响，我会建议你像做对照实验一样，固定其他变量，只改一个参数。课程里花了相当篇幅讲学习率的影响，因为这个参数可以说是所有超参数里最核心的。用1e-3的Adam优化器在Fashion-MNIST上通常收敛得不错，但如果把学习率调到1e-1，你会发现loss在训练初期疯狂震荡，甚至直接变成nan；调到1e-5，训练倒是稳定，可十个epoch过去loss还在原地踏步，这时候你就该明白，学习率不是越大越好，也不是越小越稳，而是需要在"学得动"和"学得稳"之间找平衡。

批量大小同样值得控制。常见的选择是32、64、128。在同样学习率下，大batch会让梯度估计更准，收敛更平滑，但每步更新次数变少；小batch会有更多噪声，有时候这种噪声反而帮助模型跳出局部极小。不要盲目迷信某个"最佳默认值"，多跑几次对比实验，记录下训练曲线，比看单个准确率数字有用得多。

3.5 验证集评估是必要的检查动作

训练集上的准确率不能说明模型的真实能力，因为模型可能把训练数据背下来了。Day18课程里专门强调了验证集/测试集评估的重要性。Fashion-MNIST把train和test划分好了，训练结束之后应该在test_loader上做一次完整的预测统计。

def evaluate(model, loader, criterion, device): model.eval() total_loss = 0.0 correct = 0 total = 0 with torch.no_grad(): for images, labels in loader: images, labels = images.to(device), labels.to(device) logits = model(images) loss = criterion(logits, labels) total_loss += loss.item() * images.size(0) preds = logits.argmax(dim=1) correct += (preds == labels).sum().item() total += images.size(0) return total_loss / total, correct / total

模型训练和评估要切换mode，model.train()和model.eval()对没有Dropout和BatchNorm的简单模型影响不大，但如果你后面用到了BatchNorm，忘记切到eval模式会导致评估时仍然用当前batch的统计量做归一化，结果会和真实推理情况不一致。养成习惯，训练和评估各归各的mode，避免后面踩这个暗坑。

4. 常见问题排查与调参建议

4.1 训练loss不下降的几类原因

如果你按照上面的流程跑下来，一切顺利，那自然是好事。但很多人第一次接触多分类时，都会在某个环节卡住。我把自己遇到过和帮别人排查过的问题整理成一个速查表，基本覆盖了大部分情况。

课程里最强调的一个排查思路是：拿到一个新模型新数据，先别急着跑全量epoch，而是先取一小部分数据，比如一个batch，看看模型能不能过拟合。如果连几个batch的数据都学不进去，那说明模型实现或者loss计算有问题，而不是数据量不够的问题。这是一个非常高效的冒烟测试手段，能帮你把"代码有bug"和"模型能力不足"快速分开。

4.2 logits输出分布异常的含义

有时候你会发现模型输出的概率分布非常"平"，所有类别都大约在0.1附近。这通常意味着模型还处在欠拟合状态，或者特征根本没学到有区分性的信息。直观理解，类别完全分不开时，每个类别概率都一样。如果你在训练到一半时看到这种分布，别急，先看看loss是否还在下降。如果loss在降，说明模型正在学习，只需要更多epoch；如果loss不动，说明学习率不合适或者模型结构有问题。

另一种常见情况是模型对某一个类别给出了接近1的概率，无论输入什么样本都这样。这时候往往不是模型"太自信"，而是数据有问题——比如训练集中某个类别占了90%以上，模型学到了"把所有样本都判成这个类别"这种偷懒解。这种问题的根源不在损失函数，而在数据不均衡。简单的缓解思路是调整类别权重，把样本少的类别在loss里的权重调高。PyTorch里nn.CrossEntropyLoss有一个weight参数，可以传一个和类别数相等的权重向量。

4.3 使用交叉熵时容易犯的隐蔽错误

前面说了CrossEntropyLoss接收logits而不是Softmax概率，这是最容易被忽略的坑。但还有一个更隐蔽的坑，是标签类型和取值范围不匹配。PyTorch的CrossEntropyLoss要求标签是整数张量，每个值在0到类别数减1之间。如果你用了one-hot编码的标签，需要先用argmax把one-hot转成整数标签；如果你标签从1开始计数，记得减1。这些错误不像类型不匹配那样一定会崩溃，有可能只是静默地产生一个很大的loss，然后整个训练就这么跑飞了。

我自己排查这类bug的经验是，在训练循环开始前，先单独打印一条logits的shape、标签的shape、标签的最小值和最大值，以及标签的dtype。这几个信息足够帮你排除大部分低级错误。

4.4 类别不均衡时怎么办

Fashion-MNIST是均衡数据集，每个类别样本数一样，这其实掩盖了多分类实战中最大的一类问题。你想一下，如果某类只占总样本的1%，就算模型把这一类的所有样本都判错，它的整体准确率仍然可能高达99%，但显然这个模型并不好用。

应对不均衡的常见策略，从数据层面可以做重采样：把样本少的类别复制多份，或者用over-sampling策略。在loss层面，就是给不同类别加权：增大少数类的惩罚力度，让模型不敢忽视它们。还有一种更细化的指标用法：不要只看accuracy，而是看每个类别的precision、recall和F1。课程里提了一句非常重要的话——accuracy只告诉你"平均表现"，不适合告诉你"哪一类出了问题"。实际情况确实如此，工程上你特别需要知道某个细分类别是不是在拖后腿，这时候类别级别的统计量比单一准确率可靠得多。

5. 和回归任务、多标签任务的边界区分

5.1 不要把多分类问题做成多个二分类

有些任务看起来类别很多，但本质上真的需要输出一个"非此即彼"的分布。比如手写数字，一张图不可能同时是3和5，所以这么做多分类是对的。但有些任务，比如一张图片里同时有人、车、树，它不是一个多分类问题，而是一个多标签问题，因为多个类别可以同时成立。

如果你把多标签问题错误地包装成多分类问题，让模型在"人、车、树"几个标签里只能选一个，那在有人又有车的图片上，无论模型选择人还是车，输出都对一半错一半。正确的做法是，对每个标签单独做二分类，输出多个独立的Sigmoid值，或者用其他为多标签设计的结构。这个差别在Day18课程里用一张对比图讲得特别透彻，我想强调一下：输出层用Softmax还是多个Sigmoid，取决于是"独占"还是"可共存"。如果你准备做YOLO这类目标检测，你真的同时需要分类头来做独占类别的判断、还需要回归头来框位置，理解多分类和多标签的边界会很有帮助。

5.2 分类和回归的任务界限

回归和分类的界限也要想清楚。你预测明天的气温是25度，这是一个回归问题；你预测天气是晴、多云、下雨、下雪，这是一个多分类问题。两者最核心的区别是目标空间是否离散。如果目标值是连续的，用MSE或者MAE这类回归损失；如果目标值是离散的类别，用交叉熵。

但现实世界里有些任务处在中间地带，比如预测一个影视评分，可能是0到10的连续值，但最终展示给用户的时候常常被离散化成星级。你可以把它当回归做再取整，也可以把它当分类做再映射到分数区间。这两种方案各有优劣，前者更细粒度但可能预测出9.7这种不好展示的值，后者好展示但会丢失分数内的细微差别。遇到这种任务，选择哪种方式取决于你的应用场景更在乎什么。这不只是一个模型问题，更是一个工程取舍问题。

Day18把这种边界说得挺清楚的，它是多分类内容里最容易被人忽略的"下半场"。如果你只记得怎么写模型、怎么算loss，却不知道自己面对的任务到底属于哪一类，很可能在真实项目里把方案设计错了方向。工具用得再熟练，方向错了也是白搭。

6. 实际操作中的一点体会

6.1 可视化是理解模型的捷径

前面说了一堆理论和代码，最后一个个人觉得非常有用的技巧是可视化。具体做法很简单：模型预测完一批测试集样本，你把那些预测错的图片连同正确标签、预测标签一起打印出来，人眼扫一遍，比看任何指标都能更快地发现规律。

我当时用Fashion-MNIST做实验时，连续打印了三十多张被分类错误的图片，发现一个特别显著的共性：很多错误发生在形态相近的类别之间，比如衬衫被识别成T恤，因为Fashion-MNIST图片分辨率只有28x28，很多衬衫和T恤在这么低的分辨率下确实极其相似。这个观察让我明白，这些错误不一定是模型"笨"，而是原始图像信息本身存在歧义。如果你是个工程师，此时应该考虑换更高分辨率的数据集或者增加特征输入渠道；如果你是个竞赛选手，可以考虑把相似类别的区分作为模型结构设计的重点。

6.2 从loss曲线里读出训练状态

我还想多说一句关于记录loss的习惯。跑实验的时候，我通常每个epoch结束都会把训练loss和测试loss放在同一张图里画出来。这两个曲线的相对关系能告诉你很多东西：如果训练loss还在下降但测试loss已经开始回升，说明模型开始过拟合了，你该考虑加正则化或者提前停止；如果两个loss一直在下降但速度很慢，可能是学习率太小，可以试试用学习率调度器在中间阶段加速或者换用更大的初始学习率。

这里推荐一个简单的做法：训练时把loss值追加到一个list里，不要只print。等训练完用matplotlib画一张loss曲线图，既方便自己回顾，也方便写博客记录或做报告。这个习惯在只有几十行代码的实验里显得不值一提，但一旦模型变大、训练变长，你就会感激自己当初记录了这些曲线。调参这件事，说到底就是和loss曲线打交道——能正确读懂loss曲线，就具备了独立调优的基本能力。

6.3 多做实验、少背结论

Day18的课程看下来，所有例子都在反复说明一件事：多分类问题的标准方案不是背下来的，而是在一次次实验、观察和调试中沉淀出来的。你有机会也值得自己动手做几个对比实验——把Softmax换成没有归一化的原始输出、把交叉熵换成MSE、把Sigmoid硬套在多分类输出上，去真实感受一下每个组合带来的差异。很多结论只有你自己亲自踩过坑、试过错误方案之后，才会真正变成你自己的理解。

另一个建议是，把所有实验结果做记录。今天改了学习率，明天改了网络宽度，后天加了数据增强，如果全都靠记忆，一周后就全乱了。我用一个简单的表格记录每次实验的设置和结果，几行字就够了，但对后续迭代的帮助是巨大的。这也是我学完Day18之后最深的感受——深度学习入门从来不缺理论资料，缺的是一套属于自己的、认真的实验习惯。