PyTorch图像分类实践：微生物图像识别与ResNet18微调全流程

简介：面向医学图像与微生物识别任务，这份数据集内含8类微生物图像，涵盖阿米巴、眼虫属、水螅、草履虫等类别，并已按训练集与测试集划分完毕。其中训练集共630张图片，测试集150张，可直接用于yolov5分类项目，也可作为常见分类网络的训练数据。资源包共包含792个文件，以753张jpg、26张png和11张jpeg图片为主体，另附1个类别字典json文件与1个show可视化脚本，方便查看类别映射及随机展示样本。整包大小约101.99MB，目录结构简洁，数据按文件夹存放，便于直接替换或扩展自己的分类实验；目前已有177人学习下载，适合刚接触医学图像分类、希望避开数据清洗与划分流程的初学者。需要快速验证分类网络效果的开发者也能直接上手，结合作者提供的CNN分类网络项目与yolov5分类教程，可进一步了解完整训练与评估流程。

1. 为什么八类微生物图像识别是医学图像分类里最值得先跑通的数据集

很多入门的从业者第一次接触医学图像分类，第一反应是找 CT、MRI、病理切片这类大影像数据集，结果不是要签数据使用协议，就是要等伦理审批。相比之下，微生物图像识别是一个被低估的起点：涂片、培养皿照片、染色镜下图像，类别界限清晰，拍摄条件相对可控，不需要巨大显存也能训练。而这份“8种微生物图像识别数据集”的价值在于，它不是一堆散图丢给你，而是已经把训练、验证、测试划分好，按文件夹保存，还附带类别字典文件。拿到手就能直接进 DataLoader，省掉了数据准备里最容易出错的环节。

它适合三类人：准备用医学图像练手分类模型的学生；需要快速验证某个网络结构能否胜任细粒度识别的工程师；以及想建立一套可复现基线、后续再换更大临床数据的算法团队。下面我会按“目录结构 → 加载代码 → 训练配置 → 踩坑记录 → 迁移学习进阶”的顺序，把这个数据集从头到尾用起来，全程用 PyTorch 生态。

2. 读懂划分好的文件夹：目录结构就是数据集的说明书

2.1 为什么“文件夹保存 + 划分好”比一个压缩包更省事

市面上的数据集大致分两类。一类是全部图片放在一个目录里，另附一个 CSV 标注文件，学名叫“平铺式存储”。这种数据集的坑在于：训练集、验证集、测试集的划分完全依赖那一个 CSV，一旦你读 CSV 的代码少处理了一个字段，类别分布就乱了；更麻烦的是，如果你不小心把 CSV 的列顺序弄错，模型会在“见过”的数据上做验证，指标虚高。另一类就是本数据集采用的“划分好的文件夹”方案，train 目录下每个类别一个子文件夹，valid 和 test 同理。目录结构本身就是标注，路径即标签，几乎没有歧义。

我一般拿到这种数据集后的第一个动作，不是打开代码，而是先打开文件夹看结构。原因很简单：分类任务里的类别数量、类别名称、图像格式、是否划分干净，全部藏在目录树里，而不在 README 里。README 可能是自动生成的，目录树才是真实的数据状态。

2.2 读取解压后的目录树：train / valid / test 与 8 个类别子目录

解压后你会看到一个主目录，通常以数据集名称或版本号命名。内部典型结构如下：

microbe8/ ├── train/ │ ├── bacteria_ecoli/ │ │ ├── 001.jpg │ │ ├── 002.jpg │ │ └── ... │ ├── bacteria_staph/ │ ├── bacteria_pseudomonas/ │ ├── fungus_candida/ │ ├── fungus_aspergillus/ │ └── ...（其余 3 个类别的子目录） ├── valid/ │ └── （与 train 一致的 8 个类别子目录） ├── test/ │ └── （与 train 一致的 8 个类别子目录） ├── class_dict.json └── README.txt

注意两点。第一，上面目录里具体的英文类名是我按常规命名习惯补的示例，不代表这个包里的真实文件夹名。你拿到的数据集到底包含哪 8 种微生物，以 train 目录下的子文件夹名为准，写代码时永远不要硬编码类名。第二，train、valid、test 下的子文件夹名称必须完全一致，如果某一边少了一个文件夹，说明划分有误，需要向数据提供方确认，不能自己硬着头皮训。

2.3 类别字典文件：数字标签到类名的唯一桥梁

训练时模型只认识数字（0 到 7），而文件夹名是人类可读的英文或拉丁文。类别字典文件就是这两者之间的唯一映射，也可能是后续踩坑最多的文件。常见的数据集里，class_dict.json 有两种写法：

{ "bacteria_ecoli": 0, "bacteria_staph": 1, "bacteria_pseudomonas": 2, "fungus_candida": 3, "fungus_aspergillus": 4, "virus_herpes": 5, "parasite_giardia": 6, "mixed_culture": 7 }

另一种写法是用列表保存类名，列表下标天然就是数字标签：

["bacteria_ecoli", "bacteria_staph", "bacteria_pseudomonas", "fungus_candida", "fungus_aspergillus", "virus_herpes", "parasite_giardia", "mixed_culture"]

在写训练代码之前，我强烈建议你先把这个文件读出来打印一遍，并和train目录下os.listdir()的结果做对照。原因在第 5 章会展开：torchvision.datasets.ImageFolder的类别排序规则是字母序，不一定和 JSON 里的顺序一致。这个不一致轻则让验证集的准确率数字对不上，重则让整个模型输出张冠李戴。

3. 用 torchvision 的 ImageFolder 直接加载划分好的数据

3.1 ImageFolder 加载最小实现：一行代码把目录变数据集

对于“一个类别一个文件夹”的划分方式，torchvision.datasets.ImageFolder是最贴合的工具。它不需要你手动解析 CSV，也不需要你维护一个图片路径列表，传入根目录即可。

from torchvision import datasets, transforms from torch.utils.data import DataLoader # 训练集和验证集统一先做缩放和转张量 train_transform = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) valid_transform = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) train_dataset = datasets.ImageFolder( root="microbe8/train", transform=train_transform ) valid_dataset = datasets.ImageFolder( root="microbe8/valid", transform=valid_transform ) train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True, num_workers=4) valid_loader = DataLoader(valid_dataset, batch_size=32, shuffle=False, num_workers=4) print("训练集类别映射：", train_dataset.class_to_idx) print("训练集样本数：", len(train_dataset)) print("验证集样本数：", len(valid_dataset))

这段代码里最关键的不是Resize，而是class_to_idx这个属性。它是ImageFolder自动生成的字典，键是文件夹名，值是整数标签。运行上面代码后，你第一件要对照的事就是：train_dataset.class_to_idx的结果是否和class_dict.json一致。如果不一致，不要往下走，先解决映射问题。

transforms.Normalize里的三个向量是 ImageNet 数据集的均值与标准差，这是使用预训练权重的标准做法。如果你打算从零训练随机初始化网络，这里的均值方差改成[0.5, 0.5, 0.5]即可。

3.2 划分比例检查：统计每个类别在三个集合里的样本数

在训练开始前，花两分钟统计各集合的类别分布，可以避免很多问题。尤其是当train有 8000 张而valid只有 400 张时，验证集上的波动会非常大；当某个类别的数量是其他类别的一半时，你还需要考虑加权采样。

import os from collections import Counter def count_samples_by_class(root_dir): """统计某个集合下每个类别的图片数量""" result = {} for class_name in os.listdir(root_dir): class_dir = os.path.join(root_dir, class_name) if os.path.isdir(class_dir): n = len([f for f in os.listdir(class_dir) if f.lower().endswith(('.jpg', '.jpeg', '.png', '.bmp'))]) result[class_name] = n return result for split in ['train', 'valid', 'test']: counts = count_samples_by_class(f"microbe8/{split}") print(f"{split}: {counts}")

这段代码做了什么：遍历文件夹下的所有子目录，对每个目录统计图片扩展名的文件数量。注意我加了扩展名白名单，因为有些数据集目录里会混入.txt说明文件或.db缓存文件，把这些算进去会造成样本数虚高。统计出来后，把三个集合的类别分布并列对比，如果某个类别在 valid 里恰好是 0 张，说明划分有遗漏；如果某个类别的 train 与 valid 比例悬殊过大（比如 100:1），建议重新按类别做分层划分，而不是直接用现成的比例。

4. 训练一个 8 分类模型：从 ResNet18 到能跑的完整配置

4.1 改造预训练模型：把分类头从 1000 类换成 8 类

微生物图像不是自然图像，但用 ImageNet 预训练权重作为起点依然是最稳的选择。原因是浅层特征（边缘、纹理、色彩梯度）在医学图像和自然图像之间是可迁移的，而你只需要重新学习高层的语义特征。下面这段代码用一个 18 层的 ResNet 示范改造过程。

import torch import torch.nn as nn from torchvision import models # 加载带预训练权重的 ResNet18 model = models.resnet18(weights=models.ResNet18_Weights.DEFAULT) # 查看原分类头的输入维度，通常是 512 num_features = model.fc.in_features print("原分类头输入维度：", num_features) # 替换分类头：输出 8 类 model.fc = nn.Linear(num_features, 8) # 把模型放到 GPU 上（如果可用） device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = model.to(device) # 打印模型摘要，确认 fc 层已替换 print(model.fc)

这段代码的关键在第三行：model.fc.in_features自动取出了原分类头的输入维度，你不必记住 ResNet18 倒数第二层是 512 还是 2048，代码替你查。替换后分类头的输出维度变成 8，对应数据集的 8 个类别。weights=models.ResNet18_Weights.DEFAULT是 torchvision 新版推荐的写法，旧写法pretrained=True在新版本里已经废弃。

这里有一个不算坑但值得注意的细节：ResNet18_Weights.DEFAULT内部的预处理要求输入尺寸是 224×224，并且归一化参数是 ImageNet 的均值方差，这就是第 3 章代码里Resize((224, 224))和Normalize的由来。如果你擅自改成 96×96 或 512×512，可以跑，但预训练权重的作用会打折扣。

4.2 关键训练超参：学习率、batch size、权重衰减的推荐值

对于这种中小规模的医学图像分类任务，下面的配置是我试过相对稳妥的起点。不要一上来就追求最先进的数据增强，先把基线跑通。

学习率是这里面最敏感的。如果从零训练随机初始化模型，用 1e-3 没问题；但你在 4.1 里加载了预训练权重，1e-3 可能让已经成熟的浅层特征被破坏，损失函数在第一个 epoch 就乱跳。1e-4 是“微调”而不是“重新训练”的典型学习率。如果你的显卡显存允许，batch size 提到 64 通常会更快收敛，但学习率要适当降到 7e-5 才行。

4.3 最小训练循环：带验证集评估的代码模板

这里给出一个精简但完整的训练循环，包含验证集评估、模型保存和训练日志打印。代码刻意保持短小，便于理解主干结构。

import torch.nn.functional as F criterion = nn.CrossEntropyLoss() optimizer = torch.optim.AdamW(model.parameters(), lr=1e-4, weight_decay=1e-3) epochs = 15 best_acc = 0.0 for epoch in range(epochs): model.train() running_loss = 0.0 for images, labels in train_loader: images, labels = images.to(device), labels.to(device) optimizer.zero_grad() outputs = model(images) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() * images.size(0) epoch_loss = running_loss / len(train_dataset) # 验证集评估 model.eval() correct = 0 total = 0 with torch.no_grad(): for images, labels in valid_loader: images, labels = images.to(device), labels.to(device) outputs = model(images) _, preds = torch.max(outputs, 1) correct += (preds == labels).sum().item() total += labels.size(0) val_acc = correct / total print(f"Epoch {epoch+1}/{epochs} | Loss: {epoch_loss:.4f} | Val Acc: {val_acc:.4f}") if val_acc > best_acc: best_acc = val_acc torch.save(model.state_dict(), "microbe8_resnet18_best.pth") print(f" 已保存最佳模型，验证准确率 {best_acc:.4f}")

两个细节值得展开。第一，running_loss用loss.item() * images.size(0)而不是loss.item()，是为了按样本数加权，因为最后一个 batch 可能不满，直接用平均值会造成损失虚低。第二，验证阶段必须写model.eval()并在torch.no_grad()环境下进行，否则模型会因 Dropout 的不确定性而产生波动的验证指标。判断模型是否收敛时，请以验证集准确率为准，训练集的 loss 在没有正则化的情况下总是会持续下降的。

5. 避坑：微生物图像数据集最常见的 5 个踩坑记录

5.1 类别映射错位：ImageFolder 的字母序和 class_dict 顺序不一致

现象：训练完拿测试集验证，准确率看起来很高，但把预测结果还原成类名后，发现“大肠杆菌”的图片被预测成了“金黄色葡萄球菌”，且错误比例稳定在某个固定值。

原因：ImageFolder在构建class_to_idx时按文件夹名字母序排序，不是按数据集的原始定义顺序。比如文件夹名bacteria_staph的字母序在bacteria_pseudomonas之前，但数据集作者可能在class_dict.json里把 pseudomonas 放在前面。模型训练时用的标签是 ImageFolder 给的，而验证时你按 JSON 里的顺序解释标签，两边错位。

解决：用train_dataset.class_to_idx拿到实际映射，写代码时以它为准，不要以class_dict.json为准。可以在加载后加一行断言：

assert train_dataset.class_to_idx == json.load(open("microbe8/class_dict.json")), "类别映射不一致"

如果断言失败，说明这个数据集的 JSON 字典是给人类看的参考，不是给代码用的。最稳妥的做法是把class_to_idx保存成新的 JSON，后续所有推理代码都用这份新文件。

5.2 文件夹名带中文或空格，DataLoader 直接罢工

现象：Windows 上解压数据集后，发现某些文件夹名是“大肠杆菌（培养皿）”这种中文全角括号，ImageFolder加载时报RuntimeError: Found no valid file或路径编码错误。

原因：部分数据集的原始采集者在整理文件时用了中文类名，而torchvision的旧版本在 Windows 下对非 ASCII 路径处理并不总是可靠。此外全角括号、空格在 Linux 服务器上虽然能跑，但跨平台传输时容易出问题。

解决：拿到数据集后先检查类名，只保留[a-z0-9_]作为文件夹名，再更新class_dict.json。不要试图在代码里逃避这个问题，因为后续做模型部署时，类名是中文会让推理接口变得很难维护。我一般直接用一段脚本完成重命名：

import os root = "microbe8/train" for old_name in os.listdir(root): # 只保留小写字母、数字、下划线 new_name = ''.join(c.lower() for c in old_name if c.isalnum() or c == '_') if new_name != old_name: os.rename(os.path.join(root, old_name), os.path.join(root, new_name))

注意：重命名只处理 train 目录的话，valid 和 test 也必须同步，否则同一个类别在三个集合里的文件夹名不一致，训练逻辑会直接错乱。

5.3 部分图片损坏或不是标准格式，训练中途崩在 DataLoader 里

现象：训练跑得好好的，到某一步突然报PIL.UnidentifiedImageError，或者Image.open()返回None。重跑一次报错位置又不同，看起来像随机的玄学。

原因：显微镜拍摄、爬取或人工整理的数据集会混入 0 字节文件、截断的 JPEG、以及扩展名是.jpg但实际是 WebP 编码的图片。这类文件在训练时每次随机采样到都会触发异常，所以报错位置不固定。

解决：拿数据集后的第一个小时，先做一次全量图片合法性检查，删除或隔离坏文件：

from PIL import Image import os def verify_images(root_dir): bad_files = [] for split in ['train', 'valid', 'test']: for class_name in os.listdir(os.path.join(root_dir, split)): cls_dir = os.path.join(root_dir, split, class_name) for img_name in os.listdir(cls_dir): img_path = os.path.join(cls_dir, img_name) try: with Image.open(img_path) as img: img.load() # 强制读取像素数据，识别截断图片 except Exception: bad_files.append(img_path) return bad_files bad = verify_images("microbe8") print("损坏图片数量：", len(bad)) for path in bad: print(path)

这个脚本用img.load()强制解码像素，比只检查文件后缀可靠得多。遇到坏图，直接移到corrupted/目录而不是删除，万一后面有恢复需求还能找回来。

5.4 旋转增强太激进，细粒度微生物识别越练越差

现象：训练集上 loss 降得很顺利，验证集准确率在某个值附近长期震荡，甚至不如只做了 Resize 的基线模型。观察增强后的训练图，发现微生物被旋转了 90 度以上，方向完全颠倒。

原因：很多微生物图像（如鞭毛染色、孢子形态）的方向是有意义的。RandomRotation(degrees=45)或RandomHorizontalFlip()这类增强手段在这个场景下可能制造了错误的样本，模型被迫学习“旋转后的形态”，而不是“真实的分类特征”，属于增强策略和数据特点不匹配造成的翻车。

解决：对于微生物分类，我一般只用RandomRotation(10)加小幅度的色彩抖动，并关闭水平翻转，或者在确认类别对方向不敏感后再开启：

train_transform = transforms.Compose([ transforms.Resize((224, 224)), transforms.RandomRotation(10), transforms.ColorJitter(brightness=0.2, contrast=0.2), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ])

关键思路是：微生物图像分类属于方向可能敏感的细粒度任务，增强的第一原则是保真，其次才是多样性。拿不准某项增强是否可用时，做一个消融实验，用验证集准确率说话。

5.5 测试集指标高但实际部署翻车：混淆主要集中在相似类别之间

现象：测试集准确率 96%，看起来很好。但用手机拍一张新的培养皿照片输进去，预测结果在两种颜色接近的真菌之间反复横跳。

原因：测试集和训练集来自同一数据源，镜头、光照、背景几乎一致，模型可能学习了背景颜色等环境特征，而不是微生物本身的形态特征。这是医学图像分类最常见的泛化陷阱。

解决：至少做两件事。第一，训练完成后打印混淆矩阵，重点看哪些类别之间互相误判，这些就是对临床最有风险的部分。第二，保留一部分完全不参与训练的外部图像做“第三方验证”。如果外部验证准确率明显低于测试集准确率，说明过拟合了数据源风格，需要更强的正则化或者更多样化的训练数据。

6. 进阶：用这两招把准确率往上推进 5 个点

在第一版 ResNet18 基线跑通之后，不要急着换大网络。显存和训练时间有限的情况下，我更推荐先做两件事，它们的性价比远高于盲目堆模型深度。

第一件是分阶段微调。先把骨干网络冻结，只训练新加的全连接层，跑 5 个 epoch，得到一个“线性探测”基线。这个基线能告诉你：在特征不更新只换分类器的前提下，这个预训练特征对这个数据集上限有多高。然后解锁骨干网络，用 1e-4 学习率全量微调。第二件是面向类别的评估。加载class_dict.json，把模型输出的数字标签还原为类名，逐类计算召回率，找出最难分的类别，然后针对性增加该类的训练样本或采集数据，而不是无脑堆整体数据量。

我现在拿到任何图像分类数据集，第一件事永远是打印class_to_idx和类别分布，第二件事是检查坏图，第三件事才是训练。这套流程帮我省下来的调试时间，比任何技巧都管用。这篇笔记里的目录结构解读和训练脚本可以直接套到你的数据集上，把路径换掉、类别数改成 8，就能跑通第一版基线。希望帮到你。

本文还有配套的精品资源，点击获取