8种微生物图像识别数据集实战：PyTorch图像分类与避坑指南

简介：面向医学图像识别任务，提供一套包含8类微生物图像的数据集，覆盖阿米巴、眼虫属、水螅、草履虫等类别，适合作为深度学习图像分类的入门与实验数据。数据已按训练集与测试集划分并保存为文件夹：训练集共630张图片、测试集共150张图片，同类别图片统一存放，目录层级直观，可直接用于CNN分类网络或YOLOv5分类项目，免去自行爬取、清洗、标注的繁琐流程。资源内附带类别字典JSON文件，方便读取类别与标签；另有show.py可视化脚本，可快速查看各类别样本分布，辅助检查数据质量。压缩包共792个文件，其中以jpg图片为主，包含少量png、jpeg图片，以及1个Python脚本和1个JSON文件，整体约101.99MB，并支持按文件夹简单索引。目前已有177人学习使用，特别适合初学者在课程设计、模型验证或分类算法对比实验中快速上手。

1. 8种微生物图像识别数据集：一个能直接跑通的项目，还是一个需要重新清洗的坑？

医学图像分类里，最不缺的就是数据集，最缺的是拿过来就能用的数据集。很多公开的微生物图像要么塞在一个压缩包里没有标注，要么类别名和论文对不上，光是整理目录就能花掉一个周末。标题里这份8种微生物图像识别数据集不太一样，它的卖点很朴素：文件夹已经按类划分好，附带了类别字典文件，也就是把数据组织和标签映射都替你做好了。对做医学图像分类、图像识别算法验证或者正在准备深度学习的课程设计的人来说，这等于省掉了最脏最累的活，拿到手可以直接进训练流程。但别高兴太早，这类数据集通常在“能跑”和“能出好结果”之间还隔着几条坑，下面从目录结构、加载方式到训练参数一个个拆开讲。

2. 拿到文件夹数据先别急着训练：先搞清目录结构和类别字典的用法

2.1 “按类分文件夹”和“按train/val分文件夹”是两种完全不同的“划分好”

标题里说“划分好的数据【文件夹保存】”，这句话得拆开看。常见的数据集组织方式有两种，第一种是根目录下直接是类别名文件夹，每个文件夹里装该类别的全部图片；第二种是根目录下先分train和val，train里再按类别分子目录。这两种结构在写数据加载代码时完全是两套逻辑，很多人翻车就翻在没看清楚就照着网上通用的ImageFolder写法套，结果目录不对直接跑不起来。

拿到数据后我的习惯是第一步先用tree命令或者Python脚本把目录结构完整打出来，确认到底属于哪种组织方式，再决定用torchvision的ImageFolder还是自己写Dataset。如果是第一种方式，需要自己做train/val划分；如果是第二种方式，意味着划分已经完成，直接按路径读就行。对于微生物数据集这类医学图像分类场景，自己划分时要注意按类别做分层采样，不能直接随机切，否则小类别的验证集会因为样本太少产生明显波动。

还要确认一点：有没有单独放置的测试集目录。有测试集和没测试集，后续评估策略完全不一样。没有测试集时，只能在训练集里再留出一部分做验证，最后用验证集结果当最终指标。这种做法的风险是会有轻微过拟合到验证集的风险，但数据集本身规模小的话，只能接受这个现实。

2.2 类别字典文件的正确打开方式：不是给人看的，是给代码看的

类别字典文件（往往是class_indices.json或者labels.txt）是这个数据集里真正值钱的东西。它把文件夹名映射成数字标签，例如{"streptococcus": 0, "staphylococcus": 1, "escherichia_coli": 2, ...}。很多人拿到手先打开看一眼，确认完就丢到一边，这是不够的。这份字典在训练阶段、推理阶段、评估阶段都要用，而且必须保持完全一致。

具体来说，训练时用ImageFolder读取目录，得到的class_to_idx顺序是按照文件夹名字母序排列的，如果和字典文件里的顺序不一致，那么训练脚本里自己写的class名到标签的映射就会错位。常见的做法是直接用字典文件来覆盖ImageFolder自动生成的映射，保证训练使用的标签顺序和类别字典一致。

推理阶段同样要用这个字典做反向映射。模型输出的是一个数字，你要把它翻译回微生物名称，靠的还是这份文件。我一般会建议把这份文件单独放到一个config目录下，而不是放在数据目录里随模型输出乱跑。另外注意文件编码，有些数据集给的是GBK编码，用Python直接open读取会报错的，读取时额外指定encoding，用UTF-8读不了就试试GBK，这两个编码占了医学图像相关数据集的九成以上。

2.3 第一步探查：统计8个类别的样本量和图像尺寸分布

任何数据集到手，先摸清家底再谈训练。用一段简单的Python脚本遍历所有文件夹，统计出每个类别的图片数量、格式分布和尺寸范围，我一般会用下面这个脚本，运行完对数据情况心里就有数了：

import os from PIL import Image from collections import Counter data_dir = "microorganism_data/train" stats = {} for cls_name in os.listdir(data_dir): cls_path = os.path.join(data_dir, cls_name) if not os.path.isdir(cls_path): continue files = [f for f in os.listdir(cls_path) if f.lower().endswith(('.jpg', '.jpeg', '.png', '.bmp'))] sizes = [] for f in files[:30]: # 每个类别抽前30张估算尺寸分布 with Image.open(os.path.join(cls_path, f)) as img: sizes.append(img.size) stats[cls_name] = { "count": len(files), "sample_sizes": sizes } print(f"{cls_name}: {len(files)} 张, 抽样尺寸 {sizes[:3]}") print("总样本数:", sum(v["count"] for v in stats.values()))

这段脚本的逻辑是先用os.listdir拿到所有类别文件夹名，再逐类统计文件数量。统计尺寸时没有全量读，而是每类抽前30张用PIL读取尺寸，因为PIL读图需要解码文件头，全量读一遍耗时很长，对探查阶段来说完全没必要。参数上需要注意sample_sizes里存的是(width, height)元组，你可以直接看宽高是否一致，如果同一类里既有横图又有竖图，说明原始采集时没有做统一resize，后续增强和批处理时就要小心。

统计完以后重点关注两个数字：总样本量和每个类的最小样本量。如果某类只有几十张，而最多的类有上千张，那训练时的类别不平衡问题就需要提前想好对策，比如要不要用WeightedRandomSampler，要不要做过采样。

3. 用PyTorch写一个能用的微生物图像分类基线：从路径读取到训练循环

3.1 自定义Dataset读取文件夹：把目录结构变成模型能吃的东西

torchvision自带的ImageFolder是最省事的方案，但对于定制化的数据集，自己写Dataset其实更可控。下面这个自定义Dataset类读取按类分好的文件夹，并按类别字典做映射：

import torch from torch.utils.data import Dataset from PIL import Image import os import json class MicroorganismDataset(Dataset): def __init__(self, data_dir, class_dict_path, transform=None): self.data_dir = data_dir self.transform = transform with open(class_dict_path, 'r', encoding='utf-8') as f: self.class_dict = json.load(f) # 类别字典的key是文件夹名，value是数字标签 self.samples = [] for cls_name, label in self.class_dict.items(): cls_dir = os.path.join(data_dir, cls_name) if not os.path.isdir(cls_dir): continue for fname in os.listdir(cls_dir): if fname.lower().endswith(('.jpg', '.jpeg', '.png')): self.samples.append((os.path.join(cls_dir, fname), label)) def __len__(self): return len(self.samples) def __getitem__(self, idx): path, label = self.samples[idx] img = Image.open(path).convert('RGB') if self.transform: img = self.transform(img) return img, label

这个类做的事情本质上就是把文件夹路径解析成(图像张量, 标签)的配对列表。构造函数里先把类别字典读进来，然后遍历所有类别文件夹，把每个图片的完整路径和它的数字标签组成一个元组存进self.samples。读取图像时用Image.open之后必须调用.convert('RGB')，因为部分微生物染色图像本身是灰度图，如果不统一转成RGB，同一个batch里出现不同通道数的图像，PyTorch会直接报错。这个细节在医学图像数据里特别常见，染色后的显微图像有时候是灰度存储，有时候是彩色缩略图。

实现的要点是：数据集规模不大时用列表全量存储路径没问题；如果数据量大到几十万张，可以改成只存目录路径，在__getitem__里动态扫描，但8类微生物数据集通常不至于到这个量级。

3.2 训练脚本骨架：用迁移学习在8类微生物数据上快速跑出基线

以这个数据集的体量看，不建议从零训练一个深度网络。8类微生物、每类可能就几百到一两千张图，从零训练CNN几乎必然过拟合。最快的路径是用ImageNet上预训练好的ResNet18，把最后一层全连接改成8分类，微调整个网络。

import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from torchvision import models, transforms from torch.utils.data import random_split # 数据增强与归一化 transform_train = transforms.Compose([ transforms.Resize((224, 224)), transforms.RandomHorizontalFlip(p=0.5), transforms.RandomRotation(degrees=15), transforms.ColorJitter(brightness=0.2, contrast=0.2), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) transform_val = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) # 数据集与划分 full_dataset = MicroorganismDataset("microorganism_data/train", "class_indices.json", transform=transform_train) train_size = int(0.8 * len(full_dataset)) val_size = len(full_dataset) - train_size train_dataset, val_dataset = random_split(full_dataset, [train_size, val_size]) # 迁移学习模型 model = models.resnet18(weights=models.ResNet18_Weights.IMAGENET1K_V1) num_features = model.fc.in_features model.fc = nn.Linear(num_features, 8) # 优化器与损失函数 optimizer = optim.AdamW(model.parameters(), lr=1e-4, weight_decay=1e-4) criterion = nn.CrossEntropyLoss() # 训练循环 num_epochs = 30 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model.to(device) for epoch in range(num_epochs): model.train() running_loss = 0.0 for images, labels in train_loader: images, labels = images.to(device), labels.to(device) optimizer.zero_grad() outputs = model(images) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() # 每个epoch后跑验证集 model.eval() correct, total = 0, 0 with torch.no_grad(): for images, labels in val_loader: images, labels = images.to(device), labels.to(device) outputs = model(images) _, predicted = torch.max(outputs, 1) total += labels.size(0) correct += (predicted == labels).sum().item() val_acc = correct / total print(f"Epoch {epoch+1}/{num_epochs}, Loss: {running_loss:.4f}, Val Acc: {val_acc:.4f}")

跑这个脚本前有两个参数要自己调。第一个是lr，迁移学习场景下1e-4是一个比较稳妥的起手值，如果验证集准确率在前5个epoch完全没有上升，可以试着调到1e-3；如果loss震荡剧烈就降到1e-5。第二个是num_epochs，30轮是基线值，但要看val_acc曲线，通常前10轮就会快速上升，之后进入平台期，如果平台期持续10轮以上就可以提前停了，不必死等30轮跑完。

这个脚本用到的要点是：验证集数据划分用的是random_split，它是纯随机切分，有一定概率让某个类别的验证集样本特别少，但作为快速基线可以接受；想要更严谨的话，应该用分层采样，后面讲避坑时会展开。

3.3 训练时真正要盯的3个指标：loss、验证集准确率和类别准确率方差

很多人训练时只盯着验证集总准确率，这是不够的。8类微生物数据里如果有一类样本特别少，总准确率可能被多数类拉高，而少数类效果差得离谱，模型整体看起来却像是能用的。我在训练时每5个epoch记录三样东西：训练loss、验证总准确率、每个类别的单独准确率。打印出每类准确率后计算标准差，如果标准差持续大于10%，说明某些类严重拉后腿，这时候需要检查是不是类别不平衡导致的。

这个习惯能帮你及早发现两种典型问题。第一种是某类准确率始终很低，通常说明该类别的图像特征和别的类太接近，比如两种形态相似的球菌，需要回去看原始图像确认标注是否有误。第二种是某类准确率忽高忽低，说明该类训练样本太少，验证集里该类也就十几张图，随机性太大，需要给该类增加增强强度或者补充数据。

4. 8类微生物的图像识别训练策略：backbone选择、增强参数与超参调整

4.1 选backbone不是越大越好：先ResNet18跑通，再考虑ViT和更大网络

这个数据集的量级和领域决定了它不是打榜用的，做医学图像分类的从业者更关心稳定性和可复现性。ResNet18是起步首选：预训练权重容易拿到，训练速度快，显存占用低，在几百到几千张量级的数据上不容易过拟合。等ResNet18在验证集上的表现达到预期，再考虑换ResNet50或者EfficientNet做对比实验。

ViT这类Transformer模型在这个数据规模上要谨慎使用。ViT需要大量数据才能发挥优势，8类微生物数据集通常只有几千张图，直接用ViT从头微调很可能比ResNet18还要差。如果一定要用ViT，建议使用在ImageNet上预训练过的ViT-B/16，并且把学习率调低到1e-5量级，weight_decay适当加大到1e-3，要给够正则化才勉强能压住过拟合。

常见的另一个误区是直接上来用ResNet152或者更深的网络。更深的模型在医学图像小数据集上不会带来提升，反而会更快拟合训练集，验证集准确率停滞甚至下降。深度学习的经验是数据和模型规模要匹配，8类微生物数据配ResNet18或ResNet50已经足够。

4.2 增强策略参数表：裁剪、翻转、颜色抖动的取值范围

数据增强在医学图像分类里是决定性的一环，但参数设置存在不少玄学成分。下面给出一份我常用的增强参数表，适应用于大多数微生物染色图：

RandomResizedCrop的scale参数需要特别留意。微生物图像里目标可能占整个视野，也可能只占一小部分，如果scale下限设到0.5以下，会裁到大量背景区域，反而弱化了目标特征。我一般建议scale=(0.7, 1.0)，保持主体内容完整。

ColorJitter的contrast参数不要超过0.3。微生物染色图像的染色深浅本身就是判别特征之一，过度调整对比度会把真实染色差异抹掉。这是增强参数里最容易翻车的一项，调强了训练loss降得很慢，验证集准确率上不去。

4.3 训练震荡和过拟合：参数调整的先后顺序

遇到验证集准确率震荡时，调整参数的顺序是有讲究的。第一步看学习率是否过高，把lr降低到原来的1/5，观察5个epoch；第二步加weight_decay，从1e-4逐步加到1e-3；第三步调整增强强度，把RandomRotation的degrees从15加到90，把RandomResizedCrop的scale范围拉大。

过拟合的判断标准是训练集准确率接近100%、验证集准确率停在某个值不动。此时优先操作是提高weight_decay和增强强度，不是降低模型复杂度。另外，在最后几个epoch把学习率降低到初始值的1/10，通常能让验证集准确率再涨零点几个百分点。这个操作在PyTorch里直接用torch.optim.lr_scheduler的余弦退火调度就能实现。

前面几步做完依然震荡，那就要怀疑数据本身的问题了。此时回到2.3的统计结果，确认某些类别图像尺寸是否参差不齐，或者某些样本是不是同一视野的重复截图。重复图像会导致模型的训练集和验证集高度相似，准确率虚高，换到真实场景性能大跌。

5. 避坑：这类数据集最常见的4个踩坑记录

5.1 类别字典和文件夹名对不上，症状是训练时直接报错

现象：启动训练脚本后在数据加载阶段报错FileNotFoundError，或者某个类别的图片全部没有被加载，最终训练集总样本数明显少于预期。

原因：数据集的类别字典可能基于原始文件名生成，而下载解压后文件夹被改过名，比如原本的escherichia_coli被系统或压缩软件改成了Escherichia Coli，字典里的key匹配不上目录名。

解决：代码里不要用class_dict.items()去遍历文件夹，而是反过来遍历os.listdir(data_dir)拿真实文件夹名，用文件夹名查字典获得标签，查不到就打印警告并跳过。发现对不上时，修改字典文件比批量重命名文件夹更安全，改完记得检查一下json格式，别把逗号写错了。

5.2 随机划分数据导致类别分布失衡，验证集准确率忽高忽低

现象：验证集准确率每轮波动超过5个百分点，有时候75%，有时候85%，整个训练过程没有稳定的收敛趋势。

原因：使用random_split做纯随机划分，某类样本少的类别可能大部分落进训练集，验证集只剩几张，导致每个epoch验证集评估的统计波动太大了。

解决：改用StratifiedSplit的思路，先按类别分组再按比例切分。sklearn的train_test_split带上stratify参数可以实现分层划分，具体操作是先取出所有样本的标签数组，然后调用train_test_split(..., stratify=labels, test_size=0.2)。切完以后打印每个类在训练集和验证集的计数，确认和全量数据的类别比例基本一致再开始训练。

5.3 尺寸不统一导致的batch维度错误

现象：训练到第二个epoch时报错RuntimeError: expected input to have 3 channels, but got 1 channels instead，或者stack expects each tensor to be equal size。

原因：数据集中部分图像是灰度图只有单通道，部分图像尺寸不一致，而代码里没有做resize和通道统一。PIL读取灰度图返回的mode是L，转成tensor后是(1, H, W)，和其他RGB图像无法堆叠。

解决：在Dataset的__getitem__里读取图像后统一执行.convert('RGB')，同时把Resize((224, 224))写进transform前面。这里有个细节，PIL的convert('RGB')会把灰度图复制到三个通道，颜色信息在三通道里完全一样，不会产生额外特征，但能保证训练正常跑起来。

5.4 验证集准确率高，但实际推理时效果差，问题出在图像预处理不一致

现象：训练和验证阶段准确率都到90%以上，模型导出后放到实际场景里跑新的微生物图像，准确率大幅下降，掉到60%甚至更低。

原因：推理时用的预处理流程和训练时不一致，最常见的错误是忘了做归一化，或者Resize的尺寸和训练时不一致。另一个导致此问题的情况是染色环境不同，显微镜型号、染色剂批次不同会让图像颜色分布偏的和训练集差异很大。

解决：把训练时的transform_val完整保存下来，在推理脚本里逐条对照。归一化的mean和std必须是ImageNet的[0.485, 0.456, 0.406]和[0.229, 0.224, 0.225]，除非你重新统计了数据集的均值和方差。染色差异的问题治标的方法是增强里加更大幅度的颜色抖动，治本的方法是收集目标场景的少量图像做fine-tune，一般每类几十张就能拉回不少准确率。

6. 验证阶段别只信准确率：手写一个针对8类微生物的分类验收脚本

模型训练完，最后一步是验收。准确率本身会骗人，尤其是类别不平衡的医学图像数据，所以我习惯写一个完整的验收脚本，输出混淆矩阵和每类精确率、召回率。这不算什么高级操作，但能看出来模型哪些类容易混淆，比如大肠杆菌和沙门氏菌如果经常互相误判，说明形态学特征接近，这个信息直接指导后续是加数据还是调整网络结构。

下面的脚本用验证集做评估，输出每类的精确率、召回率和F1分数：

import torch import numpy as np from sklearn.metrics import classification_report, confusion_matrix def evaluate_model(model, val_loader, class_dict, device): model.eval() all_preds, all_labels = [], [] with torch.no_grad(): for images, labels in val_loader: images, labels = images.to(device), labels.to(device) outputs = model(images) _, preds = torch.max(outputs, 1) all_preds.extend(preds.cpu().numpy()) all_labels.extend(labels.cpu().numpy()) # 按类别字典生成名称列表 target_names = [name for name, idx in sorted(class_dict.items(), key=lambda x: x[1])] print(classification_report(all_labels, all_preds, target_names=target_names)) cm = confusion_matrix(all_labels, all_preds) print("混淆矩阵:\n", cm) # 使用示例 with open("class_indices.json", 'r', encoding='utf-8') as f: class_dict = json.load(f) evaluate_model(model, val_loader, class_dict, device)

脚本的核心是用classification_report输出每类的P/R/F1，再用confusion_matrix看具体的错误配对。sorted时按标签值排序保证target_names顺序和模型输出节点对应，这一点做错的话整张报表的类名全部对位错误，属于最常见的使用失误。我一般还会顺手把混淆矩阵保存成npy文件，方便后面写论文或者汇报时重新出图。

这个数据集的规模决定了它的核心用法是快速验证医学图像分类流程，而不是刷SOTA。做了这么多次微生物图像识别，我养成的习惯是每换一类数据，先跑通这一整条基线流程，再考虑改进模型。先把路径、字典、预处理、评估工具这些基础环节全部稳住，再谈调参和换模型，能有效避免很多返工。这套流程跑顺了，8类微生物只是开始，后面换任何医学图像数据集流程都是通用的。希望帮到你。

本文还有配套的精品资源，点击获取