基于CNN的农作物病虫害识别系统：从模型选型到部署避坑实战

简介：基于深度学习卷积神经网络的农作物病虫害识别检测系统，是一份面向计算机相关专业毕业生及项目实战学习者的完整毕设项目。系统覆盖数据预处理、模型训练、评估与部署全流程，提供 ResNet50、VGG16/19、DenseNet121 等主流 CNN 架构的实现，并兼容 TensorFlow、PyTorch、Keras、Fastai 等多框架代码，便于对比学习。资源包共56个文件，包含 Python 源码、Jupyter Notebook 训练笔记、运行说明文档、前后端展示页面及 Docker 部署配置，并附带可直接使用的数据集与预训练模型，压缩包约88.3MB，结构清晰易于上手。已有98人学习下载，适合需要快速搭建识别系统、完成毕业设计或课设作业的读者，高分评审思路与完整实现细节均能在其中找到参考。

1. 农作物病虫害识别检测：一个基于卷积神经网络的毕设到底要做什么

“基于深度学习卷积神经网络的农作物病虫害识别检测系统”这个标题，在毕业设计里属于典型的应用型 CV 项目：交付物是 Python 源码、数据集和运行说明，最终要跑起来一个能对农作物叶片图片做病虫害识别或检测的可用系统。实际农田场景里，番茄叶背出现褐色病斑、水稻叶片发黄卷曲，靠人眼排查既慢又带有主观性，这套系统的核心价值就是把“人蹲在田里看叶子”换成“模型看图片给判断”。它适合三类人：选了毕设题目不知道从哪下手的本科生、想系统走一遍 CNN 训练流程的硕士生、想快速搭一个可演示 CV 项目充实简历的从业者。这篇实战笔记会从任务选型、数据准备、模型训练、部署避坑一路讲到收尾验证，全程给可复现的代码和参数。

2. 模型选型与数据准备：分类和检测是两套技术栈，数据集决定上限

很多同学拿到题目第一反应是“找个 CNN 模型跑一下不就完了”，然后直接在网上弄个现成权重跑个 demo，结果第一轮就被老师问住：你这个系统是识别整张叶片属于哪类病害，还是要在一张图里框出所有病斑？这两个问题对应的是图像分类和目标检测两套完全不同的技术路线，选错的话后面所有代码都要推翻重来，所以模型选型和数据准备必须放在训练之前认真做。

2.1 先分清任务：图像分类和目标检测的选型差异

图像分类的输入是完整图片，输出是一个类别标签，比如“番茄早疫病”“番茄晚疫病”“健康叶片”。这种任务的模型是 ResNet、VGG、MobileNet 这类卷积神经网络（CNN），在骨干网络后面接一个全连接分类头，训练只需要图片级标签。目标检测则复杂很多，输出是若干个检测框，每个框带类别和置信度，比如一张叶子图里同时有三个病斑，每个病斑都要给出位置和类型。常见模型是 YOLO 系列和 Faster R-CNN，训练时不仅要图片还要边界框标注。

二者的差异直接决定了数据成本和开发周期。分类拿到的是贴好标签的整图数据集，一个类别几十张图就能起步；检测必须为每张图额外标注边框，一张叶子图上十几个病斑，标起来非常耗时间。我一般建议毕设同学这样定位：题目里只有“识别”两个字就优先做分类；如果还强调“检测”“定位”“框出”，那再叠加一个 YOLO 模块。很多做得比较好的毕业设计是“分类打底 + 检测增强”，用 CNN 证明分类能力，再用 YOLO 补上定位能力，工作量体现在两组对比实验上，答辩时也有的讲。分类任务里还有一层细粒度识别的问题，比如早疫病和晚疫病视觉上很接近，模型如果只在低分辨率上训练，很容易把这两类混在一起，这种地方要用单类召回率去盯，而不是只看整体准确率。

选型还要看数据规模。公开的农作物病害数据以分类为主，比如 PlantVillage 是一个几十类的作物叶部病害集合，按目录划分天然就是 ImageFolder 结构，预处理成本很低。检测方向的开源数据相对零散，往往需要自己标注或者拼接多个来源，标注格式还不统一。如果毕设周期只有两三个月，老老实实做分类是最稳的路线；检测方向不是不能做，但要把“数据准备”单独算成一个里程碑，别指望一周搞定。另外提醒一句，如果后续想切到 YOLOv8 训练自己的检测数据集，图片目录、标注目录、类别配置文件这套结构最好从一开始就按 YOLO 的规范摆好，省得后面再写脚本迁移。

2.2 公开数据集与自采数据：PlantVillage 怎么用，数据怎么划分

PlantVillage 是农作物病害方向绕不开的公开数据集，覆盖番茄、马铃薯、玉米等作物的叶部病害与健康图片，总量在几万张量级，类别覆盖早疫病、晚疫病、叶斑病这些常见病种。最大优点是标签现成、背景相对干净，适合先复现一个基线结果。但也要知道它的局限：图片大多在受控环境下拍摄，真实农田里的叶片有遮挡、光照复杂、背景杂乱，所以很多项目会拿 PlantVillage 做预训练，再用自采图片微调，答辩时把“公开数据集打底 + 真实场景适配”讲成完整故事。

数据集拿到后第一件事不是训练，而是统计类别分布并做划分。常规比例是 train/val/test 按 6:2:2 或 7:2:1 拆，原则是验证集和测试集必须从原始数据里独立留出，不能先做增强再划分。我习惯用 shutil 和 random 写一个分层抽样脚本，保证每个类别在三个集合里的占比大致一致。对样本数少于 20 张的类别，要么合并相近病害类别，要么考虑过采样或数据增强补偿，否则这类基本学不出来。

注意：数据划分一定要在数据增强之前做。先切分、后增强，否则同一张图的不同变体可能同时出现在训练集和验证集里，造成隐性数据泄漏，验证集指标虚高。

数据增强也要同时配置。农作物病害图有个特点：同一种病在不同光照和角度下差异大，不同病之间可能只是病斑形状与颜色的细微差别。常用增强包括随机旋转、水平翻转、亮度对比度抖动、随机裁剪，类别不平衡严重时还可以考虑 CutMix 或 MixUp。增强参数不宜过猛，我见过不少翻车案例是把旋转角开到 90 度甚至 180 度，模型学到颠倒的位置假设，验证集指标反而下滑。起步配置一般是旋转 10 到 15 度、翻转概率 0.5、亮度与对比度在正负 20% 以内。增强只是手段，不要把它当成稳定涨点的方式，指标上不去优先找数据本身的问题。

2.3 标注格式转换：把 VOC XML 转成 YOLO TXT 的 Python 脚本

如果选题带了检测模块，就绕不开标注格式转换。常见标注工具 LabelImg 导出的是 PASCAL VOC 格式，每张图对应一个 XML 文件，里面记录着对象名和 bndbox 的 xmin、ymin、xmax、ymax。而 YOLO 系列训练需要的是每张图对应一个 TXT，每行格式是“类别id 中心点x 中心点y 宽度w 高度h”，所有坐标归一化到 0 到 1。网上不少项目直接把 XML 目录丢给训练脚本，报错“Could not find annotation file”基本就是格式对不上。

这里给一段我常用的转换脚本，输入是 VOC 格式的 XML 目录，输出同名 TXT，存成 convert.py 直接运行。

import os import xml.etree.ElementTree as ET def convert_voc_to_yolo(xml_dir, out_dir, class_names): # class_names: 类别列表，顺序即类别 id 顺序，例如 ["healthy", "early_blight", ...] os.makedirs(out_dir, exist_ok=True) for xml_file in os.listdir(xml_dir): if not xml_file.endswith(".xml"): continue tree = ET.parse(os.path.join(xml_dir, xml_file)) root = tree.getroot() img_w = int(root.find("size/width").text) img_h = int(root.find("size/height").text) out_lines = [] for obj in root.findall("object"): name = obj.find("name").text if name not in class_names: continue class_id = class_names.index(name) bndbox = obj.find("bndbox") xmin = float(bndbox.find("xmin").text) ymin = float(bndbox.find("ymin").text) xmax = float(bndbox.find("xmax").text) ymax = float(bndbox.find("ymax").text) # 归一化中心点坐标与宽高，并做边界裁剪 x_center = ((xmin + xmax) / 2) / img_w y_center = ((ymin + ymax) / 2) / img_h w = (xmax - xmin) / img_w h = (ymax - ymin) / img_h x_center = min(max(x_center, 0.0), 1.0) y_center = min(max(y_center, 0.0), 1.0) w = min(max(w, 0.0), 1.0) h = min(max(h, 0.0), 1.0) out_lines.append(f"{class_id} {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}") out_path = os.path.join(out_dir, os.path.splitext(xml_file)[0] + ".txt") with open(out_path, "w", encoding="utf-8") as f: f.write("\n".join(out_lines)) if __name__ == "__main__": convert_voc_to_yolo("annotations", "labels", ["healthy", "early_blight", "late_blight"])

脚本逻辑比较直接：遍历 XML 目录，解析原始图片的宽高，逐个读取 object 的类别名和边框坐标，换成 YOLO 需要的中心点、宽高后归一化，最后每行写一条。min/max 的裁剪是为了防止标注手滑把坐标标出图像范围，避免训练时出现 NaN。class_names 列表的顺序必须与之后训练时的类别配置完全一致，我遇到过一次类别列表写错一位，结果所有框都学偏，这种错误不容易报错但结果全错。转换完一定要抽几组图把框画出来，用 OpenCV 在原图上画框检查位置，肉眼确认没问题再进训练流程。

3. 基于 PyTorch 的卷积神经网络训练：从 ResNet 到部署权重的代码实现

数据就绪后，下一步是用 PyTorch 把卷积神经网络训练出来。我以分类任务为主线讲一套完整可行的方案；如果换成 YOLO，数据格式已经铺垫好，只需把模型配置和损失函数替换掉，训练流程的骨架基本不变。

3.1 用 torchvision 构建 ResNet 分类模型：最小可用训练代码

图像分类的 CNN 在 PyTorch 里不需要手写卷积层，torchvision.models 提供了 ResNet18、ResNet34、ResNet50 等预训练模型，直接替换最后一层全连接输出即可。选 ResNet 而不是更早的 VGG，是因为残差连接让深层网络在反向传播时梯度不会消失，训练更稳，同时预训练权重在 ImageNet 上学到的纹理、边缘、颜色特征，迁移到农作物病害图片上收敛明显更快。

下面是一段最小可用训练脚本，把数据加载、模型定义、训练循环三件事说清楚。数据集目录结构假设是 data/train/类别名/图片.jpg 和 data/val/类别名/图片.jpg。

import torch import torch.nn as nn from torchvision import models, transforms from torch.utils.data import DataLoader from torchvision.datasets import ImageFolder device = torch.device("cuda" if torch.cuda.is_available() else "cpu") # 训练集增强：翻转、旋转、颜色抖动；验证集只做缩放和归一化 train_tf = transforms.Compose([ transforms.Resize((224, 224)), transforms.RandomHorizontalFlip(p=0.5), transforms.RandomRotation(10), transforms.ColorJitter(brightness=0.2, contrast=0.2), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ]) val_tf = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ]) train_loader = DataLoader( ImageFolder("data/train", transform=train_tf), batch_size=32, shuffle=True, num_workers=4, ) val_loader = DataLoader( ImageFolder("data/val", transform=val_tf), batch_size=32, shuffle=False, num_workers=4, ) # 加载预训练权重，替换最后一层为类别数输出 model = models.resnet18(weights=models.ResNet18_Weights.IMAGENET1K_V1) num_classes = len(train_loader.dataset.classes) model.fc = nn.Linear(model.fc.in_features, num_classes) model.to(device) criterion = nn.CrossEntropyLoss() optimizer = torch.optim.SGD(model.parameters(), lr=0.001, momentum=0.9, weight_decay=1e-4) best_acc = 0.0 for epoch in range(20): model.train() running_loss = 0.0 for images, labels in train_loader: images, labels = images.to(device), labels.to(device) optimizer.zero_grad() outputs = model(images) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() * images.size(0) # 每个 epoch 结束后在验证集上评估 model.eval() correct = 0 total = 0 with torch.no_grad(): for images, labels in val_loader: images, labels = images.to(device), labels.to(device) outputs = model(images) _, predicted = torch.max(outputs, 1) total += labels.size(0) correct += (predicted == labels).sum().item() val_acc = correct / total print(f"epoch {epoch+1}, loss {running_loss/len(train_loader.dataset):.4f}, val_acc {val_acc:.4f}") # 保存验证集上最好的权重，防止后期过拟合把最优模型冲掉 if val_acc > best_acc: best_acc = val_acc torch.save(model.state_dict(), "best_model.pth")

代码逻辑分三步。第一步定义两个 transforms，训练集用随机翻转、旋转和颜色抖动做增强，验证集只做统一缩放和归一化；第二步用 ImageFolder 按目录名自动识别类别，创建 DataLoader；第三步加载预训练 ResNet18，替换最后一层为类别数输出，用交叉熵和带动量的 SGD 训练 20 轮，每个 epoch 后在验证集评估并保存最佳权重。

参数上有几个地方值得注意。Resize((224, 224)) 是 ImageNet 标准输入尺寸，如果病害特征很细，比如早期病斑只有几个像素，分辨率提到 256 或 448 会有明显收益，代价是训练时间和显存变大。num_workers 在 Windows 上不要设太大，超过 4 可能因为多进程问题卡死。验证集的归一化均值和标准差必须和训练集完全一致，否则模型输入分布偏移，指标会莫名其妙掉一截。

3.2 训练超参怎么定：学习率、batch size、图像分辨率的搭配逻辑

很多人喜欢直接抄别人的参数，但 ResNet18 和 ResNet50 的最佳学习率不一样，batch size 从 32 换到 64 之后学习率也要跟着调。我一般用下面这组参数起步，它是多个项目里验证过比较稳的范围。

学习率是最容易翻车的参数。loss 下降很快但验证集一直震荡，说明学习率偏大；loss 几乎不动，只有几百分之一的下降速度，说明学习率太小。处理思路是先用 0.001 跑 5 个 epoch 观察曲线，如果初期 loss 不降反升就降为 0.0001，如果降得太慢就升到 0.003。CosineAnnealing 不用手动卡衰减点，适合训练轮数固定的毕设项目；step decay 更直观，但衰减节点选不好容易在验证集上看到断崖式波动。

batch size 和学习率有一个线性关联经验：batch 翻倍，学习率翻倍。因为更大的 batch 让梯度估计更平滑，步子可以适当迈大。但数据本身只有几千张时，batch size 不宜超过 64，否则每个 epoch 更新次数太少，模型没看几遍数据就结束了。随机种子这件事最容易被忽略，固定到 42 之后，至少你和老师复现时拿到的最终指标是同一个量级。

3.3 迁移学习与冻结微调：预训练权重为什么不能省

对农作物病害这种几千到几万张的中小规模数据，从头训练深层 CNN 基本学不出可用特征。浅层卷积要学的边缘、纹理和颜色滤波器，ImageNet 上百万张图已经学得很充分了，这也是像《动手学深度学习》这类教材里反复验证过的结论：迁移学习的收敛速度和最终精度都明显优于随机初始化。

具体做法是加载预训练权重后，先把骨干网络参数的 requires_grad 置为 False，只训练替换出来的全连接层，等分类头收敛后再解冻后面几个 block 做微调。这样既避免小数据集上微调全部参数造成过拟合，又节省显存和时间。

from torchvision import models import torch.nn as nn model = models.resnet50(weights=models.ResNet50_Weights.IMAGENET1K_V2) num_classes = 6 model.fc = nn.Linear(model.fc.in_features, num_classes) # 冻结所有层，只训练最后的全连接层 for param in model.parameters(): param.requires_grad = False for param in model.fc.parameters(): param.requires_grad = True optimizer = torch.optim.AdamW( filter(lambda p: p.requires_grad, model.parameters()), lr=0.001 ) # 分类头收敛后，解冻 layer4 再做一轮微调 for param in model.layer4.parameters(): param.requires_grad = True optimizer = torch.optim.AdamW( filter(lambda p: p.requires_grad, model.parameters()), lr=0.0001 )

这段代码演示两个阶段。第一阶段冻结全部参数，只让全连接层可学习；第二阶段解冻 layer4，用更小学习率微调。关键点在 filter 函数，如果不加它而直接对 model.parameters() 建优化器，requires_grad=False 并不会生效，冻结就成了摆设，代码不报错但所有层都在更新，这个坑非常隐蔽，可以用调试器看 optimizer.param_groups 里的参数量来验证。

冻结策略也讲究。冻结越多训练越快，但适应目标数据的能力越差；全部解冻又容易在小数据上过拟合。我一般用 ResNet50 时会保留冻结 layer1 和 layer2，解冻 layer3、layer4 和全连接层做微调。如果验证集准确率上不去，优先检查是不是解冻范围太小，而不是急着加增强强度。训练完成后一定要单独保存一份只含 state_dict 的权重文件，别把整个 checkpoint 直接丢给部署端。

4. 训练与部署避坑：五个让毕设翻车的常见问题与排查顺序

训练和部署阶段的坑，大多不是模型不会写，而是细节磨死人。下面五条是这类项目里反复出现的踩坑记录，按现象、原因、解决的顺序写，复现时可以直接对照，省得把时间花在黑匣子调参上。

4.1 验证集指标高但测试集拉胯：数据泄漏的三种典型场景

现象：训练日志里验证集准确率 95% 以上，但拿模型去识别手机上刚拍的叶子图片，结果一塌糊涂。

原因：最常见的是随机划分数据时，同一株植物、同一轮连拍的图片被同时分到训练集和验证集，模型记住的是背景和拍摄角度而不是病害特征。第二种是训练集和验证集预处理不一致，比如训练时随机裁剪到叶片局部，验证时整图缩放，特征分布对不上。第三种是标签错误，公开数据集里少量图标错类别，模型学到了错误的关联。

解决：按来源分组划分数据，同一块地同一时间拍的图片全部归入同一个集合，工具可以用 sklearn 的 GroupShuffleSplit，而不是每张图独立随机分配。所有集合的预处理保持完全一致，尤其是归一化参数。训练前抽一批数据人工看一眼标签，能筛掉不少明显错误。

4.2 loss 不降反升或直接 NaN：先查数据再降学习率

现象：训练到第 3 个 epoch，loss 从 0.8 突然跳到 3.4，再过几个 epoch 直接变成 nan。

原因：最常遇到学习率过大引发梯度爆炸，特别是用预训练权重后学习率还按从头训练的 0.01 来设。其次是数据加载问题，比如图片里混入损坏的 JPEG、四通道 RGBA 图片被按三通道读、标签里有越界数值。还有一个隐蔽原因是 CrossEntropyLoss 输入和标签形状不匹配，交叉熵内部自带 log_softmax，如果前面多做了一次 softmax，数值直接乱掉。

解决：按“数据、模型、参数”的顺序排查。先写一段最小代码打印数据批的 shape、dtype 和标签范围。

for images, labels in train_loader: print(images.shape, images.dtype, labels.min().item(), labels.max().item()) break

确认数据没问题再检查 loss 计算前有没有重复 softmax，最后把学习率降到原来十分之一重跑。用 torch.isnan(loss) 加条件断点能快速定位是哪个 batch 出的问题。

4.3 类别不平衡：识别结果全偏向多数类怎么办

现象：整体准确率 90%，但看混淆矩阵，模型几乎把所有图都判成“健康”，患病类别的召回率只有 20%。

原因：真实农田里健康叶片数量远多于患病叶片，按原始分布训练时，交叉熵损失的梯度被多数类主导，模型学到“多数类优先”的偷懒策略，少数类特征根本来不及学。

解决：数据层面用 WeightedRandomSampler 按类别样本数倒数加权采样，让每个 batch 各类出现概率均衡；损失层面给 CrossEntropyLoss 传 class weights，或换 Focal Loss 让模型聚焦难样本，Focal Loss 的核心就是给交叉熵乘一个 (1-p_t)^gamma 的调制系数。评估不能只看整体准确率，要打印每个类别的 precision、recall 和 F1。平衡采样后如果部分类别重复过多，增强强度相应加大，否则容易过拟合。

4.4 推理速度太慢：CPU 上跑不动的真实瓶颈

现象：没有独立 GPU 的机器上用 CPU 跑单张推理要 3 秒以上，做不了实时演示，答辩现场很尴尬。

原因：模型太大，比如 VGG16 的全连接层参数量占了大头，ResNet152 这类深度网络在 CPU 上本身也慢；输入分辨率设到 448 甚至 512，计算量成倍增长；还有一个隐形开销是每次推理都重新加载权重，或反复做 numpy 与 tensor 之间的拷贝。

解决：把模型换成 MobileNetV3 或 ResNet18，类别数不多时效果够用，速度差距非常明显；推理时固定输入到 224x224，不做随机增强；用 torch.jit.script 编译模型后再推理，CPU 上能快 20% 到 30%；Windows 下检查 torch 的线程数配置，设 4 到 8 个线程比默认更稳定。如果还要做摄像头实时推理，建议把检测模块单独拆成线程，界面和推理线程分开，不然画面会明显卡顿。

4.5 路径与编码问题：换台机器就报错怎么根治

现象：代码在自己电脑上正常，发到老师的 Windows 电脑或 Linux 服务器上，运行时报“No such file or directory”，或者训练到一半读图乱码。

原因：最常见是数据集路径写死成某个本地绝对路径，比如 D:/project/data，换机器当然不存在；还有 Windows 反斜杠和 Linux 正斜杠混用，os.path.join 处理不好就拼出非法路径；中文目录名在不同系统里编码不一致，读取文件抛 UnicodeDecodeError。

解决：统一用 pathlib.Path 拼路径，把数据集根目录、输出目录集中放到一个 config.py 或 yaml 配置里，代码只引用配置变量；训练脚本启动时检查路径存在，不存在就及时报错，不要跑到一半才崩；所有文本读写显式指定 encoding="utf-8"。这些改动半小时就能完成，但对“高分毕设”的交付体验提升非常明显。

5. 把系统收尾：混淆矩阵、置信度阈值和一个验证习惯

模型训练完，很多人的最后一步是打印一下测试集准确率就结束。但真正到答辩演示时，一个浮点数说明不了问题。这一章讲两个最实用的验证方法和一个我自己踩过的坑。

5.1 用混淆矩阵看单类表现，别只盯总准确率

总准确率会被多数类带偏，混淆矩阵才能暴露具体哪些病害互相混淆。用 matplotlib 和 seaborn 画矩阵时，类名太长就把 x 轴标签旋转 45 度，不然横坐标挤在一起根本没发看，这就是画图时常说的横坐标太密问题。

import matplotlib.pyplot as plt import seaborn as sns from sklearn.metrics import confusion_matrix cm = confusion_matrix(y_true, y_pred) sns.heatmap(cm, annot=True, fmt="d", xticklabels=labels, yticklabels=labels, cmap="Blues") plt.xticks(rotation=45, ha="right") plt.xlabel("Predicted") plt.ylabel("True") plt.show()

看矩阵时重点关注对角线之外的高值格，那部分就是漏检或误检。比如早疫病和晚疫病总在互相混淆，说明病斑纹理差异没被模型抓住，下一步就该检查数据质量或提高输入分辨率。

5.2 置信度阈值别用默认 0.5：用验证集挑一个更优阈值

多分类模型输出经过 softmax 后取最大概率，但 0.5 这个默认阈值不一定最优。一个实用做法是只输出置信度高于阈值的预测，低于阈值统一判为“不确定”，这样能降低硬错的比例。具体操作是把验证集预测结果和真实标签保存下来，遍历 0.3 到 0.9 之间的阈值，算每个阈值下的有效准确率，挑最高的写进推理脚本。这个方法不用重训模型，只改一行判断条件，但对演示效果提升很直观。调完阈值记得把最优值写进运行说明，老师复现时才知道这个数不是随手定的。

最后说一个我自己的教训。早几年做类似项目时，我在训练日志里看到验证准确率 96% 就觉得万事大吉，答辩现场随机抽了几张实拍叶片图，结果被背景里的泥土干扰全部误判。那之后我养成了一个习惯：只看总体指标绝不下结论，必须看混淆矩阵和单类召回率。这套收尾流程花不了两小时，但能让整个系统的可信度上一个台阶。希望帮到你。

本文还有配套的精品资源，点击获取