基于Python+CNN的中草药识别实战：从数据清洗到模型微调全流程

去年冬天，一个在药房实习的同学发了我一张照片，问我能不能写个程序自动识别照片里的中草药。我盯着屏幕看了好一会儿，说实话，粉末状的药材光靠肉眼真的很难说准。后来我把这件事当作一个正儿八经的选题完整做了一轮——基于Python + CNN的深度学习常见中草药识别，从数据集清洗、模型选型、训练调参，到能现场点开的识别Demo全部走通。这篇就把完整过程、踩坑点，以及能直接拿来抄的参数配置一起写出来，给正在做同一类课程设计或毕业设计的同学做个参考。

1. 先泼点冷水：中草药识别为什么比想象中难

1.1 视觉差异小，而且特征高度依赖拍摄环境

中草药识别本质上是一个图像分类任务，但你把它当普通的“猫狗分类”来做，大概率会翻车。原因是：自然类别之间的差异通常很大，而中草药类别之间的差异往往非常有限。

同一种药材，完整根茎、切好的饮片、打成粉末之后，三种形态放在图像里几乎是三种样子。枸杞鲜果和晒干后的枸杞颜色不同，黄芪斜切片和甘草圆切片在纹理上非常接近，某些干燥花类和叶片类更是连专业药师都要靠手感、气味来辅助判断。也就是说，模型要学习的不是“这株植物长什么样”，而是“这个药材在特定处理状态下的成像特征”，这个边界要先想清楚。

另外，拍摄环境对成像的影响极大。手机在室内灯光下拍、在自然光下拍、背景是白色A4纸还是木头桌面，都会带来完全不同的像素分布。如果训练集全是那种居中、白底、光照均匀的“标准图”，一到现场测试，照片里药材斜着放、旁边还有一把剪刀，模型精度掉一截是常有的事。

1.2 标签不是“建个文件夹”那么简单

很多同学建数据集的时候，很自然地按“药材名称”建文件夹，比如枸杞、黄芪、金银花。但药材的命名体系并没有想象中那么统一。杭菊、贡菊、野菊，算不算同一个类别？三七粉和三七薄片是不是同一类？甘草片和生甘草切片外观差别很大，如果混在一个文件夹里，模型训练时就会得到大量互相矛盾的信息。

我自己在处理这类问题时的经验是：先把类别口径定义写下来，再动数据。比如每个类只收录外观相对一致的形态，如果同一个药材有多种形态，要么拆成多个子类，要么明确标注说明。这个步骤虽然看上去不产生代码量，但它决定了后面所有训练的可靠程度。

1.3 长尾分布逃不掉

常见药材样本量大，不常见药材样本量小，这是天然的长尾分布。如果完全按原始数据去训练，模型会偏向把预测结果推向样本多的类别，导致那些“虽然少但确实存在”的药材几乎不会被识别出来。处理这个问题不能靠“多训练几个epoch”来解决，后面我会单独讲类别不均衡的处理方式，但首先你得心里有数。

所以我的第一个建议是：不要把目标定成“识别所有中草药”，而是定成“准确区分N种常见且外观有一定差异的药材”。这个预期管理做好了，后面的数据、模型、评估都会顺很多。

2. 数据集才是真正的门槛：清洗、标注与增强三板斧

2.1 首选开源数据集，但拿到的第一件事不是训练，而是做“卫生检查”

中草药图像数据集的公开资源不算少，常见的开源中药材数据集、植物图像数据集、部分高校实验室开放的数据集都可以作为起点。但有数据不代表可以直接用，我在拿到原始数据后做的第一件事是去重。

重复图像是这类数据集里最常见的问题。有些类别文件夹里，同一张图会被复制多次，只是改了文件名；更隐蔽的是，同一张原图经过轻微缩放、裁剪或加了一点点水印后再次出现。这种重复样本一旦同时进入训练集和验证集，验证集的准确率就会虚高，答辩现场测试一暴露真实水平就很尴尬。

去重我用的是感知哈希（pHash）的思路：对每张图生成一个指纹，计算任意两张指纹的汉明距离，距离小于阈值就认为是重复图。实际做的时候不用自己实现，很多开源图像工具库都带这个能力，但要特别注意一点——去重要在切分数据集之前做，不能先按比例随机分成train/val再做，不然重复图大概率两边都被分到。

2.2 清洗时最容易被忽略的三件事

第一，水印和文字叠加。从网上收集的图片里，不少带着平台水印、博主签名、甚至整行的手写标注文字。图像分类模型非常擅长找捷径，它可能根本不学药材本身的特征，而是学会了“看到水印就分到某个类”。这个坑特别隐蔽，因为训练集准确率很高，但拿到一张干净的新图瞬间就不认识了。清洗时至少每个类随机抽20到30张图出来人工过一遍。

第二，类别错标。开源数据集里偶尔有整理者放错的图，尤其是两个外观相近的类别之间，错标率不低。我的经验是：抽几张做一次粗聚类，看一下每个类内部是不是足够一致。如果发现某个类里有明显的“异类”，直接删除或重新归类，不要抱着“多一点样本也好”的心态。

第三，图像内容不完整。有些图拍的是药材，但主体占了不到画面面积的五分之一，周围全是背景。这类图像对训练来说噪音太大。我处理的时候会设定一个基本规则：主体区域占整张图的比例过低就直接剔除，因为后续我们还要做随机裁剪增强，原本主体就小的图一裁剪就彻底看不见了。

2.3 增强策略：不是增强得越狠越好

数据增强是图像分类里最划算的免费午餐，但前提是增强操作要符合任务本身的物理规律。对中草药识别来说，颜色是极其重要的特征，所以在ColorJitter里需要克制。色相扰动稍微大一点，金银花的黄绿色可能就偏成了菊花类那种黄色，这会直接毁掉模型对颜色的判断。

下面这套增强配置是我跑中草药分类时比较常用的一套，可以直接抄：

from torchvision import transforms train_transform = transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomRotation(15), transforms.RandomHorizontalFlip(), transforms.RandomCrop(224), transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2, hue=0.05), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) val_transform = transforms.Compose([ transforms.Resize((256, 256)), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ])

这里有个细节：先Resize到256，再RandomCrop到224，等于对原图做了随机裁剪加轻微缩放，让模型看到同一张图的不同局部。这种方法比直接Resize到224再翻转的效果好，我的理解是它模拟了“相机取景时主体位置不定”的真实情况，而不是把所有照片都强行居中。

2.4 目录结构规范与中文编码问题

数据集目录我建议用拼音或者英文命名，避免直接用中文。这不是矫情，而是Windows和Linux混用环境里，中文路径的编码问题会浪费你大量时间。一个干净的结构大概是这样：

herbs_dataset/ ├── train/ │ ├── gouqi/ │ ├── huangqi/ │ ├── jinyinhua/ │ ├── gancao/ │ └── ... ├── val/ │ └── ... └── test/ └── ...

训练、验证、测试三个目录互不交叉。划分比例我习惯用6：2：2，然后在测试集上只做一次最终评估，防止反复调试时“看着测试集调参”变成隐式过拟合。

3. 模型选型不纠结：骨干网络对比与微调决策

3.1 为什么优先迁移学习，而不是从零训练

中草药数据集的规模普遍在几千到几万张之间，这个体量对CNN来说其实很小。从零开始训练一个深层卷积网络，模型需要同时学习“怎么提取边缘、纹理、颜色组合”这些通用特征，还要学习“怎么区分药材”，数据量远远不够，结果就是训练集上表现很好，验证集上一塌糊涂。

迁移学习的思路是：先让网络在一个超大通用图像数据集上学会看“边缘、纹理、形状、颜色渐变”等基础视觉特征，然后我们只在中草药数据上教会它“如何组合这些基础特征”。这就像请一个已经认识很多物体的师傅来认药材，他需要掌握的只是药材领域的差异，而不需要重新学习怎么看东西。

3.2 各骨干网络的适用场景对比

我在这类项目里反复试过几个骨干网络，它们的取舍非常清晰，看下面这个表就够了：

如果是课程设计，我通常建议直接上ResNet18或者ResNet50。ResNet18对显存要求低，训练速度快，调试周期短；ResNet50的表现上限更高，但需要能扛住它的显卡。不要一上来就套特别大的模型，中草药数据量撑不起来，而且训练时间会被拖得很长，性价比很低。

3.3 微调策略：先冻结后解冻，顺序别搞反

微调的常规做法是分两步走。第一步，把骨干网络完全冻结，只训练新加的全连接分类头，让分类头先学会在通用特征基础上做药材分类；第二步，再把骨干网络最后几层解冻，用小学习率继续训练，让底层的部分特征向药材领域做轻微调整。

这个顺序的意义在于：如果一开始就解冻所有层并用较大学习率训练，预训练权重很快就会被冲掉，模型退化成一个刚初始化的网络。先冻结训练几个epoch，模型已经有初步分类能力，这时候再微调骨干网络，属于在比较好的起点上做局部搜索，既稳定又不容易过拟合。

替换分类头的代码很简单，PyTorch里就是一行：

import torch.nn as nn from torchvision import models model = models.resnet18(weights=models.ResNet18_Weights.IMAGENET1K_V1) num_classes = 20 model.fc = nn.Linear(model.fc.in_features, num_classes) # 冻结骨干网络，只训练全连接层 for name, param in model.named_parameters(): if name.startswith("fc"): continue param.requires_grad = False

解冻后几层的操作更简单，把要解冻层的requires_grad改成True，然后构造一个参数列表分别设置学习率即可。这一步很多人会漏掉，但它在效果上影响很大。

3.4 输入尺寸：为什么用224而不是直接用原图

很多人会问：为什么非要把图缩小到224x224，药材的细节不会丢吗？

224x224这个尺寸来自通用图像分类基准，它在“保留有效信息”和“控制计算量”之间取了一个平衡点。我实际跑下来，先Resize到256再做CenterCrop到224，相当于让模型看到的是药材的中部区域，这部分信息量对于区分大多数常见药材是足够的。硬塞进512x512也能训练，但显存占用翻好几倍，训练时间成倍增长，收益却很有限。课程设计的时间本来就紧张，没必要在这里硬刚。

4. 训练与调参的实战参数：从损失函数到学习率调度

4.1 类别不均衡：先看数据分布再选损失函数

类别不均衡是药材数据集的常态，常见药材样本几百上千张，冷门药材可能只有几十张。处理方式我只推荐三个方向，按优先级排：

第一，直接用CrossEntropyLoss，但给每个类设置权重，权重和样本数量的倒数成正比。这样改动最小，可解释性强，答辩时也容易说清楚。 第二，用WeightedRandomSampler，在采样阶段让每个batch里稀有类别的出现概率更高。这种方式更“物理”，因为它直接改变了训练数据分布。 第三，用Focal Loss，它的思路是降低模型对已经分类正确的易样本的注意力，把重心转向难样本。这类方法效果可以，但调参稍麻烦，而且对着中草药这种相似度高的任务，容易出现“把困难样本硬掰过来”的副作用。

课程设计阶段我最推荐第一种。代码简单，效果稳定，而且你可以在答辩时讲清楚“给稀有类别更高loss权重，让模型不敢忽略它们”这个逻辑，这本身就是得分点。

4.2 优化器与学习率的取值逻辑

优化器我直接用AdamW，weight decay取1e-4。相比SGD，AdamW在前期训练时收敛更稳，对学习率的敏感度更低，更适合课程设计这种没有太多时间精调的场景。

学习率需要分成“分类头”和“微调骨干”两段来看。训练新加的全连接层时，学习率可以放到1e-3到3e-3，因为这是一个完全随机初始化的层，需要快速学习；解冻骨干之后，学习率必须降到1e-5到3e-5，防止把预训练学到的基础特征冲刷掉。很多同学微调效果不好，不是代码写错了，就是解冻后学习率还是1e-3，直接一波把模型冲回了随机状态。

4.3 学习率调度与早停：保证稳定的两个保险丝

学习率调度我推荐CosineAnnealingLR，而不是死板的StepLR。Cosine调度会随着训练轮次平滑地降低学习率，在训练后期让模型在更细致的范围内收敛，整体稳定性更好。

早停是另一个保险丝。监控验证集loss，如果连续5个epoch没有下降，就停止训练并恢复到历史最佳状态。这个机制能防止训练后期过拟合，而且能保证你拿到的始终是验证集上最好的一版权重，而不是最后一个epoch的权重。注意，这里要看验证集loss而不是准确率，loss对过拟合的响应更灵敏。

4.4 一个可以直接套用的训练超参模板

我把上面讨论到的参数整理成一个模板，课程设计直接照抄基本不会出大问题：

4.5 评估指标：只看准确率会骗人

中草药识别里，类别之间的相似度太高，单独一个“测试集准确率”数字说明不了太多问题。我每次都会顺手输出混淆矩阵，看看哪些类别容易互相混。比如黄芪切片和甘草切片在纹理上本来就接近，如果模型只是偶尔把它们两个搞混，而不是把黄芪认成金银花，说明模型学到的东西其实还算靠谱。

另外，我还建议算一下Top-2准确率。因为两个外观相近的药材本来就需要专业鉴别，如果模型的Top-2候选里包含了正确答案，这个结果对用户来说就有参考价值。答辩的时候把这个指标摆出来，比空口说“准确率百分之多少”有说服力得多。

5. 让课程设计能现场演示：识别流程、界面交互与兜底策略

5.1 推理预处理必须和训练保持一致

训练完模型，紧接着就是做推理演示。这里最容易犯的错误是：推理时用了和训练不同的预处理方式。比如训练时用了Normalize，但推理时忘了写；训练时是先Resize到256再CenterCrop到224，推理时直接Resize到224。这些看起来很小的不一致，会让模型输出完全跑偏。

推理侧的预处理我习惯这样写：

from PIL import Image import torchvision.transforms as T transform = T.Compose([ T.Resize((256, 256)), T.CenterCrop(224), T.ToTensor(), T.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) image = Image.open("test_herb.jpg").convert("RGB") input_tensor = transform(image).unsqueeze(0)

如果训练和推理用的mean/std不同，模型输入数据分布就变了，再好的权重也白搭。这个细节在答辩现场很容易被导师的随口一问暴露出来，提前统一好能避免很多尴尬。

5.2 置信度阈值与“无法识别”机制

这里我要强调一个概念：Softmax输出的置信度不是真实的概率，它只表示“模型在当前已知类别里的相对把握”。你把一张餐桌图片丢给一个20类的药材模型，它也会煞有介事地输出某个药材类别和很高的置信度，因为模型的输出层根本没有“不属于已知类别”这个选项。

解决办法是设定一个置信度阈值。我在项目中一般阈值设0.5左右，低于它就让界面输出“无法识别，请提供主体更清晰、背景更简单的图片”。这个“不知道就说不知道”的机制，在现场演示时非常有价值：它向评审传达了一个信号——你理解模型的能力边界，而不是把一个玩具硬说成万能工具。

同时输出Top-3而不是只输出第一名。原因是中草药类别之间相似度太高，Top-3的分布能给用户更多判断空间，也避免“模型明明已经接近了但刚好选错”的尴尬。

5.3 一段可以快速跑通的演示代码

课程设计阶段不需要搭复杂的后台，用Flask写一个上传图片返回JSON的极简服务就够了。核心代码大致这样：

from flask import Flask, request, jsonify import torch from PIL import Image app = Flask(__name__) model = load_model() # 加载训练好的模型 class_names = ["gouqi", "huangqi", ...] @app.route("/recognize", methods=["POST"]) def recognize(): file = request.files.get("image") if not file: return jsonify({"error": "未收到图片"}), 400 image = Image.open(file.stream).convert("RGB") tensor = preprocess(image) # 和训练完全一致的预处理 with torch.no_grad(): probs = torch.softmax(model(tensor), dim=1)[0] topk = probs.topk(3) result = [{"class": class_names[idx], "prob": round(float(p), 4)} for idx, p in zip(topk.indices, topk.values)] return jsonify(result) if __name__ == "__main__": app.run(host="127.0.0.1", port=5000)

前端部分不用过度设计，一个文件上传控件加一个结果展示区域足够，重点把“置信度条”和“参考提示”显示清楚。

5.4 现场演示的三条经验

第一，提前准备好2到3张标准测试图，其中至少一张是高清、主体居中的，至少一张是“非药材图片”或者“背景极乱”的，用来演示“无法识别”的兜底逻辑。第二，模型加载和权重初始化需要时间，现场千万别等到众目睽睽之下才第一次加载模型。先在自己电脑上跑一遍，等模型权重完全进入内存之后再开始演示。第三，如果想加摄像头实时识别，背景干扰会非常大，建议现场还是用“拍照上传再识别”的方式更稳妥。

6. 复盘：哪些坑可以提前绕开，还能往哪个方向拓展

6.1 我复盘排列前几名的时间黑洞

做这个项目的时候，真正耗时间的不是“写模型”和“调参数”，而是数据整理。原始数据里的重复图、错标签、命名混乱，每一项都能轻松吃掉一整天。而且类别定义一旦中途变动，前面跑过的所有训练结果等于全部作废，得重新跑。所以我的建议非常明确：开工前先花一整天把数据理干净，把类别口径写死在文档里，这比多跑几个模型更重要。

第二个时间黑洞是“模型能跑通”和“现场能稳定演示”之间的差距。训练精度再高，如果演示页面上传逻辑有问题、预处理不一致、模型加载慢，答辩效果都会大打折扣。至少留出20%的时间专门打磨演示链路。

6.2 拓展方向一：从“看图分类”到“定位加识别”

如果以后想让项目更接近真实使用场景，建议引入目标检测思路。用户拍摄的照片往往包含一堆复杂背景，甚至多个药材同时出现。先用检测模型定位出每个药材的区域，再送到分类模型里去判断类别。这样识别流程更自然，项目也从“单一分类Demo”升级成了“检测+分类”两阶段系统，在毕业设计里是明显的加分项。

6.3 拓展方向二：多标签识别与相似图像检索

不少药材图像同时包含多个可辨识特征，比如一张图里既有根茎又有叶片。这种情况天然适合多标签分类，而不是强制单选一个类别。另一个方向是图像检索：把所有已知类别图片的嵌入向量离线算好，新图片进来时计算它与哪个已有向量最接近，并用相似度排序代替硬性的Top-1输出。这个思路对“相近药材区分”有奇效，因为检索结果天然给用户一个对照图集，比单纯看一个类别名更直观。

6.4 最后想说的个人体会

做完整轮中草药识别项目之后，我最深的感受是：这种任务真正锻炼人的地方不在模型结构本身，而在“数据意识”和“预期管理”。什么任务该用什么模型，哪些类别能分清楚哪些本身就不可能分清楚，这种判断力比背几个网络结构重要得多。如果你正在做同样的课程设计，哪怕最后代码写得不算惊艳，只要能把数据和边界想明白，答辩的时候也一样能底气十足——这个项目最大的价值，是让你明白深度学习应用不是“喂数据等结果”，而是先理解任务、再设计系统、最后才轮到模型上场。