基于VOC格式垃圾数据集的目标检测实战：从数据清洗到YOLOv5模型部署-育师

简介：本资源是一份面向计算机视觉初学者与算法工程师的高质量垃圾分类检测数据集，专为YOLOv3/v4/v5及Darknet框架训练优化，解决目标检测任务中细粒度类别标注匮乏、格式兼容性差等实际问题。数据集严格遵循Pascal VOC标准，包含14963张真实场景垃圾图像（JPG）、对应14963份XML标注文件（含44类英文标签矩形框）及14963份YOLO格式TXT标签，另附1个类别映射文件并提供中英文对照说明，支持开箱即用的多模型适配。压缩包共44891个文件，总计791.41MB，结构清晰、命名规范，便于批量加载与数据增强。目前已有1896人学习下载，读者可直接用于模型训练、精度验证与跨框架迁移实验，尤其适合开展城市智能环卫、环保AI应用等落地项目开发。

1. 项目概述：一份“开箱即用”的垃圾检测数据集

最近在折腾一个社区智能垃圾桶的项目，核心需求就是让摄像头能自动识别出居民扔的是什么类型的垃圾，好进行后续的分类和处理。大家都知道，做目标检测，第一步也是最关键的一步，就是搞到一个高质量、标注好的数据集。自己标注？那真是个体力活，14963张图，想想都头大。所以当我发现网上流传着这个“垃圾数据集VOC-14963张”的资源时，第一反应就是：这要是真的，那可省大事了。

这个数据集之所以吸引人，关键词都写在标题里了：VOC格式、14963张图像、适用于yolov3、yolov4、yolov5以及darknet框架训练。对于刚入门目标检测，或者想快速验证一个垃圾分类模型的朋友来说，这听起来就像一份“开箱即用”的解决方案。VOC格式是目标检测领域一个非常经典的数据集格式，结构清晰，很多框架都原生支持或者有方便的转换脚本。而yolov3/v4/v5更是当前工业界和学术界应用最广泛的单阶段检测算法之一，尤其是yolov5，以其易用性和不错的性能，成为了很多人的首选。所以，这个数据集直接瞄准了最主流的技术栈。

但是，天上不会掉馅饼。一个公开的、标注了上万张图片的数据集，其质量究竟如何，直接决定了我们后续模型训练的上限。这份数据集真的能“开箱即用”吗？它的标注质量、类别定义、场景覆盖度是否满足我们的实际项目需求？今天，我就结合自己实际使用和评估这个数据集的经历，来给大家深度拆解一下，看看它到底好不好用，以及如何最高效地把它用起来。

2. 数据集深度解析：从文件结构到标注质量

拿到一个数据集，第一步绝对不是直接扔进训练脚本。先花点时间把它里里外外看清楚，能避免后面80%的麻烦。这个“垃圾数据集”通常以压缩包形式提供，解压后，我们看到的应该是一个标准的VOC数据集目录结构。

2.1 VOC格式标准结构与内容核查

一个标准的VOC2007/2012格式数据集，核心目录如下：

VOCdevkit/ └── VOC2007（或自定义名称如“Garbage”） ├── Annotations # 存放所有XML格式的标注文件 ├── ImageSets │ └── Main # 存放训练集、验证集、测试集的划分文件（.txt） ├── JPEGImages # 存放所有的原始图像文件 └── SegmentationClass # （可选）用于语义分割的标注图，目标检测通常不关心

首先，检查JPEGImages。这里应该有14963个.jpg或.jpeg文件。你需要快速浏览一部分图片，确认几点：

图像来源与质量：图片是网络爬虫、公开数据集拼接，还是专门拍摄的？图像分辨率是否统一？是否存在大量模糊、过暗、过曝的无效图片？我遇到过一些数据集，里面混入了大量无关的网页截图或水印严重的图片，这种数据必须清洗掉。
场景多样性：垃圾出现在什么场景？是干净的实验室桌面、杂乱的家庭地面、户外垃圾桶旁，还是运输带上？场景的多样性决定了模型的泛化能力。如果全是摆拍的白底图，那模型在实际复杂环境中很可能失效。
垃圾类别可视性：垃圾物体是完整呈现，还是被遮挡？是单个物体，还是多个物体堆积？标注的“垃圾”是泛指一个袋子/桶，还是里面具体的物品（如矿泉水瓶、香蕉皮）？这直接关系到你项目的定义。

其次，检查Annotations。每个JPEGImage都应对应一个同名的.xml文件。用文本编辑器打开几个xml文件，关键看以下几点：

标注框（Bounding Box）精度：<bndbox>标签里的xmin, ymin, xmax, ymax坐标是否准确框住了物体？是否存在框过大（包含太多背景）或过小（没框全物体）的情况？可以写个简单的脚本，随机抽样几十张图片，把标注框画上去可视化检查，这是最直观的方法。
类别名称（<name>标签）：这是重中之重！数据集到底定义了哪些垃圾类别？常见的可能有plastic（塑料）、paper（纸张）、metal（金属）、glass（玻璃）、cardboard（纸板）、trash（其他垃圾）等。但具体是哪些，必须看<object>里的<name>字段。我见过一些数据集，类别命名不规范，比如同时存在bottle和plastic_bottle，或者can和metal_can，这会在训练时造成混淆。你需要统计所有类别，并考虑是否要合并或重命名。
标注完整性：是否存在该标的物体没标（漏标）？对于密集的小物体（如一堆瓶盖），标注是否齐全？漏标会直接成为模型学习的负样本，影响精度。

最后，检查ImageSets/Main。这里应该有像train.txt，val.txt，test.txt这样的文件，里面每一行是一个图像文件名（不含后缀），指明了哪些图用于训练、验证和测试。如果这个数据集没有提供划分，你需要自己按比例（如8:1:1）随机划分并生成这些文件。切记，一定要在划分前进行上述的数据质量检查，确保划分时训练集和验证集的数据分布（类别、场景）是相似的。

注意：很多公开数据集为了规避版权风险，不直接提供原始图像，而是提供图片的URL列表。如果是这种情况，你需要自己根据URL去下载图片，这个过程很可能因为链接失效而无法获取全部14963张图，实际能用的会大打折扣。务必先确认数据集的提供形式。

2.2 垃圾类别定义与项目适配性分析

假设通过检查，我们发现这个数据集的类别定义为：plastic,paper,metal,glass,cardboard,trash。这看起来是借鉴了可回收物的常见分类。但在实际的中国社区垃圾分类项目中，这个定义可能需要调整。

例如，我们的项目可能需要区分“厨余垃圾”（如剩菜剩饭）、“有害垃圾”（如电池、药品）、“可回收物”（再细分为塑料、纸张等）和“其他垃圾”。那么，这个数据集的trash类别就过于笼统了。plastic类别里，是否包含了塑料袋、塑料瓶、塑料餐盒？这些在回收处理时可能有细微差别。

因此，使用前的关键一步是：映射与适配。你需要根据自己项目的需求，建立这个数据集类别与你项目目标类别之间的映射关系。例如：

项目需要“可回收塑料” -> 映射到数据集的plastic
项目需要“废纸张” -> 映射到数据集的paper和cardboard
项目需要“其他垃圾” -> 可能映射到数据集的trash，但需要检查trash里的图片是否真的符合“其他垃圾”定义（如污染纸张、一次性餐具等）。

如果数据集的类别无法满足你的需求，你可能需要：

放弃部分类别：只使用其中符合你定义的类别图片进行训练。
进行标注修正：利用标注工具（如LabelImg）对部分错误或缺失的标注进行修改和补充。这是一个费时但能显著提升数据质量的工作。
寻找补充数据：用这个数据集作为预训练，再在自己的少量精准数据上进行微调（Fine-tuning）。

2.3 数据集的潜在问题与清洗策略

根据我的经验，这类公开聚合数据集常见以下问题，你需要制定清洗策略：

类别不平衡：plastic和paper的图片可能占大多数，而glass和metal很少。这会导致模型对少数类别识别能力差。解决方案包括：对少数类图片进行过采样（复制）、在损失函数中给少数类更高的权重（如Focal Loss）、或者使用数据增强专门针对少数类生成新样本。
标注噪声：包括错误的类别标签、不精确的边界框。可以通过模型预测结果进行交叉验证，找出那些模型始终预测错误、但标注为正确的样本进行人工复核。
重复或高度相似图像：这会导致数据泄露，让模型在测试集上取得虚高的性能。可以使用感知哈希（pHash）或特征提取计算图像相似度，去除重复项。
无关图像：混入的非垃圾图片。只能通过人工抽样检查或训练一个初版模型，用模型找出那些预测置信度极低（即模型认为“这不是任何已知垃圾”）的图片进行排查。

实操心得：不要试图一次性清洗完所有数据。可以先用原始数据集训练一个初始模型，这个模型本身就是一个强大的“数据质量检测器”。模型在验证集上表现差的类别，往往就是数据问题最多的类别。然后有针对性地对这些类别的数据进行清洗和增强，效率最高。

3. 从VOC到YOLO：格式转换与训练环境搭建

数据检查清洗完毕后，下一步就是将其转换成YOLO系列模型所需的格式，并搭建训练环境。虽然标题提到了darknet，但yolov5的PyTorch实现因其易用性更受欢迎，这里以yolov5为例，其他版本原理相通。

3.1 YOLO格式详解与转换脚本编写

VOC格式的标注信息存储在XML中，而YOLO格式则是一个简单的.txt文件对应一张图片。txt文件中每一行代表一个物体，格式为：

<class_id> <x_center> <y_center> <width> <height>

这些坐标值是归一化后的，即相对于图片宽度和高度的比例值，范围在[0, 1]之间。

转换的核心步骤是解析XML文件，计算归一化中心坐标和宽高。下面是一个Python转换脚本的核心逻辑：

import xml.etree.ElementTree as ET import os def convert_annotation(voc_annotation_path, classes_list): tree = ET.parse(voc_annotation_path) root = tree.getroot() size = root.find('size') img_w = int(size.find('width').text) img_h = int(size.find('height').text) yolo_lines = [] for obj in root.iter('object'): cls_name = obj.find('name').text if cls_name not in classes_list: continue # 跳过不在目标类别列表中的物体 cls_id = classes_list.index(cls_name) xmlbox = obj.find('bndbox') xmin = float(xmlbox.find('xmin').text) ymin = float(xmlbox.find('ymin').text) xmax = float(xmlbox.find('xmax').text) ymax = float(xmlbox.find('ymax').text) # 计算归一化中心坐标和宽高 x_center = (xmin + xmax) / 2.0 / img_w y_center = (ymin + ymax) / 2.0 / img_h width = (xmax - xmin) / img_w height = (ymax - ymin) / img_h # 确保坐标在[0,1]范围内 x_center = max(0, min(1, x_center)) y_center = max(0, min(1, y_center)) width = max(0, min(1, width)) height = max(0, min(1, height)) yolo_lines.append(f"{cls_id} {x_center:.6f} {y_center:.6f} {width:.6f} {height:.6f}") return yolo_lines # 假设你的类别列表 classes = ['plastic', 'paper', 'metal', 'glass', 'cardboard', 'trash'] # 遍历Annotations目录，为每个XML生成对应的txt文件

注意事项：

坐标边界处理：上述的max(0, min(1, ...))处理很重要。有些标注框可能因为人工误差略微超出图像边界（如xmin为-2），直接计算会导致归一化坐标异常，必须进行裁剪。
类别ID连续性：YOLO的class_id必须是从0开始的连续整数。如果你的classes列表是['plastic', 'paper', 'metal']，那么ID就是0,1,2。如果你只使用其中部分类别，比如只用plastic和metal，那么列表应为['plastic', 'metal']，对应的ID就是0和1。务必保证classes列表的顺序与后续模型配置文件中的顺序完全一致！
路径与划分：转换时，要根据ImageSets/Main/train.txt等划分文件，只转换对应集合的图片，并将生成的txt文件与图片放在约定的目录下。YOLOv5通常期望的目录结构是：

datasets/ └── garbage/ # 自定义数据集名称 ├── images/ │ ├── train/ # 存放训练集图片 │ └── val/ # 存放验证集图片 └── labels/ ├── train/ # 存放训练集标签txt └── val/ # 存放验证集标签txt

3.2 训练环境配置与yolov5项目初始化

现在主流是使用Ultralytics维护的yolov5版本。环境搭建非常顺畅。

# 1. 克隆仓库 git clone https://github.com/ultralytics/yolov5 cd yolov5 # 2. 创建并激活虚拟环境（推荐） conda create -n yolov5-garbage python=3.8 conda activate yolov5-garbage # 3. 安装依赖 (PyTorch根据你的CUDA版本安装) pip install -r requirements.txt # 如果使用GPU，去PyTorch官网获取对应的安装命令，例如： # pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

接下来，需要为我们的垃圾数据集创建一个配置文件。在yolov5/data/目录下，复制一个现有的配置文件（如coco128.yaml），重命名为garbage.yaml，并修改内容：

# garbage.yaml path: ../datasets/garbage # 数据集根目录 train: images/train # 训练集图片路径，相对于path val: images/val # 验证集图片路径，相对于path # 类别数 nc: 6 # 根据你的实际类别数修改，例如 plastic, paper, metal, glass, cardboard, trash 共6类 # 类别名称列表，必须与转换脚本中的classes列表顺序完全一致！ names: ['plastic', 'paper', 'metal', 'glass', 'cardboard', 'trash']

关键点解析：

path：建议使用绝对路径，避免相对路径可能导致的找不到文件问题。例如：path: /home/user/projects/garbage_detection/datasets/garbage
nc和names：这是最容易出错的地方。nc必须等于names列表的长度。模型输出的维度、损失计算都依赖于这个数字。一旦弄错，训练会直接报错或产生毫无意义的结果。

3.3 模型选择与超参数初步配置

yolov5提供了不同大小的模型：yolov5s（小）、yolov5m（中）、yolov5l（大）、yolov5x（超大）。选择哪个？

yolov5s：参数量最小，速度最快，适合移动端或边缘设备部署（如树莓派、Jetson Nano）。如果你的垃圾检测是实时视频流处理，且硬件资源有限，这是首选。但精度通常最低。
yolov5m/l：平衡了精度和速度。对于服务器或有GPU的工控机，yolov5m是一个很好的起点。如果数据集质量高、类别区分难度大，可以尝试yolov5l。
yolov5x：参数量最大，精度最高，但训练和推理速度慢，需要更多的显存。除非你对精度有极致要求，且硬件充足，否则不建议一开始就用。

对于14963张图的数据集，我的建议是：从yolov5m开始。它比s模型有更强的特征提取能力，能更好地利用上万张的数据，同时又比l和x模型更轻量，训练周期短，方便快速迭代。

关于超参数，yolov5在data/hyps/目录下提供了针对不同需求的预设超参数文件，如hyp.scratch-low.yaml（轻量增强）和hyp.scratch-high.yaml（强力增强）。对于垃圾检测这种场景，物体可能形态固定（如瓶子、盒子），但光照、遮挡、摆放角度多变。我建议初期使用默认的hyp.scratch-med.yaml（中等强度增强），它包含了Mosaic数据增强、随机仿射变换、色彩抖动等，能有效提升模型泛化能力，又不会因增强过强而引入太多噪声。

4. 模型训练、监控与调优实战

环境和数据准备好后，就可以开始训练了。训练不是简单的敲命令等结果，而是一个需要持续观察和调整的过程。

4.1 启动训练与关键日志解读

使用以下命令启动训练：

python train.py --img 640 --batch 16 --epochs 100 --data data/garbage.yaml --cfg models/yolov5m.yaml --weights yolov5m.pt --hyp data/hyps/hyp.scratch-med.yaml --name garbage_det_v1

参数解释与选择依据：

--img 640：输入图像尺寸。YOLO系列要求输入为正方形，通常为640x640。更大的尺寸（如1280）可能提升对小物体的检测精度，但会显著增加计算量和显存消耗。对于垃圾物体，通常尺寸不会特别小，640是一个兼顾速度和精度的通用选择。
--batch 16：批次大小。这取决于你的GPU显存。在显存允许的情况下，较大的batch size（如32、64）能使训练更稳定，梯度估计更准确。你可以从16开始，如果训练时看到“CUDA out of memory”错误，就降低batch（如8），或者减小--img尺寸。
--epochs 100：训练轮数。对于1.4万张图的数据集，100个epoch通常是一个合理的起点。你可以观察验证集损失是否已平稳，或精度是否不再上升，来决定是否提前停止或继续增加。
--weights yolov5m.pt：加载预训练权重。强烈建议使用预训练权重！这些权重是在COCO等大型数据集上训练得到的，包含了丰富的通用特征（边缘、纹理、形状），能极大加速你的模型收敛，并提升最终精度。从零开始训练（scratch）需要更长时间和更多技巧。
--name garbage_det_v1：给本次实验起个名字，所有输出（模型权重、日志、图表）都会保存在runs/train/garbage_det_v1目录下。

训练开始后，控制台会打印日志，更重要的是要关注runs/train/garbage_det_v1目录下生成的results.png和results.csv。

损失曲线（loss curves）：关注train/box_loss,train/obj_loss,train/cls_loss以及对应的val/损失。理想情况是训练损失和验证损失都平稳下降，并且两者之间的差距（gap）不要过大。如果验证损失很早就停止下降甚至上升，而训练损失持续下降，这是典型的过拟合迹象，说明模型只记住了训练集的特例。
精度指标（metrics）：最重要的是metrics/mAP_0.5和metrics/mAP_0.5:0.95。mAP_0.5是IoU阈值为0.5时的平均精度，是比较宽松的指标。mAP_0.5:0.95是在多个IoU阈值（从0.5到0.95，步长0.05）下的平均mAP，是更严格、更综合的指标。训练过程中，这些指标应该总体呈上升趋势。
类别精度：results.csv里会有每个类别的精确率（precision）、召回率（recall）和AP。这能帮你发现哪些类别学得好，哪些类别学得差。例如，如果glass的AP远低于其他类别，可能就需要回头检查glass类别的数据是否太少、标注质量是否差。

4.2 过拟合应对与数据增强策略调整

如果发现过拟合（验证集指标早于训练集达到峰值后下降），可以采取以下措施：

增加数据增强强度：修改hyp.scratch-med.yaml中的增强参数。例如，增加mosaic的概率（默认1.0），增加degrees（旋转角度范围）、translate（平移比例）、scale（缩放比例）等。但要注意，过度增强可能破坏图像语义，比如把瓶子旋转到完全不可能的角度。
引入正则化：yolov5默认使用了权重衰减（weight decay）。你可以尝试适当增加模型配置文件（.yaml）中的weight_decay参数，或者在hyp.yaml中调整。更直接的方法是使用DropOut，但YOLO系列原生设计通常不包含DropOut，你可以尝试在SPPF或Bottleneck等模块后手动添加，但这属于模型结构修改，需谨慎。
早停（Early Stopping）：监控验证集mAP，当其在连续10-20个epoch内不再提升时，手动停止训练，并回滚到验证集指标最好的那个epoch的模型权重（保存在runs/train/.../weights/best.pt）。
最根本的方法：扩充或清洗数据。如果某些场景或类别过拟合严重，说明训练数据缺乏这些方面的多样性。可以考虑收集更多相关场景的数据，或者使用生成式AI（如Stable Diffusion）合成一些难例样本，但合成数据的质量需要仔细评估。

实操心得：不要一上来就调复杂的超参数。数据质量是模型性能的天花板。我的经验是，70%的问题可以通过改善数据来解决。在调整模型和超参数前，多花时间分析bad case（模型预测错误的样本），看看是数据标注问题、类别定义模糊，还是场景缺失。

4.3 模型验证与测试集评估

训练完成后，使用验证集进行评估是标准操作，但更重要的是在一个从未参与过训练和验证调整的测试集上进行最终评估。

python val.py --weights runs/train/garbage_det_v1/weights/best.pt --data data/garbage.yaml --img 640 --task test

如果数据划分时没有专门的测试集，可以将验证集当作测试集，但要知道这样评估出来的性能可能会有点乐观（因为你在调参时已经间接看到了验证集）。

val.py脚本会输出详细的评估报告，包括：

所有类别的mAP
每个类别的精确率、召回率、AP
推理速度（FPS）

重点关注：

混淆矩阵（confusion matrix）：保存在runs/val/...目录下。它能清晰显示模型最容易混淆哪些类别。比如，你可能发现cardboard经常被误检为paper，这说明这两个类别在视觉特征上可能非常相似，需要考虑是否合并这两个类别，或者在数据层面增加更多有区分性的样本。
PR曲线（Precision-Recall Curve）：同样在结果目录中。曲线下的面积就是AP。如果某个类别的PR曲线非常靠近坐标轴，说明该类别的检测性能很差。
推理可视化：使用--save-txt和--save-conf参数可以保存预测结果和置信度。更重要的是，用--save-conf生成带预测框的图片，直观地查看模型在哪些地方成功了，在哪些地方失败了（漏检、误检、框不准）。

5. 模型部署与性能优化要点

训练出一个满意的模型（比如best.pt）只是第一步，最终要让它跑在实际的应用环境中。这里涉及到模型导出、优化和部署。

5.1 模型导出：从PyTorch到部署格式

yolov5的.pt文件是PyTorch的模型权重和结构打包格式。为了在不同平台部署，需要将其转换为更通用的格式。

1. 导出为TorchScript (*.torchscript)

python export.py --weights runs/train/garbage_det_v1/weights/best.pt --include torchscript

TorchScript是PyTorch自带的序列化格式，可以在没有Python环境的C++程序中通过LibTorch库加载运行，性能较好。

2. 导出为ONNX (*.onnx)

python export.py --weights runs/train/garbage_det_v1/weights/best.pt --include onnx --dynamic # 动态输入尺寸

ONNX是一个开放的模型交换格式，被TensorRT, OpenVINO, ONNX Runtime等众多推理引擎支持。--dynamic参数允许模型接受可变尺寸的输入，增加灵活性。导出ONNX后，建议用onnx-simplifier工具对其进行简化，去除冗余操作。

3. 导出为TensorRT (*.engine)如果你在NVIDIA GPU上部署，TensorRT能提供极致的推理加速。

python export.py --weights best.pt --include engine --device 0 # 需要提前安装TensorRT

或者，先导出为ONNX，再用TensorRT的trtexec工具或Python API将ONNX转换为TensorRT引擎。转换时可以指定精度（FP32, FP16, INT8），INT8量化能大幅提升速度并减少显存占用，但可能需要一个校准数据集来保证精度损失最小。

选择建议：

服务器（NVIDIA GPU）：优先考虑TensorRT (FP16/INT8)，追求极致性能。
边缘设备（如Jetson系列）：TensorRT是官方优化方案，同样是首选。
跨平台（CPU/GPU，多种硬件）：ONNX格式配合ONNX Runtime，兼容性最好。
C++嵌入式环境：TorchScript + LibTorch。

5.2 部署推理代码编写示例（以ONNX Runtime为例）

这里给一个简单的Python示例，展示如何加载导出的ONNX模型并进行推理：

import cv2 import numpy as np import onnxruntime as ort class GarbageDetector: def __init__(self, onnx_path, conf_thresh=0.25, iou_thresh=0.45): self.conf_threshold = conf_thresh self.iou_threshold = iou_thresh # 初始化ONNX Runtime会话 self.session = ort.InferenceSession(onnx_path) self.input_name = self.session.get_inputs()[0].name # 获取输入输出信息 self.input_shape = self.session.get_inputs()[0].shape # 通常是[1, 3, 640, 640] self.output_names = [output.name for output in self.session.get_outputs()] def preprocess(self, image): """将输入图像预处理为模型需要的格式""" # 调整大小并保持长宽比填充 h, w = image.shape[:2] input_h, input_w = self.input_shape[2], self.input_shape[3] scale = min(input_h / h, input_w / w) new_h, new_w = int(h * scale), int(w * scale) resized_img = cv2.resize(image, (new_w, new_h)) # 创建画布并填充 canvas = np.full((input_h, input_w, 3), 114, dtype=np.uint8) canvas[(input_h - new_h)//2: (input_h - new_h)//2 + new_h, (input_w - new_w)//2: (input_w - new_w)//2 + new_w, :] = resized_img # 转换通道顺序 HWC -> CHW, BGR -> RGB, 归一化 canvas = canvas.transpose(2, 0, 1) # CHW canvas = canvas[::-1, :, :] # BGR to RGB canvas = canvas.astype(np.float32) / 255.0 # 归一化 canvas = np.ascontiguousarray(canvas) return canvas, scale, (input_h - new_h)//2, (input_w - new_w)//2 # 返回图像和填充偏移量 def postprocess(self, outputs, scale, pad_top, pad_left): """将模型输出解析为检测框""" # outputs是一个列表，通常第一个元素是预测张量，形状为[1, num_boxes, 85] # 85 = cx, cy, w, h, conf, class_prob1, class_prob2, ... predictions = outputs[0][0] # [num_boxes, 85] # 过滤低置信度预测 conf_mask = predictions[:, 4] > self.conf_threshold predictions = predictions[conf_mask] if predictions.shape[0] == 0: return [] # 将中心点坐标和宽高转换为左上右下坐标，并还原到原始图像尺寸 boxes = predictions[:, :4] scores = predictions[:, 4:5] * predictions[:, 5:] # 对象置信度 * 类别置信度 class_ids = np.argmax(scores, axis=1) class_scores = np.max(scores, axis=1) # 转换框坐标 (cx, cy, w, h) -> (x1, y1, x2, y2) 并去除填充 boxes[:, 0] = (boxes[:, 0] - boxes[:, 2] / 2 - pad_left) / scale # x1 boxes[:, 1] = (boxes[:, 1] - boxes[:, 3] / 2 - pad_top) / scale # y1 boxes[:, 2] = (boxes[:, 0] + boxes[:, 2]) / scale # x2 boxes[:, 3] = (boxes[:, 1] + boxes[:, 3]) / scale # y2 # 应用非极大值抑制 (NMS) indices = cv2.dnn.NMSBoxes(boxes.tolist(), class_scores.tolist(), self.conf_threshold, self.iou_threshold) if len(indices) > 0: indices = indices.flatten() final_boxes = boxes[indices] final_scores = class_scores[indices] final_class_ids = class_ids[indices] # 组装结果 results = [] for box, score, cls_id in zip(final_boxes, final_scores, final_class_ids): x1, y1, x2, y2 = box results.append({ 'bbox': [int(x1), int(y1), int(x2), int(y2)], 'score': float(score), 'class_id': int(cls_id), 'class_name': self.class_names[int(cls_id)] # 需要提前定义class_names }) return results return [] def detect(self, image): """主检测函数""" processed_img, scale, pad_top, pad_left = self.preprocess(image) # 增加批次维度并推理 input_tensor = processed_img[np.newaxis, ...] outputs = self.session.run(self.output_names, {self.input_name: input_tensor}) detections = self.postprocess(outputs, scale, pad_top, pad_left) return detections # 使用示例 detector = GarbageDetector('best.onnx') detector.class_names = ['plastic', 'paper', 'metal', 'glass', 'cardboard', 'trash'] # 必须与训练时一致 img = cv2.imread('test.jpg') results = detector.detect(img) for det in results: print(f"检测到 {det['class_name']}, 置信度: {det['score']:.2f}, 位置: {det['bbox']}")

这段代码涵盖了部署的核心流程：预处理（尺寸调整、归一化）、推理、后处理（坐标转换、NMS）。在实际项目中，你需要根据具体的部署框架（如TensorRT、OpenVINO）调整预处理和后处理的实现。

5.3 性能瓶颈分析与优化

部署后如果发现推理速度不达标，需要进行性能分析：

Profiling（性能剖析）：使用工具（如PyTorch Profiler, NVIDIA Nsight Systems, ONNX Runtime的性能分析）找出耗时最多的操作。通常是模型中的某些算子（如某些自定义激活函数）或后处理的NMS部分。
输入分辨率：降低--img参数（如从640降到320）能成倍减少计算量，但会损失对小物体的检测精度。需要根据实际场景中垃圾的最小尺寸来权衡。
模型简化：考虑使用更小的模型（如从yolov5m换到yolov5s），或者使用模型剪枝、蒸馏等技术来压缩模型。
量化：如之前提到的，FP16或INT8量化能大幅提升GPU上的推理速度并减少内存占用。INT8量化通常需要一批代表性数据来进行校准。
批处理（Batch Inference）：如果一次需要处理多张图片（如从视频流中缓存几帧），使用批处理能更充分地利用GPU并行计算能力，显著提高吞吐量。
后端优化：确保使用了最适合你硬件和模型格式的推理后端。例如，在Intel CPU上，使用OpenVINO优化过的ONNX模型；在NVIDIA GPU上，使用TensorRT。

踩坑记录：有一次在Jetson Nano上部署，发现FPS很低。通过 profiling 发现，大部分时间花在了图像预处理（resize, pad）和结果后处理（NMS）上，而不是模型推理本身。后来将预处理和后处理都改用CUDA加速的核函数实现，并将多个步骤融合，才将FPS提升到可接受的水平。所以，在边缘设备上，前后处理的优化往往和模型优化同等重要。