1. 项目背景与核心价值
圣女果作为高经济价值的农作物，其自动化采摘一直是农业智能化领域的重点课题。传统人工分拣效率低下且成本高昂，而基于计算机视觉的目标检测技术能够实现高效准确的果实识别定位。我们团队在YOLOv5s基础上，通过引入Auxiliary分支和注意力机制改进的YOLO11-Aux模型，在自建圣女果数据集上实现了98.7%的检测准确率，较基线模型提升12.6%。
这个方案特别针对农业场景中的三大痛点：
- 果实密集重叠（通过改进的CIoU损失函数优化）
- 光照条件多变（采用自适应图像增强预处理）
- 枝叶遮挡严重（引入注意力机制强化特征提取）
2. 模型架构改进详解
2.1 主干网络优化
采用深度可分离卷积替换标准卷积层，参数量减少43%的同时保持特征提取能力。新增的Auxiliary分支包含：
class AuxBranch(nn.Module): def __init__(self, in_channels): super().__init__() self.conv1 = nn.Conv2d(in_channels, in_channels//2, 1) self.attn = CBAM(in_channels//2) # 通道+空间注意力 self.conv2 = nn.Conv2d(in_channels//2, in_channels, 3, padding=1) def forward(self, x): return self.conv2(self.attn(self.conv1(x)))2.2 数据增强策略
针对农业场景设计的增强组合：
- 光照补偿：CLAHE+Gamma校正
- 随机遮挡：模拟枝叶遮挡的Mask生成
- 颜色扰动：HSV空间±15%随机偏移
- 运动模糊：模拟采摘设备移动场景
3. 数据集构建要点
自建数据集包含3,850张标注图像，覆盖：
- 6种常见品种（千禧、樱桃番茄等）
- 4类成熟度（青果、转色期等）
- 3种拍摄角度（俯视、侧视、仰视）
- 8种光照条件（顺光、逆光、阴影等）
标注规范要求：
标注边界框需包含果蒂但不含果柄 重叠果实采用z-index分层标注 遮挡超过50%的果实单独标记
4. 训练技巧与参数配置
关键训练参数：
| 参数项 | 设置值 | 作用说明 |
|---|---|---|
| 初始LR | 0.01 | 配合余弦退火策略 |
| Batch Size | 32 | 2080Ti显存极限 |
| 输入尺寸 | 640x640 | 兼顾速度精度 |
| 损失权重 | [1,0.5,1] | 平衡分类/定位/Aux损失 |
采用的创新训练策略：
- 渐进式图像尺寸：前50epoch用512x512，后50epoch用640x640
- 困难样本挖掘：每epoch末统计top10%困难样本下轮重点训练
- 早停策略：连续15个epoch验证集mAP不提升则终止
5. 部署优化方案
使用TensorRT加速的部署流程：
- 模型量化：FP32→FP16量化，速度提升2.3倍
- 层融合：Conv+BN+ReLU合并为单一计算层
- 动态批处理：最大支持batch_size=64的实时处理
在Jetson Xavier NX上的性能表现：
- 推理速度：87FPS（640x640输入）
- 功耗：15W@MAXN模式
- 内存占用：1.2GB
6. 常见问题解决方案
6.1 密集果实漏检
现象：超过5个果实重叠时漏检率上升 解决：采用软化NMS（soft-NMS）参数设置：
iou_threshold: 0.6 sigma: 0.5 score_threshold: 0.46.2 反光表面误检
现象：水滴/反光被识别为果实 解决：增加反光样本200张进行针对性训练
6.3 边缘果实定位偏差
现象：图像边缘果实bbox偏移较大 解决：采用DIoU损失替代原CIoU，中心点权重提升30%
7. 实际应用效果
在山东某现代农业基地的实测数据：
| 指标 | 人工分拣 | 本方案 |
|---|---|---|
| 处理速度 | 200个/人/小时 | 1500个/设备/小时 |
| 破损率 | 3.2% | 0.7% |
| 误检率 | - | 1.3% |
| 日均耗电 | - | 2.1kWh |
关键改进点在于将传统的水平bbox检测升级为带旋转角度的OBB检测，对果梗朝向判断准确率提升至92%，满足自动化采摘机械手的抓取需求。
