基于YOLOv5的机器人视觉障碍物识别实战

1. 项目概述：机器人视觉中的障碍物识别

在机器人自主导航领域，障碍物识别是保证安全移动的核心技术。去年调试扫地机器人项目时，我发现传统红外传感器在复杂家居环境中经常误判透明玻璃和黑色家具。这正是深度学习视觉方案的价值所在——通过PyTorch构建的目标检测模型，机器人能像人类一样真正"看懂"环境。

这个项目将带您从零实现一个基于YOLOv5的轻量级检测模型，专门针对三类典型障碍物：低矮家具（高度<30cm）、悬垂物（如吊灯）和移动障碍（如宠物）。与常见教程不同，我们会重点解决实际部署中的三个痛点：如何在树莓派级别的硬件上实现实时推理、如何处理透明/反光材质，以及怎样优化训练数据不足的场景。

2. 环境搭建与工具选型

2.1 PyTorch环境配置

推荐使用conda创建专属环境，避免库版本冲突：

conda create -n obstacle_det python=3.8 conda activate obstacle_det pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 -f https://download.pytorch.org/whl/torch_stable.html

注意：如果使用Jetson等嵌入式设备，需要选择对应CUDA版本的PyTorch预编译包。我曾在一台Jetson Nano上浪费半天时间，最后发现是torch版本与JetPack不兼容。

2.2 数据集准备策略

自制数据集时建议采用以下目录结构：

dataset/ ├── images/ │ ├── train/ │ └── val/ └── labels/ ├── train/ └── val/

使用LabelImg标注时，保存为YOLO格式的txt文件（归一化坐标）。有个省时技巧：先用预训练模型做初步标注，人工只负责修正，效率能提升3倍。

3. 模型架构设计

3.1 轻量化网络选择

对比测试了三种backbone在Jetson Xavier上的表现：

最终选择EfficientNet-lite作为折中方案。这里有个坑：最后一层的SE模块在实际部署时会增加20%延迟，建议移除。

3.2 数据增强方案

针对障碍物检测的特殊性，我设计了增强组合：

transform = A.Compose([ A.HorizontalFlip(p=0.5), A.RandomBrightnessContrast(p=0.3), A.GlassBlur(p=0.1), # 模拟玻璃反光 A.RandomShadow(p=0.2), # 处理光照变化 A.Cutout(max_h_size=30, max_w_size=30, p=0.5) # 提升局部特征学习 ], bbox_params=A.BboxParams(format='yolo'))

4. 训练优化技巧

4.1 损失函数调参

采用CIoU Loss + Focal Loss的组合：

class CustomLoss(nn.Module): def __init__(self): super().__init__() self.ciou = CIoULoss(reduction='none') self.focal = FocalLoss(alpha=0.8, gamma=2) def forward(self, pred, target): iou_loss = self.ciou(pred[:, :4], target[:, :4]) cls_loss = self.focal(pred[:, 4:], target[:, 4]) return (iou_loss * target[:, 4]).mean() + cls_loss.mean()

关键参数说明：

• alpha=0.8：加大难样本权重
• gamma=2：抑制易分类样本梯度

4.2 学习率调度

采用余弦退火配合热启动：

scheduler = torch.optim.lr_scheduler.CosineAnnealingWarmRestarts( optimizer, T_0=10, # 初始周期 T_mult=2, # 周期倍增系数 eta_min=1e-6 # 最小学习率 )

实际训练中发现，当验证集loss连续3个epoch不下降时，手动重置周期能提升收敛效果。

5. 模型部署实战

5.1 ONNX转换优化

使用这个脚本避免常见的算子不支持问题：

torch.onnx.export( model, dummy_input, "model.onnx", opset_version=12, do_constant_folding=True, input_names=['input'], output_names=['output'], dynamic_axes={ 'input': {0: 'batch'}, 'output': {0: 'batch'} } )

重要提示：务必测试不同batch size下的推理表现。我曾遇到batch=1时正常，但batch>1就崩溃的情况，最后发现是自定义层的问题。

5.2 TensorRT加速

在Jetson设备上使用这个转换命令：

/usr/src/tensorrt/bin/trtexec \ --onnx=model.onnx \ --saveEngine=model.engine \ --fp16 \ --workspace=2048

实测fp16模式能使推理速度提升2.3倍，但要注意：

1. 某些层可能需要强制保持fp32精度
2. 输出层使用fp16可能导致精度损失

6. 实际应用案例

6.1 ROS集成方案

创建自定义消息类型：

class ObstacleMsg: def __init__(self): self.header = Header() self.class_id = 0 self.confidence = 0.0 self.bbox = [0.0]*4 # x,y,w,h self.distance = 0.0 # 测距数据

在ROS节点中实现异步推理：

def detection_callback(self, img_msg): if not self.busy: self.busy = True img = self.bridge.imgmsg_to_cv2(img_msg) results = self.model(img) # 推理 self.publish_results(results) self.busy = False

7. 性能优化记录

7.1 内存占用分析

使用py-spy工具发现的问题：

▶ py-spy top --pid 1234 Memory: - 框架开销：120MB - 模型参数：45MB - 中间缓存：210MB (可优化点)

通过预分配内存池，将中间缓存降到了80MB。

7.2 多线程处理

采用生产者-消费者模式：

self.det_queue = Queue(maxsize=3) # 防止积压 def image_thread(): while True: img = camera.capture() self.det_queue.put(img) def process_thread(): while True: img = self.det_queue.get() results = model(img) self.send_results(results)

8. 常见问题解决方案

8.1 透明物体检测优化

解决方案：

1. 数据层面：收集玻璃门、透明塑料等样本
2. 模型层面：添加边缘检测辅助任务
3. 硬件层面：配合ToF传感器数据融合

8.2 小目标漏检处理

有效策略：

• 修改anchor尺寸匹配小物体
• 添加FPN-P2层（高分辨率特征）
• 使用SAHI切片推理

9. 模型迭代路线

当前版本性能：

• 准确率：89.2% @IOU=0.5
• 速度：28FPS (Jetson Xavier)

下一步优化方向：

1. 知识蒸馏：用大模型指导小模型
2. 量化训练：int8量化提升速度
3. 多模态融合：结合深度信息

在最近的实际部署中，这套系统成功将扫地机器人的碰撞率降低了76%。特别在宠物识别场景，误判次数从每小时3-4次降到了每周1-2次。不过仍发现对反光瓷砖的识别有待提升，这将是下个版本的重点优化方向。