下水管道缺陷检测数据集：980张YOLO标签图像实战训练与避坑指南-育师

简介：这份资源面向从事城市地下管网智能巡检、市政工程缺陷识别与计算机视觉目标检测的开发者与研究人员，提供一套可直接投入训练的下水管道缺陷检测数据集。数据覆盖关节偏移、障碍物、裂纹、带扣、洞、公用设施入侵、碎片等典型缺陷类别，适合具备一定YOLO使用经验、希望快速验证模型效果的中高级学习者。压缩包共2000个文件，包含980个xml标注、980个txt标注、39个图像文件及1个yaml配置文件，整体约33.89MB，同时提供YOLO与VOC两种标签格式，并已划分好训练与验证集，配套data.yaml可直接对接yolov5、yolov8、yolov9、yolov7、yolov10及yolo11等主流版本。目前已有417人学习下载。读者可据此省去数据采集与标注成本，直接开展模型训练、对比实验与缺陷检测流程验证，快速搭建管道缺陷识别基线。

1. 下水管道缺陷检测数据集：980 张带标签图像能跑出什么结果

手里有一批下水管道巡检影像，想用 YOLO 系列算法做缺陷检测，最卡脖子的往往不是模型结构，而是没有标注数据。这份资源就是冲着这个痛点来的：980 张管道内窥图像，带 YOLO 格式标签，覆盖关节偏移、障碍物、裂纹、带扣、洞、公用设施入侵、碎片七类缺陷。拿到手就能直接开训，不用从零标注。

它适合三类人：一是做市政管道智能巡检方向、需要快速验证算法可行性的算法工程师；二是带学生做目标检测课程设计、缺真实标注数据的导师；三是想拿一个多类别、小目标密集的数据集练手 YOLOv5/v8/v11 的从业者。七类缺陷里有几类目标面积极小，比如裂纹和碎片，这对检测头和小目标增强策略是个真实考验，不是那种标注粗糙、类别单一的玩具数据集。下面从数据本身讲到训练配置，再到我实际跑下来踩过的坑，一步步拆开。

2. 数据集结构与标签格式：先看清 980 张图到底怎么组织的

2.1 七类缺陷的类别定义与分布特征

这份数据集的核心价值在于类别划分贴合真实管道巡检场景。七类缺陷分别是：关节偏移（joint offset）、障碍物（obstacle）、裂纹（crack）、带扣（buckle）、洞（hole）、公用设施入侵（utility intrusion）、碎片（debris）。这七类不是随便凑的，基本覆盖了排水管道结构性缺陷和功能性缺陷两大块。

从检测难度看，可以粗分三档。裂纹和碎片属于小目标、低对比度，管道内壁本身纹理就杂，裂纹往往只有几个像素宽，是拉低 mAP 的主要来源。关节偏移和带扣属于中等尺度、有明确几何形状的目标，相对好检。障碍物、洞、公用设施入侵尺度跨度大，洞可能很小也可能占据半个画面，公用设施入侵（比如管线穿入）形态不规则，对 anchor 匹配不友好。

我一般拿到新数据集先做一件事：统计每类实例数和图像数比值。如果某类实例数远低于其他类，训练时就要考虑类别权重或者过采样。这份数据里裂纹和碎片的实例密度通常偏高（一张图多个），但单实例面积小，所以不能只看实例数，还要看面积分布。

2.2 YOLO 标签格式与目录组织

标准 YOLO 检测标签是每张图对应一个同名 .txt，每行一个目标，格式为：

<class_id> <x_center> <y_center> <width> <height>

其中坐标都是归一化到 0~1 的相对值，class_id 从 0 开始。这份数据集的目录结构常见做法是 images/ 和 labels/ 平行放置，各自再分 train/val（有的还带 test）。先确认结构，再决定要不要自己重划。

# 查看数据集目录结构，确认 images 与 labels 是否一一对应 find ./dataset -maxdepth 2 -type d | sort # 统计图像数量与标签数量是否匹配 echo "images:"; find ./dataset/images -name "*.jpg" -o -name "*.png" | wc -l echo "labels:"; find ./dataset/labels -name "*.txt" | wc -l

逻辑说明：第一步列出目录层级，确认有没有 train/val 划分；第二步分别统计图像和标签文件数，两者必须相等，否则说明有图没标或标了没图。参数上注意图像扩展名可能是 .jpg 也可能是 .png，统计时要都覆盖，不然数量对不上会误判。

如果发现 labels 里存在空 txt（表示该图无目标），这是正常的负样本，不要删。YOLO 训练时负样本有助于降低误检，尤其是管道内壁干净但被误判为裂纹的情况。

2.3 类别编号映射与 data.yaml 配置

训练前必须把类别编号和名称对齐，写进 data.yaml。这份数据集七类的编号顺序要以标签文件里实际出现的 class_id 为准，不能想当然。常见做法是先扫一遍所有标签，统计出现过的 class_id 集合。

import os, glob from collections import Counter label_dir = "./dataset/labels/train" counter = Counter() for txt in glob.glob(os.path.join(label_dir, "*.txt")): with open(txt) as f: for line in f: line = line.strip() if line: counter[int(line.split()[0])] += 1 print("class_id 分布:", dict(sorted(counter.items())))

逻辑说明：遍历训练集所有标签文件，取每行第一个字段作为类别号计数。输出能告诉你两件事——类别号是否从 0 连续，以及每类实例数。如果发现某个 id 缺失，说明该类在训练集里没有样本，要么补数据，要么在 yaml 里保留但训练时注意该类永远学不到。参数上 label_dir 要指向实际训练标签目录，别指到 val 上。

确认后写 data.yaml：

path: ./dataset train: images/train val: images/val nc: 7 names: 0: joint_offset 1: obstacle 2: crack 3: buckle 4: hole 5: utility_intrusion 6: debris

names 的顺序必须和标签里的 class_id 严格对应，错一位整个训练结果的类别就全乱了，这是血泪经验里最常见的一种翻车。

3. 用 YOLOv8 跑通训练：从环境到首轮结果的完整链路

3.1 环境准备与依赖版本选择

YOLO 系列算法迭代快，v5、v8、v11 的 API 差异不小。这份数据集是纯检测任务，没有分割或多边形标签，用 v8 或 v11 的 detect 模型都行。我一般选 ultralytics 官方库，因为它把训练、验证、导出串成了一条命令，省去自己写 dataloader 的功夫。

# 建议用独立虚拟环境，避免和系统里的 torch 冲突 python -m venv yolo_env source yolo_env/bin/activate # Windows 用 yolo_env\Scripts\activate pip install ultralytics # 验证安装与 GPU 可用性 python -c "import torch; print(torch.__version__, torch.cuda.is_available())"

逻辑说明：ultralytics 会自动拉取匹配的 torch 版本，但如果你机器上已有 CUDA 驱动，建议先确认 torch.cuda.is_available() 为 True，否则会退到 CPU 训练，980 张图跑几百轮会慢到怀疑人生。参数上如果显存小于 6G，后面 batch 要调小。

3.2 训练命令与关键参数含义

环境好了直接上训练命令。以 YOLOv8n 为例，先跑一个 baseline，别一上来就上大模型。

yolo detect train \ data=./data.yaml \ model=yolov8n.pt \ epochs=150 \ imgsz=640 \ batch=16 \ lr0=0.01 \ patience=30 \ project=./runs \ name=pipe_defect_v8n

逻辑说明：data 指向刚写的 yaml；model 用预训练权重，小数据集从零训几乎学不出东西；epochs 给 150 是留足收敛空间，配合 patience=30 早停，验证集 30 轮不涨就停，省时间；imgsz=640 是默认值，但管道小目标多，后面可以试 960；batch=16 按显存调，显存不够就降到 8 或 4；lr0 初始学习率 0.01 对预训练微调偏大，如果 loss 震荡明显可以降到 0.005。

训练过程中重点看三个指标：box_loss 是否稳定下降、mAP50 是否持续爬升、以及每类的 mAP 分布。如果整体 mAP 还行但裂纹那类接近 0，说明小目标没学好，不是训练失败，是策略要调。

3.3 验证与推理：确认模型真的能用

训练完别只看最后一行 mAP，要拿验证集单独跑一遍，再挑几张图做可视化推理。

# 在验证集上评估，输出每类 AP yolo detect val model=./runs/pipe_defect_v8n/weights/best.pt data=./data.yaml # 对单张图推理并保存可视化结果 yolo detect predict \ model=./runs/pipe_defect_v8n/weights/best.pt \ source=./dataset/images/val \ conf=0.25 \ save=True

逻辑说明：val 命令会输出每类的 precision、recall、mAP50、mAP50-95，重点看小目标类的 recall，如果裂纹 recall 低于 0.3，说明漏检严重。predict 的 conf=0.25 是置信度阈值，调低会召回更多但误检增加，管道场景里误检一个裂纹的代价可能比漏检低，所以可以试 0.15~0.2。save=True 会把带框的图存到 runs/detect 下，肉眼过一遍比看数字更直观。

4. 小目标与类别不均衡：这份数据集最容易翻车的地方

4.1 小目标检测的输入分辨率与增强策略

管道缺陷里裂纹、碎片这类目标，在 640 分辨率下可能只剩十几个像素，特征图上一两个格子就没了。常见做法是把 imgsz 提到 960 甚至 1280，代价是显存和训练时间翻倍。另一个思路是开 Mosaic 和 Copy-Paste 增强，让模型多见小目标组合。

yolo detect train \ data=./data.yaml \ model=yolov8s.pt \ epochs=200 \ imgsz=960 \ batch=8 \ mosaic=1.0 \ copy_paste=0.3 \ scale=0.5 \ project=./runs \ name=pipe_defect_v8s_960

逻辑说明：imgsz 提到 960 直接提升小目标的有效像素；mosaic=1.0 是默认开启的四图拼接，能增加小目标出现频率；copy_paste=0.3 把目标复制粘贴到其他图，对小样本类特别有用，但比例别太高，否则背景失真；scale=0.5 允许随机缩放，增强尺度鲁棒性。batch 相应降到 8，不然显存爆。

4.2 类别不均衡的处理：权重、过采样与损失

七类里如果某几类实例数明显偏少，模型会偏向多数类。ultralytics 本身没有直接的 class weight 参数，常见做法有三种：一是对少样本类做离线过采样，复制图像和标签；二是用 focal loss 替代默认的 BCE，但 v8 里改损失要动源码；三是调低多数类的采样概率。

我一般先用最省事的过采样。写个脚本把少样本类的图复制多份，文件名加后缀避免覆盖。

import os, glob, shutil from collections import defaultdict label_dir = "./dataset/labels/train" img_dir = "./dataset/images/train" # 统计每类出现在哪些图上 cls_to_imgs = defaultdict(list) for txt in glob.glob(os.path.join(label_dir, "*.txt")): stem = os.path.splitext(os.path.basename(txt))[0] with open(txt) as f: for line in f: if line.strip(): cls_to_imgs[int(line.split()[0])].append(stem) # 找出实例数最少的类，对其图像复制 2 份 min_cls = min(cls_to_imgs, key=lambda k: len(cls_to_imgs[k])) for stem in cls_to_imgs[min_cls]: for suffix in ["_aug1", "_aug2"]: for ext in [".jpg", ".png"]: src = os.path.join(img_dir, stem + ext) if os.path.exists(src): shutil.copy(src, os.path.join(img_dir, stem + suffix + ext)) shutil.copy(os.path.join(label_dir, stem + ".txt"), os.path.join(label_dir, stem + suffix + ".txt")) print("过采样类别:", min_cls, "复制图像数:", len(cls_to_imgs[min_cls]))

逻辑说明：先建立类别到图像 stem 的映射，找出实例最少的类，把它的图和标签各复制两份。注意图像扩展名要判断存在再复制，标签直接复制。复制后要重新统计确认数量，别复制完忘了。这个做法简单但有效，缺点是可能过拟合少样本类，所以复制倍数别超过 3。

4.3 数据泄漏与划分陷阱

一个隐蔽的坑是：如果同一段管道、同一场景的连续帧被分到了 train 和 val，验证集 mAP 会虚高，实际部署时掉得厉害。管道巡检视频抽帧得到的数据集特别容易犯这个错。判断方法是看 val 里有没有和 train 视觉上几乎一样的图。

常见做法是按管道段或采集批次划分，而不是随机按图划分。如果数据集已经划好，至少检查一下 val 图有没有和 train 高度相似的。这个没法用脚本完全自动判断，得抽样肉眼看，或者算图像哈希做近似去重。

5. 避坑与排查：训练不收敛、mAP 虚高、推理错类的真实原因

5.1 现象：loss 一直不降，mAP 卡在 0 附近

原因：最常见是 data.yaml 里 path 或 train/val 路径写错，模型根本没读到图；其次是类别号越界，标签里 class_id 大于等于 nc，ultralytics 会静默忽略这些目标，等于没标签。还有一种是从零训没加载预训练权重。

解决：先跑一遍数据检查，确认路径下能列出图；再用前面 2.3 的脚本扫 class_id 最大值，确保小于 nc；训练命令里 model 一定给 .pt 预训练权重，别写 yaml。

5.2 现象：验证集 mAP 很高，实际推理一塌糊涂

原因：数据泄漏，train 和 val 有同源图像；或者验证集太小，980 张如果 val 只占几十张，指标波动极大，偶然性高。

解决：按采集批次重划 train/val，保证同段管道不跨集；val 比例至少 15%，也就是 140 张以上。重划后 mAP 会降，但那个才是真实水平。

5.3 现象：裂纹和碎片几乎检不出，其他类正常

原因：小目标在 640 分辨率下特征丢失；或者这两类标注框过小，训练时被 anchor 匹配忽略。

解决：imgsz 提到 960 或 1280；开 copy_paste 增强；检查这两类的标注框宽高，如果归一化后小于 0.01，考虑适当外扩标注框（但要保持标注一致性，别乱扩）。

5.4 现象：推理时把关节偏移误判成带扣

原因：这两类几何形态接近，都是管道连接处的结构，模型特征区分度不够；或者训练集里这两类样本数差异大，模型偏向多数类。

解决：检查这两类的实例数是否均衡，不均衡就过采样少的；推理时适当提高 conf 阈值，减少低置信度误判；如果还是混，考虑在标注规范上重新界定两类边界，从数据源头区分。

5.5 现象：训练到一半显存溢出中断

原因：imgsz 或 batch 设太大；或者 dataloader workers 太多导致内存泄漏。

解决：降 batch 或 imgsz；把 workers 设为 4 或 8，别设太高；开 amp 混合精度训练，ultralytics 默认开，如果手动关了要打开。

6. 进阶技巧：用 TTA 和分块推理榨干这份数据集的精度

训练收敛只是第一步，部署时还有提升空间。管道图像有个特点：缺陷可能出现在画面边缘，而 YOLO 对边缘目标检测偏弱。我一般会加两个后处理技巧。

第一个是 TTA（测试时增强）。推理时对图像做水平翻转、多尺度缩放，把多次预测结果做 NMS 融合。ultralytics 的 predict 支持 augment 参数：

yolo detect predict \ model=./runs/pipe_defect_v8s_960/weights/best.pt \ source=./dataset/images/val \ augment=True \ conf=0.2 \ iou=0.5 \ save=True

逻辑说明：augment=True 开启 TTA，会略微提升 mAP 但推理速度降为约 1/3；conf=0.2 比默认低，配合 TTA 的融合能多召回一些小目标；iou=0.5 是 NMS 阈值，管道缺陷重叠少，可以设低一点减少误合并。这个组合适合离线批量检测，不适合实时视频流。

第二个是分块推理。如果部署时输入分辨率受限（比如边缘设备只能跑 640），可以把大图切成带重叠的小块分别推理再拼回。重叠比例一般取 20%，避免切边目标被截断。

技巧	适用场景	精度影响	速度代价
TTA 多尺度	离线批量检测	mAP +2~4%	约 3 倍耗时
分块推理	高分辨率图 + 低算力设备	小目标召回明显提升	与分块数成正比
提高 imgsz	训练和推理均可	小目标 mAP 提升明显	显存和耗时增加
copy_paste 增强	小样本类训练	少样本类 AP 提升	训练略慢