基于深度学习的焊接缺陷检测系统：Python实现与部署实践

焊接缺陷检测在工业制造里一直是个绕不开的话题。焊缝质量直接决定结构件的安全性和使用寿命，而传统的目视检查和射线评片方式不仅效率低，还特别依赖检测人员的经验。这几年我在实际项目里尝试用深度学习来做焊接缺陷检测，把缺陷识别从“人眼盯图”变成“模型自动定位+分类”，整体效果和落地效率都有明显提升。这篇文章就把这套基于 Python 的检测系统从数据准备、模型选型、代码实现到部署落地完整拆开讲一遍，希望能给正在做工业视觉检测的朋友一些直接能用的参考。

1. 焊接缺陷检测到底在解决什么问题

1.1 传统检测方式的三个硬伤

焊接缺陷检测的传统路径主要是人工目检、渗透检测、射线检测和超声检测。人工目检成本低，但漏检率受疲劳度影响很大；射线和超声检测虽然可靠，但设备贵、出报告慢，而且评价标准主观性很强。我现在接触到的产线实际需求，很多并不是“能不能检测出缺陷”，而是“检测速度能不能跟上产线节拍”“不同班组之间的判定标准能不能统一”“缺陷数据能不能自动留存追溯”。

这些问题恰恰是深度学习擅长的。一个训练好的缺陷检测模型，可以在几十毫秒内完成一帧图像的缺陷定位和分类，判定标准完全一致，检测结果还能自动写入数据库。更重要的是，深度学习模型可以持续迭代——新增缺陷类型时，只需要补充标注样本重新训练，不需要改动硬件设备。

1.2 缺陷检测本质上是一个组合视觉任务

焊接缺陷类型很杂，常见的有气孔、夹渣、未熔合、未焊透、裂纹、咬边等。不同缺陷形态差异很大，有的表现为小而圆的暗斑（气孔），有的表现为细长的线性纹理（裂纹），有的表现为区域性的灰度不均（未熔合）。想用一个模型把这些问题全部解决，往往不太现实。

我当时的做法是拆分任务：用分割网络把缺陷像素精确地找出来，用检测网络输出缺陷框和类别，再用一个分类网络做最终复审。你可以把这套系统理解成三条腿走路——分割负责“看清楚”，检测负责“快速定位”，分类负责“准确定性”。三个模型各司其职，比端到端单模型更稳，也更容易排查问题。

实际落地时不必一上来就搞这么复杂。如果只是判断“有没有缺陷”，一个二分类模型就够了；如果还要知道缺陷在哪，那就需要检测框；如果连缺陷的形状、面积都要统计，那就必须上分割。我见过不少项目死在“需求没想清楚就上复杂模型”上面，架构先行、需求不清，最后参数调到头效果依然不理想。

2. 数据集构建与预处理细节

2.1 数据从哪来，怎么标注

说到深度学习做检测，第一步永远是数据。焊接缺陷检测的数据来源主要有两类：一类是射线底片数字化图像，在管道、压力容器检测里很常见；另一类是焊件表面可见光图像，多用于焊缝外观质量检查。两类图像的缺陷形态特征完全不同，我建议一开始就选定一个主攻方向，不要混在一起训练。

标注格式取决于你用的模型。分割模型需要像素级掩码（PNG格式，每类缺陷一个灰度值）；检测模型需要矩形框标注（XML或者YOLO格式的TXT文件）；分类模型只需要按缺陷类型分文件夹即可。标注工具我常用LabelMe做分割标注，用LabelImg做检测框标注，两个都是开源工具，上手很快。

实操提示：焊接缺陷的标注比普通目标检测要更细致。气孔和夹渣的边界在灰度图上经常很模糊，我建议标注时把图像放大到200%以上，并且在标注完成后安排第二个人抽查复核。标注质量直接影响模型上限，这一步省下来的时间后期都要加倍还回去。

2.2 数据增强别乱用，要考虑焊缝结构先验

工业图像和自然图像不一样，焊缝在图像里通常有固定的走向和位置，缺陷也主要出现在焊缝区域。做数据增强时，如果无脑做随机旋转90度、水平翻转，很有可能会破坏焊缝的结构先验，反而拖累模型收敛。

我的增强策略是：轻度随机旋转（±10度以内）、随机亮度对比度扰动、高斯噪声、随机裁剪。如果是表面可见光图像，我还会加上随机色温扰动来模拟不同环境光；如果是射线底片图像，则不推荐做颜色相关增强，灰度分布才是模型真正依赖的特征。

样本不平衡问题也要认真处理。在实际产线数据里，合格焊缝样本可能占了90%以上，缺陷样本稀少且类型分布不均。我常用的处理有两种：一类是过采样，把缺陷样本重复加入训练集；另一类是合成缺陷，在无缺陷图上通过图像处理方式生成模拟缺陷。合成缺陷一定要标注清楚，否者模型很可能会学到模拟纹理而不是真实缺陷特征，反而带偏了推理结果。

2.3 划分训练集时的隐藏陷阱

把数据按8:1:1划分成训练集、验证集和测试集，这个大家都会。但工业数据有个特点：同一个焊件上的多张图像在光照、材质、纹理上高度相关，如果随机划分，会造成“数据泄露”——模型在验证集上表现很好，一上现场就原形毕露。正确的做法是按焊件划分数据，保证同一个工件的图像只出现在一个集合中。

另外，测试集一定要保留一部分“现场采集的新数据”。我建议预留20%左右的数据完全不参与训练和验证，等整个流程跑通了再拿来做终极测试。这一步能最真实地反映模型在未知环境下的泛化能力。

3. 模型选型与网络结构解析

3.1 分割模块：为什么选择UNet及变体

多数焊接缺陷在图像上表现为区域性的灰度异常，分割模型能精确到像素地给出缺陷轮廓，这是检测框做不到的。UNet是我最常用的基准分割模型，它结构对称、参数量适中、对小目标敏感，特别适合工业检测这类样本量不大的任务。

UNet的编码器负责提取多尺度特征，解码器负责逐步恢复空间分辨率，中间用跳连接把浅层细节和深层语义结合起来。我在实际项目里用ResNet34做UNet的编码器主干，比原始UNet的编码器收敛更快、精度更高。而对细长裂纹这类缺陷，我还会在模型的解码端加入注意力模块，让网络更关注裂纹沿线的特征响应。

import torch import torch.nn as nn class DoubleConv(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.conv = nn.Sequential( nn.Conv2d(in_ch, out_ch, 3, padding=1), nn.BatchNorm2d(out_ch), nn.ReLU(inplace=True), nn.Conv2d(out_ch, out_ch, 3, padding=1), nn.BatchNorm2d(out_ch), nn.ReLU(inplace=True) ) def forward(self, x): return self.conv(x) class UNet(nn.Module): def __init__(self, in_channels=3, num_classes=1): super().__init__() self.enc1 = DoubleConv(in_channels, 64) self.enc2 = DoubleConv(64, 128) self.enc3 = DoubleConv(128, 256) self.enc4 = DoubleConv(256, 512) self.pool = nn.MaxPool2d(2) self.bridge = DoubleConv(512, 1024) self.up1 = nn.ConvTranspose2d(1024, 512, 2, stride=2) self.dec1 = DoubleConv(1024, 512) self.up2 = nn.ConvTranspose2d(512, 256, 2, stride=2) self.dec2 = DoubleConv(512, 256) self.up3 = nn.ConvTranspose2d(256, 128, 2, stride=2) self.dec3 = DoubleConv(256, 128) self.up4 = nn.ConvTranspose2d(128, 64, 2, stride=2) self.dec4 = DoubleConv(128, 64) self.out = nn.Conv2d(64, num_classes, 1) def forward(self, x): e1 = self.enc1(x) e2 = self.enc2(self.pool(e1)) e3 = self.enc3(self.pool(e2)) e4 = self.enc4(self.pool(e3)) b = self.bridge(self.pool(e4)) d1 = self.dec1(torch.cat([self.up1(b), e4], dim=1)) d2 = self.dec2(torch.cat([self.up2(d1), e3], dim=1)) d3 = self.dec3(torch.cat([self.up3(d2), e2], dim=1)) d4 = self.dec4(torch.cat([self.up4(d3), e1], dim=1)) return self.out(d4)

这是最基础的UNet结构，实际做缺陷分割时我会把最后输出通道调成缺陷类别数，如果是单类缺陷检测就保持1个通道，输出经过Sigmoid变成概率图，再按阈值转成掩码。

3.2 损失函数：为什么DiceLoss比BCE更适合缺陷检测

焊缝缺陷有个明显特点：缺陷区域占整张图像的面积比例非常小。一张1024×1024的图像里，裂纹可能只占不到几十个像素。如果直接用二元交叉熵（BCE）损失，模型很容易把所有像素都预测成“背景”，因为这样损失也很低。

Dice Loss的核心思想是计算预测掩码和真实掩码之间的重叠度，对前景和背景的像素比重天然不敏感，非常适合小目标分割。实际使用中我发现，Dice Loss配合BCE一起用效果最好，加权比例大概在1:1到2:1之间。训练初期BCE负责稳定收敛，后期Dice负责精细分割边缘。

注意：Dice Loss在极端情况下（比如预测全为0时）梯度计算可能不稳定，建议在Dice系数分母上加上一个平滑项（比如1e-5），既能避免除零，又不会影响损失函数整体的梯度传播。

3.3 检测与分类：YOLO负责快，分类网络负责准

分割模型精度高，但推理速度相对较慢。在需要快速响应或者受限算力的场景下，我会选择用YOLO系列来做缺陷检测。YOLOv8的官方库用起来非常方便，加载预训练权重、训练、导出一条龙都覆盖了。焊接缺陷是小目标，YOLO的输入尺寸一般设置成640×640，如果图像里缺陷太小，建议切成Patch训练，而不是直接把整图缩小。

分类网络我用的是轻量级的EfficientNet或ResNet18。它接收分割模型或检测模型裁剪出的缺陷区域图像，输出具体缺陷类别。这样一个三级级联：分割定位到像素，检测框框出候选区，分类网络做最后判定，误检率能压到非常低的水平，而且每一级都能单独调整和迭代。

from ultralytics import YOLO # 加载预训练模型 model = YOLO("yolov8n.pt") # 训练：这里data.yaml指向数据集配置 model.train(data="weld_defect.yaml", epochs=100, imgsz=640, batch=16, device=0) # 单张图片推理 results = model.predict("test_image.jpg", conf=0.35, save=True) # 导出ONNX，方便后续部署 model.export(format="onnx", imgsz=640)

4. 核心代码实现与训练流程

4.1 工程目录结构与训练管线

一套完整的焊接缺陷检测代码工程，我建议按下面的结构组织，清晰且方便扩展：

weld_defect_detection/ ├── datasets/ │ ├── images/ # 原始图像 │ ├── masks/ # 分割掩码 │ ├── labels/ # YOLO格式检测标注 │ └── data.yaml # 数据集配置 ├── models/ │ ├── unet.py # 分割模型定义 │ └── classifier.py # 分类模型定义 ├── utils/ │ ├── dataset.py # 数据加载与增强 │ ├── losses.py # 损失函数 │ └── metrics.py # 评估指标 ├── train_seg.py # 分割训练脚本 ├── train_cls.py # 分类训练脚本 ├── infer.py # 推理脚本 └── requirements.txt

训练管线的核心逻辑并不复杂：读取图像和掩码、做增强预处理、喂给模型、算损失、反向传播、周期性保存模型权重。我在训练分割模型时，验证集上不只看Loss，还会同步计算mIoU和Dice系数，因为Loss下降不代表分割效果好，尤其在后处理阈值调整时，指标反馈比Loss直观得多。

4.2 数据加载与关键增强代码

下面给出一个PyTorch风格的数据加载器示例，其中集成了离线增强和Online增强两个层面。离线增强用于扩充训练样本，Online增强在每次迭代时动态扰动数据，进一步增强模型的泛化能力。

import cv2 import numpy as np import torch from torch.utils.data import Dataset from torchvision import transforms class WeldDataset(Dataset): def __init__(self, image_paths, mask_paths=None, augment=False): self.image_paths = image_paths self.mask_paths = mask_paths self.augment = augment self.to_tensor = transforms.ToTensor() def __len__(self): return len(self.image_paths) def __getitem__(self, idx): img = cv2.imread(self.image_paths[idx]) img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) if self.mask_paths is not None: mask = cv2.imread(self.mask_paths[idx], cv2.IMREAD_GRAYSCALE) mask[mask > 0] = 1 # 二值化 else: mask = np.zeros((img.shape[0], img.shape[1]), dtype=np.uint8) if self.augment: # 随机水平翻转 if np.random.rand() > 0.5: img = cv2.flip(img, 1) mask = cv2.flip(mask, 1) # 随机亮度扰动 img = cv2.convertScaleAbs(img, alpha=1 + np.random.uniform(-0.1, 0.1), beta=np.random.uniform(-10, 10)) # 随机旋转10度以内（注意要保持图像尺寸不变） angle = np.random.uniform(-10, 10) M = cv2.getRotationMatrix2D((img.shape[1]//2, img.shape[0]//2), angle, 1.0) img = cv2.warpAffine(img, M, (img.shape[1], img.shape[0]), flags=cv2.INTER_LINEAR, borderMode=cv2.BORDER_CONSTANT) mask = cv2.warpAffine(mask, M, (mask.shape[1], mask.shape[0]), flags=cv2.INTER_NEAREST, borderMode=cv2.BORDER_CONSTANT) # 调整尺寸到模型输入 img = cv2.resize(img, (512, 512)) mask = cv2.resize(mask, (512, 512), interpolation=cv2.INTER_NEAREST) return self.to_tensor(img), torch.from_numpy(mask).float().unsqueeze(0)

这里特别注意一个细节：mask的旋转和缩放要用INTER_NEAREST，不能用INTER_LINEAR。因为掩码是离散的类别标签，线性插值会在边界处产生介于0和1之间的灰度值，给后续训练和评估造成干扰。

4.3 分割模型训练循环

训练循环是通用套路，但有几个细节非常影响最终效果，我一条条说清楚。

第一，优化器推荐AdamW而不是SGD，收敛快且对学习率不那么敏感。初始学习率设定在1e-3到3e-4之间，配合CosineAnnealing或StepLR逐步降低。

第二，梯度裁剪一定要开。焊接缺陷图像在训练时容易产生极端梯度，设一下clip_grad_norm_，比如max_norm设为1.0，可以避免训练后期Loss突然爆掉。

第三，保存模型时不只是保存最新权重，建议每个epoch记录验证集最优模型。我用的策略是只有验证集Dice系数比历史最优更高时，才覆盖保存best_model.pth。这样才能保证最终导出的权重的确是最优结果。

from utils.losses import DiceBCELoss criterion = DiceBCELoss() optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3, weight_decay=1e-4) scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=epochs) for epoch in range(epochs): model.train() for images, masks in train_loader: images, masks = images.to(device), masks.to(device) preds = model(images) loss = criterion(preds, masks) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() scheduler.step() ## 验证过程省略，验证时记得加 torch.no_grad()

4.4 独立做一套检测+分类的小方案

如果你不想用分割模型，也可以走“YOLO检测缺陷框+分类网络判断类型”的路线。这套方案比分割实现起来更简单，推理速度更快，适合只需要知道“有没有缺陷、缺陷在哪个区域、大概什么类型”的场景。

YOLO需要的数据格式是TXT文件，每行class_id x_center y_center width height，坐标是归一化到0-1之间的。用LabelImg标注时可以直接导出YOLO格式，省去自己转换的工夫。训练命令在上面的示例里已经给了，关键参数是imgsz、batch和epochs。我在实际项目中用YOLOv8n在自建数据集上训练了120个epoch，最终mAP@0.5能达到0.92左右，单张推理时间在GPU上约15ms。

分类模型训练就更简单了，把YOLO框出的缺陷区域裁剪出来作为输入，标签就是缺陷类别。训练数据量少的话，用ResNet18加预训练权重，全连接层换成缺陷类别数，微调20个epoch就够了。

5. 系统集成、测试评估与部署

5.1 怎么才算“效果好”？指标不能只看准确率

焊接缺陷检测的评估指标需要分任务看。分割任务看Dice系数和mIoU；检测任务看mAP@0.5和mAP@0.5:0.95；分类任务看准确率、精确率、召回率、F1-score。在实际产线上我最关注的是召回率——缺陷漏检的代价远大于误检，漏一个缺陷可能造成整个结构件报废甚至安全事故。所以调参时我会适当降低置信度阈值，让模型更“敏感”一点，误检可以通过后续人工复核或分类网络过滤掉。

提示：评估测试集必须独立。我见过有人把训练集里的图片拿来评估，数字很好看，一上现场就崩。这个坑一定要避开，评估数据和训练数据之间绝对不能有重叠。

5.2 ONNX导出与推理部署落地

模型训练完成后，落地部署是另一个环节。PyTorch模型直接部署在产线上会遇到两个问题：环境依赖重、推理速度不理想。我通常会把模型导出成ONNX格式，再根据现场条件决定是否转TensorRT加速。ONNX是通用的中间格式，可以在不同框架之间转换，实测在相同GPU条件下，ONNX + TensorRT的推理时间比纯PyTorch可以缩短一半以上。

import torch from models.unet import UNet model = UNet(in_channels=3, num_classes=1) model.load_state_dict(torch.load("best_model.pth", map_location="cpu")) model.eval() dummy_input = torch.randn(1, 3, 512, 512) torch.onnx.export( model, dummy_input, "unet_weld.onnx", opset_version=12, input_names=["input"], output_names=["output"], dynamic_axes={"input": {0: "batch_size"}, "output": {0: "batch_size"}} ) print("ONNX exported.")

推理脚本在加载模型时要做两件事：读取图像并预处理成模型输入尺寸，对模型输出做Sigmoid（分割）或Softmax（分类）后按阈值生成掩码。如果单张图像过大，建议先滑窗裁剪再逐块推理，最后把各块的掩码拼接回原图尺寸。

5.3 可视化与质检报告输出

后处理代码阶段建议把推理结果的可视化做出来看一眼，真的能发现很多端到端的问题。分割结果可以叠加在原始焊缝图上，用着色Mask标出缺陷轮廓；检测结果可以直接画边界框和类别标签；分类结果可以用不同颜色区分缺陷类型。

生成检测报告时，我习惯把每张被检测工件的图像、缺陷数量、缺陷类型、置信度和坐标信息汇总成结构化数据，输出成Excel或数据库记录。这样后续质量追溯和分析就非常方便，也方便和其他MES系统对接。

import cv2 import numpy as np def overlay_mask_on_image(image_path, mask): img = cv2.imread(image_path) overlay = img.copy() colored_mask = np.zeros_like(img) colored_mask[..., 0] = 0 # B通道 colored_mask[..., 1] = 0 # G通道 colored_mask[..., 2] = 255 # R通道，标注为红色 mask_bool = mask > 0.5 colored_mask[mask_bool] = colored_mask[mask_bool] # 保持颜色 overlay[mask_bool] = 0.6 * overlay[mask_bool] + 0.4 * colored_mask[mask_bool] cv2.imwrite("result_overlay.png", overlay)

6. 常见问题与排查经验记录

6.1 训练不收敛，Loss降不下去

这是大家问得最多的问题。遇到Loss不降我的排查顺序是：先查数据，再看网络结构，最后调超参。

数据方面，重点检查mask标注有没有错位、与图像尺寸是否一致、类别是否对齐。之前出现过mask的整数ID和类别定义差一位，导致模型始终学不好。网络方面，检查输入有没有做归一化。图像数组如果是0-255的uint8，直接用张量输入，损失很难收敛；要先归一化到0-1再输入。超参方面，焊接图像通常灰度分布集中，学习率不宜过大，万一初始值太高，Loss一上来就是NaN，建议改小一个数量级再试。

6.2 模型预测的缺陷区域偏大或偏小

分割模型对缺陷边界的判断偏差，大多出在后处理阈值的选择上。Sigmoid输出是概率值，阈值设高了缺陷区域变小，设低了区域变大，而这个阈值对每个模型都不一样。我建议在验证集上做一次阈值扫描，比如从0.1到0.9每隔0.05测一次Dice系数，选最优阈值作为推理默认值，而不是一律用0.5。

如果缺陷区域总是明显偏大，除了阈值，还可以检查标注数据是不是把边缘部分（如图像噪点、腐蚀残留）也标进了Mask。标注太“胖”会让模型倾向于预测大区域，反过来标注太“瘦”会让预测太小。总的来说，标注一致性对分割结果的形态影响最直接。

6.3 现场推理时检测框抖动

YOLO模型在现场连续视频流或多帧图像上推理时，容易出现检测框在相邻帧之间抖动的问题。造成抖动的原因通常是置信度刚好卡在阈值附近，模型一会检出一会丢掉。解决的思路有两种：一是适当把置信度阈值往上调，过滤低置信度框；二是对连续多帧做跟踪或平滑处理，比如保存最近N帧的检测结果，综合判定最终缺陷框位置。

另外，图像输入尺寸不统一也会造成小目标漏检。现场相机分辨率如果和训练尺寸相差太大，建议在预处理时先做等比例缩放并填充到统一尺寸，而不是直接拉伸变形。变形会让细长裂纹这类缺陷在缩放时维度失真，直接影响检测效果。

6.4 常见问题速查表

6.5 后续可扩展的几个方向

这套系统再往前走，有几个我认为很有价值的方向。第一是半监督学习，利用大量无标注产线数据，通过伪标签方式持续提升模型泛化能力，能显著降低标注成本。第二是多模态融合，如果有条件采集不同角度的多张图像数据，可以将多视角信息融合起来做更稳定的检测。第三是实时在线学习，模型上线后不断收集新数据，在特定时间窗口内做增量训练，让系统持续适应产线变化。

我在这套系统的迭代过程中最深的体会是：做工业视觉项目，算法能力只是一部分，数据工程和需求澄清的重要性完全不亚于模型调参。尤其在焊接缺陷这类强先验、弱纹理、小目标的场景下，模型选对了基石，但决定能走多远的，往往是你对业务现场的理解深度。希望这篇文章的内容能给你一些可以落地的思路，少走我踩过的那几步弯路。