HALCON实战：基于阈值分割与形态学从干扰背景中稳健提取焊点

1. 项目概述：焊点检测中的背景干扰难题

在工业视觉检测领域，焊点检测是一个经典且极具挑战性的课题。无论是PCB板上的微小焊盘，还是汽车零部件上的大型焊缝，其质量直接关系到产品的电气连通性与结构强度。然而，实际产线环境远非理想，焊点周围常常充斥着各种干扰：可能是残留的助焊剂、氧化产生的不同颜色、金属基材的反光、甚至是相邻元器件的阴影。这些干扰背景与焊点本身的灰度、纹理特征往往交织在一起，使得简单的“找亮点”或“找圆形”算法彻底失效。标题“从干扰背景中提取焊点”精准地戳中了这个痛点——核心任务不是识别一个孤立的、特征明显的对象，而是要从一个复杂的、信噪比很低的图像场景中，将目标“剥离”出来。

这就像在一张沾满污渍和划痕的老照片里，辨认出一个特定人物的轮廓。你不能只靠亮度，因为污渍可能更亮；也不能只靠形状，因为划痕可能形成类似的线条。你需要一套组合策略，去理解图像中不同区域的“本质”。HALCON作为一款强大的机器视觉软件库，提供了从底层图像处理到高级形态学分析的一整套工具链，正是解决此类问题的利器。本次分享，我将结合一个典型的带干扰背景的焊点图像案例，拆解从图像预处理、阈值分割到后处理优化的完整流程，重点讲解如何利用灰度直方图分析、局部阈值以及形态学工具，稳健地“揪出”那些隐藏在杂乱背景中的焊点。无论你是刚接触HALCON的新手，还是希望优化现有检测方案的同仁，相信这套思路都能带来直接的启发。

2. 核心思路与方案选型：为何是阈值分割与形态学？

面对干扰背景，首要任务是确定技术路线。深度学习分割（如UNet）固然强大，但对于许多实时性要求高、样本获取成本大的工业场景，传统图像处理方案因其稳定、可控、无需大量标注数据的优势，依然是首选。我们的核心思路可以概括为“分而治之”：先抑制或分离背景干扰，再增强焊点特征，最后进行精确提取与筛选。

2.1 为何首选阈值分割？

在众多图像分割方法中，全局或局部阈值分割是我们应对焊点检测的第一把钥匙。原因有三：

1. 计算效率极高：阈值操作本质是像素级的比较，速度远超区域生长、边缘检测等需要复杂迭代或卷积的方法，能满足产线毫秒级的响应需求。
2. 物理意义明确：焊点（尤其是良好的锡点）由于其材质和曲面结构，在特定光源（如环形同轴光、低角度光）下，通常会呈现局部高亮（镜面反射）或与背景有稳定对比度的区域。这种亮度差异是阈值分割能够生效的物理基础。
3. 与预处理组合性强：阈值分割的效果严重依赖于输入图像的质量。我们可以通过一系列预处理（滤波、增强）来“塑造”图像的灰度直方图，使得焊点与背景的灰度分布更容易被一个或一组阈值区分开。

然而，直接对原图使用threshold算子，往往效果不佳。因为干扰背景可能包含与焊点亮度相似的区域。这时，灰度直方图分析就成为我们决策的“眼睛”。通过histogram或gray_histo算子查看图像的灰度分布，我们能直观判断是否存在双峰或多峰。理想情况下，焊点峰会与背景峰分离。但现实中，经常是重叠的单峰或平坦的直方图，这提示我们需要进行图像增强或转换颜色空间/通道。

2.2 辅助工具：顶帽与底帽运算

当背景光照不均或存在缓慢变化的纹理时，全局阈值会失灵。此时，顶帽运算和底帽运算这类形态学工具就闪亮登场了。它们基于开运算和闭运算，专门用于提取比结构元素小的亮细节或暗细节。

• 顶帽运算：原图减去开运算结果。开运算能平滑物体轮廓、断开狭窄连接、消除细小突出物。因此，顶帽运算能提取出图像中比背景亮的细小物体，正好对应我们想要提取的明亮焊点。对于暗背景上的亮焊点，这是一个非常有效的预处理步骤。
• 底帽运算：闭运算结果减去原图。闭运算能平滑轮廓、融合狭窄缺口、消除细小孔洞。因此，底帽运算能提取出比背景暗的细小物体。如果焊点因氧化或特定光照显得比背景暗，则可以使用底帽运算。

通过顶帽/底帽处理，我们可以将焊点从背景中“凸显”出来，生成一幅背景更均匀、焊点更突出的新图像，为后续阈值分割创造极佳的条件。

2.3 方案选型总结

基于以上分析，我们制定的核心方案流程如下：

1. 图像获取与初步观察：获取原始图像，目视评估干扰类型（纹理、阴影、反光、污渍）。
2. 预处理与特征增强：根据干扰类型，选择滤波（如median_image去噪）、色彩空间转换（如提取Value通道）或形态学处理（顶帽/底帽）来压制背景、增强焊点。
3. 阈值分割尝试：对预处理后的图像，结合灰度直方图，尝试全局阈值、自适应阈值或动态阈值。
4. 区域后处理：对分割出的区域进行形态学操作（如closing_circle弥合小缺口、opening_circle去除小噪点）、连通域分析（connection）和特征筛选（select_shape基于面积、圆度等）。
5. 结果输出与验证：将最终区域叠加到原图显示，并输出位置、数量等结果。

这个方案的优势在于模块化，每一步都可调、可解释。接下来，我们进入实战环节，看看每一步具体如何操作，又会遇到哪些坑。

3. 实战拆解：从一张“脏”图像中提取焊点

假设我们有一张电路板图像，上面有多个焊点，但背景存在明显的纹理干扰（如纤维板纹理）和明暗不均。我们的目标是完整地提取出所有焊点区域。

3.1 第一步：读图与灰度直方图诊断

read_image (Image, ‘board_with_solder_points.jpg‘) get_image_size (Image, Width, Height) dev_display (Image) * 转换为灰度图，如果原图是彩色 rgb1_to_gray (Image, GrayImage) * 计算并显示灰度直方图 gray_histo (GrayImage, GrayImage, AbsoluteHisto, RelativeHisto) dev_open_window (0, Width+10, 512, 256, ‘black‘, WindowHandle1) dev_set_window (WindowHandle1) plot_tuple (AbsoluteHisto)

执行后，我们重点关注直方图形态。如果直方图是清晰的双峰，那么恭喜，问题很简单，直接取谷底作为阈值即可。但更可能的情况是，直方图呈单峰且宽泛，焊点峰隐藏在背景峰的“肩膀”上。这说明直接全局分割行不通。

注意：gray_histo算子的第二个参数是“区域”，这里我们用整个图像区域GrayImage，表示计算全图的直方图。如果你想分析特定ROI，可以先画一个区域。

3.2 第二步：预处理——使用顶帽运算压制背景纹理

我们的图像背景有纹理，焊点是亮的。顶帽运算是理想选择。关键是结构元素SE的选取。

* 使用圆形结构元素，其半径应大于背景纹理的宽度，但小于焊点的半径。 * 这需要根据实际图像像素尺寸来估算。假设纹理宽度约5像素，焊点直径约20像素。 gen_disc_se (SE, ‘byte‘, 11) * 创建一个半径为11像素的圆形结构元素 top_hat (GrayImage, SE, ImageTopHat) dev_display (ImageTopHat)

查看ImageTopHat图像，你会发现背景纹理被大幅削弱，甚至变得均匀，而焊点作为亮细节被保留并相对增强了。如果效果不理想，可以调整结构元素的半径。半径太小，去不掉纹理；半径太大，可能会腐蚀焊点边缘甚至小焊点。

3.3 第三步：阈值分割与二值化

对顶帽处理后的图像进行阈值分割，此时效果会好很多。

* 再次查看顶帽后图像的直方图，此时焊点峰可能更突出 gray_histo (ImageTopHat, ImageTopHat, AbsoluteHisto2, RelativeHisto2) * 假设通过直方图观察或经验，设定一个阈值范围 threshold (ImageTopHat, Regions, 120, 255) dev_display (Regions)

threshold得到了一个区域Regions。但此时区域可能包含一些残留的噪声点，或者焊点区域内部有孔洞（因反光不均导致）。

3.4 第四步：区域后处理——形态学与特征筛选

* 1. 连通域分析：将阈值区域拆分成独立的连通区域 connection (Regions, ConnectedRegions) * 2. 先闭运算，弥合区域内部的小孔洞和细小缺口 closing_circle (ConnectedRegions, RegionsClosed, 3.5) * 使用半径为3.5的圆形结构元素 * 3. 再开运算，去除那些面积很小的噪声点 opening_circle (RegionsClosed, RegionsCleaned, 2.5) * 4. 特征筛选：选择面积和圆度符合焊点特征的区域 select_shape (RegionsCleaned, SelectedRegions, [‘area‘, ‘circularity‘], ‘and‘, [150, 0.6], [800, 1.0]) * 假设焊点面积在150到800像素之间，圆度大于0.6（1为完美圆形）

select_shape是极其强大的筛选工具。circularity（圆度）的计算公式是(周长^2) / (4*π*面积)，越接近1越圆。对于近似圆形的焊点，这是一个很好的筛选特征。

3.5 第五步：结果可视化与输出

dev_display (Image) dev_set_color (‘green‘) dev_set_draw (‘margin‘) * 只显示区域轮廓 dev_display (SelectedRegions) * 获取最终焊点的数量、位置等信息 count_obj (SelectedRegions, Number) area_center (SelectedRegions, Area, Row, Column)

至此，我们成功从干扰背景中提取出了焊点区域。可以将Row,Column坐标输出给下游的检测逻辑（如焊点直径测量、缺陷判断等）。

4. 关键参数调试与避坑指南

上面的流程看似顺畅，但每个环节都暗藏玄机。参数调不好，结果可能天差地别。

4.1 结构元素半径的抉择

在顶帽运算中，结构元素半径是最关键的参数。这里有一个实操心得：不要凭感觉猜，用inspect_shape_model或直接可视化来辅助决策。

1. 在HDevelop中，使用dev_open_window打开两个窗口并排显示。
2. 左边显示原图，右边显示top_hat结果。
3. 写一个循环，让半径从5到20以步长1变化，每次循环都更新右侧图像。
4. 肉眼观察，找到背景纹理刚好被抹平，而焊点细节损失最小的那个半径值。这个值就是最优解。

4.2 阈值范围的确定：不要只靠直方图

threshold的上下限[MinGray, MaxGray]决定了哪些像素被选中。直方图是重要参考，但并非唯一。

• 动态阈值法：当光照不均时，可以考虑dyn_threshold算子。它需要一个预处理过的“参考图像”（通常是用mean_image或gauss_filter对原图进行平滑得到的背景估计图），然后将原图与参考图逐像素比较。这对于背景缓慢变化的场景非常有效。

  mean_image (GrayImage, ImageMean, 31, 31) * 使用31x31的均值滤波器估计背景 dyn_threshold (GrayImage, ImageMean, RegionsDyn, 15, ‘light‘) * 提取比背景亮15灰度值以上的区域

• 二分迭代法：如果焊点灰度范围相对稳定，可以写一个简单循环，从高阈值往低试探，直到提取出的区域面积发生跃变（意味着开始包含大量背景），然后回退一个步长作为MinGray。

4.3 特征筛选的陷阱

select_shape用起来爽，但参数设置不当会误杀或漏放。

• 面积范围：一定要先计算一下理想焊点的大致像素面积。用draw_region手动勾选一个典型的“好焊点”，然后用area_center算它的面积，以此作为基准进行上下浮动设定范围。
• 圆度：不是所有焊点都是完美的圆。特别是拉尖、焊锡不足的缺陷焊点，其圆度会下降。如果你的目的是检出所有焊点（包括疑似缺陷的），那么圆度下限要设得宽松一些（比如0.4）。如果只找合格焊点，可以设高（如0.7）。切记：圆度对区域边缘的锯齿非常敏感。先进行适度的closing_circle平滑边缘，能让你得到的圆度值更稳定、更有意义。
• 组合特征：除了面积和圆度，还可以考虑紧密度（compactness）、矩形度（rectangularity）等。通过观察好/坏样本在这些特征空间中的分布，来设定更精准的筛选条件。

5. 进阶策略：当简单方法失效时怎么办？

如果经过上述流程，提取效果仍然不理想（比如焊点和背景灰度完全重叠，或干扰物与焊点形态极度相似），我们就需要祭出更高级的策略。

5.1 色彩信息的利用

如果原始图像是彩色的，灰度信息可能不足以区分目标。焊锡（尤其是氧化后）和背景纹理在颜色上可能有本质区别。

1. 转换色彩空间：将RGB图转换到HSV或HSL空间。

   decompose3 (Image, R, G, B) * 如果读入的是三通道彩色图 trans_from_rgb (R, G, B, H, S, V, ‘hsv‘)

2. 分析通道：通常，S（饱和度）通道能很好地区分彩色区域和无色彩的灰度区域；H（色调）通道对颜色种类敏感。可能背景纹理在S通道很弱，而焊点（即便发暗）在H通道有特定值。对S或H通道进行阈值分割，可能会得到比灰度图更好的二值图。

5.2 基于边缘或梯度的分割

当焊点与背景的边界清晰，但内部灰度不均时，可以尝试从边缘入手。

• edges_image算子可以提取边缘。
• threshold_sub_pix可以对边缘进行亚像素阈值分割，得到轮廓。
• 然后使用gen_region_contour_xld将轮廓转换为区域，再用fill_up或union1填充内部。 这种方法对高反光导致焊点内部过曝（一片白）的情况特别有效，因为过曝区域的边缘通常是完整的。

5.3 模板匹配与差分法

如果焊点的位置大致固定（例如在PCB的特定焊盘上），可以采用更“暴力”但稳健的方法：

1. 获取一张“标准”无焊点或都是好焊点的图像作为模板。
2. 对待测图像进行仿射变换，与模板进行像素级对齐（使用vector_field_to_hom_mat2d或基于特征点的匹配）。
3. 计算待测图与模板图的绝对差分图abs_diff_image。
4. 对差分图进行阈值分割，显著变化的区域就可能是焊点（或缺陷）。 这种方法能极大消除固定背景干扰，但对位置变动和光照变化比较敏感，需要精确的配准。

6. 常见问题排查与实战技巧实录

在实际项目中，你一定会遇到各种意想不到的情况。下面是我踩过的一些坑和总结的技巧。

6.1 问题：分割出的区域总是粘连在一起（焊点连成一片）

• 原因：阈值过低，或者预处理（如顶帽）的结构元素太小，未能有效分离相邻焊点之间的背景。
• 解决：
  1. 尝试提高threshold的MinGray值，让分割更“苛刻”。
  2. 增大顶帽运算的结构元素半径，但要注意不要伤及焊点本身。
  3. 分割后，使用watersheds算子进行分水岭分割，可以将粘连区域根据地形（可理解为梯度）进行分离。

     * 假设Regions是粘连的区域 watersheds_threshold (Regions, Basins, 10) * 10是阈值，用于控制分水岭的深度

  4. 如果焊点本身是圆形，可以尝试distance_transform结合h_max，寻找距离变换图中的极值点作为种子点，再进行区域生长。

6.2 问题：小焊点总是被当成噪声过滤掉

• 原因：opening_circle的半径或select_shape的面积下限设置过大。
• 解决：
  1. 在开运算去噪前，先使用select_shape将面积明显过小的噪声区域剔除（比如面积<50像素），保留所有可能的小焊点。
  2. 对剩余区域进行特征分析。小焊点可能圆度也不错。可以设置一个专门针对小面积但高圆度的筛选条件。
  3. 考虑是否光照不足导致小焊点对比度低？尝试在预处理阶段使用emphasize或scale_image增强局部对比度。

6.3 问题：算法在不同批次产品上表现不稳定

• 原因：可能是光源衰减、相机参数微调、或产品本身基底颜色有批次差异。
• 解决：
  1. 动态参数：不要将阈值等参数写死。可以每帧（或每N帧）自动计算一次。例如，使用gray_histo计算直方图后，用histo_2dim和auto_threshold算子尝试自动寻找阈值。
  2. 归一化处理：在预处理环节加入图像归一化，消除整体亮度波动的影响。

     mean_deviation (GrayImage, Mean, Deviation) scale_image (GrayImage, ImageScaled, 1.0/Deviation, -Mean/Deviation) * 归一化为零均值、单位方差

  3. 建立黄金样本库：保存不同批次、不同状态下的“合格”样本图像。在新批次上线前，用这些样本快速测试并微调参数。

6.4 一个关键的调试技巧：可视化中间结果

在HDevelop中调试时，务必养成将关键中间图像和区域显示出来的习惯。我个人的习惯工作流是：

1. 开4个窗口：原图、预处理后图、阈值二值图、最终结果图。
2. 使用dev_set_color为不同步骤的结果设置不同颜色（如预处理用蓝色，阈值区域用红色，最终区域用绿色）。
3. 使用dev_update控制窗口更新，在循环调试参数时，设置为‘off’可以避免闪烁，观察单次效果时再设为‘on’。
4. 善用disp_message在图像上直接打印关键参数值（如当前使用的阈值、检测到的数量），一目了然。

从干扰背景中提取焊点，是一个典型的“信号与噪声”博弈问题。没有放之四海而皆准的银弹参数，核心在于深刻理解你的图像数据（焊点和干扰物在物理上是如何成像的），并熟练运用HALCON工具箱里的各种“手术刀”（预处理、形态学、特征分析），进行有针对性的处理。每一次成功的提取，都是对图像理解的一次深化。当你面对一张新的、更棘手的图像时，不妨回到起点：再看一眼直方图，再想想顶帽和底帽的物理意义，再审视一下你筛选特征的逻辑。这个过程本身，就是机器视觉工程师的核心价值所在。