1. 别急着训模型：先明确缺陷的“定义边界”和“可容忍漏检率”
接手工业缺陷检测项目的第一件事，往往不是急着跑通某个算法，而是先坐下来跟产线负责人、质检组长、工艺工程师把话说透。我见过太多项目死在“缺陷到底是什么”这个问题上——甲方说“表面瑕疵”，业务方说“不良品”，现场质检员却说“看得不顺眼就是有问题的”，三方各执一词，最后模型只能学出一套四不像的决策边界。
1.1 缺陷定义颗粒度：细到能写验收标准才算数
工业缺陷检测里的“缺陷”不是一个笼统的概念。一个金属外壳表面的划痕，是长度超过2毫米才叫缺陷，还是只要肉眼可见都算？划痕在正面还是侧面，是否影响装配？颜色变化是氧化还是脏污，会不会被擦拭后消失？这些细节必须落到纸面上，变成可量化的描述。否则数据标注的时候，两个人对同一张图的理解都不一样，标注出来的标签本身就是噪声，模型再强也学不出来。
具体执行时，我通常会让团队把缺陷拆成几个维度：类别、位置、形态、尺寸范围、严重程度。类别负责分大类，位置决定检测区域是否需要细分成更多视角，形态描述是条状、点状、块状还是皱缩状，尺寸范围和严重程度直接关联到业务上能不能接受。多花半天时间把这张表做出来，后面所有环节都会顺畅。
1.2 小样本到底“小”到什么程度：风险不只在数量
我们常说的“小样本”，直观理解是缺陷图数量少，但真正决定项目难度的其实是另一个指标：缺陷样本的“有效信息量”。假设你有300张缺陷图，但全部集中在同一条划痕、同一个区域、同一种光照条件下，那它就是妥妥的小样本问题，而且比30张但覆盖多种形态的样本更难训。因为后者起码保证了特征的多样性，前者只是在重复一个固定模板。
所以拿到数据后，我建议先做一次“按缺陷类型和出现位置分组”的统计。用Excel或者脚本都行，把缺陷类型、发生区域、来源批次、光学条件拉一个透视表。你会发现最头疼的情况不是总量少，而是某些缺陷类型一个手指头数得过来，比如50张图里只有3张是凹陷类缺陷。这种分布不均匀会直接导致训练时类别严重失衡，模型往往直接放弃学习少数类，预测的时候把什么都推到多数类那边，漏检率自然高。
1.3 先把验收指标敲定：漏检率多少算达标，误检率多少能接受
很多项目一开始只谈“准确率95%以上”，这个含糊的说法后面一定会出问题。缺陷检测领域真正要谈的是两个指标：漏检率和误检率。漏检是“有缺陷但你没报”，误检是“没缺陷你乱报”。产线场景里，漏检意味着不良品流到客户那里，可能触发赔付或品牌风险；误检意味着合格品被拦截，产线停线翻检，工人跟着遭殃。两者都是成本，但成本结构完全不一样。
我一般在项目启动时就跟客户要两个数：可容忍的最大漏检率是多少，日误检率能接受多少。如果是高价值场景，比如汽车零部件安全件，漏检率甚至会被定到0.1%以下；如果是外观件，可能漏检1%都能接受，但误检率必须控制在一炉料里不超几件，否则工人烦了直接关掉系统。这两个数不明确，后面的阈值调整、人工复核设计、模型迭代方向全都无从谈起。
2. 小样本数据的“开源”思路：增广、合成与负样本补全
数据不够，技术来凑。但这里的“凑”不是随便在图像上做几个翻转旋转就完事，而是要带着明确的目的去生成有效样本。小样本工业检测的数据扩充，核心目标不是让数量变多，而是让模型见过的“缺陷表征方式”变多。
2.1 离线增广：哪些操作安全，哪些操作会破坏缺陷语义
入门级的增广是旋转、缩放、平移、翻转、亮度抖动、噪声扰动。这些操作在通用检测场景下基本都是安全的，但在工业缺陷检测里要注意几个特殊点。第一，旋转角度要克制，很多产线缺陷是有方向性的，比如拉丝纹路的缺陷旋转90度就完全不像真实缺陷，反而引入错误语义。第二，对比度和亮度扰动要根据实际光学环境设计范围，如果产线是恒定光源，就没有理由把亮度拉得太狠。第三，裁剪缩放的幅度要保证缺陷区域不被裁掉，否则模型学到的是残缺模式。
我自己常用的做法是把增广分成“离线强增广”和“在线弱增广”两层。离线强增广用于扩充底库，每次都生成物理上可能出现的形态，比如改变光照方向、加一点运动模糊、模拟不同的景深；在线弱增广只是在训练时做小幅随机扰动，让模型不至于过拟合。软件层面直接用开源库就好，不用自己去写底层变换，调试的时间省下来去观察增广后的样本质量，那才是关键。
2.2 合成缺陷与领域随机化：从贴图到GAN的取舍
当真实缺陷样本实在稀缺时，合成数据是一条路。工业场景里最常见的是贴图法：在干净样本的缺陷区域贴上从历史图上抠下来的真实缺陷块，然后再做边缘融合和光照扰动。这种方法的优点是可解释性极强，每一张合成样本都由哪张真实缺陷演变而来清清楚楚；缺点是如果缺陷和背景之间在物理上存在一致性约束，比如凹陷改变局部反光，贴图就难以模拟。
更复杂的合成是渲染或物理模拟，比如建立三维模型模拟冲压、注塑的缺陷形成过程，然后渲染出不同角度、不同光照下的缺陷图。这种方法成本高，但适合样本量几乎为零的新产品导入场景。至于GAN，我的经验是只在小范围实验性质的项目里用，因为GAN生成图容易在细节上引入伪影，这些伪影在视觉感知上很逼真，但模型学到的可能是生成器特有的纹理，而不是真实缺陷的本质模式，放在产线上非常危险。合成数据的定位永远是“给模型一个起点”，不能替代真实数据做最终验收。
2.3 负样本才是漏检的幕后推手：别把注意力全放在缺陷上
这是一个很容易被忽视的点：当你说“漏检高”的时候，真正的问题往往不是模型认不出缺陷特征，而是模型被负样本干扰了。这里的负样本不止是干净无缺陷的图像，还包括那些“长得像缺陷但其实是正常状态”的边界案例，比如装配缝隙、焊点毛刺、油污影子、防锈油残留、纹理噪声。这些负样本和缺陷的边界非常接近，模型一但分错方向，就会把一大片所谓的“疑似缺陷”全部吞掉，或者反过来把真实缺陷当成正常纹理。
所以数据准备阶段，一定要专门去产线拍“不正常但合格”的样本。我会要求客户提供不同工位、不同光照、不同产品批次下的合格品照片，尤其要包含那些连人工质检都容易犹豫的边界情况。这些样本不需要多，但一定要覆盖得广。模型之所以漏检，很多时候不是没见过缺陷，而是没见过“看起来像缺陷但不是缺陷”的东西。
2.4 标注的坑：单张图谁标、跨图谁来对齐
小样本场景下每张标注图都极其珍贵，标注质量直接影响模型上限。第一层容易出现的问题是目标框精度差异，有人喜欢把缺陷完整框住，有人习惯卡着边缘，这会引入位置回归噪声。第二层问题是语义颗粒度不一致，同一张图今天标“划痕”，明天标“擦伤”，后天标“表面异常”，类别体系一乱，模型就糊涂了。第三层是严重度分级的地狱难度，经常是标注员凭感觉给低中高，但不同时段、不同疲劳状态下的感觉完全不可复现。
解决方法是所有标注图先由骨干标完，再由项目负责人逐张复核，尤其针对边界模糊的样本。同时把标注规范写成一份带标注例图的文档，发给每一位标注人员，并且每半天随机抽查十张图，发现不一致立刻当面校准。流程确实繁琐，但在样本量只有几百张的时候，这一道质检流程省下来的模型调参时间，往往是数天级别。
3. 模型与训练策略：预训练微调、不平衡损失和检测方案选型
数据准备好之后，模型选型和训练策略是下一个硬仗。小样本工业缺陷检测的模型绝对不能从零开始训练，这一点几乎没有例外。
3.1 用强预训练模型做起点，而不是从零搭网络
工业缺陷图像跟ImageNet上的自然图像差距很大，但预训练权重依然能提供极其宝贵的底层视觉先验，比如边缘、纹理、形状、颜色分布的组织方式。哪怕你是用分割网络做缺陷分割，从在ImageNet或大规模未知类目上预训练过的权重开始，都远好于随机初始化。我在实际项目里试过同样的网络结构，随机初始化需要至少五到十倍的数据才能追平预训练微调的效果，这在缺陷样本只有几百张的场景里就是生死差距。
微调的时候要注意冻结和解冻策略。数据量越小，冻结层数越多，只更新靠近任务头的部分；数据量稍微充裕，再逐渐解冻更多层。这样做能防止模型在少样本下快速过拟合到训练集的局部纹理上。学习率也要比常规训练调低一到两个数量级，通常从1e-4到1e-5起步，观察损失曲线稳定后再说。
3.2 类别不平衡与损失函数：让模型更珍惜少数类缺陷
多数缺陷数据集都存在一个比例问题：A类缺陷300张，B类缺陷9张。你用交叉熵损失去训，模型会学会“全猜A类”来降低平均损失，因为B类贡献的梯度太小了。针对这种不平衡，常见做法有几种。
最简单是类别权重加权，给少数类更高的损失权重，但这招在少数类样本占全样本比例低于5%时容易让模型变得激进，误检率急剧上升。更好一些的是Focal Loss，它通过调制因子让模型把注意力放在难以分类的样本上，而不是那些已经能够稳定区分的样本。如果你用的是目标检测框架，很多开源库已经内置了Focal Loss的变体，开箱即用。实际项目中我会组合使用：交叉熵负责稳定整体训练，辅助一个针对少数类的加权项或Focal项，并且通过验证集来调整两者的比例，而不是一次性把权重拉满。
3.3 单阶段检测、分割、还是异常检测：不同数据规模下怎么选
这里没有“最先进”只有“最合适”。我把方案分成三条路线。
第一条是目标检测，比如YOLO系、Faster R-CNN系，适合缺陷特征相对集中、位置框定明确、类型可枚举的场景。优点是部署成熟、推理快，缺点是如果缺陷形状极不规则或被遮挡，边框表达效率差。
第二条是分割系，比如U-Net、DeepLabV3或带Transformer的分割结构，适合缺陷是任意形状、需要精确到像素的场景。分割网络对小样本更吃数据，但如果缺陷边界清晰、训练样本能支撑，效果往往比检测框干净很多。
第三条是异常检测路线，比如PatchCore、PaDiM、基于重建的AutoEncoder，这类方法的核心假设是“只见过正常样本也能找出异常”。但工业现场绝大多数缺陷是已知缺陷类型，异常检测作为兜底或预筛可以用，单纯靠它做验收风险很大，因为在已知缺陷类型上它的精度通常不如监督模型。
我的选型口诀很简单：缺陷类型清晰且数据够，优先分割或高精度检测；缺陷类型不清晰或边界太模糊，用检测定候选区再加一个辅助分类；已知类型做得七七八八但总担心未知缺陷，叠加异常检测作为预警通道。
3.4 规则兜底不是倒退：第二层模型和人工规则怎么搭
神经网络不是万能的，尤其是在小样本约束下。为了控制漏检率，我强烈建议在模型输出后面加一层规则或辅助分类器做“再判断”。举例来说，一个目标检测模型输出了置信度为0.52的缺陷框，这个置信度刚好卡在阈值附近，这时候单独依赖主模型做决策就很危险。
常见的做法是级联一个轻量级辅助网络或者传统特征分类器，比如以主模型的RoI特征或裁剪图为基础，重新判断一次是缺陷还是误检；或者直接用传统图像处理做边缘梯度、连通域、灰度统计，对主模型低置信度的输出做二次确认。这听起来像是倒退，但其实工程上非常有效，它能压缩主模型百分之三十到五十的误检，同时不牺牲多少漏检控制能力。底线是：只要能降低漏检率且不显著增加误检率，任何兜底手段都值得考虑。
4. 漏检控制的“狡兔三窟”：阈值、人工复核与根因排查
漏检控制不是训完模型就结束的事，它要贯穿从训练到部署的每个环节。小样本场景下尤其如此，因为模型在训练集上表现再好，都可能在生产环境里遇到没见过的新情况。
4.1 用P-R曲线定阈值，别盯着单一准确率
小样本缺陷检测里的核心决策变量是置信度阈值。阈值调高，误检降低但漏检升高；调低则反之。到底调到哪里，不能拍脑袋，要看P-R曲线（Precision-Recall Curve）。这条曲线把不同阈值下模型在验证集上的表现画出来，横轴是召回率，纵轴是精确率，你可以直观看到每个阈值对应的一组（精确率，召回率）组合。
实际工作中我会让客户先给出可接受的漏检上限，反推在验证集上能够达到该召回率的最低阈值，然后再加上一段保守冗余。原因很简单：训练数据和真实产线数据之间一定存在分布偏移，验证集上召回率达到95%的阈值，到了现场很可能只有88%。所以必须人为留一点余量。这不是模型能力不够，而是工程上的“安全系数”。
4.2 漏检和误检的代价不对称：按业务成本去配比
先算一笔账。假设一天生产一万件，缺陷率是千分之五，也就是50件不良品。如果模型漏检率是10%，那么每天有5件不良品流到客户端；如果模型误检率是1%，那么每天有99件合格品被拦截下来重新翻检。哪个代价大？对大多数行业来说，流到客户端的不良品代价远大于产线拦截误检，因为那可能触发退货、投诉、整批次复查甚至合同赔偿。但反过来，如果一个车间把误检当作大敌，动不动就停线，延误交付的损失也可能超过漏检。
所以阈值和复核机制的设计，本质上是业务成本函数的最优化问题。我的建议是先确认哪个方向坏结果最严重，然后把模型阈值往更安全的方向偏一档。比如漏检后果更严重，就降低阈值，哪怕是牺牲更多精确率，然后把低置信度输出交给人工复核。这条思路跟单纯追求模型性能是两件事。
4.3 人工复核区：不是所有结果都要看，只看“灰色地带”
很多工厂的质检系统上线后，所有模型判定“有缺陷”的图片全部弹到人工复核台，结果复核员要盯的图比原来全检还多，自然产生抵触情绪，甚至开始走形式。正确做法是只把模型置信度落在“灰色地带”的输出交给人工复核，高置信度的缺陷结果直接判NG，高置信度的正常结果直接放行。
这个灰色地带的宽度是可调的。如果复核人力充足，就把灰色带放宽；如果产线节奏快、人手紧，就收窄灰色带，同时接受一定程度的误检直接判NG，让低概率问题在生产线上消化。这套逻辑本质上是把AI当成一个“初筛员”，而不是终审员，尤其在小样本、模型还不尽完美的阶段，这种协作关系比单纯追求纯自动化可靠得多。
4.4 漏检根因排查：光照、状态、材质这些被忽略的变量
上线之后如果发现漏检率异常升高，不要急着骂模型，按这套顺序排查。第一步看光照和成像状态，产线有没有更换光源、镜头是否有油污、相机增益是否被误调；第二步看产品来料状态，材质批次变了、表面粗糙度不同、甚至有防锈油涂层变化，这些都会让图像分布整体漂移；第三步看缺陷类型分布，是不是来了新类型的缺陷，训练数据里完全没有覆盖到；第四步才回头看模型结构或阈值配置。
我在一个项目里遇到过这种情况：模型某个区域持续漏检，排查后发现是机罩玻璃透光度随着车间换气系统启停发生了变化，阳光角度不同导致光影干扰。这种变量在实验室里永远测不出来，只能靠上线后系统性的根因排查。所以漏检控制体系里，运维日志和数据监控的地位一点都不低于模型本身。
5. 落地部署与持续迭代：从回放验证到灰度上线
模型在实验室跑得很好是一回事，真要连到产线、接入PLC、对接MES是另一回事。最后一章分享下完整的上线流程和迭代节奏。
5.1 回放验证：拿历史批次图像做“影子模式”
正式上线前，务必把模型放在“影子模式”下跑一段时间，意思是模型产出的结果只记录、不影响生产。把最近两到四周的历史批次图像全部喂给模型，用离线方式统计它在真实产线图像上的漏检率和误检率。这一步能帮你提前发现分布偏移，不会到了线上才被工人投诉。
回放验证的另一个好处是能让甲方看到真实数据上的统计口径。我会把回放结果整理成按批次、按班次、按光源状态分组的表格，哪一组的漏检率异常，立刻就能定位到是环境影响还是数据覆盖问题。有了这份记录，再去跟业务方谈验收指标时底气就足很多。
5.2 灰度上线：小流量、看一批、复核一批
不要某天上午直接全量切换。按批次灰度，比如先让模型只在一号机台跑，或者只对某一段时间的产品生效，同时安排质检员对模型输出做全量复核。灰度期通常跑一至三天，跑够足够数量的产品后再评估漏检率、误检率是否落在验收范围内。一旦出现异常，随时可以在后台回滚到纯人工状态。这个阶段最重要的是把关负责人的反馈，很多问题在图像指标上看不出来，但人工复核时会发现“这模型怎么老是把边缘反光当缺陷”、“这个缺陷它是不是从没见过”。
5.3 回流机制：难例库、重新标注与重训节奏
上线之后最忌讳“一锤子买卖”。我建议部署时就规划好一个回流闭环：产线上被误判、被漏判的典型样本，定期收集到难例库中；由质检骨干重新标注，然后与原始训练集合并，重新微调模型。小样本场景下，这种闭环的价值怎么强调都不过分——每回流一批真实生产数据，模型对现场环境的适应能力就上一个台阶。
重训的节奏也有讲究。不是每天都要训，通常每个自然周或每个生产批次积累到一定量级后统一处理，避免模型频繁更新导致性能波动。每次重训后都要在固定的回放集上跑一遍回归测试，防止新数据把老知识冲掉。这套“采集→清洗→标注→重训→回归验证→灰度上线”的循环，才是小样本项目真正从及格走向稳定的路径。
5.4 项目复盘时最该关注的事：把验收口径写进合同
最后跟合作方确认验收时，最容易被忽略的是“验收数据来自哪里”。同一批模型，拿训练集测当然好看，拿现场采集的新数据测又是另一个数字。我会在验收评审时明确：验收用独立采样、未参与训练的现场图像，且抽样覆盖多个生产批次和班次。这样双方都不会被理想数字误导。
我在实际项目里最深的体会是：小样本缺陷检测的成败，从来不只是模型的事，它贯穿在公司对缺陷定义的理解、数据标注的规范、漏检代价的计算、部署监控的闭环里。模型只是这套流程里最年轻的那个环节，而真正决定项目命运的，是你有没有把一个“AI识别问题”当成一个“系统工程问题”来对待。
