1. 项目概述与整体思路1.1 缺陷检测为什么难在小样本和漏检这两件事上先聊个真实的场景方便你理解这个项目到底在解决什么问题。某条新能源电池产线一天生产几万只电芯壳体质检工位需要检测表面划痕、凹坑、脏污。算法团队接到的任务是把漏检率控制在千分之一以内误杀率控制在百分之三以内。听起来不复杂但给到的缺陷样本总共只有两百多张其中真正形态典型的划痕不到一百张剩下的还包含凹坑、脏污、异色多种类型形态差异极大。产线那边还加了句“两周后就要上线试跑”。这种活干过的人都知道疼在哪里第一缺陷样本太少深度学习模型很容易过拟合训练集的指标做到九九分漂亮一到现场就跑飞第二漏检的代价极高缺陷件流出到客户端就是批量客诉你能容忍精度低但绝对不能容忍漏。所以整个项目的核心矛盾可以浓缩成一句话在缺陷样本极度稀缺的条件下如何训练出一个足够可靠、能在生产现场稳定运行的检测模型同时把漏检控制到业务可接受的范围。这个项目我把它定位成一个偏工程落地的实战案例而不是学术实验。它适合正在做工业视觉落地的算法工程师、刚接手质检智能化项目的技术负责人以及准备从常规分类任务转向工业检测方向的朋友参考。下面写的内容里不会有花哨的理论堆砌全部是我们在实际产线项目中验证过的路径和踩过的坑。1.2 方案选型背后的核心逻辑先说清楚一个基础认知在工业缺陷检测里数据规模和业务目标之间的关系跟互联网场景完全是两回事。互联网场景下你可能有几百万张图、几千个类别模型容量可以做得很大靠数据规模硬推效果。工业现场恰恰相反样本少、场景单一、缺陷外观分布窄而且你真正关心的不是“分得有多细”而是“能不能把异常揪出来”。所以我采用的总体路线是这样的不追求一次性端到端训练一个大而全的模型而是把问题拆成三层——数据层解决样本数量与质量问题模型层解决特征表达能力不足的问题决策层解决漏检与误杀的平衡问题。数据层通过增强和生成扩充样本模型层优先选择预训练加冻结微调的方式决策层则把单一阈值判断改成多尺度判据加动态调节的机制。这三层中决策层的设计是我最想强调的部分。因为我见过太多团队拿着训练好的模型上线画一条ROC曲线选个阈值就以为结束了结果现场光照一波动、产品批次一换漏检率立刻翻倍。漏检控制从来不是训练阶段的单一任务它贯穿在数据标注、模型设计、阈值策略、在线监控的每一个环节里。后面我会用一整章的篇幅单独讲这部分。2. 小样本条件下的数据准备与增强策略2.1 工业现场数据采集的注意点干净的图反而是坑很多团队拿到现场数据后的第一反应是“先清洗把模糊的、过曝的、角度不正的删掉留下高质量图像”。这个思路用在通用视觉任务里没问题但放在工业缺陷检测里我建议你慎重。原因很简单现场运行时的图像质量分布和你手工挑出来的“干净图集”往往不一致。你删除的那些“脏图”恰恰是模型上线后最容易遇到的情况。我印象很深的一个案例某PCB板厂提供的训练图全部是标准光源下的正位拍摄结果现场AOI设备传回的图像存在百分之一到二的水平偏移和反光变化模型上线第一天误杀率就飙到百分之八排查半天才发现是训练集太“完美”了。所以我在小样本项目里反其道而行之只要是缺陷特征清晰可辨的图哪怕光线偏暗、角度偏转、背景稍乱一律保留。同时建议按现场工况刻意采集三类数据不同光源亮度下的缺陷图、工件轻微偏移旋转后的缺陷图、有轻微噪声干扰的缺陷图。这三类数据加在一起比在干净数据上做大量离线增强更有价值——因为它们是真实的分布偏移而不是模拟出来的。还有一点必须强调对于小样本项目图像分辨率是命根子。宁可数量少也要保证缺陷区域的像素宽度足够。我做项目时有个硬性约定缺陷最小可接受宽度不低于五十个像素。低于这个值再好的算法也很难稳定提取特征。如果现场相机分辨率不够优先考虑局部ROI放大采集而不是拿整幅大图硬训那样缺陷区域很容易被下采样抹掉。2.2 标注策略分类框、检测框与像素级标注怎么选数据量少的时候标注信息量就显得格外重要。我在项目里对比过三种标注方式的效果图像级分类标注只标“有缺陷/无缺陷”标注成本最低但模型只能学到粗糙的全局特征对微小缺陷不敏感检测框标注框出缺陷位置模型能学到局部特征和位置信息性价比最高像素级分割标注逐像素标出缺陷区域信息量最大模型对形态细节的感知最强在小样本场景下提升尤为明显。实际项目里我推荐的做法是分级推进。第一轮先做图像级粗标快速训练一个二分类模型用来初筛明显样本第二轮对初筛出的难例做检测框标注训练检测模型第三轮只对最终确认的少数核心缺陷类别做像素级标注用于训练分割分支或者作为融合判据。这样能在标注成本和模型信息量之间取得很好的平衡。有一个细节值得注意标注框不要贴着缺陷边缘标得太紧稍微外扩几个像素反而效果更好。原因是太紧的框会让模型误以为缺陷边界就是特征的全部一旦现场缺陷形态稍有变化预测就会不稳定。外扩两三圈背景进去模型被迫学会区分缺陷与正常背景的边界泛化性反而更强。2.3 数据增强的“质”比“量”更重要在线增强与离线生成小样本项目里数据增强是必需品怎么用却大有讲究。我推荐的增强组合是“在线轻度增强加离线重度生成”。在线增强跑在训练过程中每轮迭代随机变换包括轻度旋转、小范围平移、亮度抖动、对比度调整、高斯噪声等。注意幅度一定要轻工业缺陷检测里缺陷形态是判断核心旋转超过十五度、裁剪比例过大缺陷形态失真后模型学到的东西就是错的。离线重度生成分为几档一是经典的复制粘贴从缺陷图上抠出缺陷区域经过旋转、缩放、亮度变换后随机贴到不同批次的正常工件图上。这种方法对小面积缺陷尤其有效一张缺陷图可以轻松生成几十上百张新样本而且背景多样性大幅提升。二是缺陷形态的几何变换组合比如把划痕拉长、把凹坑的光影方向翻转、把脏污的颜色通道偏移等适合形态相对固定的缺陷类型。三是如果条件允许可以基于少量真实缺陷样本训练一个简单生成模型来合成新样本这个我们在有大算力预算的项目里验证过效果确实好但复杂度偏高小项目慎用。关于增强操作里最容易翻车的两个坑我单独提一下。第一个是增强后的图像出现了真实产品上不可能出现的特征比如把本来只出现在金属高光面的划痕贴到了哑光面上模型虽然训练损失在下降但学习到的其实是“贴图痕迹”不是缺陷本身。第二个是离线生成时没有记录生成参数出了问题无法追溯。我建议每一个离线生成的样本都附带生成参数JSON哪怕只是简单的旋转角度、亮度倍数将来排查模型误判时能省大量时间。3. 小样本训练的核心策略与参数配置3.1 为什么从零训练在小样本场景下基本不可行小样本场景里最常见的错误决策就是拿一套公开分类网络从随机初始化开始训练。我理解很多团队这么做的原因数据量少、任务简单就分两类觉得没必要用预训练模型。但实际效果往往很差尤其是缺陷形态细微的情况。解释一下背后的原理。深度学习模型的训练过程本质上是在高维空间中寻找一组参数使得模型对训练数据的拟合最好。当数据量很小时可拟合的参数空间非常大模型很容易找到一个在训练集上表现完美、但真实分布完全不适用的解。用通俗的话讲模型“背下了”这几十张缺陷图的像素模式而不是学会了“什么是缺陷”的抽象特征。预训练模型的价值在于它已经在海量自然图像上学到了通用的边缘、纹理、形状等基础特征这些特征在工业图像中同样适用。你在小样本上做微调相当于在“已经会看东西”的基础上教它“什么是你工厂里的缺陷”而不是从零开始教它“怎么识别边缘”。所以我的结论很明确小样本训练一律用预训练权重起步没有例外。如果公司内部有历史项目的模型权重优先复用同类产线上的模型权重比公开数据集预训练的更接近你的数据分布。如果只能用公开权重ImageNet预训练仍然是比较稳妥的选择。3.2 冻结训练与区分学习率细节决定微调上限用上预训练权重之后怎么微调也是一个门道颇多的环节。最简单的做法是全部参数一起微调学习率设个默认值比如1e-4或1e-3这在数据量稍微充足一点的任务里问题不大但在小样本场景下很容易出两个问题一是底层层级参数被大幅改动破坏了预训练学习到的通用特征二是训练集太小整体微调容易过拟合。我在实践中验证过几组方案比较推荐的是“分层冻结 区分学习率”。具体做法冻结网络的前几层参数只微调高层特征层和分类头给不同的层设置不同的学习率底层学习率小比如1e-5甚至为0顶层学习率大比如1e-4附近。这么做的逻辑是底层特征边缘、纹理是通用的不需要也不应该大改高层特征与具体缺陷形态相关需要重点适配学习率必须给足。举一个具体的配置实例供参考。我用的是ResNet50作为骨干网络前两个Stage完全冻结不参与反向传播第三个Stage学习率设为骨干网络整体学习率的十分之一第四个Stage和全连接分类头使用完整学习率优化器采用Adam初始学习率设为1e-4采用余弦退火调度Batch Size建议设小一些8到16之间因为样本总量就很小太大的batch会让每个epoch的更新次数过少Epoch数量不需要太多我通常设置30到50轮配合早停策略观察验证集loss变化。还要唠叨一个细节。类别不平衡在小样本缺陷检测里几乎是必然的——正样本可能只有一两百张负样本却有几千张。直接用原始分布训练模型会严重偏向负样本表现为误杀率很低、漏检率却高得离谱。常规做法是给正样本提高损失权重但权重系数不是越大越好。我调过的一组数据供参考正负样本比大约1:20时正样本损失权重设为3到5倍效果均衡权重设到10以上时模型开始对正常纹理产生过度敏感误杀率急剧上升。这个平衡需要根据你的实际数据分布多跑几轮对比才能确定。3.3 半监督自训练把未标注的正常样本也利用起来这里要引出一个很多团队忽略的样本来源海量的未标注正常样本。工业产线上的实际情况是正常工件图像几乎无限多而且可以很便宜地持续采集。传统监督学习完全用不上这些数据但对于小样本任务它们其实是金矿。方法叫半监督自训练流程不复杂。第一步用已有的少量标注缺陷样本和部分正常样本训练一个初始模型第二步用这个模型对大量未标注正常样本做预测筛出模型高置信度判定为正常的样本第三步把这些高置信度样本作为伪标注数据加入训练集重新训练模型。你可能会问只加入“正常”伪标注对缺陷检测能力有什么帮助帮助体现在特征表达上。模型见过更多多样的正常样本后正常的“流形”刻画得更完整、更清楚缺陷和正常的边界自然更加清晰。在实践中我们通过这种方式把正常样本规模从几百张扩到几千张后同等漏检率下的误杀率下降了将近一个百分点。在缺陷检测里这个幅度已经非常可观了。筛选伪标注的时候务必注意两点置信度阈值不能太低宁可少加也要保质量加入时要控制数量比例每轮加入的伪标注数量不要超过原始标注数据的三分之一防止噪声累积。这个自训练迭代可以跑两轮到三轮后面基本收敛再多意义不大。3.4 直接上异常检测思路另一种小样本原生方案除了分类、检测这套主流范式我还想专门提一下另一条路线无监督异常检测思路。严格意义上讲这类方法并不需要缺陷样本用于训练它只需学习正常样本的分布推理时把偏离分布的样本判为异常。这在理论上非常契合工业小样本场景——因为正常样本管够而缺陷样本没有也无所谓。我们实测过主流方法中对工业场景最友好的一种PatchCore。它的原理可以这样理解把训练集中的正常图像切分成大量小块提取每个块的特征向量存成一个特征记忆库。推理时把待检测图像的块特征与记忆库里的所有特征比较计算最小距离距离越大说明这个位置越不像正常状态极可能对应缺陷。核心好处是训练阶段基本就是特征提取加存储不需要复杂的优化过程对样本量的要求极低。PatchCore在小样本场景中的一个巨大优势是它对“没见过”的缺陷种类同样敏感因为判断依据不是“缺陷长什么样”而是“是否偏离正常”。这意味着你可能连某些缺陷的真实样本都没有但只要它肉眼可见地与正常表面不同模型就有概率抓出来。当然Pure异常检测路线的短板也很明显对正常样本形态变化的容忍度低。如果同一型号产品有两种工艺状态外观差异本身就很大这类方法就会频繁误报。所以在实际项目中我把PatchCore作为监督模型的补充判据而不是替代方案。后面在决策融合章节里我会详细讲这个组合用法。4. 漏检控制的工程手段与上线调优4.1 不要只盯着准确率漏检和误杀的本质是权衡进入这一章之前先把一个基础概念说透缺陷检测模型的评估绝对不能只看全程准确率。业界常说的三个指标——召回率漏检率对应、误报率误杀率对应和精确率它们之间是互相牵制的。你想把漏检压到极低最简单的手段是调低判断阈值让更多图像被判为缺陷代价是误杀率上升。反过来你希望误杀减少阈值上调漏检就会抬头。我们项目里定指标时一直是双向约束比如“漏检率低于千分之一同时误杀率低于百分之三”。在这个约束下模型的调优空间其实非常狭窄。更棘手的是漏检的代价通常远大于误杀。一个缺陷件流到客户端可能引发整批次退货、产线停线、品牌受损而误杀率高最多是增加人工复检成本。所以工程项目的核心哲学是在误杀可接受的范围内优先压漏检。理解了这一点很多细节决策就顺了。实际项目中模型输出的往往是一个“缺陷得分”比如0到1之间的数值或者距离度量值。它不是一个非黑即白的分类结果而是一个连续分数。判断阈值设在哪里直接决定漏检率和误杀率的最终平衡点。所以阈值绝非训练完顺手一选的事而是一个需要结合业务成本精心调校的工程参数。4.2 卡在阈值瓶颈时怎么破图像层、模型层、判断层三管齐下当你发现无论怎么调阈值漏检和误杀都在业务红线附近来回震荡这时候说明单模型的判断能力已经到极限了。靠继续训练或者调参解决不了问题需要从三个层面同时发力。图像层的手段比较直接提升输入图像的分辨率、优化打光方式、调整相机曝光参数让缺陷在源头更清晰。有时一根同轴光源或者一组低角度光就能把原本模糊的浅划痕照出明显对比度模型难度直接降一个档次。这个层面需要与现场设备工程师协同推进却是性价比最高的一步。模型层的思路是集成。单个模型的决策边界有偏差多个不同结构的模型各有所长通过投票或平均融合可以让最终判断更稳定。我们在项目里用的是三模型组合一个ResNet分类模型负责整体异常判断一个YOLO检测模型负责定位明显缺陷一个PatchCore负责捕捉未知类型的变化。三个模型的输出并不直接相加而是走后面对判据的融合逻辑。判断层的手段是引入更丰富的信息而不是只依赖模型的最终打分。这一点很多人容易忽略我展开讲讲。4.3 多模型多尺度投票与动态阈值具体配置多模型集成的具体做法我给出一套实际验证过的配置方案假设你有三个模型输出都归一化到0到1区间的缺陷得分。融合策略可以选用“加权投票 得分平均”的组合。权重设置的思路是检测能力强的模型权重大误报率高的模型权重小。比如精确率较高的分类模型权重给0.5定位能力强的检测模型权重给0.3对未知缺陷敏感但误报偏高的异常检测模型权重给0.2。如果三个模型中任意两个得分超过阈值T1则判为缺陷或者三个模型得分的加权平均值超过阈值T2判为缺陷。注意两个阈值是不同的T1要设置得比T2高一些防止一个模型异常拉高平均值造成误杀。这种双条件设计能显著提升系统的鲁棒性。更为细腻的做法是分区域并行判断。工业图像中不同区域的缺陷重要度完全不同。以电池壳体为例壳体侧面中部是卷边工艺的关键区域任何划痕都算致命缺陷而壳体底部属于非外观面允许存在细微纹理。那就可以把图像按照业务要求划分为多个ROI区域每个区域单独跑模型、单独设阈值关键区域阈值严格非关键区域阈值放松。这个思路看起来只是工程技巧但对漏检控制的帮助是质的提升——因为不同区域的缺陷分布和成本结构本身就不一样。动态阈值再说一个更落地的细节。产线不是一成不变的早上和晚上的环境光强不同、不同供应商批次的表面状态不同、设备保养前后的图像噪声不同。静态阈值在这种波动下很容易逐渐失配。我们采用的方式是周期性统计模型在正常样本上的得分分布用滚动窗口更新阈值。比如每半小时收集最近1000张被判定为正常的图像得分取第99.9百分位数作为当前阈值下限。这样阈值会随着环境变化缓慢漂移始终贴合现场状态。实现不复杂但这是线上漏检率保持稳定的大功臣。4.4 从分类得分到残差图的判断升级这一小节的内容相对专业但对控制微小缺陷漏检非常关键。常规分类模型的最后一层输出是一个概率得分这个得分对整幅图像做了信息压缩。如果缺陷区域只占整幅图像的千分之一那么哪怕这个区域被模型正确捕获了在全局池化和全连接层的信息压缩过程中这个信号也极易被淹没。这解释了为什么很多模型对大面积缺陷表现良好对微小缺陷却频繁漏检。解决办法是让模型同时输出细粒度的空间信息而不仅仅是一个标量。基于PatchCore的异常检测思路天然支持这一点它在推理时保留每个图像块的异常分数形成一个与图像位置对应的异常热力图我们称之为残差图。你可以这样理解分类模型告诉你“这张图有多大概率是缺陷”残差图则告诉你“这张图的哪一块区域偏离正常状态最远”。实际应用时我们设计了一套“双通道判据”最终缺陷得分 分类模型得分乘以权重 残差图最大位置分数乘以权重。残差图上的峰值位置信息还额外支持一个业务需求——当判定为缺陷时可以自动输出缺陷所在的坐标和局部截图方便人工复检时快速定位。这在产线上线的第一周尤为重要因为现场工程师需要核验每一条告警是否真实缺陷有了位置提示信任建立的速度快了很多。这个融合思路在我实践经验中把微小缺陷的召回率提升了大约百分之五到百分之八具体数字取决于缺陷尺寸和图像分辨率但恶化现象几乎没有。4.5 漏检报告与可解释性调参不是拍脑袋最后强调一个经常被忽略的工程动作——漏检案例的结构化复盘。每次模型更新上线后需要把验证集和线上抽检中出现的每一个漏检案例都保存下来记录以下字段漏检图像ID、缺陷类型、缺陷大小像素面积、所在ROI区域、模型输出得分、阈值、光照条件、产品批次号。积累几百条这样的记录后做一个统计分析往往能发现非常有价值的规律如果漏检案例集中在特定缺陷尺寸区间说明模型对该尺度敏感度不足需要针对性补充该尺度的增强样本如果漏检集中在某个ROI区域说明该区域的打光或特征表达有问题需要单独调优如果漏检样本的模型得分普遍接近阈值说明阈值附近的区分度不够需要加强困难样本的挖掘。我还可以给你一个直观经验值当漏检样本的平均得分与阈值之差小于零点零五的时候光调阈值意义不大模型的判断能力已经触到当前数据的瓶颈。这时候把精力放在图像质量提升、模型结构调整或增加训练样本多样性上效果会好得多。5. 全流程实操复盘从数据到上线的完整案例5.1 一个钢壳表面划痕检测项目的分日推进实录前面讲的都是方法论这一章用一个完整的复现案例把这些内容串起来方便你照着走一遍完整流程。项目背景是某电池配件厂需要检测圆柱钢壳表面的纵向划痕和压痕交付要求是漏检率低于千分之二误杀率低于百分之四。初始数据情况是标注缺陷图像两百八十张正常图像两千张图像尺寸是512乘512单张图中缺陷面积占比多数小于百分之一。团队两人时间三周。第一周前两天做数据盘点与清理。我们把缺陷图按形态聚类分成了四类细浅划痕、宽深划痕、凹坑、压痕。其中细浅划痕样本最少只有四十一张这也是后来最难啃的硬骨头。紧接着用了两天时间对所有缺陷区域做了像素级标注同时对正常图像做了五折划分确保模型评估的可靠性。第一周后两天到第二周前三天跑基线模型。用ImageNet预训练的ResNet18与ResNet50分别做分类头微调配合在线增强和冻结训练策略得到初步结果是漏检率控制在百分之一点五左右时误杀率在百分之三上下。这个结果离业务要求还差得远主要瓶颈集中在细浅划痕上。第二周后四天专注两条线一线是构建Patc•hCore异常检测分支用两千张正常图构建特征库另一线是做半监督自训练扩增额外采集了五千张现场未标注正常图跑了三轮自训练迭代。期间还做了复制粘贴离线增强把细浅划痕样本从四十一张扩充到了三百二十张。这轮迭代之后单模型漏检率下降了大约零点八个百分点。第三周做决策融合与阈值调整。我们部署了三模型融合方案加入了ROI分区、动态阈值更新机制以及残差图辅助判断。最终在留出验证集上的指标是漏检率千分之一点五误杀率百分之二点八。虽然漏检率距离千分之二的红线还差一点点但通过动态阈值在线上试运行期间观察实际漏检率稳定在千分之一点三到一点八之间最终通过了验收。在这个过程里我自己体会最深的不是哪个模型多牛而是整个系统的推进节奏数据是基础模型是载体决策机制是最终防线缺一个环节都不行。5.2 常见问题速查表小样本与漏检控制的排坑手册把在这个项目及类似项目里反复出现的经典问题整理成一张速查表方便你踩到坑时快速对照现象排查方向解决方案经验值训练集准确率很高验证集很差过拟合增加增强强度使用冻结训练策略加大Dropout比例或换用更小容量网络漏检集中在细浅缺陷特征尺度不足提升图像分辨率增加该类型缺陷的离线增强样本引入残差图通道误杀集中在特定区域ROI或光源问题检查该区域打光均匀性单独降低该区域阈值权重上线初期指标合格两周后恶化数据分布漂移开启动态阈值更新定期补充近期正常样本到特征库多模型融合后误杀不降反升权重设置不当检查是否存在单一模型频繁触发高得分调整该模型权重半监督自训练后指标反而变差伪标注噪声过多提高置信度筛选阈值降低伪标注数据加入比例检测速度不满足产线节拍模型过大或融合过重优先压缩分类模型残差图分支可隔帧计算最后一条经验缺陷检测项目做得好不好不完全看模型的先进程度更看你对数据分布的理解和对漏检机制的控制能力。在产线上模型一跑就是几个月真正考验人的是你有没有把数据、训练、决策、反馈这一整条链路打通形成一个持续迭代的闭环系统。这也是我写这篇文章最想传递的核心价值。