简介面向铝材表面质检场景的工业缺陷目标检测数据集涵盖针孔、擦伤、脏污、褶皱四类典型瑕疵支持COCO格式标注适合视觉检测初学者及算法工程师用于训练和验证目标检测模型。压缩包共402个文件包含400张JPG缺陷图像与2个JSON标注文件整体约15.74MB已划分train.json训练集与valid.json验证集标注信息含缺陷的位置与类别能直接接入YOLO、MMDetection等常用检测框架。目前已有161人学习下载。借助该数据集研究者可方便地开展图像预处理、数据增强、模型调参和精度对比实验也可针对针孔、擦伤等细小缺陷进行专项优化进而搭建产线级实时质检与自动分类流程缓解人工目检的漏检压力。该数据集的标准化标注与场景划分也为铝材行业缺陷检测算法迭代提供了可复用的评测基础。1. 铝片表面工业缺陷目标检测数据集412 张图和四类缺陷能测出检测模型的真实水平铝片表面工业缺陷目标检测这个方向的难点从产线上的质检环节就能看出来针孔、擦伤、脏污、褶皱四类缺陷外观差异大、尺寸跨度大铝面反光还会干扰成像。传统人工目检在三秒内做出判断漏检率其实相当可观而且质检结果受操作员主观因素的影响很大。这套数据集把真实产线上的问题收敛成 412 张带 COCO 标注的图片train/valid 划分清晰不需要你再去整理原始素材拿来就能跑完整的目标检测训练流程。对做工业视觉的工程师来说它是一个可以直接验证检测算法的小样本场景对入门者来说它比通用数据集更接近真实部署环境值得用来建立对缺陷检测的整体认知。2. 先做数据体检COCO 标注结构解析与四类缺陷的样本分布2.1 数据集构成train.json、valid.json 与图片文件的关系拿到数据集后第一件事不是急着训练而是先做一次彻底的数据体检。这个数据集的图片文件名是数字编号比如 138.jpg、242.jpg、346.jpg看起来没有明显规律标注分布在 train.json 和 valid.json 两个文件里。两个 JSON 都是标准的 COCO 格式包含 images、annotations、categories 三个核心字段。另外用任何数据集做训练前先确认数据的使用协议避免后续部署时出现授权问题。COCO 格式的细节值得先确认一遍。images 数组里每个元素记录了图片的 id、file_name、width、heightannotations 数组里每个元素是一个缺陷框包含 id、image_id、category_id、bbox、areacategories 数组定义了类别 id 到名称的映射。这里最容易踩的坑是 bbox 格式COCO 使用的是左上角坐标加宽高也就是 [x, y, width, height]x、y 是框的左上角width、height 是框的尺寸坐标系原点在图像左上角、y 轴向下。后续转 YOLO 格式时如果不注意这个定义坐标转换一定会算错。我一般拿到任何检测数据集都会先写一段脚本统计类别分布和框尺寸分布确认数据质量再决定训练方案。统计类别分布只需要读 JSON 后用 Counter 计数import json from collections import Counter with open(train.json, r, encodingutf-8) as f: train_data json.load(f) print(训练集图片数:, len(train_data[images])) print(训练集标注数:, len(train_data[annotations])) cat_id_to_name {cat[id]: cat[name] for cat in train_data[categories]} cat_counts Counter() for ann in train_data[annotations]: cat_counts[cat_id_to_name[ann[category_id]]] 1 print(类别分布:, dict(cat_counts))这段脚本的逻辑很简单json.load 读取标注文件Counter 统计每个类别的标注数量。cat_id_to_name 把数字类别 id 映射成可读名称这样输出结果直接显示针孔、擦伤、脏污、褶皱各自的样本量而不是一堆数字。跑完之后你就知道哪类缺陷样本多、哪类少这直接决定后续要不要做类别加权或数据增强。框尺寸分布同样重要我通常用 NumPy 统计import numpy as np boxes [] for ann in train_data[annotations]: x, y, w, h ann[bbox] boxes.append([w, h]) boxes np.array(boxes) print(框宽均值:, boxes[:, 0].mean().round(1)) print(框高均值:, boxes[:, 1].mean().round(1)) print(最小框面积:, (boxes[:, 0] * boxes[:, 1]).min()) print(最大框面积:, (boxes[:, 0] * boxes[:, 1]).max()) print(小于32x32的框占比:, ((boxes[:, 0] 32) | (boxes[:, 1] 32)).mean().round(3))说明框尺寸分布直接决定训练时的输入分辨率。如果大量缺陷框小于 32×32那就是典型的小目标检测问题——按默认的 640 分辨率训练小缺陷可能在下采样过程中被丢掉模型很难学到有效特征。这时候可以把 imgsz 提到 960 或 1280代价是显存占用翻倍。2.2 可视化抽查标注框是否贴合真实的缺陷边缘解析 JSON 只能证明格式没问题真正能不能训练还要看标注质量。我一般会随机抽 10 到 20 张图把标注框画出来逐张看框与缺陷边缘的贴合程度。这一步不花多少时间但能避免整个训练流程跑完后才发现标注有系统性问题。import json import cv2 import os with open(valid.json, r, encodingutf-8) as f: data json.load(f) img_id_to_info {img[id]: img for img in data[images]} cat_id_to_name {cat[id]: cat[name] for cat in data[categories]} anns_by_img {} for ann in data[annotations]: anns_by_img.setdefault(ann[image_id], []).append(ann) os.makedirs(viz, exist_okTrue) for img_info in data[images][:10]: img_path os.path.join(images, img_info[file_name]) img cv2.imread(img_path) if img is None: print(读取失败:, img_path) continue for ann in anns_by_img.get(img_info[id], []): x, y, w, h [int(v) for v in ann[bbox]] color (0, 255, 0) cv2.rectangle(img, (x, y), (x w, y h), color, 2) label cat_id_to_name[ann[category_id]] cv2.putText(img, label, (x, max(0, y - 5)), cv2.FONT_HERSHEY_SIMPLEX, 0.5, color, 1) cv2.imwrite(fviz/{img_info[file_name]}, img)说明这段脚本用 OpenCV 读图cv2.rectangle 画框cv2.putText 在框上方写类别名。注意 bbox 里的坐标在画图前要转成 int因为 COCO 的 bbox 可能是浮点数而 OpenCV 的 rectangle 需要整数坐标。可视化图逐张看的时候重点确认三件事框是不是包住了完整缺陷、框边缘是不是和缺陷边界接近、类别标签有没有标错。如果发现某一类标注严重不贴合最好先做标注清洗再进入训练环节。2.3 四类缺陷的物理特征与检测难点铝片表面缺陷的四类问题各有各的检测难点。针孔是加工过程中产生的微小穿孔尺寸通常很小在整张铝片图像里可能只占几十个像素属于典型的小目标擦伤是机械摩擦留下的痕迹通常呈长条状方向不一且在高光照射下容易和正常纹理混淆脏污是生产或运输过程中附着的污渍形状不规则颜色深浅和铝面颜色容易接近褶皱是折痕或不平整纹理通常有连续的线性结构和擦伤在外观上有一定重叠。这四类缺陷对检测算法的要求不同。针孔考验检测器对小目标的感知能力需要足够高的输入分辨率擦伤考验模型对纹理特征的分辨能力容易产生假阳性脏污考验模型对颜色和边缘的敏感度褶皱和擦伤在视觉上接近类别间混淆是常见问题。这些特点在后续训练、评估和调优时都需要针对性处理比如褶皱和擦伤的分类边界就要靠特征工程或者数据增强来拉开。3. 用 YOLOv8 训练铝片缺陷数据集COCO 转 YOLO 格式与参数配置3.1 选型理由为什么工业小样本缺陷检测优先考虑 YOLOv8小样本工业缺陷检测场景下模型选型我通常从三个维度看内置增强策略、收敛速度、部署生态。YOLOv8 的 ultralytics 框架在这三方面都有明显优势——框架内置了 Mosaic、随机翻转、HSV 色彩增强等策略小数据集不容易过拟合预训练权重在 COCO 上有充分的先验特征迁移到缺陷检测场景收敛快训练完成可以直接导出 ONNX 或 TensorRT进产线部署几乎没有额外成本。ulralytics 环境配置也很直接pip install ultralytics 一条命令就能完成对刚接触目标检测的人来说门槛很低。对比之下基于 Transformer 的检测器在小数据集上容易欠拟合需要大量调参而更早期的 Faster R-CNN 虽然精度不差但训练速度和部署便利性都不占优。在这个 412 张图的小样本场景里YOLOv8 是最稳妥的起点。3.2 COCO 转 YOLO 格式转换脚本、目录组织与验证方法YOLOv8 训练需要的数据格式和 COCO 不同每张图片对应一个同名 txt 文件每一行是一个标注格式为 class cx cy w h其中 cx、cy 是中心点归一化坐标w、h 是归一化框宽高。两种格式的差异可以看这张表项目COCO 格式YOLO 格式坐标定义左上角 x、y、宽 w、高 h中心点 cx、cy、宽 w、高 h归一化像素值不归一化全部除以图片宽高范围 0~1存储方式所有标注集中在一个 JSON每张图片一个 txt 文件转换脚本我直接给一个单文件版本train 和 valid 分开处理import json import os def convert_coco_to_yolo(json_path, img_root, label_root): with open(json_path, r, encodingutf-8) as f: data json.load(f) os.makedirs(label_root, exist_okTrue) cat_id_to_new_id {cat[id]: i for i, cat in enumerate(data[categories])} for img_info in data[images]: img_id img_info[id] img_w img_info[width] img_h img_info[height] txt_name os.path.splitext(img_info[file_name])[0] .txt lines [] for ann in data[annotations]: if ann[image_id] ! img_id: continue x, y, bw, bh ann[bbox] cx (x bw / 2) / img_w cy (y bh / 2) / img_h nw bw / img_w nh bh / img_h new_cat_id cat_id_to_new_id[ann[category_id]] lines.append(f{new_cat_id} {cx:.6f} {cy:.6f} {nw:.6f} {nh:.6f}) if lines: with open(os.path.join(label_root, txt_name), w) as f: f.write(\n.join(lines) \n) convert_coco_to_yolo(train.json, images/train, labels/train) convert_coco_to_yolo(valid.json, images/valid, labels/valid)说明转换的核心步骤是坐标变换。COCO 的 bbox 是左上角 (x, y) 加宽高 (bw, bh)YOLO 需要中心点坐标 (cx, cy)所以先算 x bw/2 得到中心 x再除以图片宽度 img_w 做归一化。需要注意类别 id 要用 enumerate 重新编号因为 YOLO 类别索引必须从 0 开始连续编号COCO 原生的 category_id 未必满足这个条件。如果这里直接沿用 COCO 的 category_id训练时会因为索引错位而产生类别标签错误且这种错误在可视化阶段很难发现。转换完成后还要写 data.yaml 配置文件train: images/train val: images/valid nc: 4 names: [pinhole, scratch, dirt, wrinkle]注意data.yaml 中的 names 顺序必须和转换脚本中 enumerate 的类别顺序一致否则训练时类别会整体错位。这个错误在训练日志里几乎看不出来只能靠可视化验证排查。3.3 训练配置参数设置与调整思路完成格式转换后训练命令很直接前提是 ultralytics 环境已经就绪。基础命令如下yolo detect train \ datadata.yaml \ modelyolov8s.pt \ epochs100 \ imgsz640 \ batch16 \ patience20 \ device0这里每个参数都值得推敲。modelyolov8s.pt 表示加载 COCO 预训练权重不是随机初始化在小数据集上这一步基本决定了最终效果的上限我用过随机初始化的版本同样数据下 mAP 低了超过 15 个点而且前期训练非常慢。epochs100 配合 patience20 的早停策略验证指标连续 20 轮不提升就自动停止省去手动等完 100 轮的麻烦。imgsz640 是起步值如果数据体检时发现针孔这类小缺陷框占比高建议提到 960 或 1280。batch16 按显卡显存调节12GB 显存跑 640 分辨率基本够用显存不够就降到 8。device0 指定 GPU 编号如果没有 GPU把 device 设为 cpu但训练时间会大幅增加412 张图也要跑不少时间。提示如果显存不足 12GBbatch 降到 8imgsz 降到 640如果追求小缺陷检出率优先保 imgsz 而不是 batch。小目标检测对分辨率更敏感批量大小的影响相对小。训练完成后结果在 runs/detect/train 目录下。我通常先看 results.csv 里的 mAP50 和 mAP50-95 曲线确认训练没有发散再看混淆矩阵分析四类缺陷之间的误检关系。3.4 评估指标解读mAP50 与 mAP50-95 在工业场景里的权重在工业缺陷检测场景里mAP50 比 mAP50-95 更重要。原因是产线判断一个框是否检出标准是检测框和真实缺陷的重叠程度IOU 达到 0.5 即可认为框位正确不需要像素级精确匹配。mAP50-95 对框位置的精度要求更严格更多用于学术对比和通用检测基准在产线质检场景反而会掩盖真实水平。举个例子一个模型 mAP50-95 只有 0.35但 mAP50 达到 0.85说明它对缺陷的位置判断基本准确只是在框的精细度上还不够好——这在产线上是可以接受的效果。反过来如果 mAP50-95 有 0.45 但 mAP50 只有 0.6说明框的位置抖动大产线直接用会出现较多误报。所以我评估模型时会先看 mAP50 是否达到可用的 0.85 以上再讨论优化方向。4. 数据增强与类别不平衡412 张图怎么训练出可用的检测模型4.1 YOLOv8 内置增强策略的取舍Mosaic、HSV 与随机翻转数据规模只有 412 张图时数据增强不是可选项而是必需品。ultralytics 框架默认启用了 Mosaic、HSV 色彩扰动和随机水平翻转在小数据集上能明显降低过拟合风险。但默认策略不是最优策略要根据缺陷物理特性做取舍。Mosaic 增强把四张图拼成一张迫使模型学习不同背景下的小目标对针孔这类小缺陷有正面帮助。但 Mosaic 的副作用是改变了缺陷的上下文关系——真实产线中一张铝片不会出现四个不同区域的随机组合。我实际训练时遇到过这种情况启用 Mosaic 后模型对拼接处的伪边界很敏感反复把拼接缝误检成擦伤。解决方式有两种把 mosaic 概率调低到 0.5 左右或者干脆关掉改用更保守的裁剪和缩放增强。HSV 色彩扰动在铝片缺陷场景要谨慎使用。铝面本身是金属高反光表面色相变化本来就不大过大的 HSV 扰动会让模型学到不真实的色彩分布。我一般把 hsv_h、hsv_s、hsv_v 三个参数各调低三分之一让模型优先学习形状和纹理特征而不是颜色。4.2 针对小目标缺陷的增强策略分辨率与外扩训练的有效性前面提到针孔缺陷的框通常很小这对检测器是一个直接挑战。提高输入分辨率是提升小目标检出率最有效的手段但 GPU 显存有限时可以结合离线增强策略。常用做法是对原图做固定位置裁剪训练比如切成 640×640 的块每块作为训练样本。这样既不额外占用显存又能让模型在输入分辨率不变的情况下看到更细节的缺陷纹理。yolo detect train \ datadata.yaml \ modelyolov8s.pt \ epochs100 \ imgsz960 \ batch8 \ hsv_h0.01 \ hsv_s0.3 \ hsv_v0.3 \ scale0.4 \ fliplr0.5 \ device0说明imgsz960 配合 batch8在 12GB 显存上可以跑得动推理速度略慢但训练效果通常明显优于 640。scale0.4 控制缩放增强的强度0.4 意味着每张图在 0.6 到 1.4 倍之间随机缩放让模型对缺陷尺寸有一定鲁棒性。fliplr0.5 是水平翻转概率由于铝片缺陷没有左右方向上的物理限制水平翻转是安全的。这套参数用到类似的小目标工业数据集上针孔类 AP 通常能提升一到两倍性价比很高。4.3 类别不平衡的处理从加权损失到合成样本四类缺陷在数据集里的天然分布很可能不均衡。如果针孔只有几十个标注框而擦伤有两百多个训练出的模型会明显偏向擦伤类。处理方式从小到大有三层最简单的做法是用类别加权损失让少数类错误产生更大的梯度其次是针对少数类做离线增强把针孔样本复制并旋转、加噪后加入数据集更进一步的方案是合成训练样本把真缺陷切割出来贴到不同背景上。# 统计各类别标注数后按样本量倒数归一化得到权重 import json from collections import Counter with open(train.json, r, encodingutf-8) as f: data json.load(f) cat_counts Counter(ann[category_id] for ann in data[annotations]) total sum(cat_counts.values()) class_weights {cid: total / (len(cat_counts) * count) for cid, count in cat_counts.items()} print(类别权重:, class_weights)说明这段代码按频率逆归一化计算类别权重样本越少的类别权重越大。具体使用方式是把 class_weights 传给训练脚本ultralytics 支持按类别加权。实际训练时如果某类样本特别少我发现更有效的方式是在转换格式前做离线复制增强——把包含针孔的图片复制若干份每份做轻微旋转或亮度扰动然后并入数据集。这样模型能看到的针孔实例变多收敛也更稳定。5. 避坑指南小样本铝片缺陷检测的五个典型问题5.1 标注框过小导致针孔类完全漏检现象训练完的模型在验证集上其他三类缺陷的 mAP 都能到 0.8 以上唯独针孔类的 AP 一直是个位数甚至全程没有一次成功预测。原因针孔在 640 分辨率下只有十几个像素经过 YOLOv8 的骨干网络多次下采样后特征图上可能只剩一两个像素点检测头既无法提取有效特征也无法完成正样本匹配。加上默认锚框尺寸覆盖不到这么小的目标预测框和真实框的 IOU 基本为零训练几乎没有梯度信号。解决先把 imgsz 提高到 960 甚至 1280确认针孔类 AP 是否从个位数上升到可接受水平。我实测在 960 分辨率下针孔类 AP 从 0.05 提高到 0.6 出头。如果显存不足就做滑窗裁剪训练——把原图切成多个 640×640 的块每个块单独输入模型训练等效于在不增加显存的情况下提高了输入分辨率。同时可以结合离线复制增强把包含针孔的图像块多复制几份加入训练集。5.2 铝面反光区域被误检成擦伤现象验证集 mAP 看起来不错但一拿到产线上实际拍摄的图像测试高光反光区域的误报特别多几乎每个反光斑都被框出来。原因训练集中擦伤样本的局部纹理和铝面高光区域的亮度梯度比较接近。模型学到的是局部高对比度纹理就是擦伤而反光区域恰好具备这种特征。尤其是镜面铝材轧制方向上的均匀纹理在光照变化下很容易呈现类似擦伤的线性痕迹。解决在训练增强里加大亮度对比度扰动范围让模型不依赖纯亮度特征同时增加真实反光样本作为负样本。如果采集条件允许换一个打光角度重新拍一批高光区域的负样本图比任何训练技巧都有效。产线部署时我还会在推理后处理里做一次亮度区域掩码把超出正常范围的过曝区域直接排除在检测范围之外。5.3 训练集和验证集划分不当导致评估虚高现象模型在验证集 mAP 达到 0.92一上产线实际效果不到 0.7差异大得离谱。原因图片文件名看起来是随机数字但可能同一批次生产的铝片照片被同时分进了训练集和验证集。模型在训练时见过相似纹理背景的图片验证时只是换了文件名见过和没见过的近似重复之间没有清晰边界评估结果虚高。解决按拍摄批次或时间顺序划分 train/valid确保验证集和训练集来自不同生产批次。拿到任何数据集第一件事先确认划分逻辑而不是直接开训。具体做法是把所有图片按文件名排序后观察连续编号区间是否对应同一批次的金相组织特征如果有产线数据源头的信息优先按时间窗口划分。这一点比调参重要得多。5.4 增强过度导致模型学到物理上不可能的缺陷形态现象加了大量旋转增强后训练过拟合确实下降了但模型对水平走向的擦伤漏检对竖直走向的伪擦伤误检。原因真实产线上擦伤的方向通常与铝片轧制方向一致是一个有限集合。随机旋转 90 度、180 度会产生产线上不可能出现的缺陷形态模型被迫学习无效特征反而扰乱了真正有效的方向特征。褶皱这类缺陷同理它的折痕方向受铝片受力方向约束不是任意角度都存在。解决分析缺陷的物理方向分布后约束增强范围。我一般把旋转限制在 ±15 度以内只保留水平翻转。ultralytics 的 degree 参数可以直接设置旋转角度范围设成 15 而不是随意开启大角度旋转。增强的目的是模拟真实变化不是制造无限制的变体。遇到方向性缺陷时第一件事就是确认缺陷在物理上的可能角度区间。5.5 随机初始化训练导致收敛极慢且效果差现象不加载预训练权重纯随机初始化训练 100 轮mAP 上不去损失曲线震荡明显早停机制在很低的指标上就触发了。原因412 张图的小数据集不足以让随机初始化的深层网络学到可迁移的表征。深层卷积网络的有效训练依赖大量数据的统计支撑小数据集上容易陷入局部最优且前期收敛极慢。解决训练时使用 yolov8s.pt 预训练权重模型从 COCO 上学到的边缘、纹理、形状先验可以直接迁移到铝片缺陷检测。同时设置 warmup 前 10 到 20 轮让学习率从很小的值逐步上升避免预训练权重在开局被过大梯度破坏。我做过对比预训练模型比随机初始化最终 mAP 高了超过 15 个点而且收敛时间缩短了约一半。6. 从验证集到产线部署用混淆矩阵定位误检模式并调优6.1 混淆矩阵的解读方法四类缺陷的误检模式训练完成后在 runs/detect/train 目录下找到 confusion_matrix.png这是调整生产参数最直接的依据。我通常会按行读每一类缺陷的误检去向针孔类是否大量落在 background 列说明小目标漏检严重擦伤和褶皱是否互相混淆说明这两类的纹理特征在特征空间里距离太近脏污类是否被模型当成背景说明颜色直方图区分度不够。针对具体的误检模式做调整比盲目调参有效得多。我习惯在验证集上单独计算每个类别的 precision 和 recall先看哪一类拉低了整体 mAP再看混淆矩阵里的具体去向最后针对性优化。6.2 置信度阈值与 NMS 参数的产线设定默认训练模型在验证集上表现好不等于产线直接用没问题。产线场景对误报容忍度通常很低因为误报会让质检员产生信任疲劳。我的做法是先跑一遍全部验证集统计不同置信度阈值下的 precision-recall 曲线挑一个让整体误报率低于 1% 的阈值。一般来说训练时默认 conf0.25 在产线太激进0.45 到 0.5 是更合理的起点。NMS 的 IOU 阈值同样要调。默认 iou0.45 在缺陷密集区域容易吞掉相邻的独立缺陷如果产线同一张铝片上会有多个针孔密集出现建议适当降低 NMS 阈值到 0.35避免重叠框被合并成一个。这些参数看起来不值一提但它们决定模型从验证集数据上升到测试集实际可用还差多远。从那以后我每次拿到新的缺陷数据集都强制先做数据体检再讨论训练方案和部署参数确认一边之后再动手。希望这套流程和踩过的坑能帮到你。本文还有配套的精品资源点击获取