简介岩石表面矿物质检测数据集是一套面向目标检测任务的专业资源适用于地质学、矿物学研究和矿业自动化场景也可作为YOLO系列深度学习模型的训练素材。数据集中包含超过1000张高分辨率岩石表面图片及对应的边界框标签覆盖石英、斑铜矿、黄铁矿等8类常见矿物质类别信息已整理在class文本文件中便于模型训练与评估。资源包共2000个文件其中861张jpg图片、1138个txt标注文件以及1个可视化Python脚本整体大小约59.08MB。图片与标签已按YOLO格式处理并经过数据增强如旋转、缩放、翻转等可以有效提升模型泛化能力。配套的训练集、验证集划分和show脚本可直接在图像上绘制检测框方便观察与调参。这份数据集省去了格式转换和标注整理的繁琐步骤让研究人员能将精力放在模型优化与矿物识别算法改进上。目前已有455人学习使用对于从事岩石矿物检测或需要高质量小样本增强数据集的开发者来说是一份实用性较强的素材。1. 拿到 1000 张岩石表面矿物质图片为什么还不能直接训练岩石表面矿物质检测这个需求在选矿自动化、地质编录、矿产勘探数字化这些方向上出现得越来越频繁。数据集标题里写着“超过 1000 张图片和标签”听起来可以直接喂进 YOLO 跑训练但实际拿到手你会发现这类数据集和通用目标检测数据集完全是两回事岩石表面的矿物质没有清晰轮廓边界靠纹理、颜色、光泽的渐变来区分同一个矿种在不同光照下拍出来颜色能差出好几档。换句话说训练瓶颈大概率不在模型而在数据本身是否干净、标注是否一致、划分是否合理。这篇笔记就按我自己处理这类数据集的固定流程来写先审计标签质量再转成 YOLOv8 能吃的格式接着选参数训练最后用野外照片验证。适合正在做岩矿自动化检测的算法工程师也适合手里有一批自己标的小规模数据、想跑通整个检测流程的从业者。1000 张图是小数据量每一步都不能省。2. 先给矿物质标签做一次“审计”类别定义决定模型上限2.1 用脚本汇总标签里的全部类别名拿到数据先不要急着训练第一件事是遍历所有标签把类别名全部打印出来统计数量。岩石矿物质数据集最常见的坑有两个一是同一个矿种拼写不一致Quartz和quartz混用Pyrite和pyrrite拼错二是不同矿物被标成了同一个名字。这两类问题不处理干净训练出来的模型类别语义就是混乱的。import xml.etree.ElementTree as ET from pathlib import Path def collect_classes(xml_dir): classes {} for xml_file in Path(xml_dir).glob(*.xml): tree ET.parse(xml_file) root tree.getroot() for obj in root.findall(object): name obj.findtext(name).strip() classes[name] classes.get(name, 0) 1 for k, v in sorted(classes.items(), keylambda x: -x[1]): print(f{k}: {v}) collect_classes(labels_xml)这段脚本统计每个类别出现的次数输出形如quartz: 812的清单。注意这里统计的是“框的数量”而不是“图片数量”一张图里可能存在多个同类框。拿到统计结果后做两件事把所有类名统一成规范拼写把数量差异过大的类别标记出来。比如石英出现 800 框而某种稀有矿物只有 20 框后面就要为它单独做数据策略。2.2 检查标注框的宽高比分布岩石表面矿物质的标注框有两个典型形态接近正方形的粒状矿物以及细长条状的矿脉。宽高比超过 20:1 的框大概率是标注失误——要么把相邻的两颗矿物框在了一个矩形里要么鼠标拖拽时误操作拉出了异常形状。这类异常框在训练时会成为专门的“负样本噪音”拉低定位精度。import xml.etree.ElementTree as ET from pathlib import Path def check_aspect_ratio(xml_dir, threshold20.0): for xml_file in Path(xml_dir).glob(*.xml): tree ET.parse(xml_file) root tree.getroot() for obj in root.findall(object): bndbox obj.find(bndbox) x1 float(bndbox.findtext(xmin)) y1 float(bndbox.findtext(ymin)) x2 float(bndbox.findtext(xmax)) y2 float(bndbox.findtext(ymax)) w, h x2 - x1, y2 - y1 ratio max(w / h, h / w) if min(w, h) 0 else 0 if ratio threshold: print(f{xml_file.stem}: ratio{ratio:.1f}) check_aspect_ratio(labels_xml)把打印出来的文件名和原图对照看确认是否真的标错。阈值 20 只是参考值颗粒状矿物密集的区域经常出现两个目标被标成一个细长框的情况这类框需要手工修正而不是直接删除。2.3 标注边界规范框内要不要包含“晕圈”这是岩石矿物质检测和通用目标检测最大的区别。COCO 数据集里的猫、车、人有清晰轮廓标注不容易出现分歧岩石表面的矿物质没有明确边界蚀变带是渐变的同一个目标让三个人标能标出三个大小完全不同的框。我见过最多的情况是数据集来源不统一有些人标注时紧紧圈住核心颜色区域有些人会把外围过渡带也框进去。混合在一起训练后模型学到的是“矿物边界是模糊的”mAP50-95 怎么调都上不去。处理办法是在标注工具里开启 difficult 标记把过渡带明显的实例单独标出来或者直接在转换脚本里丢弃这类样本保证训练集里所有框的边界语义一致。对于已经标好但没有 difficult 标记的数据集能做的补救是用脚本按框大小和宽高比排序人工过一遍最不自然的框并修订。2.4 检查损坏图片和空标签文件数据清洗必须放在格式转换之前。图片损坏和空标签文件的存在会在训练到中途时突然打断进程浪费一整轮实验时间。from PIL import Image from pathlib import Path img_dir Path(images) bad_images, empty_labels [], [] for img_path in img_dir.glob(*.jpg): try: with Image.open(img_path) as im: im.verify() except Exception: bad_images.append(img_path) for img_path in img_dir.glob(*.jpg): xml_path Path(labels_xml) / f{img_path.stem}.xml if not xml_path.exists() or xml_path.stat().st_size 200: empty_labels.append(img_path) print(bad images:, bad_images) print(missing or empty labels:, empty_labels)判断空标签用文件大小做参考值并不可靠200 字节以下大概率是空框文件但稳妥的做法还是解析 XML 检查object节点的数量。这一步的意义在于格式转换脚本一旦跑起来中途排查问题成本会高很多先清掉脏数据总不会错。3. 把标注转成 YOLOv8 训练格式目录规范、转换脚本与数据划分3.1 目录规范YOLO 系约定俗成的组织方式YOLOv8 直接读 txt 格式的标签文件每行包含类别 ID 和归一化后的中心坐标、宽高。我把目录结构固定成下面这样后续多个项目复用同一套脚本不用改路径逻辑。dataset_root/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ └── data.yaml不要嫌目录层级深这个结构是 YOLOv8 默认支持的train: images/train会自动找到对应的labels/train。标签和图片必须保持同名否则训练时报错信息只会说“no labels found”排查起来非常痛苦。3.2 写一个 XML 转 YOLO 格式的脚本VOC 格式 XML 和 YOLO 格式 txt 的坐标定义完全不同VOC 存的是左上角和右下角的绝对像素坐标YOLO 存的是归一化后的中心点坐标和宽高。转换过程必须自己写脚本不要用手工转换工具批量处理 1000 多张图。import xml.etree.ElementTree as ET from pathlib import Path from PIL import Image classes [quartz, pyrite, calcite] # 以第 2 章审计后的类别清单为准 def xml_to_yolo(xml_path, out_txt, img_w, img_h): tree ET.parse(xml_path) root tree.getroot() lines [] for obj in root.findall(object): name obj.findtext(name) if name not in classes: continue cls_id classes.index(name) bndbox obj.find(bndbox) x1 float(bndbox.findtext(xmin)) y1 float(bndbox.findtext(ymin)) x2 float(bndbox.findtext(xmax)) y2 float(bndbox.findtext(ymax)) # 边界约束越界的坐标压回图片范围内 x1 max(0, min(x1, img_w)) y1 max(0, min(y1, img_h)) x2 max(0, min(x2, img_w)) y2 max(0, min(y2, img_h)) if x2 x1 or y2 y1: continue cx (x1 x2) / 2 / img_w cy (y1 y2) / 2 / img_h w (x2 - x1) / img_w h (y2 - y1) / img_h lines.append(f{cls_id} {cx:.6f} {cy:.6f} {w:.6f} {h:.6f}) with open(out_txt, w) as f: f.write(\n.join(lines)) xml_dir Path(labels_xml) out_dir Path(labels_all) out_dir.mkdir(exist_okTrue) for xml_path in xml_dir.glob(*.xml): img_path Path(images) / f{xml_path.stem}.jpg with Image.open(img_path) as im: img_w, img_h im.size xml_to_yolo(xml_path, out_dir / f{xml_path.stem}.txt, img_w, img_h)三个关键细节一是图片宽高必须从图片文件本身读取XML 里的size节点经常被标注工具写错或漏写二是坐标越界必须压回边界再判断有效性如果不做这一步训练时数据加载器会崩三是过滤掉宽或高小于等于 0 的框这类异常框会给 loss 计算带来极大权重。如果转换后一张图没有任何有效框它就是空标签需要在 train/val 划分之前处理掉。3.3 训练集、验证集、测试集划分按采样点分组1000 张图的常规划分是 70% 训练、15% 验证、15% 测试但这个数据集有一个隐蔽的风险同一个采样点拍摄的多张连续照片构图和光照极其相似。如果这些照片随机分配到训练集和验证集验证分数会严重虚高真实场景表现打骨折。from sklearn.model_selection import train_test_split from pathlib import Path imgs sorted(Path(images).glob(*.jpg)) # 假设文件名前缀是采样点 ID例如 site07_rock_01.jpg groups list({p.stem.split(_)[0] for p in imgs}) train_groups, val_groups train_test_split( groups, test_size0.3, random_state42 ) train_imgs [p for p in imgs if p.stem.split(_)[0] in train_groups] val_imgs [p for p in imgs if p.stem.split(_)[0] in val_groups]按分组划分比随机划分多了一层保险。如果文件名里没有采样点信息退而求其次的做法是把图片按拍摄时间戳排序后隔 10 张抽 1 张进验证集至少能避免同一岩芯样本的连续帧跨集合。划分完成后一定要打印每个集合的类别分布确认验证集里每个类别都有样本否则出现类别缺失时验证曲线直接失真。3.4 data.yaml 配置路径和类别顺序是两处雷区path: /absolute/path/to/dataset_root train: images/train val: images/val test: images/test names: 0: quartz 1: pyrite 2: calcitepath字段我永远写绝对路径。YOLOv8 对相对路径的处理在切换工作目录时会静默出错报错信息还不直观。names列表的顺序必须和转换脚本里classes列表的顺序完全一致一个常见的翻车场景是转换脚本里按字母序排了类别data.yaml 里按矿物重要性排了类别结果类别 ID 错位模型把所有目标都当成石英。4. 用 YOLOv8 训练自己的岩石数据模型选型与关键参数4.1 模型选型从最小的开始不要一步到位上大模型1000 张图属于小规模数据集我不建议直接上 YOLOv8m 或更大版本。模型容量大但数据量不够时结果是训练集表现优异、验证集曲线震荡白白浪费算力。标准流程是先跑 YOLOv8n 拿到 baseline看 mAP50-95 的瓶颈在召回还是精度再决定是否换 s 或 m。模型参数量推理速度1000 张数据适用性YOLOv8n约 315 万最快优先尝试做 baselineYOLOv8s约 1113 万快数据干净时提升明显YOLOv8m约 2589 万中等需要配合增强和更多 epoch岩石表面矿物质检测的特征并不复杂大模型带来的提升远不如把标注质量修好。如果 YOLOv8n 在验证集上 mAP50 能到 0.85 以上但 mAP50-95 明显偏低问题出在定位精度而非模型容量换大模型没有意义。4.2 输入分辨率640 还是 1024岩石表面的细颗粒矿物质在 640 分辨率下经过多次下采样后特征可能只剩几个像素检测头 P3 根本来不及捕捉。判断标准很简单打开一张原始图片看最小的标注框占整张图面积的比例。如果单个框边长不足原图边长的 2%直接上imgsz1024。yolo detect train \ data./dataset/data.yaml \ modelyolov8n.pt \ imgsz1024 \ epochs100 \ batch8 \ optimizerAdamW \ lr00.001 \ hsv_h0.0 hsv_s0.0 hsv_v0.0 \ close_mosaic10 \ patience20这里每一行参数都有针对性。imgsz1024是为了保住小目标特征batch8是 1024 分辨率下 24G 显存的保守值显存不够就往下调到 4hsv_h/hsv_s/hsv_v全部设为 0关掉颜色增强具体原因在 4.3 展开。close_mosaic10表示最后 10 轮关闭 Mosaic 增强让模型收敛到精修阶段避免拼接图破坏纹理连续性。patience20是早停轮数100 epoch 内连续 20 轮 mAP 不提升就提前结束训练。4.3 为什么必须关掉 YOLOv8 默认的颜色增强YOLOv8 默认的 HSV 增强参数是hsv_h0.015, hsv_s0.7, hsv_v0.4意思是每张训练图在送入网络前色相可能发生小幅度偏移、饱和度可能变化 70%。这对通用物体检测没问题汽车换个颜色依然是汽车但岩石表面矿物质检测经常依赖颜色做核心分类特征——赤铁矿的红色、黄铜矿的金黄色、孔雀石的翠绿色。饱和度被随机改变 70%等于训练时把标签对应的视觉依据凭空抹掉了。第一次训练时我吃过这个亏训练 loss 降下去但验证 mAP 卡在 0.5 左右后来把预测结果叠在图上才发现模型把红色的赤铁矿认成了紫色的假象。关掉 HSV 增强后同样参数下 mAP50 提了十几个点。如果你确实需要模拟光照变化带来的颜色波动用亮度对比度增强代替色相变化这才是物理上合理的增强方式。4.4 训练过程中盯哪条曲线训练时的终端输出会同时打印多个指标需要区分主次。train/box_loss和train/cls_loss下降是正常的但最终评判标准是验证集上的metrics/mAP50(B)和metrics/mAP50-95(B)。两条曲线要对照着看mAP50 高而 mAP50-95 低说明分类正确但定位框不准问题大概率出在标注精度回第 2 章修数据两者都低再考虑模型容量、数据增强和训练时长。4.5 显存不足的兜底方案imgsz1024 在主流显卡上基本都能跑但如果是 8G 显存的卡batch8 会直接 OOM。我有两个办法一是把 batch 降到 2 或 4配合ampTrue混合精度训练二是做了多次实验稳定有效的两段式训练——先用imgsz640训 50 轮看类别能不能收敛再用imgsz1024加载 best.pt 微调 30 轮。第二种方法效果接近全程用 1024 训练但显存峰值低很多。5. 岩石数据训练的 4 个高频翻车点与排查方法5.1 训练 loss 降了mAP50 却趴在地板上现象train/box_loss 从 1.2 降到 0.5曲线很漂亮但 val mAP50 卡在 0.2 - 0.3 不涨。原因最典型的是标注边界不一致模型被喂进了大量“目标内包含背景”和“目标外包含前景”的矛盾样本。另一个常见原因是类别定义本身有歧义两个矿物外观接近但被标成不同类分类头永远学不出区分度。解决把训练好的模型对训练集前 20 张图做预测把预测框和标注框画在同一张图上人工比对。如果预测框系统地偏在标注框的一侧例如都偏右上说明标注规范整体跑偏需要统一标准后重标这一批图。如果偏移方向随机问题更可能是类别混淆优先查第 2 章统计的类别数量分布把数量少的类别和数量多的类别做视觉对比。5.2 小目标矿物质大面积漏检现象验证集上大块矿石都能检出细颗粒矿物几乎全部漏掉recall 惨不忍睹。原因检测头对目标尺寸有天然的“偏好区间”。YOLOv8 用 P3、P4、P5 三个检测头分别负责小、中、大目标小目标靠 P3 高分辨率特征图。如果输入分辨率只有 640原图中 20x20 像素的矿物质颗粒经过下采样后在 P3 上只占几个像素几乎没有可区分特征。解决第一步把imgsz加到 1024 或更高如果还不够最可靠的办法是切 patch 训练。把原始大图切成 2x2 或 4x4 的子图分别训练和推理最后用 NMS 合并重叠区域的预测框。这么做推理时间会翻倍但细颗粒矿物的检出率提升非常明显。切 patch 时重叠区域建议留 10%否则物体恰好被切在边缘时预测框会被截断。5.3 验证集上表现好野外实拍直接翻车现象训练和验证时的 mAP50 在 0.9 左右拿手机随手拍一张岩石照片测试漏检率超过一半。原因数据集划分出了问题。训练脚本默认随机划分图片但同一个采样点的多张照片进到了不同集合模型在验证集上能“作弊”——它见过同一块岩石的相邻帧。换到真正没见过的场景照片光照、角度、背景全变了立刻现原形。解决回到第 3 章的按采样点分组划分保证同一个采样点的所有图像只出现在一个集合里。如果原始数据没有记录采样点信息可以按图片的 EXIF 拍摄时间聚类或者打开全部图片按拍摄批次手动分组。划分完之后检查每个集合里是否有前几个批次的图混入这一步可以省去后续大量无效调参。5.4 类别不均衡某类矿物质只有几十个框现象训练结束后主要类别 mAP50 在 0.9 以上稀有类别在 0.1 以下几乎等于没学。原因1000 张图里可能某一类矿物只出现在 20 张图里模型看到的正样本太少无法形成稳定的特征描述。过采样复制这几张图意义有限因为模型反复看到同一批样本学到的还是局部特征而不是泛化特征。解决最有效的方式是补数据——拿着模型预测结果里该类别的低置信度误检框回到原图去找相似纹理的区域人工补充标注目标是把该类的框数量扩到 200 以上。用小模型预测结果做半自动辅助筛选人工确认后回填标签这相当于让模型自己帮你找难例。6. 野外验证三板斧TTA、混淆矩阵与难例回填6.1 TTA把验证照片翻着花地喂给模型训练完的模型我从来不会直接拿单一推理结果当作最终输出。TTATest Time Augmentation在推理时对同一张图做多次变换综合多次预测结果能小幅稳定地提升召回和定位稳定性。yolo detect predict \ modelruns/detect/train/weights/best.pt \ source./field_samples/ \ imgsz1024 \ conf0.1 \ iou0.5 \ augmentTrueconf0.1是关键——野外验证阶段优先看召回而不是精度宁可多出误检也要先确认模型把所有可疑目标都找到了。如果 TTA 后召回率明显优于普通推理说明模型对尺度变化敏感后续可以考虑在训练数据里加入更多不同拍摄距离的样本。6.2 混淆矩阵找到认不出的那对“兄弟”训练输出目录里有一张confusion_matrix.png它记录了所有真实类别和预测类别的对应关系。重点看误判对如果石英和长石互相误判的比例超过 10%说明这两个类别在颜色和纹理上的区分度过低。这时候调整模型参数没有意义要么重新审查类别定义看是否应该合并要么回到标注阶段在类别定义文档里补充更严格的区分规则。6.3 难例回填让模型自己帮你扩展数据集扩展数据集最快的路径就是拿已训练模型筛难例。具体做法是把野外未标注照片批量推理一遍输出置信度 0.7 以上的预测框人工快速浏览缩略图确认后直接回填标注文件。这里有一个必须守住的底线回填的难例数量不要超过当前已标注数量的 30%否则模型下一轮训练会被自己的误报污染出现“自己教自己犯错”的恶性循环。这套流程走下来YOLOv8 在岩石表面矿物质检测上基本能稳定到可用的水平。我自己做这个方向时踩过最大的坑就是迷信默认参数第一版图省事直接开训mAP50-95 低得像没做一样后来逐项排查才发现色彩增强一直在背后捣鬼。现在再碰这类细粒度纹理数据集我固定先查标注一致性、再冻结颜色相关增强参数。希望帮到你。本文还有配套的精品资源点击获取