简介这份目标检测数据集聚焦生活中常见的自然灾害场景覆盖干旱、地震、海啸等7类目标采用YOLO相对坐标标注按YOLOv5目录结构划分训练集约500张、验证集约60张、测试集约40张总量超过600张图片及对应标签。资源共1347个文件以672张jpg图像和673个txt标签/类别文件为主另附1个Python可视化脚本与1张示例图压缩后约42.77MB结构清晰、便于直接使用。目前已有279人学习下载适合目标检测入门实践、灾害识别课题研究以及相关模型训练测试等场景。数据集可直接用于YOLO全系列模型训练附带脚本能够将目标框绘制到图像上方便直观核验标注质量省去自行转换和可视化的工作量。无论是快速搭建训练流程还是评估检测效果都能直接获取稳定可靠的标注数据支撑。1. 600张灾害图片能做什么先泼一盆冷水再讲价值很多人下载这个目标检测数据集的时候期待的是“600多张自然灾害图片和标签马上就能训出一个能用的灾情识别模型”。但我要先泼一盆冷水在深度学习目标检测里600张图属于“小样本中的小样本”单靠它训出来的模型mAP大概率不够漂亮直接上生产系统会被现场漏检打脸。不过这个数据集的真正价值不在最终分数而在于它能让你用最小的成本把整套目标检测流程完整走一遍数据体检、标注格式转换、模型训练、评估、增强迭代每一步几小时内看到反馈。它适合做毕业设计验证、算法选型demo、灾害预警系统的概念原型。甚至可以说拿这个数据集练过一遍流程之后你再去接燃气管道、工业质检之类的检测需求思路是完全通用的。2. 拿到数据集先“体检”再动手两种标注格式的统计与转换脚本数据下载下来之后大多数人的第一反应是直接扔给YOLO去训练。这个坑我踩过600张的规模下一张标签画错位置、一个类别拼写不一致、一个坐标越界最后都会以mAP的损失来结算而且排查成本极高。所以拿到数据的第一件事不是训练是做一次彻底的“体检”图片总数、每类框数、框的尺寸分布、坐标是否越界、图片与标签是否一一对应。这些信息直接决定你后面要不要切图、要不要做类别均衡、要不要换增强策略。2.1 一张图看清家底读取标注文件并统计类别与框分布常见的标注格式有VOC XML、YOLO txt、COCO JSON三种。灾害检测数据集多数来自LabelImg之类的常用标注工具导出VOC或YOLO格式都有。我一般先写一个统计脚本把每类目标的数量、框的平均宽高、最小最大尺寸全部打印出来。这一步还能暴露一个关键问题小目标占比。YOLO对低于32像素的目标非常吃力如果数据集里大量框的边长只占整图宽度的5%以下你就要考虑切图推理或者调高imgsz。import os, glob, xml.etree.ElementTree as ET from collections import Counter def stats_voc(xml_dir): class_counter Counter() box_sizes [] img_size_list [] for xml_file in glob.glob(os.path.join(xml_dir, *.xml)): tree ET.parse(xml_file) root tree.getroot() img_width int(root.find(size/width).text) img_height int(root.find(size/height).text) img_size_list.append((img_width, img_height)) for obj in root.findall(object): name obj.find(name).text class_counter[name] 1 box obj.find(bndbox) xmin float(box.find(xmin).text) ymin float(box.find(ymin).text) xmax float(box.find(xmax).text) ymax float(box.find(ymax).text) w (xmax - xmin) / img_width h (ymax - ymin) / img_height box_sizes.append((w, h, name)) return class_counter, box_sizes, img_size_list # 用 Counter 统计类别频次再按框宽高比例分桶 class_counter, box_sizes, img_sizes stats_voc(annotations) print(类别数量, dict(class_counter)) print(图片尺寸示例, img_sizes[:5])这个脚本的关键在于把框的宽高除以图片宽高得到归一化后的比例。这样统计出来的分布不受图片分辨率影响你可以直接看出有多少目标的宽度不足整图的10%这类目标在YOLO里会被当作小目标处理。如果统计结果里某类只有十几张图后面就必须做类别均衡或数据扩充。2.2 把VOC转成YOLO坐标归一化与四个边界参数如果你的标签是VOC XMLYOLO训练前必须先转成YOLO txt格式也就是每个txt文件里每行表示一个目标class_id x_center y_center width height且全部为归一化后的0到1浮点数。转换脚本本身不难难点在于处理边界情况。我建议在转换函数里显式传入四个参数类别映射表、越界裁剪开关、空标签过滤开关和精度保留位数。少处理一个后面训练时就会冒出“坐标NaN”或“box越界”的报错。def voc_to_yolo(xml_file, class_map, output_dir, clipTrue): tree ET.parse(xml_file) root tree.getroot() img_width int(root.find(size/width).text) img_height int(root.find(size/height).text) lines [] for obj in root.findall(object): name obj.find(name).text if name not in class_map: print(f跳过未映射类别: {name}) continue box obj.find(bndbox) xmin float(box.find(xmin).text) ymin float(box.find(ymin).text) xmax float(box.find(xmax).text) ymax float(box.find(ymax).text) # 越界修复而不是直接丢弃 if clip: xmin max(0, min(xmin, img_width)) xmax max(0, min(xmax, img_width)) w (xmax - xmin) / img_width h (ymax - ymin) / img_height x_center ((xmin xmax) / 2) / img_width y_center ((ymin ymax) / 2) / img_height lines.append(f{class_map[name]} {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}) out_file os.path.join(output_dir, os.path.basename(xml_file).replace(.xml, .txt)) with open(out_file, w) as f: f.write(\n.join(lines))注意我这里做了坐标裁剪而不是直接丢弃因为有些标注工具画框时鼠标拖过头xmax会比图片宽度大几个像素这在VOC里不算大毛病但YOLO训练时会导致锚框计算异常。类别映射表建议不要用中文类别名YOLO只认整数索引所以火灾、洪水、地震废墟这些类别名要先映射到0、1、2训练时再在data.yaml里做反向映射展示。2.3 按类别分层划分训练集与验证集一个别让验证集“漏底”的脚本600张图的小数据集随机划分训练集和验证集是大忌。如果某类目标一共只有30个框随机切分很可能让验证集里该类框数为零模型训练时根本没学过的类别验证时却要求它会检测。所以要按类别做分层采样保证每个类别在训练集和验证集中的比例大致一致。更进一步如果数据里包含同一灾害事件的连续帧照片要按场景分组划分否则验证集和训练集“撞脸”严重测出来的分数虚高这点我在避坑章节还会展开。import random from collections import defaultdict def stratified_split(image_ids, label_files, test_ratio0.2, seed42): random.seed(seed) class_per_image defaultdict(list) for img_id in image_ids: with open(label_files[img_id]) as f: classes set(line.split()[0] for line in f if line.strip()) class_per_image[img_id] classes # 按最稀有类别优先分配 all_classes set(c for cs in class_per_image.values() for c in cs) rare_first sorted(image_ids, keylambda x: min(len(class_per_image[x]), 2)) test_set, train_set set(), [] target_per_class defaultdict(int) for cls in all_classes: total sum(1 for cs in class_per_image.values() if cls in cs) target_per_class[cls] max(1, int(total * test_ratio)) for img_id in rare_first: need any(target_per_class[cls] 0 for cls in class_per_image[img_id]) if need and len(test_set) int(len(image_ids) * test_ratio): test_set.add(img_id) for cls in class_per_image[img_id]: target_per_class[cls] - 1 else: train_set.append(img_id) return train_set, list(test_set) # 返回 train_set 和 test_set后续按这个列表组织 images 和 labels 目录这个脚本的核心逻辑是“最稀有类别优先进入验证集”避免验证集里某些类别一个框都没有。手动划分完记得把两边的图片路径写到train.txt和val.txtYOLO可以直接用文本文件索引不需要复制图片。2.4 快速可视化抽查一组标签格式转换和划分都做完后一定要做可视化抽查。找训练集里的5-10张图把标注框画出来存成新图片肉眼确认框和物体是否对得上。这一步偷懒的代价是训练完才发现某个类别标签偏移了半个身位整个模型都要重训。from PIL import Image, ImageDraw def draw_boxes(image_path, label_path, class_names): img Image.open(image_path).convert(RGB) draw ImageDraw.Draw(img) w, h img.size with open(label_path) as f: for line in f: cls, xc, yc, bw, bh line.split() box [float(xc)*w - float(bw)*w/2, float(yc)*h - float(bh)*h/2, float(xc)*w float(bw)*w/2, float(yc)*h float(bh)*h/2] draw.rectangle(box, outlinered, width2) draw.text((box[0], box[1]-10), class_names[int(cls)], fillred) img.save(check_ os.path.basename(image_path))提示可视化抽查不是走个过场。如果你的数据里有人举着手机屏幕里播放的火灾视频这种“伪目标”此时不发现后面train了也是白train。3. 用YOLOv8把这个小数据集训练到能跑命令、参数与结果判读选型时你可能会想到Faster R-CNN、DETR甚至mmrotate。我的建议是这个场景用YOLOv8最稳。理由有三条第一600张小样本在YOLOv8的预训练权重上做微调不需要从头学特征第二Ultralytics的命令行接口和训练管线对新手极友好一个yolo命令就能跑完训练、验证和导出第三训练完可以直接导出ONNX、NCNN、RKNN后面接边缘侧灾害监控设备时不需要换框架。相比之下像mmrotate这类旋转框检测框架更适合DOTA遥感数据集那样的任意朝向目标对600张灾害图片属于重装备打麻雀。3.1 把文件摆成YOLO认识的样子目录结构与data.yamlYOLO训练前必须约定目录结构。我习惯这样组织disaster_dataset/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/ ├── train.txt ├── val.txt └── data.yamlimages和labels的子目录名称必须严格对应图片和标签文件的主文件名要一模一样后缀不同没关系。data.yaml是YOLO读取数据集的入口里面写路径、类别数和类别名。path: /home/user/disaster_dataset train: images/train val: images/val nc: 3 names: 0: fire 1: flood 2: debris路径建议写绝对路径特别是第一次跑的时候别用相对路径省事。names列表里索引的顺序要和前面转换标签时定义的class_map保持一致否则训练输出的混淆矩阵会让你看不懂。如果数据集里还有烟雾、倒塌建筑等类别按实际类别数改nc和names即可。3.2 先用预训练权重跑一个最小训练命令数据格式摆好后直接跑下面这条命令。这里我选择用yolov8n.pt作为初始化权重而不是yolov8n.yaml从头训练。原因很简单600张灾情图片不可能让模型学会通用的边缘、纹理特征必须借助在COCO上预训练好的特征提取器。yolo detect train datadisaster_dataset/data.yaml \ modelyolov8n.pt \ epochs120 imgsz640 batch16 \ patience30 \ projectruns/disaster \ nameexp1逐参数解释一下epochs120不是让你一定跑满patience30会等30个epoch没有mAP提升就早停imgsz640是YOLOv8默认输入分辨率如果图片本身是1080P以上的可以提高到960或1280但显存占用会成倍增加batch16在8GB显存的显卡上刚刚好。project和name用来指定输出目录这样每次实验的结果互不覆盖。跑的过程中不要死盯着终端刷屏重点看两个指标loss曲线是否在下降、验证集的mAP50是否在往上走。如果loss掉得很快但mAP不动说明过拟合已经开始了。3.3 三个最值得调的参数imgsz、batch、epochs这几个参数在网上被反复讨论但很多人不知道判断依据是什么。参数推荐取值判断依据imgsz640起步显存充足可上1280你统计阶段算出的目标框平均宽度占比 10% 时果断上1280或做切图batch8、16、32训练不OOM的前提下尽可能大小样本数据推荐16以内防止过早过拟合epochs100-200小样本不需要太多轮次配合patience早停一般60-90轮就到平台期imgsz在灾害检测里最值得花时间调。火灾的浓烟往往只占画面的十几分之一远处废墟裂缝更小640下这些目标只有十几个像素模型根本学不到特征。我见过有人把imgsz从640调到1280后小目标召回率直接涨了15个百分点。代价是显存占用变成原来的四倍batch要对应减半。3.4 训练完重点看三个产物训练结束后进入runs/disaster/exp1目录里面有weights、confusion_matrix.png、results.csv等文件。我一般只看三样东西confusion_matrix_normalized.png看哪些类别互相混淆比如火灾和夕阳晚霞是不是分不开results.csv看每个epoch的mAP50、mAP50-95曲线val_batch_pred.jpg看模型在验证集图片上预测框的质量框的置信度分数是否靠谱。如果验证集预测图里框飘来飘去、置信度忽高忽低指标再好看也要回头检查训练集与验证集的划分是否太“亲密”。4. 600张不够用时怎么办增强与外部数据补强的三种正确姿势灾害检测数据集的小样本问题绕不开。600张图在目标检测里连“基准规模”都算不上直接训练大概率过拟合。常见做法是两条腿走路一是做数据增强把有效样本量撑上来二是引入外部公开数据补充类别多样性。但这两条路各有各的坑增强过头会把模型带到沟里外部数据域差异大会让训练loss直接飞掉。4.1 先用离线增强把最小类别补到能训练离线增强是在训练之前把图片和标签同步做变换生成新样本。我推荐先统计一下每个类别的框数量找到最少的类别单独给它做增强。否则整集统一增强本来多的类别更多类别不平衡雪上加霜。下面是一个简单的PIL增强脚本只对指定类别的图片做操作。from PIL import Image, ImageEnhance import random, os def augment_offline(image_path, label_path, output_img_dir, output_label_dir): img Image.open(image_path).convert(RGB) with open(label_path) as f: lines [line.strip() for line in f if line.strip()] # 只对包含目标类别的图片做翻转与亮度扰动 if not any(line.split()[0] 0 for line in lines): return # 水平翻转 img_h img.transpose(Image.FLIP_LEFT_RIGHT) new_lines [] for line in lines: cls, xc, yc, w, h line.split() xc 1 - float(xc) # 翻转后x中心变为1 - xc new_lines.append(f{cls} {xc:.6f} {yc} {w} {h}) base os.path.basename(image_path) img_h.save(os.path.join(output_img_dir, hflip_ base)) with open(os.path.join(output_label_dir, hflip_ base.replace(.jpg, .txt)), w) as f: f.write(\n.join(new_lines)) # 亮度扰动 img_b ImageEnhance.Brightness(img).enhance(0.8) img_b.save(os.path.join(output_img_dir, dark_ base)) with open(os.path.join(output_label_dir, dark_ base.replace(.jpg, .txt)), w) as f: f.write(\n.join(lines))这段代码有一个关键操作水平翻转后标签里的x中心坐标必须用1 - x_center重新计算宽度不变。不更新标签直接用原标签的翻转图丢给YOLO训练检测框会整体偏到另一侧这就是很多人增强后mAP反而降低的根本原因。亮度扰动不影响坐标标签可以原样复制。4.2 YOLOv8在线增强的最佳参数区间离线增强适合固定扩充而训练时的在线增强能让模型每轮看到不同版本的同一样本。Ultralytics YOLOv8在训练时默认开启一部分增强参数在hyp.yaml里。小样本灾害数据集上我调参后的经验值如下参数推荐值说明hsv_h0.015色相扰动火灾场景可以再小一点避免火和晚霞更难分hsv_s0.6饱和度扰动提升模型对阴天、雾霾的鲁棒性fliplr0.5水平翻转概率这个在高空俯拍图中很有用mosaic0.5四图拼接概率小样本建议从默认1.0降到0.5防止把目标拼得太过零碎copy_paste0.2实例粘贴增强如果训练版本支持对分割类和矩形框都有效mosaic是小样本训练的双刃剑它让模型看到更多背景多样性但也会把大目标缩成小目标加重小目标漏检。600张图我建议mosaic从0.5开始调叠加标签抖动不要直接用默认1.0。4.3 用公开数据补类别的合理方式除了增强更有效的做法是补充外部数据。比如你想提升洪灾检测能力可以找公开的遥感洪水影像数据集想提升烟雾检测可以从街景数据里截取“远山雾气”这类相似纹理做负样本。但这里有一个域差异问题遥感图是俯拍视角街景是水平视角模型在俯拍图上训练出来的框切换到水平视角会不适用。处理办法很简单——要么只做同视角的数据混合要么把外部数据单独训一个模型再融合预测结果。如果你之前用过mmrotate训练DOTA这类遥感目标检测数据集就会特别理解视角和类别定义的差异有多致命。DOTA里很多目标是用旋转框标注的YOLO的矩形框表达不了硬把旋转框外接矩形转换后框内会混入大量背景反而干扰训练。所以补充外部数据时优先选矩框标注的、视角一致的数据。5. 自然灾害小样本训练最易翻车的5个坑现象、原因与对策这个小节是全文最重要的地方也是我用600张灾害图片做训练时踩出来的经验。每一条都是真实的看起来最合理的操作背后藏着一个让人失眠的坑。5.1 训练loss从1.5掉到0.6又弹回2.0验证集mAP一直在低位横盘现象loss曲线没有稳定下降而是像心电图的锯齿一样反复验证集mAP卡在0.2左右不上不下。原因标签噪声过大通常有两种一是标注框画得过大把物体周围近一半背景圈进去二是类别定义混乱比如把“夕阳天空”标成“火灾”模型无法学到一个一致的语义边界。解决回到2.1节的统计脚本把每类的框尺寸分布打印出来查看是否有宽高比大于2或者框面积占比超过50%的离群样例。把这些离群样本的图片画出来逐张看该删就删、该修就修。600张的小数据集里删掉10%的噪声样本胜过增加50%的新数据。5.2 mAP50超过0.85但实际视频检测时框来回跳、置信度忽高忽低现象训练指标很漂亮val_batch上的可视化也不差但拿到一段新视频里跑同一个目标时而检出时而又丢置信度在0.9和0.3之间跳动。原因模型学到的不是“灾害的特征”而是训练集这套特定背景的颜色分布。视频里的场景亮度、相机抖动、目标尺度稍有变化输出就崩了。说白了就是过拟合而且mAP50指标本身对框的位置误差不敏感框往左偏一点、往右偏一点只要IoU大于0.5都算正确掩盖了回归精度差的事实。解决开启YOLOv8的在线增强重点加色彩扰动和尺度扰动再把验证集换成真正没在训练阶段见过的外部图片用mAP50-95和框回归损失去评判不要只看mAP50。5.3 验证集和训练集“撞脸”导致分数虚高现象按文件列表随机划分训练集和验证集训练时mAP50很快破0.9但把模型部署到新场景后检测能力断崖式下降。原因灾害数据往往是同一事件的连拍序列同一栋楼、同一条街的连续帧被随机切到了训练集和验证集。验证集里大量图片和训练集只有轻微视角差异模型相当于开卷考试。解决以“事件”为单位划分数据。如果文件名里带有日期、地点或序列编号按这些字段分组同一组的图片要么全进训练集要么全进验证集。不要用随机划分尤其在小样本下要强制按场景分组。5.4 小目标远处浓烟、小块废墟几乎全漏检现象训练后大目标全部能检出但远的浓烟、小的墙体裂缝一个都检测不到recall在40%以下。原因YOLO系列默认输入尺寸只有640下采样32倍后特征图上一个像素对应原图32个像素几十像素宽的目标在特征图上只剩两三个像素特征都快被卷积吃光了。600张图里小目标本就不多模型压根没机会学。解决优先把imgsz提高到1280这是成本最低的方案显存不够就做切片推理把原图切成四块分别检测再合并坐标不要指望mosaic增强能把小目标救回来mosaic反而会让小目标更小。5.5 训练前几十轮正常某轮开始突然OOM现象batch16、imgsz640时前50轮一切正常跑着跑着某轮报CUDA out of memory进程崩掉。原因YOLOv8的mosaic增强会随机选四张图拼成一张拼接图的尺寸不稳定遇到整体偏大的样本组合显存占用突然涨上去直接爆掉。解决把mosaic概率从1.0降到0.5或直接关闭mosaic只保留fliplr也可以把batch降到8、imgsz降到576Ultralytics训练器支持自动找batch大小将参数设为batch-1。小样本数据集上稳定比显存利用率重要。6. 用TTA把分数再挤高一截改预测不改模型的推理技巧当模型已经训练完毕、评估也基本满意还想在测试集上挤出几个百分点的mAP最快的办法不是回头调参而是开启测试时增强。YOLOv8的predict接口自带ttaTrue参数它会把同一张图做水平翻转和多尺度缩放后分别推理再把结果合并做NMS。yolo detect predict modelruns/disaster/exp1/weights/best.pt \ sourcetest_images \ ttaTrue conf0.25 iou0.45原理很简单翻转和多尺度推理相当于让模型在多个视角下分别投票单个视角漏检了其他视角可能救回来。对小目标尤其有效因为640尺度下看不到的烟在1280尺度下可能就能检出。代价是推理时间翻三到四倍一个900帧的测试视频要跑五六分钟。如果做实时预警TTA就只适合在边缘设备上用NCNN推理时单独对关键帧启用。更进阶的玩法是加权框融合。我用过一种做法同时跑原始权重和一个做了离线增强的权重对两套预测结果做置信度加权合并重叠超过0.45的框按置信度求加权平均坐标。这相当于用两个模型互相纠错比单个模型加TTA的提升更稳定但工程复杂度也更高。我现在的习惯是先用一组廉价TTA跑通评估确认瓶颈确实在推理侧后再上多模型融合。说到根上600张灾害图片这个数据集让我明白一件事——做小样本目标检测先花半天把数据体检做扎实后面训练和调参几乎是水到渠成。反过来不做检查就把数据丢给YOLO最后所有问题都会在测试集上集中爆发你不知道该调模型还是调数据。这套先体检再训练的习惯我后来做工业检测项目时一直沿用希望帮到你。本文还有配套的精品资源点击获取