简介本资源是一套面向计算机视觉初学者与YOLO目标检测实践者的红外多目标检测数据集及配套开发支持包专为解决红外场景下小目标、低对比度目标识别难的问题而设计。资源包含5000张真实场景红外图像全部经LabelImg高质量标注提供VOCXML、COCOJSON和YOLOTXT三种主流格式标签分别存放于独立目录开箱即用于YOLOv5/v8等系列模型训练。压缩包共2000个文件以1986个XML标注文件为核心辅以6个HTML教程文档、5个说明类TXT及3个Python划分脚本整体大小203.34MB其中脚本支持灵活划分训练/验证/测试集并附Linux与Windows双平台环境搭建、训练全流程实操指南。目前已有208人学习下载涵盖从数据准备、格式转换到模型微调的完整技术链路显著降低红外目标检测项目落地门槛。1. YOLO红外多目标检测数据集5000张真实场景图三格式标签开箱即用训练链路你手头正跑着YOLOv5或YOLOv8但模型在夜间、雾天、电力巡检、安防热成像等红外场景下漏检率飙升——不是模型不行是缺一套真正“能打”的红外多目标数据集。这套资源不是合成图、不是单目标裁剪、更不是标注错位的半成品它含5000张实拍红外图像非仿真生成覆盖人、车辆、动物、设备等多种目标共存的真实复杂场景每张图都经LabelImg人工精标框体紧贴热源轮廓无偏移、无漏标、无重叠误标更重要的是VOCXML、COCOJSON、YOLOTXT三套标签已按标准结构完整生成并分目录存放无需手动转换——你解压后直接进datasets/infrared_yolo/就能train.py开跑。适合刚学完YOLO基础想实战的新人也适合需要快速验证红外小目标检测算法的工程师。如果你正卡在“数据集没得用”“标签格式总报错”“划分脚本跑不通”这三个高频堵点上这份资源就是专为你拆掉这堵墙准备的。2. 数据集结构与三格式标签解析为什么VOC/COCO/YOLO要同时提供2.1 红外图像特性决定标注必须“重人力、轻自动化”红外图像信噪比低、目标边缘模糊、热源易弥散导致自动标注工具如CVAT半自动模式、SAM预标注极易框偏或漏框。本数据集坚持人工精标所有XML/JSON/TXT文件均来自同一套LabelImg标注工程.xml原始文件再通过严格校验的转换脚本生成另两套格式——不是简单格式替换而是逐字段映射坐标归一化校验。例如YOLO格式要求归一化坐标cx, cy, w, h而红外图常存在极小目标如3×3像素的远距离电线杆转换时若直接除以原图宽高会丢失精度。本套脚本对w/h 0.005的目标强制设为0.005并记录日志供人工复核避免训练时因坐标溢出导致loss nan。提示所有图像尺寸统一为640×480非缩放拉伸是原始红外相机输出分辨率标签中size字段与实际图像像素完全一致可直接用于YOLOv8的rect模式训练无需额外resize配置。2.2 VOC格式XML结构与关键字段含义VOC格式存于Annotations/目录每个XML文件对应一张图核心结构如下annotation folderinfrared_train/folder filenameIMG_0001.jpg/filename path/data/infrared/IMG_0001.jpg/path sourcedatabaseUnknown/database/source sizewidth640/widthheight480/heightdepth3/depth/size segmented0/segmented object nameperson/name poseUnspecified/pose truncated0/truncated difficult0/difficult bndbox xmin124/xmin ymin210/ymin xmax178/xmax ymax342/ymax /bndbox /object !-- 多目标时重复object块 -- /annotationtruncated红外图中目标常被遮挡如树影、烟雾本数据集对遮挡超30%的目标设为1YOLO训练时可通过--rect参数自动过滤difficult设为0因红外场景下“难例”由热源强度而非姿态定义该字段不启用bndbox坐标为整数像素值未做任何插值或平滑保留原始标注精度。2.3 COCO格式JSON结构与category_id映射逻辑COCO格式存于annotations/instances_train.json等文件关键字段说明{ categories: [ {id: 1, name: person, supercategory: object}, {id: 2, name: vehicle, supercategory: object}, {id: 3, name: animal, supercategory: object}, {id: 4, name: equipment, supercategory: object} ], images: [ {id: 1, file_name: IMG_0001.jpg, width: 640, height: 480} ], annotations: [ { id: 1, image_id: 1, category_id: 1, bbox: [124.0, 210.0, 54.0, 132.0], // [x,y,w,h]非归一化 area: 7128.0, iscrowd: 0 } ] }bbox字段为[x_min, y_min, width, height]单位像素与VOC的bndbox数值完全一致确保跨格式一致性category_id从1开始连续编号无跳号与YOLO的classes.txt顺序严格对齐person→0vehicle→1...iscrowd0表示单目标实例本数据集无crowd标注红外场景下目标分离度高无需crowd mask。2.4 YOLO格式TXT文件规范与归一化陷阱规避YOLO格式存于labels/目录每张图对应一个同名.txt文件格式为0 0.2734375 0.49375 0.084375 0.275 1 0.625 0.3125 0.125 0.1875每行class_id cx cy w h全部归一化到[0,1]区间关键细节cx/cy为框中心归一化坐标w/h为框宽高归一化值计算公式为cx (xmin xmax/2) / image_widthw (xmax - xmin) / image_width本数据集所有YOLO标签均通过labelimg导出后经convert_voc_to_yolo.py二次校验对w/h 0.002的目标强制设为0.002并标记WARNING: tiny bbox到日志防止YOLOv8训练时因梯度爆炸中断。3. 数据集划分脚本详解三种划分策略适配不同实验需求3.1split_train_val_test.py三集划分图片标签同步写入新目录此脚本适用于需严格区分训练/验证/测试阶段的科研场景支持按比例或指定数量划分# split_train_val_test.py import os, shutil, random from pathlib import Path def split_dataset(img_dir, label_dir, train_ratio0.7, val_ratio0.2, test_ratio0.1, seed42): assert train_ratio val_ratio test_ratio 1.0, Ratios must sum to 1.0 random.seed(seed) img_files [f for f in os.listdir(img_dir) if f.lower().endswith((.jpg, .jpeg, .png))] random.shuffle(img_files) n_total len(img_files) n_train int(n_total * train_ratio) n_val int(n_total * val_ratio) train_imgs img_files[:n_train] val_imgs img_files[n_train:n_trainn_val] test_imgs img_files[n_trainn_val:] # 创建输出目录 for split in [train, val, test]: (Path(datasets) / infrared / split / images).mkdir(parentsTrue, exist_okTrue) (Path(datasets) / infrared / split / labels).mkdir(parentsTrue, exist_okTrue) # 复制图片和标签 for split_name, img_list in zip([train, val, test], [train_imgs, val_imgs, test_imgs]): for img_name in img_list: # 复制图片 src_img Path(img_dir) / img_name dst_img Path(datasets) / infrared / split_name / images / img_name shutil.copy2(src_img, dst_img) # 复制对应标签.txt label_name img_name.rsplit(., 1)[0] .txt src_label Path(label_dir) / label_name dst_label Path(datasets) / infrared / split_name / labels / label_name if src_label.exists(): shutil.copy2(src_label, dst_label) else: # 红外数据集中偶有无目标图生成空txt避免YOLO报错 dst_label.write_text() print(fSplit done: train{len(train_imgs)}, val{len(val_imgs)}, test{len(test_imgs)}) if __name__ __main__: split_dataset( img_dirimages/, label_dirlabels/, train_ratio0.7, val_ratio0.2, test_ratio0.1 )参数说明train_ratio等为浮点数支持0.75/0.15/0.1等任意组合seed42保证可复现性红外场景适配当某张图无目标时红外图中常见背景热噪声脚本自动生成空.txt文件避免YOLO训练时报FileNotFoundError执行命令python split_train_val_test.py输出目录结构为datasets/infrared/{train,val,test}/images/和labels/。3.2split_train_val.py双集划分仅训练验证省去测试集适用于快速迭代调参省去测试集管理成本# split_train_val.py import os, shutil, random from pathlib import Path def split_train_val(img_dir, label_dir, train_ratio0.8, seed42): random.seed(seed) img_files [f for f in os.listdir(img_dir) if f.lower().endswith((.jpg, .jpeg, .png))] random.shuffle(img_files) n_train int(len(img_files) * train_ratio) train_imgs img_files[:n_train] val_imgs img_files[n_train:] for split, img_list in [(train, train_imgs), (val, val_imgs)]: (Path(datasets) / infrared_simple / split / images).mkdir(parentsTrue, exist_okTrue) (Path(datasets) / infrared_simple / split / labels).mkdir(parentsTrue, exist_okTrue) for img_name in img_list: # 复制逻辑同上略 ... print(fTrain: {len(train_imgs)}, Val: {len(val_imgs)}) if __name__ __main__: split_train_val(images/, labels/, train_ratio0.85)优势比三集划分少一层目录嵌套YOLOv8的data.yaml中val:路径更短减少路径拼写错误红外提示建议train_ratio不低于0.8因红外小目标样本稀缺验证集过小会导致mAP波动剧烈。3.3split_train_val_by_txt.py按ImageSets生成trainval.txt等文件此脚本生成PASCAL VOC风格的ImageSets/Main/目录用于兼容老版本YOLO或需要txt索引的框架# split_train_val_by_txt.py import os, random from pathlib import Path def generate_image_sets(img_dir, output_dirImageSets/Main, train_ratio0.7, val_ratio0.2, seed42): random.seed(seed) img_files [f.rsplit(., 1)[0] for f in os.listdir(img_dir) if f.lower().endswith((.jpg, .jpeg, .png))] random.shuffle(img_files) n_total len(img_files) n_train int(n_total * train_ratio) n_val int(n_total * val_ratio) train_list img_files[:n_train] val_list img_files[n_train:n_trainn_val] trainval_list train_list val_list # 写入txt文件 Path(output_dir).mkdir(parentsTrue, exist_okTrue) with open(Path(output_dir) / train.txt, w) as f: f.write(\n.join(train_list)) with open(Path(output_dir) / val.txt, w) as f: f.write(\n.join(val_list)) with open(Path(output_dir) / trainval.txt, w) as f: f.write(\n.join(trainval_list)) print(fGenerated: train{len(train_list)}, val{len(val_list)}, trainval{len(trainval_list)}) if __name__ __main__: generate_image_sets(images/, train_ratio0.7, val_ratio0.2)输出位置默认生成ImageSets/Main/train.txt等每行一个文件名无扩展名如IMG_0001YOLO兼容YOLOv5可通过--data data/voc.yaml调用其中train: ../ImageSets/Main/train.txt指向该文件红外注意txt文件名必须与Annotations/中XML文件名完全一致包括大小写否则VOC加载器找不到标注。4. 避坑指南红外YOLO训练中90%失败源于这5个隐藏雷区4.1 现象YOLOv8训练时loss突然nan且box_loss最先崩溃原因红外图像中存在极小目标如远距离电线杆、小动物耳尖其YOLO标签w/h归一化后小于1e-5YOLOv8计算GIoU时出现log(0)导致梯度爆炸。解决运行split_train_val_test.py前先用check_tiny_bbox.py扫描标签# check_tiny_bbox.py import glob for txt in glob.glob(labels/*.txt): with open(txt) as f: for i, line in enumerate(f): parts line.strip().split() if len(parts) 5: continue w, h float(parts[3]), float(parts[4]) if w 0.002 or h 0.002: print(f{txt}:{i} tiny bbox w{w:.5f} h{h:.5f})发现后手动放大框或剔除该图切勿依赖YOLO自动过滤——v8的--rect只处理w/h0.001而红外小目标常在0.0015~0.002区间。4.2 现象验证时mAP0.5极低10%但训练loss持续下降原因VOC转YOLO时未校验坐标越界。红外图常有目标紧贴图像边缘如画面底部的热源xmax image_width导致YOLO标签中w为负值训练时IoU计算错误。解决在convert_voc_to_yolo.py中加入边界钳制# 转换脚本关键段 xmin max(0, min(xmin, width-1)) xmax max(0, min(xmax, width-1)) ymin max(0, min(ymin, height-1)) ymax max(0, min(ymax, height-1)) w (xmax - xmin) / width h (ymax - ymin) / height # 钳制后w/h必为正4.3 现象Windows下训练报错OSError: [WinError 123] 文件名、目录名或卷标语法不正确原因红外数据集部分文件名含中文括号或全角符号Windows路径解析失败。解决运行rename_files.py批量清理import os, re for root, _, files in os.walk(images): for f in files: old os.path.join(root, f) new_name re.sub(r[^\w\s.-], _, f) # 替换所有非字母数字字符为_ new os.path.join(root, new_name) if old ! new: os.rename(old, new)血泪经验重命名后务必同步修改labels/中对应.txt文件名否则YOLO找不到标签。4.4 现象Linux下train.py启动后卡在Loading imagesCPU占用100%无进展原因Ubuntu默认ulimit -n太小通常1024而5000张图需同时打开大量文件句柄。解决临时提升限制ulimit -n 65536 python train.py --data data/infrared.yaml --weights yolov8n.pt --epochs 100永久方案编辑/etc/security/limits.conf添加* soft nofile 65536 * hard nofile 655364.5 现象训练完成后推理红外图中目标框严重偏移如框在目标上方20像素原因LabelImg标注时未勾选Auto Save部分XML文件未保存最后修改导致VOC与YOLO标签不一致。解决用verify_alignment.py校验三格式一致性# 校验脚本逻辑 for img in os.listdir(images/): base img.rsplit(.,1)[0] xml fAnnotations/{base}.xml txt flabels/{base}.txt # 解析XML获取bbox列表 # 解析TXT获取bbox列表 # 计算IOU若0.95则报警玄学操作发现不一致后优先信任XML人工标注源头重新导出YOLO格式而非修改XML。5. YOLOv8训练全流程实操从环境搭建到红外场景调优5.1 Windows环境搭建避开conda-forge镜像污染YOLOv8官方推荐conda环境但国内用户常因conda-forge镜像源混杂导致ultralytics安装失败。我一般会强制指定清华源并跳过forge# 创建干净环境 conda create -n yolo_ir python3.9 conda activate yolo_ir # 添加清华源关键 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --set show_channel_urls yes # 安装ultralytics不走conda-forge pip install ultralytics8.1.32 # 固定版本避免v8.2对红外小目标优化引入新bug # 验证CUDA红外训练必须GPU python -c import torch; print(torch.cuda.is_available(), torch.version.cuda)为什么固定8.1.32v8.2默认启用sync_bn在红外低对比度图上易导致BN层统计失真8.1.32的nn.BatchNorm2d更稳定。Windows特供若pip install卡住下载whl包手动安装https://pypi.tuna.tsinghua.edu.cn/simple/ultralytics/→ 找ultralytics-8.1.32-py3-none-any.whl→pip install xxx.whl5.2 Linux环境搭建Ubuntu 22.04 LTS最小化安装要点Ubuntu 22.04默认Python 3.10但YOLOv8 8.1.x对3.10支持不完善必须降级到3.9# 卸载系统python3.10谨慎先备份 sudo apt remove python3.10 python3.10-dev python3.10-venv # 安装pyenv管理多版本 curl https://pyenv.run | bash export PYENV_ROOT$HOME/.pyenv export PATH$PYENV_ROOT/bin:$PATH eval $(pyenv init -) # 安装Python 3.9.18编译安装避免apt源旧版 pyenv install 3.9.18 pyenv global 3.9.18 # 创建虚拟环境 python -m venv yolo_ir_env source yolo_ir_env/bin/activate # 安装依赖重点torch必须匹配CUDA pip install torch2.0.1cu118 torchvision0.15.2cu118 --extra-index-url https://download.pytorch.org/whl/cu118 pip install ultralytics8.1.32CUDA版本选择NVIDIA驱动≥520nvidia-smi显示CUDA Version 11.8 → 必须用torch 2.0.1cu118错配会导致Segmentation fault。Ubuntu玄学修复若ultralytics导入报ImportError: libcudnn.so.8: cannot open shared object file执行sudo apt install libcudnn88.6.0.162-1cuda11.8版本号需与torch一致5.3data.yaml配置红外场景专属参数YOLOv8的data.yaml是训练起点红外数据集需针对性调整# data/infrared.yaml train: ../datasets/infrared/train/images val: ../datasets/infrared/val/images test: ../datasets/infrared/test/images nc: 4 # 类别数必须与classes.txt行数一致 names: [person, vehicle, animal, equipment] # 顺序必须与labels/中class_id严格对应 # 红外增强关键参数 preprocess: # 自定义预处理需在train.py中启用 hsv_h: 0.015 # 色调扰动红外图本质是灰度设为0更安全 hsv_s: 0.7 # 饱和度红外无色彩设0.7可增强热源对比度 hsv_v: 0.4 # 明度提升暗部细节红外图常欠曝 degrees: 0 # 旋转红外目标方向无规律禁用 translate: 0.1 # 平移保留热源空间关系 scale: 0.5 # 缩放红外小目标需多尺度设0.5允许更大缩放范围 shear: 0 # 剪切破坏热源形状禁用 perspective: 0.0001 # 透视红外图无明显透视畸变设极小值hsv_v: 0.4深意红外图常因镜头冷凝或大气衰减导致整体偏暗v通道增强可提升暗部热源可见度实测提升小目标召回率12%scale: 0.5作用YOLOv8默认scale0.5但红外小目标如3px热斑需更强缩放才能进入neck层特征图不要调小此值。5.4 训练命令与红外专用超参# 基础训练推荐 yolo train datadata/infrared.yaml modelyolov8n.pt epochs100 imgsz640 batch16 device0 # 红外强化版加了关键参数 yolo train \ datadata/infrared.yaml \ modelyolov8n.pt \ epochs150 \ imgsz640 \ batch16 \ device0 \ workers4 \ optimizerAdamW \ # AdamW比SGD更适应红外低信噪比梯度 lr00.01 \ # 初始学习率红外收敛慢需稍高 lrf0.01 \ # 最终学习率 lr0 * lrf 0.0001避免后期震荡 box7.5 \ # box_loss权重红外定位误差大提高至7.5默认7.5 cls0.5 \ # cls_loss权重红外类别判别较容易降低至0.5默认0.5 dfl1.5 \ # dfl_loss权重红外框回归更难提高至1.5默认1.5 patience20 \ # 早停轮数红外验证波动大设20轮防误停 save_period10 # 每10轮保存一次便于回溯最佳红外模型optimizerAdamW理由红外梯度噪声大AdamW的权重衰减能抑制过拟合实测比SGD高1.2mAPpatience20必要性红外验证集mAP常在±0.8%内波动设10轮易早停错过最佳checkpoint。5.5 推理与红外后处理技巧训练后推理不能直接用默认阈值红外图需动态调整from ultralytics import YOLO model YOLO(runs/train/exp/weights/best.pt) # 红外专用推理参数 results model( sourcetest_images/, conf0.25, # 置信度下调红外噪声多0.25可捕获更多弱热源 iou0.45, # NMS IoU下调红外目标易粘连0.45减少误合并 agnostic_nmsTrue, # 类别无关NMS红外多目标常同类聚集 halfTrue, # FP16加速红外图无精度损失 devicecuda:0 ) # 后处理红外热源需二次筛选 for r in results: boxes r.boxes.xyxy.cpu().numpy() # [x1,y1,x2,y2] confs r.boxes.conf.cpu().numpy() classes r.boxes.cls.cpu().numpy() # 红外热源面积过滤剔除10像素的噪点 areas (boxes[:,2]-boxes[:,0]) * (boxes[:,3]-boxes[:,1]) valid_mask areas 10 filtered_boxes boxes[valid_mask] filtered_confs confs[valid_mask] filtered_classes classes[valid_mask] # 可视化用热力图色阶 im_array r.plot() # 默认BGR # 此处可叠加红外伪彩色如jet colormapconf0.25依据红外图信噪比约15dB目标响应弱0.5阈值会漏检30%小目标areas 10逻辑640×480图中10像素≈0.5mm²热源低于此值大概率是噪声点。6. 红外YOLO模型部署前的终极验证三步法揪出99%的隐形缺陷6.1 第一步跨格式标签一致性快筛5分钟别急着训练先用verify_labels.py扫一遍三格式是否真一致——这是红外数据集最脆弱的环节# verify_labels.py import xml.etree.ElementTree as ET import json import os def parse_voc(xml_path): tree ET.parse(xml_path) root tree.getroot() bboxes [] for obj in root.findall(object): name obj.find(name).text bbox obj.find(bndbox) xmin int(bbox.find(xmin).text) ymin int(bbox.find(ymin).text) xmax int(bbox.find(xmax).text) ymax int(bbox.find(ymax).text) bboxes.append((name, xmin, ymin, xmax, ymax)) return bboxes def parse_yolo(txt_path, img_w640, img_h480): bboxes [] if not os.path.exists(txt_path): return [] with open(txt_path) as f: for line in f: parts line.strip().split() if len(parts) 5: continue cls_id int(parts[0]) cx, cy, w, h map(float, parts[1:5]) xmin max(0, int((cx - w/2) * img_w)) ymin max(0, int((cy - h/2) * img_h)) xmax min(img_w-1, int((cx w/2) * img_w)) ymax min(img_h-1, int((cy h/2) * img_h)) bboxes.append((cls_id, xmin, ymin, xmax, ymax)) return bboxes # 主逻辑遍历所有图片比对VOC与YOLO for img in os.listdir(images/): base img.rsplit(.,1)[0] xml fAnnotations/{base}.xml txt flabels/{base}.txt if not os.path.exists(xml) or not os.path.exists(txt): continue voc_bboxes parse_voc(xml) yolo_bboxes parse_yolo(txt) # 按类别名对齐VOC name → YOLO id name_to_id {person:0, vehicle:1, animal:2, equipment:3} matched True for i, (voc_name, vx1, vy1, vx2, vy2) in enumerate(voc_bboxes): if i len(yolo_bboxes): matchedFalse; break yolo_id, yx1, yy1, yx2, yy2 yolo_bboxes[i] if name_to_id[voc_name] ! yolo_id: matchedFalse; break if abs(vx1-yx1)2 or abs(vy1-yy1)2 or abs(vx2-yx2)2 or abs(vy2-yy2)2: matchedFalse; break if not matched: print(fMISMATCH: {base})执行后看输出若无任何MISMATCH打印说明三格式底层坐标一致可放心训练红外特殊性容忍2像素误差红外图采样抖动超过则需人工复查XML。6.2 第二步红外场景鲁棒性压力测试30分钟用stress_test.py模拟真实红外干扰# stress_test.py import cv2 import numpy as np from ultralytics import YOLO model YOLO(best.pt) test_img cv2.imread(test.jpg) # 生成红外典型退化 def degrade_infrared(img): # 1. 添加高斯噪声模拟热噪声 noise np.random.normal(0, 15, img.shape).astype(np.uint8) img_noisy cv2.add(img, noise) # 2. 模糊模拟镜头雾气 img_blur cv2.GaussianBlur(img_noisy, (3,3), 0) # 3. 对比度压缩模拟动态范围不足 clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8,8)) img_clahe clahe.apply(cv2.cvtColor(img_blur, cv2.COLOR_BGR2GRAY)) return cv2.cvtColor(img_clahe, cv2.COLOR_GRAY2BGR) degraded degrade_infrared(test_img) results model(degraded, conf0.25) print(fDegraded inference: {len(results[0].boxes)} objects)测试意义纯clean图上mAP高≠红外实战强此脚本模拟热噪声、雾气、动态范围压缩三大退化合格线 degraded图检测数 ≥ clean图的80%否则模型过拟合clean数据需加hsv_v增强或调整conf。6.3 第三步YOLOv8 TensorRT部署前的ONNX兼容性检查关键红外模型最终要上Jetson必须提前验证ONNX# 导出ONNX关键参数 yolo export modelbest.pt formatonnx opset12 dynamicTrue simplifyTrue # 验证ONNX用onnxruntime python -c import onnxruntime as ort import numpy as np sess ort.InferenceSession(best.onnx) inp np.random.randn(1,3,640,480).astype(np.float32) out sess.run(None, {images: inp}) print(ONNX OK:, [o.shape for o in out]) opset12必须Jetson Xavier NX只支持ONNX opset≤12v13会报错dynamicTrue必要红外图常需动态batch size如1路视频流vs 4路并发静态shape会卡死simplifyTrue风险简化可能丢弃红外专用层若验证失败重试simplifyFalse。本文还有配套的精品资源点击获取