简介面向农业智能监测场景的谷物害虫目标检测数据集适合从事农业AI、粮食仓储管理的开发者和研究人员使用。资源共1376个文件包含687张真实谷物环境下的jpg图片、687个YOLO格式的txt边界框标注文件、1个yaml配置文件以及1份docx格式的数据集说明整体压缩包约22.76MB目录组织清晰可直接加载到YOLOv5、YOLOv8等主流检测框架中进行训练。目前已有230人学习下载。数据集专注于害虫单一类别的目标检测图片细节丰富、标注精准覆盖实际储粮场景中的常见昆虫害虫可支撑粮食仓储害虫实时监测系统开发、智能农业机器人设备集成也适合作为高校计算机视觉与农业交叉研究的教学基准。配套文档能帮助使用者快速了解数据组织方式与训练配置细节是农业目标检测实验与落地应用的实用资源。1. 谷物害虫目标检测数据集.zip先别急着解压想清楚这三件事再做“谷物害虫目标检测数据集.zip”这个名字已经把做项目的顺序写明白了先有谷物害虫这个业务场景再谈目标检测这个算法任务最后才落到 zip 这个交付格式。你拿到的不只是几千张图片而是一份需要自己验证质量的原始素材不能直接拖进训练脚本就完事。这类数据集解决的是粮库虫情监测、储粮害虫识别、虫口密度统计的问题。典型图像长这样一张粮仓巡检照片画面里几十上百粒谷子夹杂着两三只虫子虫体拼在一起也就占几十个像素属于标准的小目标检测场景。想靠默认参数一把跑通的人大概率会在验证集上翻车。这篇文章写给准备用 YOLO 训练自己数据集、又不想在数据准备阶段浪费一周的工程师也写给刚接触目标检测、想知道这份 zip 值不值得投入时间的学生。2. 拆开 zip 先看目录两种目录组织方式与三种标注格式的辨析拿到关键词是 zip 的数据包时第一步永远是先确认压缩包本身没有在传输、转存过程中损坏。直接双击解压、解到一半报错的情况不少见更隐蔽的是压缩包完整但内部文件缺失比如 Annotations 目录里有 3000 个 XMLJPEGImages 里只有 2900 张图这种问题解压阶段根本发现不了。2.1 先从 linux 解压命令开始验证压缩包完整性再决定目录命名在终端里先看体积再测试压缩包完整性最后解压到全英文路径这是我最常用的流程ls -lh grain_pests_dataset.zip unzip -t grain_pests_dataset.zip unzip -q grain_pests_dataset.zip -d ./grain_pests参数说明-t只测试 zip 的 CRC 校验值不实际解压输出No errors detected时才继续-q是安静模式避免几千个文件名刷屏-d ./grain_pests把内容释放到指定目录。如果你习惯用 7-Zip7z t grain_pests_dataset.zip是同样的校验效果。这里有一个必须养成习惯的细节解压目标目录名不要用中文不要带空格。Windows 下 Python 的os.path.join和 OpenCV 的imread遇到中文路径时经常返回找不到文件或读到None不是每次都会报错玄学得很。解压完顺手ls -R看一眼目录层数很多卖家打包时多套了一层外层文件夹不提前确认的话后续脚本路径全要返工。2.2 VOC 风格目录JPEGImages 加 Annotations适合审查而不适合直接训练往下看一层目录结构。如果看到的是JPEGImages、Annotations、ImageSets三个文件夹这是 Pascal VOC 的组织方式。图片全部在 JPEGImages 里标注是 XML 文件每个 XML 对应一张图ImageSets/Main 下一般有 train.txt、val.txt记录参与训练和验证的图片文件名列表。XML 里的关键信息是object节点下的name和bndbox。name是类别名bndbox给出xmin、ymin、xmax、ymax四个绝对像素坐标。比如一条玉米象的框可能长这样object namecorn_weevil/name bndbox xmin412/xmin ymin308/ymin xmax438/xmax ymax331/ymax /bndbox /object这个 26×23 的框放到 1920×1080 大图里就是典型小目标。VOC 格式本身问题不大但不同来源的数据集质量参差不齐有的标签大小写混用Corn_Weevil和corn_weevil同时存在有的框给的是浮点数还有的缺ImageSets。常见做法是先用标注工具检查一遍。现在用得多的工具是 LabelImg、X-AnyLabeling 和 Roboflow 的在线标注都能直接打开 VOC 目录人工复查。提示判断一个 VOC 格式数据集是否靠谱先看 Annotations 和 JPEGImages 的文件数是否一致再看 ImageSets/Main 里的 txt 文件名是否都能在 JPEGImages 里找到对应图片。这两关过了再谈训练。2.3 YOLO 风格目录images 加 labels几乎可以零改造直接训另一种常见布局是images/train、images/val、labels/train、labels/val加一个data.yaml。这是 YOLO 生态的标准组织方式也是目前大部分谷物害虫数据集的默认交付格式目的就是让你少写转换代码。每个 TXT 标注文件里一行对应一个目标0 0.6128 0.4512 0.0184 0.0142一行五个数值依次是class_id、x_center、y_center、width、height其中坐标全部做了归一化范围在 0 到 1 之间除以图片宽高得到。这里容易出问题也是数据准备阶段最值得警惕的三个点类别 id 从 0 开始不是从 1 开始列顺序是x_center y_center w h不是xmin ymin xmax ymax转格式时顺序写反是最高频翻车点某些工具生成的标注里width和height会越界成 1.0因为计算时直接用 max 减 min 没做减一处理。data.yaml是训练入口最少要包含 path、train、val、names 四个字段path: ./grain_pests train: images/train val: images/val names: 0: corn_weevil 1: lesser_grain_borer 2: red_flour_beetle 3: rusty_grain_beetle 4: angoumois_grain_moth 5: psocid注意names的索引顺序必须和 TXT 文件里的class_id严格对应顺序错了模型不会报错只会默默把玉米象学成谷蠹等你看混淆矩阵时才意识到出事了。2.4 标注尺度决定了工程量先把每类目标框的面积分布画出来不管拿到的是 VOC 还是 YOLO 格式训练前我只做一件事统计每个标注框在原图上的像素面积。这一步能直接告诉你该按常规目标处理还是按小目标专门调参。写一个小脚本遍历所有标签文件import glob import numpy as np label_files glob.glob(./grain_pests/labels/train/*.txt) areas [] for f in label_files: with open(f, r) as fp: for line in fp: parts line.strip().split() if len(parts) ! 5: continue w float(parts[3]) h float(parts[4]) # 归一化宽高要乘回原图尺寸才是实际像素面积 # 这里假设原图统一为 1920x1080实际应读取对应图片的真实尺寸 area_px w * 1920 * h * 1080 areas.append(area_px) areas np.array(areas) print(框总数:, len(areas)) print(面积中位数: %.1f px % np.median(areas)) print(小于 32x32 的框占比: %.1f%% % ((areas 1024).mean() * 100))逻辑说明归一化宽高相乘再乘原图宽高得到的是目标在原图中的实际面积中位数和中位数以下的分布比平均数更有参考价值因为几百个大目标会把均值拉高掩盖小目标才是主体的事实。我判断的标准很简单如果小于 32×32 像素的框占比超过一半后面训练必须按小目标策略走如果中位数都在 100×100 以上那这份数据集里的图多半是微距拍摄跟实际粮库监控视角差距很大部署时还得重新采集。这一步花十分钟能省后面三天试错。3. 从 zip 到能跑通 YOLO 的训练集校验、转格式与划分的三段式处理目录结构和标注格式确认完后接下来的任务是把原始素材加工成可以直接丢进训练脚本的数据集。这个过程我习惯拆成三个独立工序先校验样本有效性再统一类别清单最后切分训练集。三道工序各跑各的脚本每跑完一步留存一份报告出了问题能定位到具体环节不用从头排查。3.1 第一道工序数据校验脚本把所有坏样本挡在训练之前直接从网上下载、多人协作标注过的 zip里面混入坏样本是常态。最常见的三种图片文件损坏但后缀还是 .jpg、标注 TXT 里坐标越界、图片和标注文件没配对。训练时遇到一张坏图PyTorch 的 DataLoader 报错信息又长又难懂还不如提前一次性扫出来。import cv2 import glob import os img_files glob.glob(./grain_pests/images/train/*.jpg) report {bad_image: [], missing_label: [], bad_label: []} for img_path in img_files: # 1. 检查图片是否能被 OpenCV 正常解码 img cv2.imread(img_path) if img is None: report[bad_image].append(img_path) continue # 2. 检查对应标签文件是否存在 label_path img_path.replace(/images/, /labels/).replace(.jpg, .txt) if not os.path.exists(label_path): report[missing_label].append(img_path) continue # 3. 检查标签内容是否越界 h, w img.shape[:2] with open(label_path, r) as fp: for line in fp: parts line.strip().split() if len(parts) ! 5: report[bad_label].append((label_path, 列数不对)) break x_center, y_center, bw, bh map(float, parts[1:]) if not (0 x_center 1 and 0 y_center 1 and bw 0 and bh 0): report[bad_label].append((label_path, 坐标越界)) break for key, items in report.items(): print(key, len(items)) for item in items[:5]: print( , item)逻辑说明脚本按图片文件为主键逐项核验图片、标签文件和标签内容三个层面。第 1 步cv2.imread返回None说明解码失败这类图片直接删掉第 2 步检查配对关系多数情况下是标注工具漏存了 TXT第 3 步是坐标逻辑检查归一化坐标必须落在 0 到 1 之间。这套脚本不要只跑一次。每次新增图片、合并其他来源的数据、或者用工具重新导出标签后都应该重跑一遍。数据校验没有一劳永逸只有重复执行才能保证训练数据不被脏样本污染。3.2 第二道工序统一类别清单并对齐标签不同来源的数据集混在一起时类别名是最大的坑。同一个玉米象有的数据集叫corn_weevil有的叫Sitophilus zeamais还有的干脆叫bug。如果直接合并训练模型会把同一物种当成多个类网络结构被迫长出没意义的输出头。先跑一次类别统计把所有标签里出现过的类别名列出来cat ./grain_pests/labels/train/*.txt | awk {print $1} | sort | uniq -c | sort -rn这条命令把训练集所有标签的第一列取出来计数排序。看到输出后人工整理一个映射表把同物异名的类别统一成一个标准名import json import glob # category_map.json 格式: {旧类别名或旧id: 新类别id} with open(category_map.json, r) as fp: cat_map json.load(fp) for label_path in glob.glob(./grain_pests/labels/train/*.txt): lines [] with open(label_path, r) as fp: for line in fp: parts line.strip().split() if len(parts) ! 5: continue old_id parts[0] if old_id in cat_map: parts[0] cat_map[old_id] lines.append( .join(parts)) with open(label_path, w) as fp: fp.write(\n.join(lines) \n)逻辑说明读入映射表后遍历每个标签文件把旧 id 替换成新 id写回原文件。这里有个细节如果出现两个旧类别映射到同一个新类别比如bug和corn_weevil都映射到 0意味着你认定它们是同一类需要人工确认原图不能想当然合并。宁缺勿滥合并错了类别比少一个类别更麻烦因为模型会学到错误的目标边界。3.3 第三道工序切分训练/验证/测试集注意小类别也要在三集中可见数据划分看似简单实际坑很多。随机切分最常见的问题有两个一是同一场景的连拍图被同时分进 train 和 val导致验证集指标虚高二是样本量少的类别恰好全落在训练集里验证集里一个该类目标都没有模型对这个类的 AP 直接无法计算。import glob import os import random import shutil random.seed(42) img_files glob.glob(./grain_pests/images/*.jpg) random.shuffle(img_files) train_ratio 0.8 train_files img_files[:int(len(img_files) * train_ratio)] val_files img_files[int(len(img_files) * train_ratio):] os.makedirs(./grain_pests/images/train, exist_okTrue) os.makedirs(./grain_pests/images/val, exist_okTrue) os.makedirs(./grain_pests/labels/train, exist_okTrue) os.makedirs(./grain_pests/labels/val, exist_okTrue) def move_file(img_path, dest_img_dir, dest_label_dir): shutil.move(img_path, dest_img_dir) label_path img_path.replace(/images/, /labels/).replace(.jpg, .txt) if os.path.exists(label_path): shutil.move(label_path, dest_label_dir) for f in train_files: move_file(f, ./grain_pests/images/train, ./grain_pests/labels/train) for f in val_files: move_file(f, ./grain_pests/images/val, ./grain_pests/labels/val) print(train:, len(train_files), val:, len(val_files))逻辑说明按 8:1 比例切分后移动文件到对应目录。使用固定随机种子保证每次划分结果一致方便复现。这里我只做了最基础的切分实际项目中还要加一层过滤如果某个类别在 val 里一张都没有要把训练集里包含该类别的一张图移过来保证验证集能覆盖全部类别。对于样本总数少于 100 张的类别我一般不放测试集全部进训练和验证测试阶段用单独拍摄的一批真实场景图来评估。数据量本身就少再切出 test 只会让训练更加捉襟见肘。4. 谷物害虫数据集的五个常见问题与排查顺序从解压到训练崩掉数据准备阶段踩过的坑比模型调参阶段的坑多得多而且更有共性。下面五条按我实际经历的概率从高到低排列每一条都按现象、原因、解决的顺序写清楚方便你遇到问题时对号入座。4.1 坑一解压后 OpenCV 读不到图但资源管理器里能看到图片现象训练脚本跑着跑着报cv2.error: OpenCV(4.x) ... imread_或者读取结果img is None但用系统看图工具打开同一路径图片显示正常。原因路径包含中文字符或空格。Windows 下 Python 的文件操作默认编码和 OpenCV 的底层实现不一致中文目录名、中文文件名都会导致imread静默失败。这个问题在 linux 下基本遇不到但很多数据是在 Windows 上标注和整理的。解决解压时就把根目录命名为英文例如grain_pests而不是谷物害虫数据集。如果已经解压完了批量重命名find . -name *中文* -exec rename s/中文/grains/g {} \;4.2 坑二训练 loss 出现 NaN验证集 AP 直接归零现象训练跑到某个 epoch 时 loss 突然变成nan之后一路 nan验证集指标全是 0。有时候还会伴随RuntimeError: value cannot be converted to type float without overflow。原因标签文件里出现 0 或 1 的极端坐标值。归一化坐标计算时如果框刚好贴边x_center / width可能算出 1.0甚至因为整数除法算出大于 1 的值。YOLO 的损失函数里含对数运算和 IoU 计算极端值会把梯度推向无穷。解决清洗标签把所有坐标值约束在一个安全的开区间内同时过滤掉宽或高为 0 的无效框def clean_label(line, eps1e-4): parts line.strip().split() if len(parts) ! 5: return None cid, x, y, w, h map(float, parts) if w 0 or h 0: return None x min(max(x, eps), 1 - eps) y min(max(y, eps), 1 - eps) return f{int(cid)} {x:.6f} {y:.6f} {w:.6f} {h:.6f}\n逻辑说明eps取 1e-4既避免极端值又不会明显改变目标位置宽高为 0 的框直接丢弃。清洗完的标签建议再跑一遍第 3.1 节的校验脚本确认问题彻底消除。4.3 坑三灰度图被当作三通道读入失败或模型输入崩溃现象cv2.imread返回的数组形状是(H, W)而不是(H, W, 3)送到模型的预处理函数里报维度错误或者训练不报错但指标明显偏低。原因粮库的监控摄像头有相当一部分输出黑白图像或红外图像数据采集人员直接把这些图存进了数据集。灰度图本身不是坏数据但 YOLO 系列的输入设计成三通道单通道图需要补成三通道。解决在数据预处理阶段统一转换img cv2.imread(img_path) if img is None: return None if len(img.shape) 2: img cv2.cvtColor(img, cv2.COLOR_GRAY2BGR)注意底色差异也会带来问题。红外图转成的灰度图前景和背景的对比度分布和可见光图完全不同如果灰度图占比超过三成建议单独按灰度图训练一个模型和可见光模型做集成而不是强行混在一起训。4.4 坑四虫子目标太小训练完 mAP 很高但实际场景里完全测不到现象验证集上 mAP50 能达到 0.85看起来非常漂亮换到真实粮库视频里虫子基本全漏检偶尔框住的也是错误的背景区域。原因数据集里的图片和实际部署场景不是同一分布。很多公开的谷物害虫数据集是用微距镜头拍摄的虫子占画面比例很大而实际粮库是广角监控虫子只有十几个像素。模型在微距图上学到的特征在广角图里完全不成立。解决回到第 2.4 节的面积分布统计先确认数据集目标的尺度范围和部署场景一致。如果确实存在分布偏移最有效的办法是采集一批实际场景图切成小 patch 后重新标注补充进数据集再训练。增加imgsz也有帮助但治标不治本根源在数据分布。4.5 坑五验证集指标比训练集还高明显违背常理现象训练 loss 还在下降验证集 AP 却一路领先于训练集或者 val 的 loss 曲线光滑得不像话。原因数据泄露。最常见的是同一场景的连拍图被同时分进 train 和 val本质上就是同一场景模型在训练时已经见过几乎一样的内容验证自然高分。谷物害虫数据集很多是实验室环境下连续拍摄的相邻帧之间只有微小位移。解决按拍摄时间、拍摄地点分组做划分而不是按单张图片随机切。如果 zip 里没有标注来源信息退而求其次的做法是图片去重sha256sum ./grain_pests/images/*.jpg | sort | awk {print $1} | uniq -d这条命令用哈希值找出完全相同的图片。相似但不完全相同的连拍图还需要人工抽检把同一组场景的图合并后重新划分。5. 小目标训练的参数到底怎么调分辨率、增强梯度与类别不平衡的处理顺序数据准备好之后训练参数的设置直接决定模型能不能收敛到可用状态。谷物害虫检测的核心难点是小目标所以这一章所有参数都围绕一个问题展开怎么让模型在目标只有几十个像素时还能学到有效特征。5.1 首选模型的取舍从 YOLOv8n 起步看小目标 AP 再换大模型第一轮训练不要一上来就用最大的模型。用 YOLOv8n 跑通全流程确认数据没问题再逐步升级模型规模是成本最低的路径。YOLOv8n 在普通消费级显卡上就能跑训练一轮也就几十分钟到两三个小时足够暴露大部分数据问题。yolo detect train data./grain_pests.yaml modelyolov8n.pt imgsz960 epochs300 batch16参数说明imgsz960是刻意抬高的分辨率默认 640 对几十像素的小目标太吃力batch16要在显存允许范围内尽量大batch 太小的时候 BatchNorm 统计不稳定loss 曲线会抖动得很厉害epochs300是针对千张级小数据量的保守设定配合早停策略控制训练时长。如果显存不够跑 960先用 640 冒烟测试跑通流程确认代码和数据没问题后再考虑切图策略把小 patch 当成独立图片训练。5.2 必调的三个数据增强参数scale、mosaic、close_mosaicYOLOv8 的默认增强参数对常规目标友好但对小目标并不友好。最关键的是scale默认值 0.5 意味着训练时目标可能被随机缩小到原来的一半对本来就二三十像素的虫子来说是雪上加霜。# grain_pests.yaml 追加训练参数段 scale: 0.2 mosaic: 1.0 close_mosaic: 10参数说明scale0.2把随机缩放幅度从默认的 0.5 收窄到 0.2避免目标被进一步缩小mosaic: 1.0保持开启四张图拼成一张的增强方式对密集小目标场景非常有效能让模型看到更多目标排列方式close_mosaic: 10是 YOLOv8 提供的参数意思是最后 10 个 epoch 关闭马赛克增强让模型在近似真实分布的数据上做精细调整防止 mosaic 引入的分布偏移影响最终收敛。这三个参数是谷物害虫这类小目标场景的基础配置实际效果还需要结合验证集指标微调。如果训练集和验证集分布接近scale甚至可以降到 0.1。5.3 类别不平衡与过拟合的两层处理过采样与损失权重之外的有效做法谷物害虫数据集的类别分布往往极不均衡。玉米象可能占 3000 张书虱只有 60 张模型训练到最后基本只学了玉米象书虱类别的 AP 趋近于零。优先做的是统计类别分布再用过采样兜底最后才考虑损失权重。过采样的做法简单直接把样本量不足的类别图片复制进数据集让它出现的频率提高。这样做有风险因为复制多轮会导致模型对特定图片过拟合所以我在实现时会先把小类别的图片做一次轻微的数据增强再复制比如随机旋转 15 度、轻微亮度抖动避免完全相同的图片重复出现。import cv2 import numpy as np # 对小类别单张图片做轻度增强并保存为新样本 img cv2.imread(psocid_001.jpg) h, w img.shape[:2] M cv2.getRotationMatrix2D((w // 2, h // 2), 15, 1.0) rotated cv2.warpAffine(img, M, (w, h)) cv2.imwrite(psocid_001_aug.jpg, rotated)逻辑说明旋转 15 度对小目标的位置和形态影响不大对害虫这种长条状物体还能带来一定的姿态多样性。增强后的新样本不会和原图完全一样模型既看到了更多小类别样本又避免了死记硬背。如果过采样后小类别仍然拉不起来再考虑按类别频率反比设置损失权重。但权重设置要谨慎权重过大会导致模型过度关注小类别把背景误检成书虱precision 崩掉。5.4 推理侧的阈值不能照抄默认值训练完成后推理阶段的置信度阈值需要单独调。YOLO 默认的conf0.25是给常规目标定的小目标本身特征弱模型输出的置信度普遍偏低0.25 会直接过滤掉大量真实目标。第一轮推理建议把阈值放到最低yolo predict modelruns/detect/train/weights/best.pt sourcetest_img.jpg conf0.05 iou0.5 save_txtTrue save_confTrueconf0.05是为了把所有可能的目标都框出来接下来人工过一遍预测结果图如果大量低置信度框确实是虫子说明模型学到的特征没问题只是置信度校准偏移生产环境可以适当降低阈值到 0.1 附近如果低置信度框全是背景误检说明模型的判别力不够问题在训练阶段调阈值只会让指标更差。这个环节不能省它直接决定了模型在业务系统里的可用性。很多项目在验证集指标上很漂亮一上生产就崩往往就是阈值没有针对实际数据重新校准。6. 最后一步先用 200 张图做冒烟测试判断数据集值不值得投入的三个信号6.1 从指标到决策小目标 AP 比 mAP 更值得看训练跑完别急着看 mAP50先看验证集里小目标 AP 和中等目标 AP 的差距。YOLOv8 的训练日志里会输出按目标尺度拆分的指标重点关注metrics/small这一栏。指标数值含义低于多少要警惕mAP50IoU 阈值 0.5 下的平均精度低于 0.6 说明数据或训练有明显问题metrics/small面积小于 32×32 像素目标的 AP低于 mAP50 的一半说明小目标没学好precision预测框的准确率低于 0.5 说明误检严重需调置信度阈值如果 small AP 显著低于 medium AP说明模型对大目标有效但对小目标失效需要回到数据层面做切图或者提升分辨率而不是继续加训练轮数。这一步的价值在于它能告诉你这份数据集值不值得继续投入。6.2 判断数据集值不值得投入的三件事第一GT 框面积分布是否覆盖你实际部署场景的目标尺度。如果数据集里的虫子都是 100 像素以上的微距特写而你的监控镜头里只有 10 像素这份 zip 只能作为预训练素材核心数据还得自己采。第二每个类别的最低样本量是否达标。少于 100 张的类别模型基本学不出稳定特征。这种类别要么手工补标要么干脆从任务里去掉硬留着只会拉低整体指标。第三原始图片分辨率与实际部署相机的分辨率是否一致。用 4000×3000 的高清图训练出来的模型放到 1080p 的监控画面上目标尺度分布会整体偏移精度下降在所难免。我第一次拿到谷物害虫数据集 zip 时直接解压开训训练了一天跑出个好看的 mAP拿到真实粮库视频里一试几乎全漏检。后来才发现是微距拍摄的图和实际监控视角完全不是一回事白白浪费了整整一周。现在不管拿到什么数据集第一步永远是统计脚本跑一遍再谈训练。如果这三个信号都过关这份 zip 就值得继续投入不过关的话先补齐数据再动手比在错误的赛道上加预算有效得多。希望帮到你。本文还有配套的精品资源点击获取