尧图网站建设 
简介本资源是一份面向计算机视觉与深度学习研究者的超市货架图像数据集专为商品检测、目标定位及零售场景AI模型训练设计适用于高校科研、算法竞赛与工业界原型开发。数据集包含45张全球采集的无版权货架实景图由受冲突影响的难民人才团队高质量标注共提供11743个精细边界框覆盖多样化的商品排列与光照条件。压缩包内含45张JPG原图与46个JSON标注文件含meta.json元信息总计91个文件整体体积131.14MB结构简洁、开箱即用便于快速接入YOLO、Faster R-CNN等主流检测框架进行数据加载与训练验证。目前已有94人下载学习资源采用CC0 1.0通用许可支持学术与商业用途附带完整标注格式说明与图像-标注映射关系显著降低数据预处理门槛助力研究者聚焦模型优化与性能提升。1. 超市货架图像数据集不是“随便拍的货架图”而是高密度标注、可直接喂给YOLOv8或RT-DETR训练的产品检测基准你手头那张超市货架照片大概率只有10–20个商品可见而这个数据集里单张图平均含260个带类别标签的边界框——相当于每张图都经过专业标注团队逐盒、逐瓶、逐袋地框出SKU级目标。它不是为“识别货架是否存在”设计的而是专为细粒度商品定位与分类联合建模打磨的45张图、11743个bbox、覆盖饮料、零食、日化、调味品等常见快消品类且全部来自真实跨国超市场景黎巴嫩、约旦、肯尼亚等地光照、遮挡、堆叠、标签反光等干扰项天然存在。它不提供预训练模型但提供了meta.json中定义的完整类别映射如001_coca_cola_330ml、COCO格式JSON标注文件及原始高清图像开箱即用于训练Faster R-CNN、YOLO系列或ViT-based检测器。适合正在搭建零售AI盘货系统、货架巡检机器人视觉模块或需要在小样本下验证检测头鲁棒性的算法工程师——尤其当你被“标注稀疏、场景单一”的合成数据折磨够了这个真实世界密集标注集就是能立刻跑通mAP验证的硬通货。2. 数据结构解析与本地化加载从zip解压到PyTorch Dataset类的四步落地2.1 解压后目录结构与关键文件语义下载得到的archive (1).zip解压后呈现标准COCO-like布局supermarket_shelves/ ├── images/ # 45张JPG原图命名如shelf_001.jpg, shelf_045.jpg ├── annotations/ # COCO格式JSON文件含所有bbox、category_id、image_id映射 │ └── instances_train2017.json ├── meta.json # 类别ID→名称映射表含137个SKU级细分类别 └── README.md # 许可声明CC0 1.0与标注团队说明注意instances_train2017.json并非来自MS COCO官方而是本数据集自定义的标注文件其categories字段与meta.json严格对齐。不要误用COCO官方类别索引。2.2meta.json深度解读SKU级类别体系的实际含义meta.json不是简单ID→name映射而是包含产品层级语义的结构化字典{ 0: {name: coca_cola_330ml, brand: Coca-Cola, type: beverage, volume_ml: 330}, 1: {name: pepsi_500ml, brand: Pepsi, type: beverage, volume_ml: 500}, 2: {name: lays_salt_50g, brand: Lays, type: snack, weight_g: 50}, ... }这意味着类别ID从0开始连续编号共137类与COCO JSON中category_id完全一致type字段可用于构建多任务头如主检测头品类粗分类分支volume_ml/weight_g等属性虽不参与检测但可作为后续货架缺货推理的先验知识接入后处理逻辑。2.3 构建PyTorch兼容Dataset绕过torchvision内置COCODataset的三个坑官方torchvision.datasets.CocoDetection会自动读取annotations/instances_train2017.json但在此数据集上需手动修正三处2.3.1 图像路径硬编码问题默认期望images/下文件名为COCO_train2017_000000000001.jpg而本数据集是shelf_001.jpg。需重写__getitem__中图像加载逻辑import os from torch.utils.data import Dataset from pycocotools.coco import COCO class SupermarketShelvesDataset(Dataset): def __init__(self, root_dir, ann_file, transformNone): self.root_dir root_dir self.coco COCO(ann_file) self.ids list(self.coco.imgs.keys()) # 获取所有image_id self.transform transform def __getitem__(self, index): img_id self.ids[index] ann_ids self.coco.getAnnIds(imgIdsimg_id) anns self.coco.loadAnns(ann_ids) # 关键修正使用coco.imgs[img_id][file_name]获取真实文件名 img_path os.path.join(self.root_dir, images, self.coco.imgs[img_id][file_name]) image Image.open(img_path).convert(RGB) # 构造target字典适配torchvision.transforms boxes [] labels [] for ann in anns: x, y, w, h ann[bbox] boxes.append([x, y, xw, yh]) # 转为[x1,y1,x2,y2] labels.append(ann[category_id]) target {} target[boxes] torch.as_tensor(boxes, dtypetorch.float32) target[labels] torch.as_tensor(labels, dtypetorch.int64) target[image_id] torch.tensor([img_id]) if self.transform: image, target self.transform(image, target) return image, target2.3.2 类别ID偏移校验运行前务必验证len(self.coco.getCatIds()) 137若返回值异常说明instances_train2017.json中categories字段缺失或ID不连续。此时需用meta.json重建类别索引# 修复脚本生成合规COCO categories字段 import json with open(meta.json) as f: meta json.load(f) categories [{id: int(k), name: v[name], supercategory: v[type]} for k, v in meta.items()] # 写入annotations/instances_train2017.json的categories键2.3.3 边界框坐标归一化陷阱该数据集bbox坐标为绝对像素值非归一化直接送入某些检测框架如MMDetection可能因预处理差异导致loss爆炸。建议在__getitem__末尾添加显式检查# 在return前加入 assert (target[boxes][:, 2:] target[boxes][:, :2]).all(), \ fInvalid bbox at index {index}: {target[boxes]}2.4 验证数据加载正确性三行代码确认标注无错位dataset SupermarketShelvesDataset( root_dir./supermarket_shelves, ann_file./supermarket_shelves/annotations/instances_train2017.json ) img, target dataset[0] print(fImage shape: {img.size()}) # 应输出torch.Size([3, H, W]) print(fBoxes count: {len(target[boxes])}) # 应接近260 print(fLabel range: {target[labels].min().item()}-{target[labels].max().item()}) # 应为0-136若Boxes count远低于200说明ann_ids未正确关联到该img_id——此时需检查instances_train2017.json中images数组内file_name与images/下实际文件名是否完全一致包括大小写、空格、扩展名。3. 检测模型微调实战以YOLOv8n为例的端到端训练配置3.1 数据集YAML定义适配Ultralytics生态的关键桥接YOLOv8不原生支持COCO JSON需转换为train/val/test目录结构并生成YAML配置。不推荐全量复制图像45张图无需分train/val采用split0.8策略# 创建软链接避免冗余存储 mkdir -p datasets/supermarket/images/train datasets/supermarket/labels/train cd datasets/supermarket # 将45张图按8:2随机划分固定seed确保可复现 python -c import os, random; random.seed(42); imgs sorted(os.listdir(../supermarket_shelves/images)); train_imgs random.sample(imgs, 36); val_imgs [i for i in imgs if i not in train_imgs]; for i in train_imgs: os.symlink(f../../supermarket_shelves/images/{i}, fimages/train/{i}); for i in val_imgs: os.symlink(f../../supermarket_shelves/images/{i}, fimages/val/{i}); 3.1.1 标注格式转换COCO JSON → YOLO TXT使用pycocotools提取bbox并写入labels/from pycocotools.coco import COCO import numpy as np coco COCO(../supermarket_shelves/annotations/instances_train2017.json) cat_ids coco.getCatIds() cat_names {cat_id: coco.loadCats(cat_id)[0][name] for cat_id in cat_ids} for img_id in coco.imgs: img_info coco.imgs[img_id] ann_ids coco.getAnnIds(imgIdsimg_id, catIdscat_ids, iscrowdNone) anns coco.loadAnns(ann_ids) # 生成YOLO格式label文件 label_path flabels/train/{img_info[file_name].replace(.jpg, .txt)} with open(label_path, w) as f: for ann in anns: x, y, w, h ann[bbox] # 归一化到[0,1] x_center (x w/2) / img_info[width] y_center (y h/2) / img_info[height] norm_w w / img_info[width] norm_h h / img_info[height] cls_id ann[category_id] f.write(f{cls_id} {x_center:.6f} {y_center:.6f} {norm_w:.6f} {norm_h:.6f}\n)3.1.2supermarket.yaml配置文件train: ../datasets/supermarket/images/train val: ../datasets/supermarket/images/val nc: 137 names: [coca_cola_330ml, pepsi_500ml, ..., nestle_coffee_200g] # 全137个name按meta.json顺序提示names必须严格按meta.json中key的数字升序排列0→136否则类别混淆将导致mAP归零。3.2 YOLOv8n训练命令与超参选择依据yolo detect train \ datasupermarket.yaml \ modelyolov8n.pt \ epochs100 \ imgsz1280 \ batch16 \ namesupermarket_yolov8n \ cacheTrue \ optimizerauto \ lr00.01 \ lrf0.01 \ cos_lrTrue \ box7.5 \ cls0.5 \ dfl1.53.2.1 关键参数解释参数值选型理由imgsz12801280货架图常含大量小目标如牙膏盖、调料包标签1280分辨率保留更多细节避免小目标在下采样中丢失batch161645张图×260bbox≈11700样本batch16时每个epoch≈732次迭代足够覆盖梯度更新频次box7.57.5默认box_loss_weight7.5因本数据集bbox密度极高需强化定位损失权重以抑制重叠框预测漂移cacheTrueTrue45张图全部载入内存消除IO瓶颈训练速度提升3倍以上3.3 训练过程监控识别过拟合与收敛停滞的两个信号信号1验证集mAP0.5下降而训练集loss持续降低出现此现象时立即启用patience10早停并降低学习率yolo detect train ... lr00.005 # 从0.01降至0.005信号2最后10个epoch mAP0.5波动0.5%且未突破65%说明模型容量不足应升级主干网络modelyolov8s.pt # 替换为small版本参数量翻倍4. 高密度场景下的检测优化技巧针对货架图像的三项实操方案4.1 多尺度测试Multi-Scale Testing, MSTS提升小目标召回货架中同类商品常密集堆叠如整排矿泉水YOLO默认单尺度推理易漏检。启用MSTS需修改推理脚本from ultralytics import YOLO model YOLO(runs/detect/supermarket_yolov8n/weights/best.pt) # 定义多尺度输入尺寸 scales [960, 1280, 1600] # 必须为32的倍数 results [] for scale in scales: result model.predict( sourcetest_image.jpg, imgszscale, conf0.25, # 降低置信度阈值适应多尺度 iou0.3 # 降低NMS阈值避免同类商品框被过度抑制 ) results.append(result[0].boxes.cpu().numpy()) # 合并所有尺度结果并二次NMS all_boxes np.vstack([r[:, :4] for r in results]) all_scores np.hstack([r[:, 4] for r in results]) all_labels np.hstack([r[:, 5] for r in results]) # 自定义二次NMS使用soft-nms或cluster-nms from torchvision.ops import nms keep nms(torch.from_numpy(all_boxes), torch.from_numpy(all_scores), iou_threshold0.4) final_boxes all_boxes[keep]注意iou0.3是货架场景经验值——高于0.5会导致相邻同品类商品如并排薯片被合并为单框低于0.2则引发大量重复检测。4.2 基于meta.json的后处理规则引擎利用meta.json中的type字段构建业务规则过滤不合理检测# 加载meta.json构建type映射 with open(meta.json) as f: meta json.load(f) type_map {int(k): v[type] for k, v in meta.items()} def apply_business_rules(boxes, labels, scores): filtered [] for i, (box, label, score) in enumerate(zip(boxes, labels, scores)): # 规则1同一水平线内饮料类商品间隔15像素视为粘连仅保留最高分 if type_map[label] beverage: # 计算y中心坐标 y_center (box[1] box[3]) / 2 # 查找同y_center±10px内的其他beverage框 nearby [(j, b) for j, (b, l, s) in enumerate(zip(boxes, labels, scores)) if type_map[l] beverage and abs((b[1]b[3])/2 - y_center) 10] if len(nearby) 1 and i max(nearby, keylambda x: scores[x[0]])[0]: filtered.append((box, label, score)) # 规则2日化品如洗发水不应出现在零食区y坐标0.7图像高度 elif type_map[label] personal_care and box[1] 0.7 * image_height: continue # 过滤 else: filtered.append((box, label, score)) return list(zip(*filtered)) if filtered else ([], [], [])4.3 可视化标注质量评估用OpenCV快速验证bbox精度编写脚本批量绘制真值框与预测框对比重点检查三类错误import cv2 import numpy as np def visualize_annotation_quality(image_path, ann_file, pred_boxesNone): img cv2.imread(image_path) coco COCO(ann_file) img_id int(os.path.basename(image_path).split(_)[1].split(.)[0]) ann_ids coco.getAnnIds(imgIdsimg_id) anns coco.loadAnns(ann_ids) # 绘制真值框绿色 for ann in anns: x, y, w, h map(int, ann[bbox]) cv2.rectangle(img, (x, y), (xw, yh), (0, 255, 0), 2) cv2.putText(img, str(ann[category_id]), (x, y-5), cv2.FONT_HERSHEY_SIMPLEX, 0.4, (0, 255, 0), 1) # 绘制预测框红色若提供 if pred_boxes is not None: for box in pred_boxes: x1, y1, x2, y2 map(int, box[:4]) cv2.rectangle(img, (x1, y1), (x2, y2), (0, 0, 255), 1) cv2.imwrite(fdebug_{os.path.basename(image_path)}, img) # 执行检查 visualize_annotation_quality( supermarket_shelves/images/shelf_023.jpg, supermarket_shelves/annotations/instances_train2017.json )重点关注漏标图像中明显存在的商品如货架顶端小包装糖果未被任何bbox覆盖错标bbox覆盖了非商品区域如货架金属支架、阴影截断标商品部分在图像边缘但bbox未做截断处理应限制在[0, width]×[0, height]内。发现此类问题时应反馈至标注方而非强行用数据增强掩盖——该数据集的价值正在于其真实缺陷暴露了模型在长尾场景下的脆弱性。本文还有配套的精品资源点击获取 超市货架商品检测数据集：高密度SKU级标注与YOLOv8实战
简介本资源是一份面向计算机视觉与深度学习研究者的超市货架图像数据集专为商品检测、目标定位及零售场景AI模型训练设计适用于高校科研、算法竞赛与工业界原型开发。数据集包含45张全球采集的无版权货架实景图由受冲突影响的难民人才团队高质量标注共提供11743个精细边界框覆盖多样化的商品排列与光照条件。压缩包内含45张JPG原图与46个JSON标注文件含meta.json元信息总计91个文件整体体积131.14MB结构简洁、开箱即用便于快速接入YOLO、Faster R-CNN等主流检测框架进行数据加载与训练验证。目前已有94人下载学习资源采用CC0 1.0通用许可支持学术与商业用途附带完整标注格式说明与图像-标注映射关系显著降低数据预处理门槛助力研究者聚焦模型优化与性能提升。1. 超市货架图像数据集不是“随便拍的货架图”而是高密度标注、可直接喂给YOLOv8或RT-DETR训练的产品检测基准你手头那张超市货架照片大概率只有10–20个商品可见而这个数据集里单张图平均含260个带类别标签的边界框——相当于每张图都经过专业标注团队逐盒、逐瓶、逐袋地框出SKU级目标。它不是为“识别货架是否存在”设计的而是专为细粒度商品定位与分类联合建模打磨的45张图、11743个bbox、覆盖饮料、零食、日化、调味品等常见快消品类且全部来自真实跨国超市场景黎巴嫩、约旦、肯尼亚等地光照、遮挡、堆叠、标签反光等干扰项天然存在。它不提供预训练模型但提供了meta.json中定义的完整类别映射如001_coca_cola_330ml、COCO格式JSON标注文件及原始高清图像开箱即用于训练Faster R-CNN、YOLO系列或ViT-based检测器。适合正在搭建零售AI盘货系统、货架巡检机器人视觉模块或需要在小样本下验证检测头鲁棒性的算法工程师——尤其当你被“标注稀疏、场景单一”的合成数据折磨够了这个真实世界密集标注集就是能立刻跑通mAP验证的硬通货。2. 数据结构解析与本地化加载从zip解压到PyTorch Dataset类的四步落地2.1 解压后目录结构与关键文件语义下载得到的archive (1).zip解压后呈现标准COCO-like布局supermarket_shelves/ ├── images/ # 45张JPG原图命名如shelf_001.jpg, shelf_045.jpg ├── annotations/ # COCO格式JSON文件含所有bbox、category_id、image_id映射 │ └── instances_train2017.json ├── meta.json # 类别ID→名称映射表含137个SKU级细分类别 └── README.md # 许可声明CC0 1.0与标注团队说明注意instances_train2017.json并非来自MS COCO官方而是本数据集自定义的标注文件其categories字段与meta.json严格对齐。不要误用COCO官方类别索引。2.2meta.json深度解读SKU级类别体系的实际含义meta.json不是简单ID→name映射而是包含产品层级语义的结构化字典{ 0: {name: coca_cola_330ml, brand: Coca-Cola, type: beverage, volume_ml: 330}, 1: {name: pepsi_500ml, brand: Pepsi, type: beverage, volume_ml: 500}, 2: {name: lays_salt_50g, brand: Lays, type: snack, weight_g: 50}, ... }这意味着类别ID从0开始连续编号共137类与COCO JSON中category_id完全一致type字段可用于构建多任务头如主检测头品类粗分类分支volume_ml/weight_g等属性虽不参与检测但可作为后续货架缺货推理的先验知识接入后处理逻辑。2.3 构建PyTorch兼容Dataset绕过torchvision内置COCODataset的三个坑官方torchvision.datasets.CocoDetection会自动读取annotations/instances_train2017.json但在此数据集上需手动修正三处2.3.1 图像路径硬编码问题默认期望images/下文件名为COCO_train2017_000000000001.jpg而本数据集是shelf_001.jpg。需重写__getitem__中图像加载逻辑import os from torch.utils.data import Dataset from pycocotools.coco import COCO class SupermarketShelvesDataset(Dataset): def __init__(self, root_dir, ann_file, transformNone): self.root_dir root_dir self.coco COCO(ann_file) self.ids list(self.coco.imgs.keys()) # 获取所有image_id self.transform transform def __getitem__(self, index): img_id self.ids[index] ann_ids self.coco.getAnnIds(imgIdsimg_id) anns self.coco.loadAnns(ann_ids) # 关键修正使用coco.imgs[img_id][file_name]获取真实文件名 img_path os.path.join(self.root_dir, images, self.coco.imgs[img_id][file_name]) image Image.open(img_path).convert(RGB) # 构造target字典适配torchvision.transforms boxes [] labels [] for ann in anns: x, y, w, h ann[bbox] boxes.append([x, y, xw, yh]) # 转为[x1,y1,x2,y2] labels.append(ann[category_id]) target {} target[boxes] torch.as_tensor(boxes, dtypetorch.float32) target[labels] torch.as_tensor(labels, dtypetorch.int64) target[image_id] torch.tensor([img_id]) if self.transform: image, target self.transform(image, target) return image, target2.3.2 类别ID偏移校验运行前务必验证len(self.coco.getCatIds()) 137若返回值异常说明instances_train2017.json中categories字段缺失或ID不连续。此时需用meta.json重建类别索引# 修复脚本生成合规COCO categories字段 import json with open(meta.json) as f: meta json.load(f) categories [{id: int(k), name: v[name], supercategory: v[type]} for k, v in meta.items()] # 写入annotations/instances_train2017.json的categories键2.3.3 边界框坐标归一化陷阱该数据集bbox坐标为绝对像素值非归一化直接送入某些检测框架如MMDetection可能因预处理差异导致loss爆炸。建议在__getitem__末尾添加显式检查# 在return前加入 assert (target[boxes][:, 2:] target[boxes][:, :2]).all(), \ fInvalid bbox at index {index}: {target[boxes]}2.4 验证数据加载正确性三行代码确认标注无错位dataset SupermarketShelvesDataset( root_dir./supermarket_shelves, ann_file./supermarket_shelves/annotations/instances_train2017.json ) img, target dataset[0] print(fImage shape: {img.size()}) # 应输出torch.Size([3, H, W]) print(fBoxes count: {len(target[boxes])}) # 应接近260 print(fLabel range: {target[labels].min().item()}-{target[labels].max().item()}) # 应为0-136若Boxes count远低于200说明ann_ids未正确关联到该img_id——此时需检查instances_train2017.json中images数组内file_name与images/下实际文件名是否完全一致包括大小写、空格、扩展名。3. 检测模型微调实战以YOLOv8n为例的端到端训练配置3.1 数据集YAML定义适配Ultralytics生态的关键桥接YOLOv8不原生支持COCO JSON需转换为train/val/test目录结构并生成YAML配置。不推荐全量复制图像45张图无需分train/val采用split0.8策略# 创建软链接避免冗余存储 mkdir -p datasets/supermarket/images/train datasets/supermarket/labels/train cd datasets/supermarket # 将45张图按8:2随机划分固定seed确保可复现 python -c import os, random; random.seed(42); imgs sorted(os.listdir(../supermarket_shelves/images)); train_imgs random.sample(imgs, 36); val_imgs [i for i in imgs if i not in train_imgs]; for i in train_imgs: os.symlink(f../../supermarket_shelves/images/{i}, fimages/train/{i}); for i in val_imgs: os.symlink(f../../supermarket_shelves/images/{i}, fimages/val/{i}); 3.1.1 标注格式转换COCO JSON → YOLO TXT使用pycocotools提取bbox并写入labels/from pycocotools.coco import COCO import numpy as np coco COCO(../supermarket_shelves/annotations/instances_train2017.json) cat_ids coco.getCatIds() cat_names {cat_id: coco.loadCats(cat_id)[0][name] for cat_id in cat_ids} for img_id in coco.imgs: img_info coco.imgs[img_id] ann_ids coco.getAnnIds(imgIdsimg_id, catIdscat_ids, iscrowdNone) anns coco.loadAnns(ann_ids) # 生成YOLO格式label文件 label_path flabels/train/{img_info[file_name].replace(.jpg, .txt)} with open(label_path, w) as f: for ann in anns: x, y, w, h ann[bbox] # 归一化到[0,1] x_center (x w/2) / img_info[width] y_center (y h/2) / img_info[height] norm_w w / img_info[width] norm_h h / img_info[height] cls_id ann[category_id] f.write(f{cls_id} {x_center:.6f} {y_center:.6f} {norm_w:.6f} {norm_h:.6f}\n)3.1.2supermarket.yaml配置文件train: ../datasets/supermarket/images/train val: ../datasets/supermarket/images/val nc: 137 names: [coca_cola_330ml, pepsi_500ml, ..., nestle_coffee_200g] # 全137个name按meta.json顺序提示names必须严格按meta.json中key的数字升序排列0→136否则类别混淆将导致mAP归零。3.2 YOLOv8n训练命令与超参选择依据yolo detect train \ datasupermarket.yaml \ modelyolov8n.pt \ epochs100 \ imgsz1280 \ batch16 \ namesupermarket_yolov8n \ cacheTrue \ optimizerauto \ lr00.01 \ lrf0.01 \ cos_lrTrue \ box7.5 \ cls0.5 \ dfl1.53.2.1 关键参数解释参数值选型理由imgsz12801280货架图常含大量小目标如牙膏盖、调料包标签1280分辨率保留更多细节避免小目标在下采样中丢失batch161645张图×260bbox≈11700样本batch16时每个epoch≈732次迭代足够覆盖梯度更新频次box7.57.5默认box_loss_weight7.5因本数据集bbox密度极高需强化定位损失权重以抑制重叠框预测漂移cacheTrueTrue45张图全部载入内存消除IO瓶颈训练速度提升3倍以上3.3 训练过程监控识别过拟合与收敛停滞的两个信号信号1验证集mAP0.5下降而训练集loss持续降低出现此现象时立即启用patience10早停并降低学习率yolo detect train ... lr00.005 # 从0.01降至0.005信号2最后10个epoch mAP0.5波动0.5%且未突破65%说明模型容量不足应升级主干网络modelyolov8s.pt # 替换为small版本参数量翻倍4. 高密度场景下的检测优化技巧针对货架图像的三项实操方案4.1 多尺度测试Multi-Scale Testing, MSTS提升小目标召回货架中同类商品常密集堆叠如整排矿泉水YOLO默认单尺度推理易漏检。启用MSTS需修改推理脚本from ultralytics import YOLO model YOLO(runs/detect/supermarket_yolov8n/weights/best.pt) # 定义多尺度输入尺寸 scales [960, 1280, 1600] # 必须为32的倍数 results [] for scale in scales: result model.predict( sourcetest_image.jpg, imgszscale, conf0.25, # 降低置信度阈值适应多尺度 iou0.3 # 降低NMS阈值避免同类商品框被过度抑制 ) results.append(result[0].boxes.cpu().numpy()) # 合并所有尺度结果并二次NMS all_boxes np.vstack([r[:, :4] for r in results]) all_scores np.hstack([r[:, 4] for r in results]) all_labels np.hstack([r[:, 5] for r in results]) # 自定义二次NMS使用soft-nms或cluster-nms from torchvision.ops import nms keep nms(torch.from_numpy(all_boxes), torch.from_numpy(all_scores), iou_threshold0.4) final_boxes all_boxes[keep]注意iou0.3是货架场景经验值——高于0.5会导致相邻同品类商品如并排薯片被合并为单框低于0.2则引发大量重复检测。4.2 基于meta.json的后处理规则引擎利用meta.json中的type字段构建业务规则过滤不合理检测# 加载meta.json构建type映射 with open(meta.json) as f: meta json.load(f) type_map {int(k): v[type] for k, v in meta.items()} def apply_business_rules(boxes, labels, scores): filtered [] for i, (box, label, score) in enumerate(zip(boxes, labels, scores)): # 规则1同一水平线内饮料类商品间隔15像素视为粘连仅保留最高分 if type_map[label] beverage: # 计算y中心坐标 y_center (box[1] box[3]) / 2 # 查找同y_center±10px内的其他beverage框 nearby [(j, b) for j, (b, l, s) in enumerate(zip(boxes, labels, scores)) if type_map[l] beverage and abs((b[1]b[3])/2 - y_center) 10] if len(nearby) 1 and i max(nearby, keylambda x: scores[x[0]])[0]: filtered.append((box, label, score)) # 规则2日化品如洗发水不应出现在零食区y坐标0.7图像高度 elif type_map[label] personal_care and box[1] 0.7 * image_height: continue # 过滤 else: filtered.append((box, label, score)) return list(zip(*filtered)) if filtered else ([], [], [])4.3 可视化标注质量评估用OpenCV快速验证bbox精度编写脚本批量绘制真值框与预测框对比重点检查三类错误import cv2 import numpy as np def visualize_annotation_quality(image_path, ann_file, pred_boxesNone): img cv2.imread(image_path) coco COCO(ann_file) img_id int(os.path.basename(image_path).split(_)[1].split(.)[0]) ann_ids coco.getAnnIds(imgIdsimg_id) anns coco.loadAnns(ann_ids) # 绘制真值框绿色 for ann in anns: x, y, w, h map(int, ann[bbox]) cv2.rectangle(img, (x, y), (xw, yh), (0, 255, 0), 2) cv2.putText(img, str(ann[category_id]), (x, y-5), cv2.FONT_HERSHEY_SIMPLEX, 0.4, (0, 255, 0), 1) # 绘制预测框红色若提供 if pred_boxes is not None: for box in pred_boxes: x1, y1, x2, y2 map(int, box[:4]) cv2.rectangle(img, (x1, y1), (x2, y2), (0, 0, 255), 1) cv2.imwrite(fdebug_{os.path.basename(image_path)}, img) # 执行检查 visualize_annotation_quality( supermarket_shelves/images/shelf_023.jpg, supermarket_shelves/annotations/instances_train2017.json )重点关注漏标图像中明显存在的商品如货架顶端小包装糖果未被任何bbox覆盖错标bbox覆盖了非商品区域如货架金属支架、阴影截断标商品部分在图像边缘但bbox未做截断处理应限制在[0, width]×[0, height]内。发现此类问题时应反馈至标注方而非强行用数据增强掩盖——该数据集的价值正在于其真实缺陷暴露了模型在长尾场景下的脆弱性。本文还有配套的精品资源点击获取