尧图网站建设 
简介面向图像分类与迁移学习场景的蘑菇识别数据集涵盖姬松茸、牛肝菌、阿曼妮塔等常见菌类样本可作为yolov5分类任务、CNN分类网络或迁移学习实验的基准数据。data目录下训练集与测试集已按类别分文件夹保存训练集含9600张图片测试集含2400张图片无需额外整理即可直接加载训练同时也便于按批进行模型调参与评估。资源共2000个文件主体为1998张jpg图像另附show.py可视化脚本与json类别字典文件show.py支持随机展示样本图像以便检查标注质量json文件提供类别索引映射并记录各菌种名称与编号便于与模型输出对应适配常见分类框架的标签构建。压缩包整体约97.67MB以7z格式打包目录结构清晰适合入门至中级学习者快速搭建图像分类流程。已有1046人学习下载可作为深度学习分类实践的教学素材或算法验证数据。1. 12种蘑菇图像识别数据集划分好的文件夹能替你省掉什么拿到一份12种蘑菇图像识别数据集很多人的第一反应是解压后直接把 train 文件夹丢进训练脚本。这个动作在数据组织良好的前提下没问题但真正容易卡住人的恰恰是数据本身标签张冠李戴、文件命名带乱码、训练集和验证集划分得稀里糊涂。这份数据集的不同之处在于两点一是图片已经按类别归档到文件夹二是 train / val / test 三个划分已经做好还附带一个类别字典文件。意味着你可以跳过“洗数据”这个最耗精力的阶段直接从读取数据开始写代码。对刚入门图像分类的人来说这是性价比极高的第一个完整项目对要在实际业务里快速验证蘑菇识别可行性的工程师也是一份可以直接复用的数据底座。下面按“读数据、跑训练、避坑、收尾”的顺序把整套做法讲清楚。2. 读这份蘑菇数据集目录结构、类别字典文件与三行加载代码2.1 目录结构里容易被忽略的命名信息和数量检查这类数据集解压后的典型结构如下mushroom12/ ├── train/ │ ├── 0_双孢蘑菇/ │ │ ├── 001.jpg │ │ └── 002.jpg │ ├── 1_香菇/ │ ├── 2_金针菇/ │ └── ... ├── val/ │ ├── 0_双孢蘑菇/ │ └── ... ├── test/ │ └── ... └── class_dict.json文件夹命名有两种常见风格带数字前缀的“0_双孢蘑菇”以及纯名称的“双孢蘑菇”。风格不影响训练但影响索引的对应关系。我拿到这类数据的第一件事不是写训练代码而是先写一段两三行的检查脚本把每个文件夹的图片数量、类别字典的 key 类型全部打出来。import json from pathlib import Path data_root Path(mushroom12) class_dict json.loads((data_root / class_dict.json).read_text(encodingutf-8)) print(class_dict 条目数:, len(class_dict)) print(class_dict 前三个 key:, list(class_dict.keys())[:3]) for split in [train, val, test]: split_dir data_root / split if not split_dir.exists(): print(f{split} 目录不存在) continue for cls_folder in sorted(split_dir.iterdir()): if not cls_folder.is_dir(): continue img_count len(list(cls_folder.glob(*.jpg))) img_count len(list(cls_folder.glob(*.png))) print(f{split}/{cls_folder.name}: {img_count} 张)这段脚本做两件事第一确认 class_dict 的 key 是字符串 ID 还是类别名这决定了后面代码用哪个方向做映射第二确认每个 split 下都有 12 个类别的文件夹且图片数量不为 0。图片数为 0 的文件夹一旦存在训练时类别数会少掉一类测试集的索引全部错位这类问题在训练结束后才发现就晚了。提示class_dict.json 解析后 key 永远是字符串。无论原始文件写的是 {0: 双孢蘑菇} 还是 {双孢蘑菇: 0}建议在数据装载阶段统一转成 “字符串 ID → 类别名” 这一种方向后续代码里只处理一种格式少踩一半的坑。2.2 用 ImageFolder 跑最小加载代码先核对 class_to_idx数据集已经按文件夹划分好torchvision 的 ImageFolder 是开箱即用的默认选择from torchvision import datasets, transforms train_set datasets.ImageFolder( rootstr(data_root / train), transformtransforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]), ) print(train_set.classes) print(train_set.class_to_idx)ImageFolder 会自动把 train 下的每个子文件夹当成一个类别按名称字典序分配索引。这里有一个潜在风险文件夹名是“0_双孢蘑菇”“1_香菇”这种带编号形式时它的排序结果由前缀数字决定恰好与类别字典 ID 一致当然好但一旦文件夹前缀数字和 class_dict.json 里的 ID 不完全对齐ImageFolder 分配的索引就和字典 ID 对不上。所以我不直接依赖 ImageFolder 的隐式索引加载完先看一眼 class_to_idx 的输出再和 class_dict.json 做一次比对。判断一致的代码很简单folder_ids [name.split(_)[0] for name in train_set.classes] dict_ids list(class_dict.keys()) print(顺序一致:, folder_ids dict_ids)不一致时最简单的方式是不用 ImageFolder 的索引而是传入一个自定义的 target_transform把图片对应的文件夹名映射回 class_dict 里的真实 ID。这个核对动作一分钟就够能避免后面整个训练流程白跑。2.3 自己写 Dataset 的兜底方案统一通道、统计类别、对抗错位当你的使用场景超出 ImageFolder 的能力范围比如需要给某些类别的样本加权、需要统计每个类别的真实数量、或者文件夹里混进了非图像文件时我一般会直接写一个自定义 Dataset。对于 12 类这种小规模数据集这个类不会带来任何性能压力逻辑却清楚得多from torch.utils.data import Dataset from PIL import Image class MushroomDataset(Dataset): def __init__(self, image_dir, class_dict, transformNone): self.transform transform self.samples [] self.id_to_name {str(k): v for k, v in class_dict.items()} for cls_id, cls_name in self.id_to_name.items(): cls_dir Path(image_dir) / cls_name if not cls_dir.exists(): print(f跳过不存在的类别目录: {cls_name}) continue for img_path in sorted(cls_dir.glob(*)): if img_path.suffix.lower() in {.jpg, .jpeg, .png, .bmp}: self.samples.append((str(img_path), int(cls_id))) def __len__(self): return len(self.samples) def __getitem__(self, idx): path, label self.samples[idx] img Image.open(path).convert(RGB) if self.transform: img self.transform(img) return img, label这段代码的关键点有三个构造阶段遍历 class_dict把每个类别名对应文件夹下的合法图片路径和真实 ID 配对存入 samples 列表getitem里统一用 convert(RGB) 处理RGBA 的透明通道 PNG 和灰度图都会被转成三通道避免训练时通道数报错int(cls_id) 把从 json 读出的字符串 key 转成整数标签。另外遍历时用了文件名后缀白名单过滤即使文件夹里混入缩略图或隐藏文件也不会被打进训练集。这个兜底方案的另一个好处是能直接做类别统计from collections import Counter train_labels [label for _, label in train_set.samples] print(Counter(train_labels))一眼就能看出 12 个类别的样本量分布为后面的采样策略提供依据。ImageFolder 也能做到这一点但要通过 train_set.targets 再去对 classes多一层绕。3. 训练12类蘑菇分类器预训练模型、数据增强和超参调优3.1 为什么先从 ResNet18 开始而不是最新的图像分类模型12 个类别的公开蘑菇图像数据单个类别通常在几百张总量一千到三千。这个规模下从零训练一个深层 CNN 的结果很典型训练集收敛到接近满分验证集卡在七成上下过拟合来得比预期快得多。预训练模型在 ImageNet 上已经学过的边缘、纹理、色彩斑块特征对蘑菇识别不算浪费——菌盖形状、菌柄纹理、表面斑点这些视觉特征在模型底层卷积里是通用的。最新的图像分类模型比如 ConvNeXt 和 ViT在大型数据集上确实把准确率往上推了一个台阶但在这种千张量级的小数据上ViT 类模型的训练不稳定性和数据需求量反而不占优势。我的选择是先跑一个 ResNet18 做基线把加载、训练、评估的全流程跑通再考虑要不要换更大的模型。import torch.nn as nn from torchvision.models import resnet18, ResNet18_Weights num_classes 12 model resnet18(weightsResNet18_Weights.IMAGENET1K_V1) model.fc nn.Linear(model.fc.in_features, num_classes, biasTrue)注意新版本 torchvision 里直接用 weights 参数指定预训练权重pretrainedTrue 的旧写法在后续版本里会废弃。model.fc 被替换成输出 12 维的线性层后整个网络输出就是 12 类 logits不需要额外加分类头。显存允许的前提下可以换成 resnet50但 ResNet18 在单卡上的训练速度快一倍先拿到基线再升级是更省时间的路径。如果数据集总量不足两千张建议先把前几层冻结只微调最后两个 block 和全连接层for name, param in model.named_parameters(): param.requires_grad False for name, param in model.named_parameters(): if name.startswith(layer4) or name.startswith(fc): param.requires_grad True冻结的层不参与反向传播省显存也减少过拟合。验证集精度上不去时把 layer3 也解冻让更多底层特征参与微调。这个“先冻结后解冻”的顺序比一次性全量微调稳定。3.2 数据增强参数蘑菇纹理、背景干扰和旋转角度的平衡蘑菇识别有个特殊点相似种类之间差别可能很小而同一朵蘑菇在不同生长阶段外观差异又很大。数据增强的每一项参数都要在这种矛盾里找平衡。from torchvision import transforms train_transform transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomCrop(224), transforms.RandomHorizontalFlip(), transforms.RandomRotation(degrees15), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.15, hue0.05), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) val_transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ])Resize(256) 加 RandomCrop(224) 的组合比直接 Resize(224) 多了一个随机空间裁剪相当于每次训练让模型看到图像的略微不同区域减少对背景的记忆。RandomRotation(15) に対応野外拍摄角度变化。ColorJitter 里的 saturation 和 hue 要控制得保守一些蘑菇识别的关键特征很大程度在颜色上饱和度扰动过大会让深色菌盖和浅色菌柄的区别被抹掉我把 saturation 放在 0.15、hue 放在 0.05属于偏保守的取值范围。对验证集和测试集不要做 RandomCrop 和翻转只用固定 Resize(224) 加归一化否则每次评估结果会随随机性波动模型调优时没法判断改动是真实提升还是噪声。3.3 学习率、batch size 和训练节奏一组可复现的配置在千张级小数据集上微调 ResNet18SGD 往往比 Adam 更稳。Adam 收敛快但在后期容易震荡在小数据上甚至可能比 SGD 的最终准确率低一到两个点。import torch import torch.optim as optim criterion nn.CrossEntropyLoss() optimizer optim.SGD(model.parameters(), lr1e-3, momentum0.9, weight_decay1e-4) scheduler optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max30)初始学习率 1e-3 搭配余弦退火训练后期学习率逐步趋近于 0收敛过程平滑。T_max 设为 30 意味着 30 个 epoch 完成一个退火周期。如果数据集总量不到一千张T_max 可以缩到 20。batch size 取 32 是单张普通显卡能轻松承载的数值一个 epoch 的步数大约在几十步验证频率定为每个 epoch 一次完全来得及。from torch.utils.data import DataLoader train_loader DataLoader(train_set, batch_size32, shuffleTrue, num_workers8) val_loader DataLoader(val_set, batch_size32, shuffleFalse, num_workers8) for epoch in range(30): train_loss, train_acc train_one_epoch( model, train_loader, optimizer, criterion, device) val_acc evaluate(model, val_loader, device) print(fepoch {epoch1}: train_acc {train_acc:.3f}, val_acc {val_acc:.3f})shuffleTrue 只在训练集上设置验证集保持 False。num_workers 在 Windows 上如果遇到多进程报错就设为 0代价是数据加载稍慢但不影响训练结果。这里 train_one_epoch 和 evaluate 是标准的训练循环分别在每个 batch 上完成前向、损失计算、反向传播以及验证集上的准确率统计。4. 蘑菇图像分类的 5 个坑现象、原因和解决4.1 验证集准确率接近 95%真实场景却频繁判错现象训练过程中 val_acc 停在 0.93 以上换成户外用手机拍的蘑菇照片预测结果明显混乱甚至根据背景乱猜类别。 原因大量蘑菇图像来自比较干净的采集环境背景是培养土或人工托盘。模型很容易把背景的颜色和纹理当成判别特征菌盖本身反而不是决定因素。图像分类领域这个坑几乎人人会踩背景相关性是黑匣子里最难排查的问题。 解决训练完先用 Grad-CAM 或类似的热力图检查模型关注区域。如果热力图集中在背景上而不是蘑菇主体就要靠增强手段打散背景分布Rotate、RandomCrop 之外再加上 RandomResizedCrop让模型每次都只能看到图像的一部分背景不再是稳定线索。4.2 同一种蘑菇的图同时出现在训练集和验证集里现象验证集准确率比测试集高出十多个点val_acc 看起来很好但 test_acc 很平庸。 原因划分数据时只做了简单的随机抽样没有考虑“同一个蘑菇个体、同一个拍摄现场的连续帧”可能被切进了两个集合。这种情况属于数据泄漏val 集失去评估意义。 解决拿到划分好的数据后先对全部图片做一次 md5 去重。重复图片出现在 train 和 val 两个文件夹时把 val 里的重复文件删掉或者把它移到 train 里只保留一份。更稳妥的做法是依据文件名前缀按现场分组划分但目前多数现成数据集的划分已经固定能做的就是去重并如实记录。4.3 RGBA 和灰度图混入训练集导致通道不匹配现象训练跑到第一个 epoch 报错提示图像通道数与输入不符有时不报错但推理时部分图片读出来是四通道模型输出维度对不上。 原因数据集里同时存在 JPG 和带透明通道的 PNG透明通道被 PIL 当成第四个通道读进来了而预训练模型的输入固定是 RGB 三通道。 解决在自己写 Dataset 时统一调用 convert(RGB)这是治本的办法。如果用的 ImageFolder同样建议先做一次批量转码把整个数据集统一转成 RGB 的 JPG再开始训练。转码脚本十几行用 PIL 的 convert 方法遍历一遍即可。4.4 类别不均衡拉高了总体准确率个别类别一直上不去现象混淆矩阵里某几个常见类识别率超过 97%个别稀缺类只有 70% 左右平均下来整体准确率还是很好看。 原因数据集按文件夹存放时各文件夹张数天然不同。某些蘑菇采集容易样本多少数类别只有两三百张在损失函数里占比小模型没有足够的梯度去学它们。 解决最直接的做法是采样层面加权通过 WeightedRandomSampler 把少数类的采样概率抬高from torch.utils.data import WeightedRandomSampler train_labels [label for _, label in train_set.samples] class_count [train_labels.count(i) for i in range(12)] sample_weights [1.0 / class_count[label] for label in train_labels] sampler WeightedRandomSampler(sample_weights, num_sampleslen(sample_weights), replacementTrue) train_loader DataLoader(train_set, batch_size32, samplersampler, num_workers8)replacementTrue 允许同一张图在一个 epoch 里被重复采样少数类的样本会多次出现。注意用了 sampler 的 DataLoader 不能再同时设 shuffleTrue否则运行时报冲突。调整后评估指标不要只看总准确率逐类看召回率才能真正反映采样策略是否生效。4.5 测试集结果比验证集还好反而不正常现象模型在 test 集上的准确率比 val 高出一截仔细对比发现部分图片在 train 文件夹里也有同名文件。 原因某些划分好的数据集打包时直接把同一批图片复制进了多个文件夹测试集没能独立于训练集评估结果虚高。这类问题最隐蔽因为你不会在报错里看到任何提示。 解决先做跨文件夹的文件名交集检查train_names {p.name for p in (data_root / train).rglob(*.jpg)} test_names {p.name for p in (data_root / test).rglob(*.jpg)} print(train 和 test 同名文件数:, len(train_names test_names))同名文件多的话这个测试集只能当参考可靠的结论要靠外部照片验证。5. 收尾单图推理脚本、混淆矩阵与一个验证习惯训练完成后真正检验模型的是两个动作单张真实照片的推理输出以及全量测试集上的混淆矩阵。def predict_topk(model, image_path, class_dict, transform, topk3, devicecpu): model.eval() img Image.open(image_path).convert(RGB) x transform(img).unsqueeze(0).to(device) with torch.no_grad(): logits model(x) probs torch.softmax(logits, dim1)[0] top_probs, top_idx torch.topk(probs, ktopk) for rank, (prob, idx) in enumerate(zip(top_probs, top_idx), 1): class_name class_dict.get(str(idx.item()), fclass_{idx.item()}) print(fTop{rank}: {class_name} {prob.item() * 100:.2f}%) return top_idx[0].item()这个脚本里 class_dict.get(str(idx.item())) 的前提是字典方向为“字符串 ID → 类别名”。如果下载的字典反过来加载时做一次翻转再传进来。topk 默认取 3适合蘑菇识别这种相似种较多的任务——第一名不对时第二名经常是正确类。然后跑一遍测试集输出 classification_report 和混淆矩阵from sklearn.metrics import confusion_matrix, classification_report report classification_report(all_labels, all_preds, target_namesclass_names) print(report) cm confusion_matrix(all_labels, all_preds, labelsrange(12)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabelsclass_names, yticklabelsclass_names) plt.show()混淆矩阵的 12×12 网格里肉眼看哪些类别总是互相混淆——比如两类菌盖颜色接近的蘑菇频繁错判这说明模型学到的特征里颜色权重过高下一步应该针对性加形状类增强而不是盲目增加 epoch。我个人的习惯是训练结束后两步走先用一张真实环境下随手拍的照片看 top-3 输出再打开混淆矩阵逐类检查。这两步做完模型能不能用、短板在哪个类别基本心里有数。这比盯着 val_acc 一个数字去不断调参要有效得多。希望这个流程能帮到你。本文还有配套的精品资源点击获取 蘑菇图像识别实战：PyTorch迁移学习与12类分类避坑指南
简介面向图像分类与迁移学习场景的蘑菇识别数据集涵盖姬松茸、牛肝菌、阿曼妮塔等常见菌类样本可作为yolov5分类任务、CNN分类网络或迁移学习实验的基准数据。data目录下训练集与测试集已按类别分文件夹保存训练集含9600张图片测试集含2400张图片无需额外整理即可直接加载训练同时也便于按批进行模型调参与评估。资源共2000个文件主体为1998张jpg图像另附show.py可视化脚本与json类别字典文件show.py支持随机展示样本图像以便检查标注质量json文件提供类别索引映射并记录各菌种名称与编号便于与模型输出对应适配常见分类框架的标签构建。压缩包整体约97.67MB以7z格式打包目录结构清晰适合入门至中级学习者快速搭建图像分类流程。已有1046人学习下载可作为深度学习分类实践的教学素材或算法验证数据。1. 12种蘑菇图像识别数据集划分好的文件夹能替你省掉什么拿到一份12种蘑菇图像识别数据集很多人的第一反应是解压后直接把 train 文件夹丢进训练脚本。这个动作在数据组织良好的前提下没问题但真正容易卡住人的恰恰是数据本身标签张冠李戴、文件命名带乱码、训练集和验证集划分得稀里糊涂。这份数据集的不同之处在于两点一是图片已经按类别归档到文件夹二是 train / val / test 三个划分已经做好还附带一个类别字典文件。意味着你可以跳过“洗数据”这个最耗精力的阶段直接从读取数据开始写代码。对刚入门图像分类的人来说这是性价比极高的第一个完整项目对要在实际业务里快速验证蘑菇识别可行性的工程师也是一份可以直接复用的数据底座。下面按“读数据、跑训练、避坑、收尾”的顺序把整套做法讲清楚。2. 读这份蘑菇数据集目录结构、类别字典文件与三行加载代码2.1 目录结构里容易被忽略的命名信息和数量检查这类数据集解压后的典型结构如下mushroom12/ ├── train/ │ ├── 0_双孢蘑菇/ │ │ ├── 001.jpg │ │ └── 002.jpg │ ├── 1_香菇/ │ ├── 2_金针菇/ │ └── ... ├── val/ │ ├── 0_双孢蘑菇/ │ └── ... ├── test/ │ └── ... └── class_dict.json文件夹命名有两种常见风格带数字前缀的“0_双孢蘑菇”以及纯名称的“双孢蘑菇”。风格不影响训练但影响索引的对应关系。我拿到这类数据的第一件事不是写训练代码而是先写一段两三行的检查脚本把每个文件夹的图片数量、类别字典的 key 类型全部打出来。import json from pathlib import Path data_root Path(mushroom12) class_dict json.loads((data_root / class_dict.json).read_text(encodingutf-8)) print(class_dict 条目数:, len(class_dict)) print(class_dict 前三个 key:, list(class_dict.keys())[:3]) for split in [train, val, test]: split_dir data_root / split if not split_dir.exists(): print(f{split} 目录不存在) continue for cls_folder in sorted(split_dir.iterdir()): if not cls_folder.is_dir(): continue img_count len(list(cls_folder.glob(*.jpg))) img_count len(list(cls_folder.glob(*.png))) print(f{split}/{cls_folder.name}: {img_count} 张)这段脚本做两件事第一确认 class_dict 的 key 是字符串 ID 还是类别名这决定了后面代码用哪个方向做映射第二确认每个 split 下都有 12 个类别的文件夹且图片数量不为 0。图片数为 0 的文件夹一旦存在训练时类别数会少掉一类测试集的索引全部错位这类问题在训练结束后才发现就晚了。提示class_dict.json 解析后 key 永远是字符串。无论原始文件写的是 {0: 双孢蘑菇} 还是 {双孢蘑菇: 0}建议在数据装载阶段统一转成 “字符串 ID → 类别名” 这一种方向后续代码里只处理一种格式少踩一半的坑。2.2 用 ImageFolder 跑最小加载代码先核对 class_to_idx数据集已经按文件夹划分好torchvision 的 ImageFolder 是开箱即用的默认选择from torchvision import datasets, transforms train_set datasets.ImageFolder( rootstr(data_root / train), transformtransforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]), ) print(train_set.classes) print(train_set.class_to_idx)ImageFolder 会自动把 train 下的每个子文件夹当成一个类别按名称字典序分配索引。这里有一个潜在风险文件夹名是“0_双孢蘑菇”“1_香菇”这种带编号形式时它的排序结果由前缀数字决定恰好与类别字典 ID 一致当然好但一旦文件夹前缀数字和 class_dict.json 里的 ID 不完全对齐ImageFolder 分配的索引就和字典 ID 对不上。所以我不直接依赖 ImageFolder 的隐式索引加载完先看一眼 class_to_idx 的输出再和 class_dict.json 做一次比对。判断一致的代码很简单folder_ids [name.split(_)[0] for name in train_set.classes] dict_ids list(class_dict.keys()) print(顺序一致:, folder_ids dict_ids)不一致时最简单的方式是不用 ImageFolder 的索引而是传入一个自定义的 target_transform把图片对应的文件夹名映射回 class_dict 里的真实 ID。这个核对动作一分钟就够能避免后面整个训练流程白跑。2.3 自己写 Dataset 的兜底方案统一通道、统计类别、对抗错位当你的使用场景超出 ImageFolder 的能力范围比如需要给某些类别的样本加权、需要统计每个类别的真实数量、或者文件夹里混进了非图像文件时我一般会直接写一个自定义 Dataset。对于 12 类这种小规模数据集这个类不会带来任何性能压力逻辑却清楚得多from torch.utils.data import Dataset from PIL import Image class MushroomDataset(Dataset): def __init__(self, image_dir, class_dict, transformNone): self.transform transform self.samples [] self.id_to_name {str(k): v for k, v in class_dict.items()} for cls_id, cls_name in self.id_to_name.items(): cls_dir Path(image_dir) / cls_name if not cls_dir.exists(): print(f跳过不存在的类别目录: {cls_name}) continue for img_path in sorted(cls_dir.glob(*)): if img_path.suffix.lower() in {.jpg, .jpeg, .png, .bmp}: self.samples.append((str(img_path), int(cls_id))) def __len__(self): return len(self.samples) def __getitem__(self, idx): path, label self.samples[idx] img Image.open(path).convert(RGB) if self.transform: img self.transform(img) return img, label这段代码的关键点有三个构造阶段遍历 class_dict把每个类别名对应文件夹下的合法图片路径和真实 ID 配对存入 samples 列表getitem里统一用 convert(RGB) 处理RGBA 的透明通道 PNG 和灰度图都会被转成三通道避免训练时通道数报错int(cls_id) 把从 json 读出的字符串 key 转成整数标签。另外遍历时用了文件名后缀白名单过滤即使文件夹里混入缩略图或隐藏文件也不会被打进训练集。这个兜底方案的另一个好处是能直接做类别统计from collections import Counter train_labels [label for _, label in train_set.samples] print(Counter(train_labels))一眼就能看出 12 个类别的样本量分布为后面的采样策略提供依据。ImageFolder 也能做到这一点但要通过 train_set.targets 再去对 classes多一层绕。3. 训练12类蘑菇分类器预训练模型、数据增强和超参调优3.1 为什么先从 ResNet18 开始而不是最新的图像分类模型12 个类别的公开蘑菇图像数据单个类别通常在几百张总量一千到三千。这个规模下从零训练一个深层 CNN 的结果很典型训练集收敛到接近满分验证集卡在七成上下过拟合来得比预期快得多。预训练模型在 ImageNet 上已经学过的边缘、纹理、色彩斑块特征对蘑菇识别不算浪费——菌盖形状、菌柄纹理、表面斑点这些视觉特征在模型底层卷积里是通用的。最新的图像分类模型比如 ConvNeXt 和 ViT在大型数据集上确实把准确率往上推了一个台阶但在这种千张量级的小数据上ViT 类模型的训练不稳定性和数据需求量反而不占优势。我的选择是先跑一个 ResNet18 做基线把加载、训练、评估的全流程跑通再考虑要不要换更大的模型。import torch.nn as nn from torchvision.models import resnet18, ResNet18_Weights num_classes 12 model resnet18(weightsResNet18_Weights.IMAGENET1K_V1) model.fc nn.Linear(model.fc.in_features, num_classes, biasTrue)注意新版本 torchvision 里直接用 weights 参数指定预训练权重pretrainedTrue 的旧写法在后续版本里会废弃。model.fc 被替换成输出 12 维的线性层后整个网络输出就是 12 类 logits不需要额外加分类头。显存允许的前提下可以换成 resnet50但 ResNet18 在单卡上的训练速度快一倍先拿到基线再升级是更省时间的路径。如果数据集总量不足两千张建议先把前几层冻结只微调最后两个 block 和全连接层for name, param in model.named_parameters(): param.requires_grad False for name, param in model.named_parameters(): if name.startswith(layer4) or name.startswith(fc): param.requires_grad True冻结的层不参与反向传播省显存也减少过拟合。验证集精度上不去时把 layer3 也解冻让更多底层特征参与微调。这个“先冻结后解冻”的顺序比一次性全量微调稳定。3.2 数据增强参数蘑菇纹理、背景干扰和旋转角度的平衡蘑菇识别有个特殊点相似种类之间差别可能很小而同一朵蘑菇在不同生长阶段外观差异又很大。数据增强的每一项参数都要在这种矛盾里找平衡。from torchvision import transforms train_transform transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomCrop(224), transforms.RandomHorizontalFlip(), transforms.RandomRotation(degrees15), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.15, hue0.05), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) val_transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ])Resize(256) 加 RandomCrop(224) 的组合比直接 Resize(224) 多了一个随机空间裁剪相当于每次训练让模型看到图像的略微不同区域减少对背景的记忆。RandomRotation(15) に対応野外拍摄角度变化。ColorJitter 里的 saturation 和 hue 要控制得保守一些蘑菇识别的关键特征很大程度在颜色上饱和度扰动过大会让深色菌盖和浅色菌柄的区别被抹掉我把 saturation 放在 0.15、hue 放在 0.05属于偏保守的取值范围。对验证集和测试集不要做 RandomCrop 和翻转只用固定 Resize(224) 加归一化否则每次评估结果会随随机性波动模型调优时没法判断改动是真实提升还是噪声。3.3 学习率、batch size 和训练节奏一组可复现的配置在千张级小数据集上微调 ResNet18SGD 往往比 Adam 更稳。Adam 收敛快但在后期容易震荡在小数据上甚至可能比 SGD 的最终准确率低一到两个点。import torch import torch.optim as optim criterion nn.CrossEntropyLoss() optimizer optim.SGD(model.parameters(), lr1e-3, momentum0.9, weight_decay1e-4) scheduler optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max30)初始学习率 1e-3 搭配余弦退火训练后期学习率逐步趋近于 0收敛过程平滑。T_max 设为 30 意味着 30 个 epoch 完成一个退火周期。如果数据集总量不到一千张T_max 可以缩到 20。batch size 取 32 是单张普通显卡能轻松承载的数值一个 epoch 的步数大约在几十步验证频率定为每个 epoch 一次完全来得及。from torch.utils.data import DataLoader train_loader DataLoader(train_set, batch_size32, shuffleTrue, num_workers8) val_loader DataLoader(val_set, batch_size32, shuffleFalse, num_workers8) for epoch in range(30): train_loss, train_acc train_one_epoch( model, train_loader, optimizer, criterion, device) val_acc evaluate(model, val_loader, device) print(fepoch {epoch1}: train_acc {train_acc:.3f}, val_acc {val_acc:.3f})shuffleTrue 只在训练集上设置验证集保持 False。num_workers 在 Windows 上如果遇到多进程报错就设为 0代价是数据加载稍慢但不影响训练结果。这里 train_one_epoch 和 evaluate 是标准的训练循环分别在每个 batch 上完成前向、损失计算、反向传播以及验证集上的准确率统计。4. 蘑菇图像分类的 5 个坑现象、原因和解决4.1 验证集准确率接近 95%真实场景却频繁判错现象训练过程中 val_acc 停在 0.93 以上换成户外用手机拍的蘑菇照片预测结果明显混乱甚至根据背景乱猜类别。 原因大量蘑菇图像来自比较干净的采集环境背景是培养土或人工托盘。模型很容易把背景的颜色和纹理当成判别特征菌盖本身反而不是决定因素。图像分类领域这个坑几乎人人会踩背景相关性是黑匣子里最难排查的问题。 解决训练完先用 Grad-CAM 或类似的热力图检查模型关注区域。如果热力图集中在背景上而不是蘑菇主体就要靠增强手段打散背景分布Rotate、RandomCrop 之外再加上 RandomResizedCrop让模型每次都只能看到图像的一部分背景不再是稳定线索。4.2 同一种蘑菇的图同时出现在训练集和验证集里现象验证集准确率比测试集高出十多个点val_acc 看起来很好但 test_acc 很平庸。 原因划分数据时只做了简单的随机抽样没有考虑“同一个蘑菇个体、同一个拍摄现场的连续帧”可能被切进了两个集合。这种情况属于数据泄漏val 集失去评估意义。 解决拿到划分好的数据后先对全部图片做一次 md5 去重。重复图片出现在 train 和 val 两个文件夹时把 val 里的重复文件删掉或者把它移到 train 里只保留一份。更稳妥的做法是依据文件名前缀按现场分组划分但目前多数现成数据集的划分已经固定能做的就是去重并如实记录。4.3 RGBA 和灰度图混入训练集导致通道不匹配现象训练跑到第一个 epoch 报错提示图像通道数与输入不符有时不报错但推理时部分图片读出来是四通道模型输出维度对不上。 原因数据集里同时存在 JPG 和带透明通道的 PNG透明通道被 PIL 当成第四个通道读进来了而预训练模型的输入固定是 RGB 三通道。 解决在自己写 Dataset 时统一调用 convert(RGB)这是治本的办法。如果用的 ImageFolder同样建议先做一次批量转码把整个数据集统一转成 RGB 的 JPG再开始训练。转码脚本十几行用 PIL 的 convert 方法遍历一遍即可。4.4 类别不均衡拉高了总体准确率个别类别一直上不去现象混淆矩阵里某几个常见类识别率超过 97%个别稀缺类只有 70% 左右平均下来整体准确率还是很好看。 原因数据集按文件夹存放时各文件夹张数天然不同。某些蘑菇采集容易样本多少数类别只有两三百张在损失函数里占比小模型没有足够的梯度去学它们。 解决最直接的做法是采样层面加权通过 WeightedRandomSampler 把少数类的采样概率抬高from torch.utils.data import WeightedRandomSampler train_labels [label for _, label in train_set.samples] class_count [train_labels.count(i) for i in range(12)] sample_weights [1.0 / class_count[label] for label in train_labels] sampler WeightedRandomSampler(sample_weights, num_sampleslen(sample_weights), replacementTrue) train_loader DataLoader(train_set, batch_size32, samplersampler, num_workers8)replacementTrue 允许同一张图在一个 epoch 里被重复采样少数类的样本会多次出现。注意用了 sampler 的 DataLoader 不能再同时设 shuffleTrue否则运行时报冲突。调整后评估指标不要只看总准确率逐类看召回率才能真正反映采样策略是否生效。4.5 测试集结果比验证集还好反而不正常现象模型在 test 集上的准确率比 val 高出一截仔细对比发现部分图片在 train 文件夹里也有同名文件。 原因某些划分好的数据集打包时直接把同一批图片复制进了多个文件夹测试集没能独立于训练集评估结果虚高。这类问题最隐蔽因为你不会在报错里看到任何提示。 解决先做跨文件夹的文件名交集检查train_names {p.name for p in (data_root / train).rglob(*.jpg)} test_names {p.name for p in (data_root / test).rglob(*.jpg)} print(train 和 test 同名文件数:, len(train_names test_names))同名文件多的话这个测试集只能当参考可靠的结论要靠外部照片验证。5. 收尾单图推理脚本、混淆矩阵与一个验证习惯训练完成后真正检验模型的是两个动作单张真实照片的推理输出以及全量测试集上的混淆矩阵。def predict_topk(model, image_path, class_dict, transform, topk3, devicecpu): model.eval() img Image.open(image_path).convert(RGB) x transform(img).unsqueeze(0).to(device) with torch.no_grad(): logits model(x) probs torch.softmax(logits, dim1)[0] top_probs, top_idx torch.topk(probs, ktopk) for rank, (prob, idx) in enumerate(zip(top_probs, top_idx), 1): class_name class_dict.get(str(idx.item()), fclass_{idx.item()}) print(fTop{rank}: {class_name} {prob.item() * 100:.2f}%) return top_idx[0].item()这个脚本里 class_dict.get(str(idx.item())) 的前提是字典方向为“字符串 ID → 类别名”。如果下载的字典反过来加载时做一次翻转再传进来。topk 默认取 3适合蘑菇识别这种相似种较多的任务——第一名不对时第二名经常是正确类。然后跑一遍测试集输出 classification_report 和混淆矩阵from sklearn.metrics import confusion_matrix, classification_report report classification_report(all_labels, all_preds, target_namesclass_names) print(report) cm confusion_matrix(all_labels, all_preds, labelsrange(12)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabelsclass_names, yticklabelsclass_names) plt.show()混淆矩阵的 12×12 网格里肉眼看哪些类别总是互相混淆——比如两类菌盖颜色接近的蘑菇频繁错判这说明模型学到的特征里颜色权重过高下一步应该针对性加形状类增强而不是盲目增加 epoch。我个人的习惯是训练结束后两步走先用一张真实环境下随手拍的照片看 top-3 输出再打开混淆矩阵逐类检查。这两步做完模型能不能用、短板在哪个类别基本心里有数。这比盯着 val_acc 一个数字去不断调参要有效得多。希望这个流程能帮到你。本文还有配套的精品资源点击获取