尧图网站建设 
简介面向人工智能、机器学习与图像识别方向的研究者和学生这份PDF资料以花卉种类识别为切入点系统阐述了深度卷积神经网络CNN在非刚性物体识别中的应用。文中提出多隐层CNN架构详细讲解卷积、池化、反向传播等核心方法并基于ImageNet的80类花卉图像进行训练与测试与传统神经网络、支持向量机对比验证识别率提升10%以上。资料兼具理论介绍与实验验证可作为深度学习课题参考、数据研究文献或毕业设计专业指导材料。资源为1个PDF文件容量1.78MB内容精炼包含摘要、关键词、算法设计、实验比较与参考文献方便直接阅读或打印使用。已有2440人学习浏览适合需要了解CNN图像分类原理、非刚性物体识别方案或撰写相关论文的用户参考。1. 花卉识别这口饭没那么好吃为什么我把这套深度学习方案重新完整跑了一遍先抛个反直觉的结论基于深度学习模型的花卉种类识别看起来是图像分类里最友好的入门题目真正动手后你才会发现它比猫狗识别更容易翻车。原因在于许多花种的差异只集中在花瓣纹理、花蕊形态和叶片锯齿这些细微结构上模型经常把波斯菊与秋英、玫瑰与月季归到同一类。这个项目本质上是把卷积神经网络迁移学习完整走通一遍数据集检查、数据加载、模型选型、分阶段训练、坑点排查最后还要把它导出成能被服务调用的推理接口。它适合三类人拿这个课题做毕业设计的本科生和硕士生、刚转行CV算法方向的工程师以及想把图像分类能力塞进 Web 小程序的全栈开发者。看完这篇笔记你能得到一套在公开花卉数据集上精度稳定超过 90% 的可复现流程。2. 先定任务再选模型花卉分类的数据集准备与加载方案2.1 数据集前置检查用 20 行脚本统计类别数与尺寸分布做花卉识别最常用的公开数据是 Oxford-102 Flower共 102 类、8189 张图像每类样本数在 40 到 258 张之间分布很不均匀。如果用自己的爬虫数据或毕设采集数据第一件事不是写模型而是确认目录结构。PyTorch 的 ImageFolder 要求数据按root/类别名/图片的层级组织所以先把数据规整成下面这种结构tree -L 2 /data/flower_data输出应该是/data/flower_data ├── train │ ├── 0_astilbe │ │ ├── img_001.jpg │ │ └── img_002.jpg │ └── 1_bellflower │ └── img_005.jpg └── val ├── 0_astilbe └── 1_bellflower类名建议直接用英文或数字编号避免中文路径在跨平台部署时出现编码问题。然后写一个小脚本看类别分布和图像尺寸这一步能提前把脏数据暴露出来from PIL import Image from collections import defaultdict import os, glob train_root /data/flower_data/train counts defaultdict(int) for class_name in os.listdir(train_root): class_dir os.path.join(train_root, class_name) counts[class_name] len(os.listdir(class_dir)) print(最少样本类, min(counts, keycounts.get), counts[min(counts, keycounts.get)]) print(最多样本类, max(counts, keycounts.get), counts[max(counts, keycounts.get)]) # 抽查 20 张图的尺寸和通道 for p in glob.glob(train_root /*/*.jpg)[:20]: im Image.open(p) print(os.path.basename(p), im.size, im.mode)这段代码有两个目的一是看类别是否均衡到需要做重采样的程度二是确认是否存在灰度图、RGBA 图或超大尺寸图。花卉这类对象形状细长很多手机原图是 3000×4000直接送进网络既占显存又没意义。检查后发现异常就要在加载阶段做统一处理。2.2 用 ImageFolder 搭数据管线五个参数直接影响训练效果模型训练的数据管线我一般直接复用 torchvision 的 ImageFolder 加 DataLoader关键在 transform 和 DataLoader 的参数上。下面是一份可以直接抄的配置from torchvision import datasets, transforms from torch.utils.data import DataLoader data_transform { train: transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomCrop(224), transforms.RandomHorizontalFlip(0.5), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]), val: transforms.Compose([ transforms.Resize((256, 256)), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) } trainset datasets.ImageFolder(root/data/flower_data/train, transformdata_transform[train]) valset datasets.ImageFolder(root/data/flower_data/val, transformdata_transform[val]) trainloader DataLoader(trainset, batch_size64, shuffleTrue, num_workers4, pin_memoryTrue) valloader DataLoader(valset, batch_size64, shuffleFalse, num_workers4, pin_memoryTrue) print(类别映射, trainset.class_to_idx)先解释归一化。这里用的均值[0.485, 0.456, 0.406]和方差[0.229, 0.224, 0.225]是 ImageNet 数据集的统计量。因为后面要加载在 ImageNet 上预训练好的 ResNet 权重输入分布必须和预训练时一致否则迁移学习的效果会大打折扣。有些新手自作聪明地去算自己数据集的均值和方差反而破坏了预训练权重的适配性这个习惯要改掉。再说 DataLoader 的五个参数。训练集shuffleTrue是必须的否则每个 epoch 的梯度更新顺序完全一致模型容易陷入局部震荡验证集shuffleFalse是为了保证评估时输出顺序与文件顺序一致方便后面做混淆矩阵分析。num_workers在 Linux 下可以开到 CPU 核心数的一半在 Windows 下建议先设 2开太大容易触发 DataLoader 报错。pin_memoryTrue只在 GPU 训练时有意义让显存拷贝走异步通道能省下不少等待时间。batch_size64是针对 ResNet18 和 1080Ti 级别显卡的常用值显存小的机器先降到 32。2.3 数据增强的取舍哪些操作对花卉真的有效数据增强的配置直接决定过拟合程度但花卉场景和通用物体识别有区别。水平翻转要慎用。花瓣本身有朝向性一株向左侧开的郁金香被水平翻转后花茎的弯曲方向和叶片的偏转角度都违背了真实分布。模型可能学到“花朝左/朝右”这种假特征而不是花本身的纹理。我的做法是保留RandomHorizontalFlip但把概率降到 0.3或者干脆去掉。旋转和裁剪是花卉增强里最划算的两个操作。RandomCrop(224)强制模型关注花瓣局部纹理配合Resize((256, 256))的尺度等于给模型创造了“拉近看细节”的机会。对菊花、蒲公英这类花瓣密集的种类这个增强远比翻转有用。如果想再加可以补transforms.ColorJitter(brightness0.2, contrast0.1, saturation0.2)模拟不同天气和拍摄光线下的色偏。注意亮度抖动不要超过 0.2花卉图像对颜色比较敏感调太大模型会误把高光当花瓣特征。3. 用 ResNet 做迁移学习从预训练权重到分类头的完整训练流程3.1 模型选型为什么选中 ResNet18 而不是 MnasNet 或 ViT在深度学习 CV 任务里花卉识别这种中等粒度分类有一个比较成熟的选型区间。我首选 ResNet18而不是参数量更大的 ResNet50也不是近年热门的 ViT。理由有三条。第一残差连接缓解了梯度消失训练曲线稳定。花卉识别的难点在细粒度特征不在极深的网络结构ResNet18 的 4 个残差阶段足够提取花瓣纹理和花蕊结构。第二迁移学习依赖预训练权重的成熟度ResNet 系列在 ImageNet 上的预训练权重是 torchvision 直接自带的开箱即用ViT 在小数据集上要调 warmup、dropout 和权重衰减超参数敏感性高调起来容易变成玄学。第三落地成本。ResNet18 单张 224×224 图像在 CPU 上推理约 50 到 80 毫秒MnasNet 虽快但精度普遍低 2 到 3 个百分点。对毕设或小程序后端来说ResNet18 的精度与速度平衡点最舒服。3.2 迁移学习最小训练脚本替换分类头到第一次验证用 PyTorch 做迁移学习的核心操作就两个替换最后一层全连接然后按阶段解冻。最小脚本如下import torch import torch.nn as nn from torchvision import models device torch.device(cuda if torch.cuda.is_available() else cpu) model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) model.fc nn.Linear(model.fc.in_features, 102) # 输出 102 个花种类别 model model.to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lr1e-3) scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size8, gamma0.5) print(新分类头参数, model.fc)为什么只改model.fcResNet18 在 ImageNet 上学到的底层特征包括边缘、纹理、颜色渐变对花卉同样有效。需要从头学的只是最后一层把 512 维特征映射到 102 个花种的线性层。新初始化的 fc 层梯度更新快所以学习率设为 1e-3而主干网络仍然保持预训练参数不动。训练循环用一个标准写法def train_one_epoch(model, loader, optimizer, criterion, device): model.train() total_loss, correct, total 0.0, 0, 0 for images, labels in loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() * images.size(0) _, preds outputs.max(1) correct preds.eq(labels).sum().item() total labels.size(0) return total_loss / total, correct / total def evaluate(model, loader, criterion, device): model.eval() total_loss, correct, total 0.0, 0, 0 with torch.no_grad(): for images, labels in loader: images, labels images.to(device), labels.to(device) outputs model(images) loss criterion(outputs, labels) total_loss loss.item() * images.size(0) _, preds outputs.max(1) correct preds.eq(labels).sum().item() total labels.size(0) return total_loss / total, correct / total说明两个细节。outputs.max(1)返回的是每个样本在 102 个类别得分里最大的索引也就是预测类别不需要额外在模型里接 softmax因为CrossEntropyLoss内部已经做了 log-softmax。评估时务必要写model.eval()再包一层torch.no_grad()否则 BN 层的统计量会被当前 batch 更新模型预测结果会跳来跳去而且梯度计算会白白浪费显存。3.3 分阶段解冻从只训分类头到全量微调的三个步骤直接全量微调不是不行但在花卉数据只有几千张的情况下容易把预训练特征破坏掉。我一般把训练分成三个阶段。第一阶段冻结全部主干只训练 fc 层。可以用下面代码冻结参数for name, param in model.named_parameters(): if param.requires_grad and fc not in name: param.requires_grad False optimizer torch.optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr1e-3)跑 8 到 10 个 epoch验证集准确率一般能到 85% 左右。然后进入第二阶段解冻最后两个残差块学习率降到 1e-4for name, param in model.named_parameters(): if layer4 in name or fc in name: param.requires_grad True else: param.requires_grad False optimizer torch.optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr1e-4)第三阶段再全量解冻学习率降到 1e-5做最后 5 个 epoch 的精修。选择先冻结后解冻本质上是让新初始化的 fc 层先收敛到合理范围再用小学习率微调高层语义特征。如果一开始就全量解冻主干网络的大梯度会把预训练权重一把冲掉训练损失降得非常快但验证集表现反而变差。4. 训练参数怎么调才不翻车学习率、批大小与早停的三个必调项4.1 学习率、批大小与迭代次数的经验区间训练参数不需要每个都从头试下面这个表是我在多个花卉分类项目里验证过的起点照抄后根据验证集表现微调即可参数推荐值区间说人话的解读基础学习率1e-3 到 1e-4迁移学习阶段用 1e-3微调阶段用 1e-4 到 1e-5batch_size16 到 64显存 8G 用 324G 用 16小 batch 要调低学习率优化器Adam 或 SGDAdam 收敛快SGD 精度上限略高但要多跑 20% epochmax_epoch25 到 40三个训练阶段加起来超过 40 个 epoch 大概率在过拟合权重衰减1e-4 到 5e-4对 ResNet 迁移学习影响不大默认 1e-4 即可学习率和 batch_size 是联动的。常见做法是体积翻倍学习率也要跟着翻倍小项目里不用算得太精细记住一个规律batch 从 64 减到 16学习率就从 1e-3 减到 5e-4否则梯度噪声变大loss 曲线会抖得非常厉害。这个经验在《动手深度学习》里也有类似表述实操下来确实能少翻几次车。4.2 早停与 checkpoint 托管不要在训练集上选模型训练过程中的后悔药就是合理保存 checkpoint。我的规则只有一条只在验证集准确率刷新纪录时保存权重。实现逻辑很简单best_acc, best_epoch, patience, wait 0.0, 0, 6, 0 for epoch in range(max_epoch): train_loss, train_acc train_one_epoch(model, trainloader, optimizer, criterion, device) val_loss, val_acc evaluate(model, valloader, criterion, device) print(fEpoch {epoch1}: train_acc{train_acc:.4f} val_acc{val_acc:.4f}) if val_acc best_acc: best_acc val_acc best_epoch epoch 1 torch.save(model.state_dict(), best_flower.pth) wait 0 else: wait 1 if wait patience: print(fEarly stop at epoch {epoch1}) break这里有两个容易踩的细节。第一保存model.state_dict()而不是整个model因为前者只存权重跨机器部署时只要重建同样的模型结构就能加载后者会带上模型定义和优化器状态换 PyTorch 版本后经常报反序列化错误。第二patience6的含义是连续 6 个 epoch 验证集准确率没有刷新就停。如果你用的是余弦退火学习率可以把 patience 适当放宽到 8因为余弦退火在周期末段还会有一波小幅上涨。4.3 进阶监控分类准确率之外还要看什么训练损失收敛但验证集准确率纹丝不动是花卉识别最典型的过拟合信号。这时候光看平均准确率不够要做两类分析。第一类是类别级混淆分析。用 sklearn 的confusion_matrix或者直接手算每个类别的召回率重点看哪些花被反复认错。花卉数据集里最容易混淆的是外形相近的品种例如同为菊科的金鸡菊和波斯菊它们的差异集中在舌状花数量上人眼都容易看错。如果混淆矩阵里固定错在两三个相似类上可以给这些类单独加样本或者提高ColorJitter的饱和度扰动逼模型去学颜色之外的结构特征。第二类是观察验证集 loss 与训练集 loss 的差值。两者差距在 0.2 以内还算正常超过 0.5 基本可以断定过拟合。此时优先增加数据增强强度其次才是减小模型容量。对 ResNet18 来说一般不推荐直接换成 ResNet34 来缓解过拟合因为更大的模型只会让过拟合更严重。先试RandomErasing或Cutout这种区域遮挡增强对花卉这种纹理密集型对象效果很明显。5. 花卉识别项目的五大避坑记录从数据脏点到显存不足5.1 图像长宽比不统一直接 resize花蕊被拉成椭圆现象训练过程一切正常验证集准确率也有 90% 以上但拿单反或手机实拍图去测识别结果明显变差。原因Resize((256, 256))强制把不同长宽比的图像拉伸成正方形。花卉摄影里竖构图居多拉伸后花朵的长宽比例失真尤其是花蕊和花瓣的细长纹理被压缩模型学到的几何特征和真实场景对不上。解决不要直接 resize 到正方形改为先等比缩放再中心裁剪transforms.Resize(256), transforms.CenterCrop(224),训练时同样把RandomResizedCrop(224)替代掉固定Resize((256, 256)) RandomCrop(224)的组合。RandomResizedCrop会随机裁剪一个区域后再缩放保证送入网络的内容始终是 224×224但保留了几何比例的多样性。这个改动对花卉项目的影响非常直观基本能让实拍测试准确率提高 3 到 5 个百分点。5.2 类别样本只有几十张怎么训都学不到特征现象Flower102 数据集里有些类只有 40 张图像训练后这些类的召回率只有 50% 左右而样本多的类普遍在 90% 以上。原因监督学习对类别样本数极度敏感几十张图不足以让模型学到稳定的类内不变性。解决使用WeightedRandomSampler对样本少的类过采样。代码实现如下from torch.utils.data import WeightedRandomSampler from collections import Counter target_counts Counter(trainset.targets) total len(trainset) weights [total / target_counts[t] for t in trainset.targets] sampler WeightedRandomSampler(weights, num_samplestotal, replacementTrue) trainloader DataLoader(trainset, batch_size64, samplersampler)注意两个坑。一是DataLoader里不能同时设shuffleTrue和sampler官方会直接报错因为 sampler 本身就负责打乱顺序。二是权重计算用total / target_counts[t]会让样本少的类获得更大的采样概率但极端不平衡时少数类会被重复采样多次这时配合数据增强使用效果更好否则模型会对少数类的少量训练样本严重过拟合。5.3 学习率过大训练曲线一路 NaN——但问题未必在学习率现象第一个 epoch 刚开始几十步训练 loss 直接变成 NaN之后一直回不来。原因最常见的是学习率设置过大梯度爆炸。但还有一个隐蔽原因输入图像里混入了全白或全黑图片归一化之后像素值依然是 0 或极接近 0前向传播经过深层网络后数值溢出。解决先做两手排查。第一跑 10 步看梯度范数通常在1.0附近算正常超过10.0就要调低学习率或加梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)第二检查数据里有没有异常图。用Image.verify()对每张图做完整性校验发现打不开的文件直接删掉或替换。我遇到过一次数据集里混入了大小为 0 的空文件加载时 PIL 不报错但返回全黑图最后就是靠逐张 verify 才定位出来。5.4 验证集指标虚高同株花出现在训练和验证集里现象验证集准确率 95%但把模型放到新拍摄的花上测试准确率只有 70%。原因数据划分不严格。很多公开数据集是同一个植株的不同角度照片如果随机按文件顺序划分同一株花的照片会同时出现在训练集和验证集里。模型实际上记住了这一株花的特征而不是这个花种的特征。解决划分数据时按拍摄对象分组而不是按单张图随机划分。最简单的做法是看文件名前缀类似plant_001_angle_01.jpg这种命名按下划线第一部分分桶import os, shutil from collections import defaultdict all_imgs glob.glob(/data/flower_data/all/*/*.jpg) groups defaultdict(list) for p in all_imgs: plant_id os.path.basename(p).split(_)[0] groups[plant_id].append(p)然后整个组放进训练集或验证集确保同一株花的所有照片只出现在一侧。这个小改动会让验证集准确率看起来“下降”几个点但换来的是真实场景下同样水平的性能这钱花得值。5.5 GPU 显存不足时的降级方案降分辨率、混合精度与梯度累积现象batch_size64跑 ResNet18 时报CUDA out of memory尤其在 4G 显存的笔记本显卡上。原因输入图像是 224×224×3 的浮点张量ResNet18 中间特征图的显存占用大约 1.5GB再叠加优化器状态和反向传播的梯度缓存4G 显存确实吃紧。解决按顺序试三个降级手段。第一步把 batch_size 降到 16能解决大部分问题。第二步开启混合精度训练把 FP16 计算和 FP32 参数存储结合起来显存峰值能削掉三分之一scaler torch.cuda.amp.GradScaler() for images, labels in loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() with torch.autocast(device_typecuda, dtypetorch.float16): outputs model(images) loss criterion(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()第三步如果还不够用梯度累积模拟大 batch。把 batch 降到 16累积 4 步再更新一次参数等价于 batch 64 的梯度平均效果accumulation_steps 4 optimizer.zero_grad() for i, (images, labels) in enumerate(loader): outputs model(images) loss criterion(outputs, labels) / accumulation_steps loss.backward() if (i 1) % accumulation_steps 0: optimizer.step() optimizer.zero_grad()注意梯度累积的坑在于 BN 层。BN 的统计量仍然按每个实际 batch 计算所以 batch16 累积 4 步和真正 batch64 的 BN 表现会有差异但实践中误差在可接受范围内。6. 上线前的那一步ONNX 导出与推理一致性的逐项验证6.1 用 ONNX 导出的完整流程与动态 batch 配置训练完成后模型不能永远活在 PyTorch 的训练脚本里要导出成 ONNX 才能被服务端和移动端方便调用。导出代码用固定输入尺寸的 dummy 张量import torch.onnx model.eval() dummy torch.randn(1, 3, 224, 224) torch.onnx.export( model, dummy, flower_resnet18.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch}, output: {0: batch}}, opset_version12 )dynamic_axes必须加它告诉 ONNX Runtime 推理时第一个维度是可变的这样服务端可以一次推理多张图。导出后用 ONNX Runtime 对比 PyTorch 的输出验证最大误差在 1e-5 量级才算通过import onnxruntime as ort import numpy as np ort_session ort.InferenceSession(flower_resnet18.onnx) out_ort ort_session.run(None, {input: dummy.numpy()})[0] out_torch model(dummy).detach().numpy() print(最大绝对误差, np.abs(out_ort - out_torch).max())误差超过 1e-3 就要检查是否模型里有自定义算子或opset_version太低。花卉识别纯用标准卷积层一般不会出现这个问题。6.2 最后一公里分类别统计准确率再放行模型部署前别只看总准确率。我要求每个类别单独跑一遍验证集统计 top-1 和 top-5 准确率凡是低于 80% 的类别列出来人工抽查。很多花卉识别的线上事故都出在个别相似种类上总量 95% 的准确率掩盖了某几类只有 60% 的事实。如果抽查发现确实存在混淆常见补救是收集那几类的更多样本或在预处理里增加旋转角度而不是盲目调整全局超参数。我自己做这类项目时最深的教训就是先把数据划分和标签检查做扎实再去动模型结构这个顺序颠倒过来后面每个阶段都得还债。希望这一篇能帮你在花卉识别这个方向上少走一段弯路。本文还有配套的精品资源点击获取 花卉识别深度学习实战：迁移学习与模型部署全流程
简介面向人工智能、机器学习与图像识别方向的研究者和学生这份PDF资料以花卉种类识别为切入点系统阐述了深度卷积神经网络CNN在非刚性物体识别中的应用。文中提出多隐层CNN架构详细讲解卷积、池化、反向传播等核心方法并基于ImageNet的80类花卉图像进行训练与测试与传统神经网络、支持向量机对比验证识别率提升10%以上。资料兼具理论介绍与实验验证可作为深度学习课题参考、数据研究文献或毕业设计专业指导材料。资源为1个PDF文件容量1.78MB内容精炼包含摘要、关键词、算法设计、实验比较与参考文献方便直接阅读或打印使用。已有2440人学习浏览适合需要了解CNN图像分类原理、非刚性物体识别方案或撰写相关论文的用户参考。1. 花卉识别这口饭没那么好吃为什么我把这套深度学习方案重新完整跑了一遍先抛个反直觉的结论基于深度学习模型的花卉种类识别看起来是图像分类里最友好的入门题目真正动手后你才会发现它比猫狗识别更容易翻车。原因在于许多花种的差异只集中在花瓣纹理、花蕊形态和叶片锯齿这些细微结构上模型经常把波斯菊与秋英、玫瑰与月季归到同一类。这个项目本质上是把卷积神经网络迁移学习完整走通一遍数据集检查、数据加载、模型选型、分阶段训练、坑点排查最后还要把它导出成能被服务调用的推理接口。它适合三类人拿这个课题做毕业设计的本科生和硕士生、刚转行CV算法方向的工程师以及想把图像分类能力塞进 Web 小程序的全栈开发者。看完这篇笔记你能得到一套在公开花卉数据集上精度稳定超过 90% 的可复现流程。2. 先定任务再选模型花卉分类的数据集准备与加载方案2.1 数据集前置检查用 20 行脚本统计类别数与尺寸分布做花卉识别最常用的公开数据是 Oxford-102 Flower共 102 类、8189 张图像每类样本数在 40 到 258 张之间分布很不均匀。如果用自己的爬虫数据或毕设采集数据第一件事不是写模型而是确认目录结构。PyTorch 的 ImageFolder 要求数据按root/类别名/图片的层级组织所以先把数据规整成下面这种结构tree -L 2 /data/flower_data输出应该是/data/flower_data ├── train │ ├── 0_astilbe │ │ ├── img_001.jpg │ │ └── img_002.jpg │ └── 1_bellflower │ └── img_005.jpg └── val ├── 0_astilbe └── 1_bellflower类名建议直接用英文或数字编号避免中文路径在跨平台部署时出现编码问题。然后写一个小脚本看类别分布和图像尺寸这一步能提前把脏数据暴露出来from PIL import Image from collections import defaultdict import os, glob train_root /data/flower_data/train counts defaultdict(int) for class_name in os.listdir(train_root): class_dir os.path.join(train_root, class_name) counts[class_name] len(os.listdir(class_dir)) print(最少样本类, min(counts, keycounts.get), counts[min(counts, keycounts.get)]) print(最多样本类, max(counts, keycounts.get), counts[max(counts, keycounts.get)]) # 抽查 20 张图的尺寸和通道 for p in glob.glob(train_root /*/*.jpg)[:20]: im Image.open(p) print(os.path.basename(p), im.size, im.mode)这段代码有两个目的一是看类别是否均衡到需要做重采样的程度二是确认是否存在灰度图、RGBA 图或超大尺寸图。花卉这类对象形状细长很多手机原图是 3000×4000直接送进网络既占显存又没意义。检查后发现异常就要在加载阶段做统一处理。2.2 用 ImageFolder 搭数据管线五个参数直接影响训练效果模型训练的数据管线我一般直接复用 torchvision 的 ImageFolder 加 DataLoader关键在 transform 和 DataLoader 的参数上。下面是一份可以直接抄的配置from torchvision import datasets, transforms from torch.utils.data import DataLoader data_transform { train: transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomCrop(224), transforms.RandomHorizontalFlip(0.5), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]), val: transforms.Compose([ transforms.Resize((256, 256)), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) } trainset datasets.ImageFolder(root/data/flower_data/train, transformdata_transform[train]) valset datasets.ImageFolder(root/data/flower_data/val, transformdata_transform[val]) trainloader DataLoader(trainset, batch_size64, shuffleTrue, num_workers4, pin_memoryTrue) valloader DataLoader(valset, batch_size64, shuffleFalse, num_workers4, pin_memoryTrue) print(类别映射, trainset.class_to_idx)先解释归一化。这里用的均值[0.485, 0.456, 0.406]和方差[0.229, 0.224, 0.225]是 ImageNet 数据集的统计量。因为后面要加载在 ImageNet 上预训练好的 ResNet 权重输入分布必须和预训练时一致否则迁移学习的效果会大打折扣。有些新手自作聪明地去算自己数据集的均值和方差反而破坏了预训练权重的适配性这个习惯要改掉。再说 DataLoader 的五个参数。训练集shuffleTrue是必须的否则每个 epoch 的梯度更新顺序完全一致模型容易陷入局部震荡验证集shuffleFalse是为了保证评估时输出顺序与文件顺序一致方便后面做混淆矩阵分析。num_workers在 Linux 下可以开到 CPU 核心数的一半在 Windows 下建议先设 2开太大容易触发 DataLoader 报错。pin_memoryTrue只在 GPU 训练时有意义让显存拷贝走异步通道能省下不少等待时间。batch_size64是针对 ResNet18 和 1080Ti 级别显卡的常用值显存小的机器先降到 32。2.3 数据增强的取舍哪些操作对花卉真的有效数据增强的配置直接决定过拟合程度但花卉场景和通用物体识别有区别。水平翻转要慎用。花瓣本身有朝向性一株向左侧开的郁金香被水平翻转后花茎的弯曲方向和叶片的偏转角度都违背了真实分布。模型可能学到“花朝左/朝右”这种假特征而不是花本身的纹理。我的做法是保留RandomHorizontalFlip但把概率降到 0.3或者干脆去掉。旋转和裁剪是花卉增强里最划算的两个操作。RandomCrop(224)强制模型关注花瓣局部纹理配合Resize((256, 256))的尺度等于给模型创造了“拉近看细节”的机会。对菊花、蒲公英这类花瓣密集的种类这个增强远比翻转有用。如果想再加可以补transforms.ColorJitter(brightness0.2, contrast0.1, saturation0.2)模拟不同天气和拍摄光线下的色偏。注意亮度抖动不要超过 0.2花卉图像对颜色比较敏感调太大模型会误把高光当花瓣特征。3. 用 ResNet 做迁移学习从预训练权重到分类头的完整训练流程3.1 模型选型为什么选中 ResNet18 而不是 MnasNet 或 ViT在深度学习 CV 任务里花卉识别这种中等粒度分类有一个比较成熟的选型区间。我首选 ResNet18而不是参数量更大的 ResNet50也不是近年热门的 ViT。理由有三条。第一残差连接缓解了梯度消失训练曲线稳定。花卉识别的难点在细粒度特征不在极深的网络结构ResNet18 的 4 个残差阶段足够提取花瓣纹理和花蕊结构。第二迁移学习依赖预训练权重的成熟度ResNet 系列在 ImageNet 上的预训练权重是 torchvision 直接自带的开箱即用ViT 在小数据集上要调 warmup、dropout 和权重衰减超参数敏感性高调起来容易变成玄学。第三落地成本。ResNet18 单张 224×224 图像在 CPU 上推理约 50 到 80 毫秒MnasNet 虽快但精度普遍低 2 到 3 个百分点。对毕设或小程序后端来说ResNet18 的精度与速度平衡点最舒服。3.2 迁移学习最小训练脚本替换分类头到第一次验证用 PyTorch 做迁移学习的核心操作就两个替换最后一层全连接然后按阶段解冻。最小脚本如下import torch import torch.nn as nn from torchvision import models device torch.device(cuda if torch.cuda.is_available() else cpu) model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) model.fc nn.Linear(model.fc.in_features, 102) # 输出 102 个花种类别 model model.to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lr1e-3) scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size8, gamma0.5) print(新分类头参数, model.fc)为什么只改model.fcResNet18 在 ImageNet 上学到的底层特征包括边缘、纹理、颜色渐变对花卉同样有效。需要从头学的只是最后一层把 512 维特征映射到 102 个花种的线性层。新初始化的 fc 层梯度更新快所以学习率设为 1e-3而主干网络仍然保持预训练参数不动。训练循环用一个标准写法def train_one_epoch(model, loader, optimizer, criterion, device): model.train() total_loss, correct, total 0.0, 0, 0 for images, labels in loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() * images.size(0) _, preds outputs.max(1) correct preds.eq(labels).sum().item() total labels.size(0) return total_loss / total, correct / total def evaluate(model, loader, criterion, device): model.eval() total_loss, correct, total 0.0, 0, 0 with torch.no_grad(): for images, labels in loader: images, labels images.to(device), labels.to(device) outputs model(images) loss criterion(outputs, labels) total_loss loss.item() * images.size(0) _, preds outputs.max(1) correct preds.eq(labels).sum().item() total labels.size(0) return total_loss / total, correct / total说明两个细节。outputs.max(1)返回的是每个样本在 102 个类别得分里最大的索引也就是预测类别不需要额外在模型里接 softmax因为CrossEntropyLoss内部已经做了 log-softmax。评估时务必要写model.eval()再包一层torch.no_grad()否则 BN 层的统计量会被当前 batch 更新模型预测结果会跳来跳去而且梯度计算会白白浪费显存。3.3 分阶段解冻从只训分类头到全量微调的三个步骤直接全量微调不是不行但在花卉数据只有几千张的情况下容易把预训练特征破坏掉。我一般把训练分成三个阶段。第一阶段冻结全部主干只训练 fc 层。可以用下面代码冻结参数for name, param in model.named_parameters(): if param.requires_grad and fc not in name: param.requires_grad False optimizer torch.optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr1e-3)跑 8 到 10 个 epoch验证集准确率一般能到 85% 左右。然后进入第二阶段解冻最后两个残差块学习率降到 1e-4for name, param in model.named_parameters(): if layer4 in name or fc in name: param.requires_grad True else: param.requires_grad False optimizer torch.optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr1e-4)第三阶段再全量解冻学习率降到 1e-5做最后 5 个 epoch 的精修。选择先冻结后解冻本质上是让新初始化的 fc 层先收敛到合理范围再用小学习率微调高层语义特征。如果一开始就全量解冻主干网络的大梯度会把预训练权重一把冲掉训练损失降得非常快但验证集表现反而变差。4. 训练参数怎么调才不翻车学习率、批大小与早停的三个必调项4.1 学习率、批大小与迭代次数的经验区间训练参数不需要每个都从头试下面这个表是我在多个花卉分类项目里验证过的起点照抄后根据验证集表现微调即可参数推荐值区间说人话的解读基础学习率1e-3 到 1e-4迁移学习阶段用 1e-3微调阶段用 1e-4 到 1e-5batch_size16 到 64显存 8G 用 324G 用 16小 batch 要调低学习率优化器Adam 或 SGDAdam 收敛快SGD 精度上限略高但要多跑 20% epochmax_epoch25 到 40三个训练阶段加起来超过 40 个 epoch 大概率在过拟合权重衰减1e-4 到 5e-4对 ResNet 迁移学习影响不大默认 1e-4 即可学习率和 batch_size 是联动的。常见做法是体积翻倍学习率也要跟着翻倍小项目里不用算得太精细记住一个规律batch 从 64 减到 16学习率就从 1e-3 减到 5e-4否则梯度噪声变大loss 曲线会抖得非常厉害。这个经验在《动手深度学习》里也有类似表述实操下来确实能少翻几次车。4.2 早停与 checkpoint 托管不要在训练集上选模型训练过程中的后悔药就是合理保存 checkpoint。我的规则只有一条只在验证集准确率刷新纪录时保存权重。实现逻辑很简单best_acc, best_epoch, patience, wait 0.0, 0, 6, 0 for epoch in range(max_epoch): train_loss, train_acc train_one_epoch(model, trainloader, optimizer, criterion, device) val_loss, val_acc evaluate(model, valloader, criterion, device) print(fEpoch {epoch1}: train_acc{train_acc:.4f} val_acc{val_acc:.4f}) if val_acc best_acc: best_acc val_acc best_epoch epoch 1 torch.save(model.state_dict(), best_flower.pth) wait 0 else: wait 1 if wait patience: print(fEarly stop at epoch {epoch1}) break这里有两个容易踩的细节。第一保存model.state_dict()而不是整个model因为前者只存权重跨机器部署时只要重建同样的模型结构就能加载后者会带上模型定义和优化器状态换 PyTorch 版本后经常报反序列化错误。第二patience6的含义是连续 6 个 epoch 验证集准确率没有刷新就停。如果你用的是余弦退火学习率可以把 patience 适当放宽到 8因为余弦退火在周期末段还会有一波小幅上涨。4.3 进阶监控分类准确率之外还要看什么训练损失收敛但验证集准确率纹丝不动是花卉识别最典型的过拟合信号。这时候光看平均准确率不够要做两类分析。第一类是类别级混淆分析。用 sklearn 的confusion_matrix或者直接手算每个类别的召回率重点看哪些花被反复认错。花卉数据集里最容易混淆的是外形相近的品种例如同为菊科的金鸡菊和波斯菊它们的差异集中在舌状花数量上人眼都容易看错。如果混淆矩阵里固定错在两三个相似类上可以给这些类单独加样本或者提高ColorJitter的饱和度扰动逼模型去学颜色之外的结构特征。第二类是观察验证集 loss 与训练集 loss 的差值。两者差距在 0.2 以内还算正常超过 0.5 基本可以断定过拟合。此时优先增加数据增强强度其次才是减小模型容量。对 ResNet18 来说一般不推荐直接换成 ResNet34 来缓解过拟合因为更大的模型只会让过拟合更严重。先试RandomErasing或Cutout这种区域遮挡增强对花卉这种纹理密集型对象效果很明显。5. 花卉识别项目的五大避坑记录从数据脏点到显存不足5.1 图像长宽比不统一直接 resize花蕊被拉成椭圆现象训练过程一切正常验证集准确率也有 90% 以上但拿单反或手机实拍图去测识别结果明显变差。原因Resize((256, 256))强制把不同长宽比的图像拉伸成正方形。花卉摄影里竖构图居多拉伸后花朵的长宽比例失真尤其是花蕊和花瓣的细长纹理被压缩模型学到的几何特征和真实场景对不上。解决不要直接 resize 到正方形改为先等比缩放再中心裁剪transforms.Resize(256), transforms.CenterCrop(224),训练时同样把RandomResizedCrop(224)替代掉固定Resize((256, 256)) RandomCrop(224)的组合。RandomResizedCrop会随机裁剪一个区域后再缩放保证送入网络的内容始终是 224×224但保留了几何比例的多样性。这个改动对花卉项目的影响非常直观基本能让实拍测试准确率提高 3 到 5 个百分点。5.2 类别样本只有几十张怎么训都学不到特征现象Flower102 数据集里有些类只有 40 张图像训练后这些类的召回率只有 50% 左右而样本多的类普遍在 90% 以上。原因监督学习对类别样本数极度敏感几十张图不足以让模型学到稳定的类内不变性。解决使用WeightedRandomSampler对样本少的类过采样。代码实现如下from torch.utils.data import WeightedRandomSampler from collections import Counter target_counts Counter(trainset.targets) total len(trainset) weights [total / target_counts[t] for t in trainset.targets] sampler WeightedRandomSampler(weights, num_samplestotal, replacementTrue) trainloader DataLoader(trainset, batch_size64, samplersampler)注意两个坑。一是DataLoader里不能同时设shuffleTrue和sampler官方会直接报错因为 sampler 本身就负责打乱顺序。二是权重计算用total / target_counts[t]会让样本少的类获得更大的采样概率但极端不平衡时少数类会被重复采样多次这时配合数据增强使用效果更好否则模型会对少数类的少量训练样本严重过拟合。5.3 学习率过大训练曲线一路 NaN——但问题未必在学习率现象第一个 epoch 刚开始几十步训练 loss 直接变成 NaN之后一直回不来。原因最常见的是学习率设置过大梯度爆炸。但还有一个隐蔽原因输入图像里混入了全白或全黑图片归一化之后像素值依然是 0 或极接近 0前向传播经过深层网络后数值溢出。解决先做两手排查。第一跑 10 步看梯度范数通常在1.0附近算正常超过10.0就要调低学习率或加梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)第二检查数据里有没有异常图。用Image.verify()对每张图做完整性校验发现打不开的文件直接删掉或替换。我遇到过一次数据集里混入了大小为 0 的空文件加载时 PIL 不报错但返回全黑图最后就是靠逐张 verify 才定位出来。5.4 验证集指标虚高同株花出现在训练和验证集里现象验证集准确率 95%但把模型放到新拍摄的花上测试准确率只有 70%。原因数据划分不严格。很多公开数据集是同一个植株的不同角度照片如果随机按文件顺序划分同一株花的照片会同时出现在训练集和验证集里。模型实际上记住了这一株花的特征而不是这个花种的特征。解决划分数据时按拍摄对象分组而不是按单张图随机划分。最简单的做法是看文件名前缀类似plant_001_angle_01.jpg这种命名按下划线第一部分分桶import os, shutil from collections import defaultdict all_imgs glob.glob(/data/flower_data/all/*/*.jpg) groups defaultdict(list) for p in all_imgs: plant_id os.path.basename(p).split(_)[0] groups[plant_id].append(p)然后整个组放进训练集或验证集确保同一株花的所有照片只出现在一侧。这个小改动会让验证集准确率看起来“下降”几个点但换来的是真实场景下同样水平的性能这钱花得值。5.5 GPU 显存不足时的降级方案降分辨率、混合精度与梯度累积现象batch_size64跑 ResNet18 时报CUDA out of memory尤其在 4G 显存的笔记本显卡上。原因输入图像是 224×224×3 的浮点张量ResNet18 中间特征图的显存占用大约 1.5GB再叠加优化器状态和反向传播的梯度缓存4G 显存确实吃紧。解决按顺序试三个降级手段。第一步把 batch_size 降到 16能解决大部分问题。第二步开启混合精度训练把 FP16 计算和 FP32 参数存储结合起来显存峰值能削掉三分之一scaler torch.cuda.amp.GradScaler() for images, labels in loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() with torch.autocast(device_typecuda, dtypetorch.float16): outputs model(images) loss criterion(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()第三步如果还不够用梯度累积模拟大 batch。把 batch 降到 16累积 4 步再更新一次参数等价于 batch 64 的梯度平均效果accumulation_steps 4 optimizer.zero_grad() for i, (images, labels) in enumerate(loader): outputs model(images) loss criterion(outputs, labels) / accumulation_steps loss.backward() if (i 1) % accumulation_steps 0: optimizer.step() optimizer.zero_grad()注意梯度累积的坑在于 BN 层。BN 的统计量仍然按每个实际 batch 计算所以 batch16 累积 4 步和真正 batch64 的 BN 表现会有差异但实践中误差在可接受范围内。6. 上线前的那一步ONNX 导出与推理一致性的逐项验证6.1 用 ONNX 导出的完整流程与动态 batch 配置训练完成后模型不能永远活在 PyTorch 的训练脚本里要导出成 ONNX 才能被服务端和移动端方便调用。导出代码用固定输入尺寸的 dummy 张量import torch.onnx model.eval() dummy torch.randn(1, 3, 224, 224) torch.onnx.export( model, dummy, flower_resnet18.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch}, output: {0: batch}}, opset_version12 )dynamic_axes必须加它告诉 ONNX Runtime 推理时第一个维度是可变的这样服务端可以一次推理多张图。导出后用 ONNX Runtime 对比 PyTorch 的输出验证最大误差在 1e-5 量级才算通过import onnxruntime as ort import numpy as np ort_session ort.InferenceSession(flower_resnet18.onnx) out_ort ort_session.run(None, {input: dummy.numpy()})[0] out_torch model(dummy).detach().numpy() print(最大绝对误差, np.abs(out_ort - out_torch).max())误差超过 1e-3 就要检查是否模型里有自定义算子或opset_version太低。花卉识别纯用标准卷积层一般不会出现这个问题。6.2 最后一公里分类别统计准确率再放行模型部署前别只看总准确率。我要求每个类别单独跑一遍验证集统计 top-1 和 top-5 准确率凡是低于 80% 的类别列出来人工抽查。很多花卉识别的线上事故都出在个别相似种类上总量 95% 的准确率掩盖了某几类只有 60% 的事实。如果抽查发现确实存在混淆常见补救是收集那几类的更多样本或在预处理里增加旋转角度而不是盲目调整全局超参数。我自己做这类项目时最深的教训就是先把数据划分和标签检查做扎实再去动模型结构这个顺序颠倒过来后面每个阶段都得还债。希望这一篇能帮你在花卉识别这个方向上少走一段弯路。本文还有配套的精品资源点击获取