尧图网站建设 
简介面向深度学习与图像分类入门者的PyTorch实战代码包适合课程设计、竞赛练习与科研入门围绕CIFAR10数据集完整展示从数据归一化、随机裁剪/水平翻转等增强处理到模型构建、交叉熵损失与优化器选择、学习率调度、验证集监控与早停的训练流程最终测试集准确率可达95%。压缩包共15个Python文件、约22KB除主训练脚本外还提供ResNet、VGG、DenseNet、EfficientNet、MobileNet等十余种经典backbone实现每个网络单独成文件、结构清晰可直接替换主干网络进行对比实验。目前已有11724人学习下载是图像分类入门的高热度资源。借助这套代码还可了解模型保存与加载、测试集评估、混淆矩阵等辅助分析手段并可在小数据场景下尝试迁移学习配合checkpoint目录能保存训练权重、便于继续训练对系统掌握PyTorch图像分类项目很有帮助。 CIFAR10测试集95%这个数字在图像分类这条路上算是一个分水岭。用Pytorch跑出一个ResNet18模型不难两个小时内就能看到93%左右的准确率但想再往上推两个点冲到95%你遇到的就不再是“跑通流程”的问题而是“如何系统性地逼近数据集性能上限”的问题。这篇文章我不讲大而全的理论就围绕一条我实测过、可复现的技术路线把Pytorch实现CIFAR10分类、测试集准确率达到95%的完整思路、模型改动、训练参数、踩坑记录一次说清楚。适合已经跑通基础分类流程、卡在准确率瓶颈上的同学参考。1. 目标拆解与整体方案设计1.1 95%准确率到底意味着什么先给一个真实的精度坐标避免方向搞错。CIFAR10是10类、50000张训练图、10000张测试图、分辨率32x32的小型数据集单张图太小类别之间又存在很多相似纹理比如猫和狗、鹿和卡车所以它并不像MNIST那样随便一个模型都能刷到99%。在PyTorch生态里一个不做任何改动的ResNet18用标准随机裁剪加水平翻转训练200个epoch测试集准确率稳定在93.5%到94.3%之间。普通ResNet50在这个任务上也很难超过94.5%因为深层网络在小分辨率图像上的感受野优势不明显反而更容易过拟合。所以95%这个目标意味着你不能只换一个更大的模型而需要从头梳理数据增强、网络结构的局部适配、训练策略和正则化手段把每一分精度都抠出来。1.2 技术选型为什么不是Swin Transformer选型的时候很多人会问为什么不上Swin Transformer或者ViT答案很现实32x32的输入对Transformer非常不友好。Patchify之后token数量少、特征信息有限而且从零训练Transformer在小数据集上收敛极慢没有预训练权重的情况下甚至打不过同参数量的卷积网络。CIFAR10这种规模的任务卷积网络的数据效率和训练稳定性反而是优势。我的最终方案是ResNet系为主干具体做了三处改动把ResNet18的第一个7x7卷积替换成3x3、去掉前面的最大池化层、并把每个阶段的通道数乘以2。这个结构在PyTorch里改造起来非常方便参数量约是原始ResNet18的三倍但计算量仍然可控单张消费级GPU就能训练。配合数据增强、标签平滑、余弦退火和EMA实测测试集准确率可以达到95.1%到95.4%。2. 环境准备与数据加载别让小细节拖后腿2.1 运行环境与依赖版本Pytorch、CIFAR10、图像分类这一套东西环境问题通常会消耗掉新手一半的耐心。我的建议是先确认GPU版本的PyTorch真的在用CUDA而不是装完就以为能加速。可以用下面这段代码验证import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))如果cuda.is_available()返回False大概率是安装的PyTorch版本与CUDA版本不匹配。我的组合是PyTorch 2.1.0、CUDA 11.8、cuDNN 8.9因为2.1之后torch.compile功能已经成熟虽然CIFAR10任务用不上编译加速但后续做其他项目这个版本兼容性也更好。显卡方面我实测过GTX 1660 SUPER6G显存和RTX 3090都能跑只是后者能开到更大的batch size训练时间差距在3倍左右。2.2 DataLoader的两个关键参数一个经常被忽视但直接影响训练结果的是数据加载参数。CIFAR10官方数据集接口是torchvision.datasets.CIFAR10从TorchVision 0.13开始支持downloadTrue自动下载但下载源在境外网络慢的话建议手动下载后放到./data/cifar-10-batches-py目录下。真正影响训练的是num_workers和pin_memory。num_workers建议设置成CPU核心数的一半太小会导致GPU在等待数据训练速度卡在数据加载上pin_memoryTrue能让GPU直接从锁页内存拷贝数据显存充足的机器上稳定提升10%左右的吞吐量。还有一个容易忽略的细节drop_lastTrue加上batch_size能整除训练集大小CIFAR10训练集50000张图batch_size取128时不能整除多出来的最后一批会让BatchNorm统计量抖动建议suffleTrue然后把drop_last设为True。数据归一化的均值方差必须用CIFAR10的统计值这个项目里已经写死多年transform_train transforms.Compose([ transforms.RandomCrop(32, padding4), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2470, 0.2435, 0.2616)), ])这套数值是公开数据集的标准统计不要自己重新算一遍否则增强效果会和主流结果不可比。3. 网络结构改造针对小图适配ResNet3.1 为什么原版ResNet在CIFAR10上吃亏原版ResNet是为ImageNet设计的224x224输入第一层是7x7卷积加stride2外加一个3x3最大池化。这一套组合会把空间分辨率快速压下来对ImageNet这样的大图没问题。可CIFAR10是32x32输入经过7x7 stride2后变成16x16再过maxpool变成8x8深层特征图只剩4x4甚至更小信息丢失非常严重。这就是为什么原版ResNet在CIFAR10上甚至不如一个设计良好的宽残差网络。修改方案很简单参考torchvision提供的ResNet实现源码把conv1从(in_channels, 64, kernel_size7, stride2, padding3)改成(3, 64, kernel_size3, stride1, padding1)同时把conv1后面的maxpool移除。这样输入从32x32经过第一层卷积后仍然是32x32再经过第一层残差块的下采样特征图尺寸变化更平缓小目标的细节信息保留得更多。3.2 加宽通道数的收益把ResNet18的四个阶段[64, 128, 256, 512]改为[128, 256, 512, 1024]本质上是扩大网络容量。CIFAR10训练集50000张ResNet18大约1100万参数对这样一个10类任务其实偏小容易欠拟合而不是过拟合。加宽之后参数量到4000万左右加上数据增强和正则化网络能记住更多细粒度特征。在PyTorch里不需要手写整个ResNet可以基于torchvision.models.resnet18动态替换宽度import torch.nn as nn from torchvision.models import resnet18 def get_cifar_resnet(width2): model resnet18(num_classes10) # 替换第一层 model.conv1 nn.Conv2d(3, 64 * width, kernel_size3, stride1, padding1, biasFalse) model.maxpool nn.Identity() # 均匀扩展各阶段通道 for name, module in model.named_children(): if isinstance(module, nn.Sequential): for block in module: block.conv1 nn.Conv2d( block.conv1.in_channels, block.conv1.out_channels * width, kernel_size3, strideblock.conv1.stride, padding1, biasFalse ) # 这里只列了关键层BatchNorm层也需要同步扩展 return model更省事的做法是直接使用torchvision里resnet18的width_mult参数部分版本支持或者自己写一个带widening_factor的ResNet。我建议自己写一个简单的残差块因为能够完全掌控每个层的通道数也不会有版本差异带来的麻烦。改造后模型在第一层和残差块内BatchNorm的数量也要匹配直接改conv不改bn会报维度不匹配的错。3.3 反向传播稳定性要不要用预训练权重有人会问能不能用ImageNet预训练的ResNet18做finetune我的实测答案是效果一般。因为输入尺寸从224降到32预训练学习到的空间位置敏感的卷积核并不适配这种小分辨率。CIFAR10训练从零开始反而收敛得更快300个epoch完全够用。这在深度学习里是一个常见的反直觉现象预训练权重在下游数据分布差异大时优势会被抹平甚至成为负担。4. 数据增强策略从基础增强到正则化增强4.1 基础增强与CutOut标准策略是RandomCrop(32, padding4)加RandomHorizontalFlip()这能带来大约1%的精度提升。但想冲95%这远远不够。我加上RandomErasing也就是CutOut它在图像中随机选一块方形区域把像素值置为0模拟目标被遮挡的场景强迫模型学习更鲁棒的特征。CutOut有两个参数要调擦除区域大小和擦除概率。CIFAR10上我的经验是擦除尺寸设成16约占图像面积的25%擦除概率0.5效果最好。区域太大容易让关键目标完全消失区域太小则起不到增强作用。transforms.RandomErasing(p0.5, scale(0.02, 0.33), ratio(0.3, 3.3), value0)4.2 MixUp让模型学会线性插值CutOut是空间维度上的增强MixUp则是在样本层面的增强。它把两张训练图按比例混合标签也按相同比例混合def mixup_data(x, y, alpha0.2): lam np.random.beta(alpha, alpha) index torch.randperm(x.size(0)).to(x.device) mixed_x lam * x (1 - lam) * x[index] return mixed_x, y, y[index], lamMixUp会让模型学到类别之间的线性过渡显著提高泛化能力但代价是训练损失不再代表真实分类误差所以验证的时候一定要用原始图、原始标签不要做MixUp。alpha取0.2是通用经验值太大则混合程度太高模型难以收敛。我把CutOut和MixUp同时打开两者共同作用测试集准确率大约能提升0.8%。如果不想同时打开只开MixUp也能到94.6%以上是性价比最高的单一增强手段。4.3 Label Smoothing与损失函数CIFAR10训练集只有5万张网络很容易对训练标签过于自信表现为输出概率分布极度尖锐这会导致过拟合。Label Smoothing的思路是把one-hot标签变成软标签比如真实类别概率从1变成0.9其他类别从0变成0.1/(num_classes-1)。PyTorch的CrossEntropyLoss从1.10版本起原生支持label_smoothing参数criterion nn.CrossEntropyLoss(label_smoothing0.1)这个技巧在CIFAR10上能稳定提升0.3到0.5个百分点而且几乎不增加训练成本。我建议把0.1作为默认值不用调。4.4 AutoAugment要不要用TorchVision提供CIFAR10专用的策略AutoAugmentPolicy.CIFAR10它由强化学习搜索出的增强组合组成。我实测用AutoAugment替代基础裁剪翻转测试集准确率能到95.2%左右和CutOutMixUp的组合接近。但AutoAugment在CPU上做数据增强会显著拖慢数据加载如果num_workers不够训练速度下降明显。我的建议是如果时间充裕首选AutoAugment如果追求训练速度CutOutMixUp完全不输。5. 训练策略超参、调度与进阶技巧5.1 优化器选择与超参设置优化器我选SGDNesterov动量学习率0.1batch_size 128weight decay 5e-4。相比AdamSGD在CIFAR10这种任务上泛化效果更稳定Adam反而容易跑到锐利的极小值测试集准确率普遍低0.5%左右。学习率0.1对batch_size 128是安全的当batch_size增大到256时学习率应该按平方根比例放大到0.14左右。weight decay 5e-4是CIFAR10系列的标配值太大模型欠拟合太小过拟合。5.2 余弦退火与WarmupCIFAR10的另一个关键点是学习率调度。使用CosineAnnealingLR把最大学习率0.1逐步降到接近0并配合5个epoch的线性warmup防止训练初期SGD走得太猛导致损失爆炸。optimizer torch.optim.SGD(model.parameters(), lr0.1, momentum0.9, weight_decay5e-4, nesterovTrue) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max300, eta_min0)训练300个epochwarmup阶段的学习率从0线性插值到0.1。没有warmup直接上0.1前几个batch的loss会冲得很高虽然最终也能收敛但精度会比warmup低0.2%左右。5.3 EMA模型参数滑动平均EMAExponential Moving Average是我在这个项目里收益最大的一个技巧。它维护一份模型参数的指数滑动平均值训练过程中正常更新原始模型验证时使用滑动平均后的权重。这一步能让模型权重停留在更平滑的损失曲面区域测试集准确率稳定提升0.3%到0.5%。ema_model torch.optim.swa_utils.AveragedModel(model, ema_avglambda avg, new, num: 0.999 * avg 0.001 * new)PyTorch官方在torch.optim.swa_utils里提供了AveragedModel用起来非常方便。每个epoch结束后用验证集评估ema_model而非原始模型。5.4 混合精度与可复现性如果显存紧张可以用torch.cuda.amp混合精度训练在CIFAR10这种小模型上可以最高减少40%显存占用速度提升20%。CIFAR10模型参数量不大混合精度对精度影响微乎其微。用AMP时需要在反向传播前用scaler.scale(loss)反向传播后用scaler.step(optimizer)。为了保证实验结果可复现固定所有随机种子非常关键def set_seed(seed42): torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) np.random.seed(seed) random.seed(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False5.5 训练时长参考在RTX 3090上用batch_size 128训练300个epoch每次迭代大约0.15秒总时间约3小时。在GTX 1660 SUPER上需要约6至8小时。这个时间成本是完全可接受的CIFAR10是典型的“模型小而迭代长”的任务耐心比算力更重要。6. 常见问题与排查技巧实录6.1 训练集95%以上测试集卡在93%这是最典型的过拟合信号原因是模型容量大但数据增强不够强。优先增大增强强度比如把CutOut的擦除概率从0.5提到0.7或者把MixUp的alpha从0.2提到0.4。如果仍然过拟合检查weight decay是否设置正确SGD的weight decay参数必须写在优化器里而不是手动加在loss上。6.2 损失一开始就出现NaNNaN大概率是学习率过大。warmup阶段学习率从0开始线性升到目标学习率如果仍然出现NaN检查输入数据是否有问题transforms.ToTensor()之后数据范围应该在0到1之间再经过Normalize之后均值接近0、标准差接近1如果某个通道的std是0或者数据没有归一化网络前几层输出就会爆炸。另外确认model.train()模式下的BatchNorm在训练不要误设为model.eval()。6.3 EMA模型在验证时准确率低于原始模型出现这种情况通常是EMA的衰减系数太大。0.999意味着模型更新速度很慢如果训练后期学习率还很高EMA权重会滞后于最优权重。CIFAR10上建议衰减系数用0.99到0.999之间epoch数多于200时选0.999epoch少就选0.99。6.4 每次训练结果波动超过1%同一份代码两次训练结果差距超过1%基本可以断定是数据加载顺序和CUDA非确定性运算导致的。CIFAR10的shuffle数据顺序对结果有影响PyTorch新版本里torch.backends.cudnn.deterministicTrue能解决大部分问题。如果仍然有波动把验证集的batch_size设为1不合并消除批量统计量的不确定性。下面是这个项目里最容易出问题的地方我整理成速查表。问题原因解决方案准确率卡在93%数据增强太弱/网络容量不足加CutOut和MixUp加宽网络通道训练loss不降学习率过低或warmup设置错误检查scheduler初始学习率改为0.1验证集震荡剧烈batch_size太小或BN统计量异常batch_size设为128drop_lastTrueEMA验证失效衰减系数不匹配epoch多时用0.999epoch少时用0.99显存不足模型加宽后内存压力变大开AMP混合精度batch_size降为64数据增强太慢CPU预处理成为瓶颈num_workers提升到CPU核心数一半以上6.5 额外能够压缩成本的技巧如果本地算力有限可以先用25%的训练数据快速验证整套流程是否正确跑20个epoch观察loss下降趋势确认无误后再全量数据训练。这种方法能省掉大量试错时间。另一个技巧是用早停配合模型快照训练过程中每5个epoch保存一次checkpoint如果150个epoch后验证集准确率还在上升说明300个epoch目标设置合理如果已经停滞可以提前终止。7. 实测结果与进一步扩展方向我最终这套配置的实测结果基础ResNet加宽两倍RandomCrop加水平翻转加CutOut加MixUpSGD加余弦退火加warmuplabel smoothing 0.1EMA衰减0.999混合精度训练300个epoch测试集准确率稳定在95.2%到95.4%之间。这个成绩在同规模模型里已经算是比较扎实的水平。在这个基础上想继续往上走还有两条路可以尝试。一条是TTA测试时增强验证时对同一张图做水平翻转和随机裁剪多次预测取平均通常能再提升0.3%左右代价是推理时间翻几倍。另一条是蒸馏用一个更强的教师模型比如WideResNet-28-10测试集准确率约96%去蒸馏当前的模型能把学生模型的准确率推高0.5%甚至更多。我个人的体会是CIFAR10的95%并不是一个靠单一技巧就能达到的数字而是一个系统工程的综合结果。数据增强、模型结构适配、训练策略三者缺一个都会卡在94.5%左右。如果你现在正卡在某个瓶颈上不用怀疑是哪一次随机初始化出了问题顺着增强强度和训练策略这两个方向检查大概率能找到突破口。本文还有配套的精品资源点击获取 PyTorch实现CIFAR10图像分类：测试集95%准确率的完整路线
简介面向深度学习与图像分类入门者的PyTorch实战代码包适合课程设计、竞赛练习与科研入门围绕CIFAR10数据集完整展示从数据归一化、随机裁剪/水平翻转等增强处理到模型构建、交叉熵损失与优化器选择、学习率调度、验证集监控与早停的训练流程最终测试集准确率可达95%。压缩包共15个Python文件、约22KB除主训练脚本外还提供ResNet、VGG、DenseNet、EfficientNet、MobileNet等十余种经典backbone实现每个网络单独成文件、结构清晰可直接替换主干网络进行对比实验。目前已有11724人学习下载是图像分类入门的高热度资源。借助这套代码还可了解模型保存与加载、测试集评估、混淆矩阵等辅助分析手段并可在小数据场景下尝试迁移学习配合checkpoint目录能保存训练权重、便于继续训练对系统掌握PyTorch图像分类项目很有帮助。 CIFAR10测试集95%这个数字在图像分类这条路上算是一个分水岭。用Pytorch跑出一个ResNet18模型不难两个小时内就能看到93%左右的准确率但想再往上推两个点冲到95%你遇到的就不再是“跑通流程”的问题而是“如何系统性地逼近数据集性能上限”的问题。这篇文章我不讲大而全的理论就围绕一条我实测过、可复现的技术路线把Pytorch实现CIFAR10分类、测试集准确率达到95%的完整思路、模型改动、训练参数、踩坑记录一次说清楚。适合已经跑通基础分类流程、卡在准确率瓶颈上的同学参考。1. 目标拆解与整体方案设计1.1 95%准确率到底意味着什么先给一个真实的精度坐标避免方向搞错。CIFAR10是10类、50000张训练图、10000张测试图、分辨率32x32的小型数据集单张图太小类别之间又存在很多相似纹理比如猫和狗、鹿和卡车所以它并不像MNIST那样随便一个模型都能刷到99%。在PyTorch生态里一个不做任何改动的ResNet18用标准随机裁剪加水平翻转训练200个epoch测试集准确率稳定在93.5%到94.3%之间。普通ResNet50在这个任务上也很难超过94.5%因为深层网络在小分辨率图像上的感受野优势不明显反而更容易过拟合。所以95%这个目标意味着你不能只换一个更大的模型而需要从头梳理数据增强、网络结构的局部适配、训练策略和正则化手段把每一分精度都抠出来。1.2 技术选型为什么不是Swin Transformer选型的时候很多人会问为什么不上Swin Transformer或者ViT答案很现实32x32的输入对Transformer非常不友好。Patchify之后token数量少、特征信息有限而且从零训练Transformer在小数据集上收敛极慢没有预训练权重的情况下甚至打不过同参数量的卷积网络。CIFAR10这种规模的任务卷积网络的数据效率和训练稳定性反而是优势。我的最终方案是ResNet系为主干具体做了三处改动把ResNet18的第一个7x7卷积替换成3x3、去掉前面的最大池化层、并把每个阶段的通道数乘以2。这个结构在PyTorch里改造起来非常方便参数量约是原始ResNet18的三倍但计算量仍然可控单张消费级GPU就能训练。配合数据增强、标签平滑、余弦退火和EMA实测测试集准确率可以达到95.1%到95.4%。2. 环境准备与数据加载别让小细节拖后腿2.1 运行环境与依赖版本Pytorch、CIFAR10、图像分类这一套东西环境问题通常会消耗掉新手一半的耐心。我的建议是先确认GPU版本的PyTorch真的在用CUDA而不是装完就以为能加速。可以用下面这段代码验证import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))如果cuda.is_available()返回False大概率是安装的PyTorch版本与CUDA版本不匹配。我的组合是PyTorch 2.1.0、CUDA 11.8、cuDNN 8.9因为2.1之后torch.compile功能已经成熟虽然CIFAR10任务用不上编译加速但后续做其他项目这个版本兼容性也更好。显卡方面我实测过GTX 1660 SUPER6G显存和RTX 3090都能跑只是后者能开到更大的batch size训练时间差距在3倍左右。2.2 DataLoader的两个关键参数一个经常被忽视但直接影响训练结果的是数据加载参数。CIFAR10官方数据集接口是torchvision.datasets.CIFAR10从TorchVision 0.13开始支持downloadTrue自动下载但下载源在境外网络慢的话建议手动下载后放到./data/cifar-10-batches-py目录下。真正影响训练的是num_workers和pin_memory。num_workers建议设置成CPU核心数的一半太小会导致GPU在等待数据训练速度卡在数据加载上pin_memoryTrue能让GPU直接从锁页内存拷贝数据显存充足的机器上稳定提升10%左右的吞吐量。还有一个容易忽略的细节drop_lastTrue加上batch_size能整除训练集大小CIFAR10训练集50000张图batch_size取128时不能整除多出来的最后一批会让BatchNorm统计量抖动建议suffleTrue然后把drop_last设为True。数据归一化的均值方差必须用CIFAR10的统计值这个项目里已经写死多年transform_train transforms.Compose([ transforms.RandomCrop(32, padding4), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2470, 0.2435, 0.2616)), ])这套数值是公开数据集的标准统计不要自己重新算一遍否则增强效果会和主流结果不可比。3. 网络结构改造针对小图适配ResNet3.1 为什么原版ResNet在CIFAR10上吃亏原版ResNet是为ImageNet设计的224x224输入第一层是7x7卷积加stride2外加一个3x3最大池化。这一套组合会把空间分辨率快速压下来对ImageNet这样的大图没问题。可CIFAR10是32x32输入经过7x7 stride2后变成16x16再过maxpool变成8x8深层特征图只剩4x4甚至更小信息丢失非常严重。这就是为什么原版ResNet在CIFAR10上甚至不如一个设计良好的宽残差网络。修改方案很简单参考torchvision提供的ResNet实现源码把conv1从(in_channels, 64, kernel_size7, stride2, padding3)改成(3, 64, kernel_size3, stride1, padding1)同时把conv1后面的maxpool移除。这样输入从32x32经过第一层卷积后仍然是32x32再经过第一层残差块的下采样特征图尺寸变化更平缓小目标的细节信息保留得更多。3.2 加宽通道数的收益把ResNet18的四个阶段[64, 128, 256, 512]改为[128, 256, 512, 1024]本质上是扩大网络容量。CIFAR10训练集50000张ResNet18大约1100万参数对这样一个10类任务其实偏小容易欠拟合而不是过拟合。加宽之后参数量到4000万左右加上数据增强和正则化网络能记住更多细粒度特征。在PyTorch里不需要手写整个ResNet可以基于torchvision.models.resnet18动态替换宽度import torch.nn as nn from torchvision.models import resnet18 def get_cifar_resnet(width2): model resnet18(num_classes10) # 替换第一层 model.conv1 nn.Conv2d(3, 64 * width, kernel_size3, stride1, padding1, biasFalse) model.maxpool nn.Identity() # 均匀扩展各阶段通道 for name, module in model.named_children(): if isinstance(module, nn.Sequential): for block in module: block.conv1 nn.Conv2d( block.conv1.in_channels, block.conv1.out_channels * width, kernel_size3, strideblock.conv1.stride, padding1, biasFalse ) # 这里只列了关键层BatchNorm层也需要同步扩展 return model更省事的做法是直接使用torchvision里resnet18的width_mult参数部分版本支持或者自己写一个带widening_factor的ResNet。我建议自己写一个简单的残差块因为能够完全掌控每个层的通道数也不会有版本差异带来的麻烦。改造后模型在第一层和残差块内BatchNorm的数量也要匹配直接改conv不改bn会报维度不匹配的错。3.3 反向传播稳定性要不要用预训练权重有人会问能不能用ImageNet预训练的ResNet18做finetune我的实测答案是效果一般。因为输入尺寸从224降到32预训练学习到的空间位置敏感的卷积核并不适配这种小分辨率。CIFAR10训练从零开始反而收敛得更快300个epoch完全够用。这在深度学习里是一个常见的反直觉现象预训练权重在下游数据分布差异大时优势会被抹平甚至成为负担。4. 数据增强策略从基础增强到正则化增强4.1 基础增强与CutOut标准策略是RandomCrop(32, padding4)加RandomHorizontalFlip()这能带来大约1%的精度提升。但想冲95%这远远不够。我加上RandomErasing也就是CutOut它在图像中随机选一块方形区域把像素值置为0模拟目标被遮挡的场景强迫模型学习更鲁棒的特征。CutOut有两个参数要调擦除区域大小和擦除概率。CIFAR10上我的经验是擦除尺寸设成16约占图像面积的25%擦除概率0.5效果最好。区域太大容易让关键目标完全消失区域太小则起不到增强作用。transforms.RandomErasing(p0.5, scale(0.02, 0.33), ratio(0.3, 3.3), value0)4.2 MixUp让模型学会线性插值CutOut是空间维度上的增强MixUp则是在样本层面的增强。它把两张训练图按比例混合标签也按相同比例混合def mixup_data(x, y, alpha0.2): lam np.random.beta(alpha, alpha) index torch.randperm(x.size(0)).to(x.device) mixed_x lam * x (1 - lam) * x[index] return mixed_x, y, y[index], lamMixUp会让模型学到类别之间的线性过渡显著提高泛化能力但代价是训练损失不再代表真实分类误差所以验证的时候一定要用原始图、原始标签不要做MixUp。alpha取0.2是通用经验值太大则混合程度太高模型难以收敛。我把CutOut和MixUp同时打开两者共同作用测试集准确率大约能提升0.8%。如果不想同时打开只开MixUp也能到94.6%以上是性价比最高的单一增强手段。4.3 Label Smoothing与损失函数CIFAR10训练集只有5万张网络很容易对训练标签过于自信表现为输出概率分布极度尖锐这会导致过拟合。Label Smoothing的思路是把one-hot标签变成软标签比如真实类别概率从1变成0.9其他类别从0变成0.1/(num_classes-1)。PyTorch的CrossEntropyLoss从1.10版本起原生支持label_smoothing参数criterion nn.CrossEntropyLoss(label_smoothing0.1)这个技巧在CIFAR10上能稳定提升0.3到0.5个百分点而且几乎不增加训练成本。我建议把0.1作为默认值不用调。4.4 AutoAugment要不要用TorchVision提供CIFAR10专用的策略AutoAugmentPolicy.CIFAR10它由强化学习搜索出的增强组合组成。我实测用AutoAugment替代基础裁剪翻转测试集准确率能到95.2%左右和CutOutMixUp的组合接近。但AutoAugment在CPU上做数据增强会显著拖慢数据加载如果num_workers不够训练速度下降明显。我的建议是如果时间充裕首选AutoAugment如果追求训练速度CutOutMixUp完全不输。5. 训练策略超参、调度与进阶技巧5.1 优化器选择与超参设置优化器我选SGDNesterov动量学习率0.1batch_size 128weight decay 5e-4。相比AdamSGD在CIFAR10这种任务上泛化效果更稳定Adam反而容易跑到锐利的极小值测试集准确率普遍低0.5%左右。学习率0.1对batch_size 128是安全的当batch_size增大到256时学习率应该按平方根比例放大到0.14左右。weight decay 5e-4是CIFAR10系列的标配值太大模型欠拟合太小过拟合。5.2 余弦退火与WarmupCIFAR10的另一个关键点是学习率调度。使用CosineAnnealingLR把最大学习率0.1逐步降到接近0并配合5个epoch的线性warmup防止训练初期SGD走得太猛导致损失爆炸。optimizer torch.optim.SGD(model.parameters(), lr0.1, momentum0.9, weight_decay5e-4, nesterovTrue) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max300, eta_min0)训练300个epochwarmup阶段的学习率从0线性插值到0.1。没有warmup直接上0.1前几个batch的loss会冲得很高虽然最终也能收敛但精度会比warmup低0.2%左右。5.3 EMA模型参数滑动平均EMAExponential Moving Average是我在这个项目里收益最大的一个技巧。它维护一份模型参数的指数滑动平均值训练过程中正常更新原始模型验证时使用滑动平均后的权重。这一步能让模型权重停留在更平滑的损失曲面区域测试集准确率稳定提升0.3%到0.5%。ema_model torch.optim.swa_utils.AveragedModel(model, ema_avglambda avg, new, num: 0.999 * avg 0.001 * new)PyTorch官方在torch.optim.swa_utils里提供了AveragedModel用起来非常方便。每个epoch结束后用验证集评估ema_model而非原始模型。5.4 混合精度与可复现性如果显存紧张可以用torch.cuda.amp混合精度训练在CIFAR10这种小模型上可以最高减少40%显存占用速度提升20%。CIFAR10模型参数量不大混合精度对精度影响微乎其微。用AMP时需要在反向传播前用scaler.scale(loss)反向传播后用scaler.step(optimizer)。为了保证实验结果可复现固定所有随机种子非常关键def set_seed(seed42): torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) np.random.seed(seed) random.seed(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False5.5 训练时长参考在RTX 3090上用batch_size 128训练300个epoch每次迭代大约0.15秒总时间约3小时。在GTX 1660 SUPER上需要约6至8小时。这个时间成本是完全可接受的CIFAR10是典型的“模型小而迭代长”的任务耐心比算力更重要。6. 常见问题与排查技巧实录6.1 训练集95%以上测试集卡在93%这是最典型的过拟合信号原因是模型容量大但数据增强不够强。优先增大增强强度比如把CutOut的擦除概率从0.5提到0.7或者把MixUp的alpha从0.2提到0.4。如果仍然过拟合检查weight decay是否设置正确SGD的weight decay参数必须写在优化器里而不是手动加在loss上。6.2 损失一开始就出现NaNNaN大概率是学习率过大。warmup阶段学习率从0开始线性升到目标学习率如果仍然出现NaN检查输入数据是否有问题transforms.ToTensor()之后数据范围应该在0到1之间再经过Normalize之后均值接近0、标准差接近1如果某个通道的std是0或者数据没有归一化网络前几层输出就会爆炸。另外确认model.train()模式下的BatchNorm在训练不要误设为model.eval()。6.3 EMA模型在验证时准确率低于原始模型出现这种情况通常是EMA的衰减系数太大。0.999意味着模型更新速度很慢如果训练后期学习率还很高EMA权重会滞后于最优权重。CIFAR10上建议衰减系数用0.99到0.999之间epoch数多于200时选0.999epoch少就选0.99。6.4 每次训练结果波动超过1%同一份代码两次训练结果差距超过1%基本可以断定是数据加载顺序和CUDA非确定性运算导致的。CIFAR10的shuffle数据顺序对结果有影响PyTorch新版本里torch.backends.cudnn.deterministicTrue能解决大部分问题。如果仍然有波动把验证集的batch_size设为1不合并消除批量统计量的不确定性。下面是这个项目里最容易出问题的地方我整理成速查表。问题原因解决方案准确率卡在93%数据增强太弱/网络容量不足加CutOut和MixUp加宽网络通道训练loss不降学习率过低或warmup设置错误检查scheduler初始学习率改为0.1验证集震荡剧烈batch_size太小或BN统计量异常batch_size设为128drop_lastTrueEMA验证失效衰减系数不匹配epoch多时用0.999epoch少时用0.99显存不足模型加宽后内存压力变大开AMP混合精度batch_size降为64数据增强太慢CPU预处理成为瓶颈num_workers提升到CPU核心数一半以上6.5 额外能够压缩成本的技巧如果本地算力有限可以先用25%的训练数据快速验证整套流程是否正确跑20个epoch观察loss下降趋势确认无误后再全量数据训练。这种方法能省掉大量试错时间。另一个技巧是用早停配合模型快照训练过程中每5个epoch保存一次checkpoint如果150个epoch后验证集准确率还在上升说明300个epoch目标设置合理如果已经停滞可以提前终止。7. 实测结果与进一步扩展方向我最终这套配置的实测结果基础ResNet加宽两倍RandomCrop加水平翻转加CutOut加MixUpSGD加余弦退火加warmuplabel smoothing 0.1EMA衰减0.999混合精度训练300个epoch测试集准确率稳定在95.2%到95.4%之间。这个成绩在同规模模型里已经算是比较扎实的水平。在这个基础上想继续往上走还有两条路可以尝试。一条是TTA测试时增强验证时对同一张图做水平翻转和随机裁剪多次预测取平均通常能再提升0.3%左右代价是推理时间翻几倍。另一条是蒸馏用一个更强的教师模型比如WideResNet-28-10测试集准确率约96%去蒸馏当前的模型能把学生模型的准确率推高0.5%甚至更多。我个人的体会是CIFAR10的95%并不是一个靠单一技巧就能达到的数字而是一个系统工程的综合结果。数据增强、模型结构适配、训练策略三者缺一个都会卡在94.5%左右。如果你现在正卡在某个瓶颈上不用怀疑是哪一次随机初始化出了问题顺着增强强度和训练策略这两个方向检查大概率能找到突破口。本文还有配套的精品资源点击获取