尧图网站建设 
简介这份数字图像处理大作业聚焦细粒度图像分类基于CUB-200-2011鸟类数据集使用Python实现评审得分98分。项目由导师指导并认可难度适中面向计算机相关专业的学生、毕业设计者以及需要实战练习的学习者。资源包共14个文件包含4个Python源码涉及数据预处理、模型训练与评估、3个PDF文档项目报告、细分类讲解等、1个PPT演示文稿、1个Word说明文档以及文本说明、Markdown文档和示例图片整体仅4.76MB组织结构清晰。目前已有103人学习使用。源码均已调试运行通过其中涵盖了迁移学习、双线性CNNBCNN等细粒度分类方法并提供了数据集的解读与处理工具可帮助你理解从数据准备到模型评估的完整流程。配套的报告和幻灯片还展示了项目思路、结果分析与改进方向便于将其用作课程作业或毕业设计的直接参考。1. 数字图像处理大作业选CUB-200-2011为什么细粒度分类更值得做数字图像处理的大作业最容易翻车的是MNIST手写数字和CIFAR-10分类——做的人太多老师一眼就能看出你只是换了网络结构参数。细粒度图像分类加CUB-200-2011数据集这个组合任务难度足够数据规模适中又能把目标定位、特征提取、分类器设计和结果可视化整条链路铺开是少数可以让98分成为可复现结果的选题。下面从数据集结构、技术路线、实验设计和避坑四条线展开读者照着搭完至少能拿到一个结构完整的报告想再往上走就看是不是认真做了消融和多尺度验证。这个方案对本科数字图像处理实验、课程设计都适用也适合第一次接触细粒度分类的入门者。2. CUB-200-2011数据集落地先读懂目录结构再写可复用的装载代码2.1 拿到数据后的第一件事结构与坐标标注摸透CUB-200-2011全称是Caltech-UCSD Birds-200-2011200种北美鸟类共11788张图像每类大约30到60张。这个规模对数字图像处理大作业非常合适数据量够支撑CNN微调但又不至于像ImageNet那样需要几周训练时间。解压之后你首先会看到一堆txt文件和一个images目录很多第一次用的人会直接写代码按行读取结果标签和图片对不上白白浪费一晚上。正确做法是先把六个关键文件的作用记清楚。images.txt给出图像ID和相对路径image_class_labels.txt给出图像ID和类别ID1到200bounding_boxes.txt给出每张图中鸟主体的外接框train_test_split.txt标出每个样本属于训练集还是测试集。另有parts和attributes两个标注子集parts给出15个语义部件的位置attributes给出312个二值属性大作业里可以只用parts做后续分析attributes一般用不到。文件每行内容大作业用途images.txtimage_id 图片相对路径定位图像文件image_class_labels.txtimage_id 类别ID分类标签bounding_boxes.txtimage_id x y w h前景裁剪train_test_split.txtimage_id 1/0确定训练测试划分parts/part_locs.txtimage_id 部件ID x y 可见性局部语义验证attributes/312个属性文件一般不强制使用很多人忽略bounding_boxes直接拿整张图缩放。细粒度分类里背景占比过高会让模型学成“认场景”而不是“认鸟”所以外接框坐标必须用起来。这个框也给后面做Grad-CAM对比提供了标注真值。2.2 写一个干净的PyTorch Dataset把bbox裁剪与标签对齐一次做对四个txt文件的行号在大多数分发版本里是对齐的但不要赌这个对齐关系。我一般用pandas按image_id做merge把图片路径、类别、外接框、划分标记合成一张表再按split过滤这样即使txt顺序有调整也不会错位。import os import pandas as pd import torch from PIL import Image from torch.utils.data import Dataset class CUB200(Dataset): def __init__(self, root, splittrain, bbox_scale1.1, transformNone): super().__init__() self.root root self.bbox_scale bbox_scale self.transform transform images pd.read_csv( os.path.join(root, images.txt), sep , names[image_id, filename] ) labels pd.read_csv( os.path.join(root, image_class_labels.txt), sep , names[image_id, class_id] ) bboxes pd.read_csv( os.path.join(root, bounding_boxes.txt), sep , names[image_id, x, y, w, h] ) split_info pd.read_csv( os.path.join(root, train_test_split.txt), sep , names[image_id, is_train] ) df images.merge(labels, onimage_id) df df.merge(bboxes, onimage_id) df df.merge(split_info, onimage_id) use_flag 1 if split train else 0 df df[df[is_train] use_flag].reset_index(dropTrue) df[class_idx] df[class_id] - 1 # 标签从1开始转为0~199 self.df df def __len__(self): return len(self.df) def __getitem__(self, idx): row self.df.iloc[idx] img Image.open(os.path.join(self.root, images, row[filename])).convert(RGB) x, y, w, h row[[x, y, w, h]].astype(float) cx, cy x w / 2, y h / 2 side max(w, h) * self.bbox_scale half side / 2 left, top int(cx - half), int(cy - half) right, bottom int(cx half), int(cy half) img img.crop((left, top, right, bottom)) if self.transform: img self.transform(img) label torch.tensor(row[class_idx], dtypetorch.long) return img, label代码里的核心是四个txt用image_id合并而不是按行拼接这是避免标签错位的关键。bbox裁剪时没有直接用原始框而是取w和h的较大边作为边长再乘1.1扩一圈目的是防止框太紧把喙、尾羽这些判别部位切掉。细粒度分类宁可多留背景不能丢部件。class_id原本从1计到200减去1之后变成0到199正好对应CrossEntropyLoss的类别索引。调用时需要给训练集和测试集用不同的transform。常见配置是训练时Resize到256再RandomCrop到224配合随机水平翻转测试时Resize到256后CenterCrop。归一化均值标准差用ImageNet的默认值因为后面加载的是预训练模型。from torchvision import transforms transform_train transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomCrop(224), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) transform_test transforms.Compose([ transforms.Resize((256, 256)), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ])这套输入配置是绝大多数迁移学习任务通用的。Resize到256再裁剪到224等于给随机裁剪留了32像素的扰动空间能显著缓解CUB每类只有几十张图带来的过拟合。如果机器性能紧张也可以直接Resize到224但效果通常弱两三个点。2.3 训练测试划分的边界不要自己重新洗牌官方train_test_split.txt已经按约一半训练、一半测试划定。我见过很多大作业翻车是因为他们按类别随机切了80/20最后测试集结果虚高。CUB-200-2011里同一只鸟通常有多张照片用户自定义随机划分时这些照片大概率被拆到训练集和测试集两边模型学到的其实是“认出这只个体”而不是“认出这个物种”测试分数完全失真。正确做法是直接使用官方划分。如果你非要自己划分也必须先按个体聚类再按个体划分保证同一只鸟的所有照片只出现在一个集合里。但课程报告里没必要给自己加这个复杂度官方划分足够专业也方便和其他公开方案对比。写报告时训练集、测试集的张数、类别数、每类图像均值这些统计信息放一张表老师会觉得你数据结构吃得透。3. 细粒度分类技术路线从HOGBOW到双线性池化怎么选才不亏3.1 传统HOGBOW与SVM在CUB上有多少含金量细粒度分类难在类间差异微小。同样是体型偏小的鸣禽几种莺放在一起喙的长度、翅膀斑纹颜色、腿部深浅稍有不同普通特征根本抓不住。冈萨雷斯《数字图像处理》第四版里的分割、边缘检测、纹理描述子在MNIST这类数据集上很好使但放到CUB-200-2011上按传统思路做HOG加词袋模型再用SVM分类课程报告里复现出的正确率常常卡在30%到45%区间。为什么会这么低HOG描述子对姿态和遮挡敏感整只鸟的姿态稍微一偏直方图分布就变了颜色直方图也容易受光照干扰。更重要的问题在词袋量化这一步BOW把局部特征聚类成视觉单词后丢失了空间位置信息而识别两种相近鸟类恰恰要依赖“翅膀末端特征”与“喙部特征”的位置关系。传统流程用MATLAB写起来倒是很顺如果老师要求体现图像处理管线的设计能力甚至可以用面向对象思路把预处理、特征提取、分类器封装成模块这就是“多算法融合系统设计”的常见形态——但精度瓶颈是客观存在的。因此我建议把传统流程当作对照基线不要当主力方案。报告里保留一组HOGBOW结果能体现你理解数字图像处理的经典方法而后续深度方案正好形成新旧对比是评分的加分项。3.2 为什么CNN迁移学习是数字图像处理课的务实选择CNN本质上是一组自动学习的滤波器。浅层卷积核响应的是边缘、角点、颜色块和图像处理课里手工设计的Sobel、Gabor算子功能相似深层卷积核响应的是语义部件比如鸟头、翅膀、尾羽。用ImageNet预训练模型初始化这些滤波器再在CUB上微调相当于把别人已经在千万张图上学到的通用视觉能力搬过来只需要花时间适配鸟类特化特征数据少也能扛得住。常见的参数起点是ResNet34或ResNet50SGD加momentum学习率1e-3到1e-4权重衰减1e-4batch size 16到32。如果显存不够可以冻结网络前几层只微调后几层和最后的全连接。冻结层数越多训练越快但最终精度可能略低大作业里一般全网络微调就能在官方划分上拿到70%以上正确率。路线算力要求报告可解释性精度风险HOGBOWSVMCPU可跑高适合当基线容易卡在40%以下整图CNN微调单GPU即可中能到70%左右bbox裁剪CNN微调单GPU即可中偏高比整图再涨几个点双线性特征SVM特征提取需GPU高大作业最稳主力部件级注意力模型单GPU加标注加工高实现成本高容易超时表格里后两种路线的取舍要根据大作业剩余时间决定。部件级注意力模型需要利用parts标注做复杂的局部对齐代码量大调试周期长双线性池化的实现非常简单但解释性很强在细粒度分类的经典方法里地位很高。3.3 Bilinear Pooling细粒度分类最经典的二阶特征双线性池化的思想不算复杂。取卷积层输出的特征图尺寸是C×H×W每个空间位置有一个C维向量。计算同一位置两个特征向量的外积再把所有空间位置的外积求和得到C×C矩阵。这个矩阵统计的是“通道a在某个位置激活同时通道b也在同一位置激活”的共现频率也就是二阶统计量。对细粒度分类而言单一通道往往只能响应一个低层属性比如“翅膀偏蓝”或“喙形细长”。决定物种的判别点常常是多个属性同时成立双线性池化恰好显式建模了这种共现关系。普通全局平均池化把空间信息压平会丢掉这类联合判别力。def bilinear_pool(x): # x: (B, C, H, W) 卷积层输出 B, C, H, W x.size() x x.view(B, C, H * W) matrix torch.bmm(x, x.transpose(1, 2)) / (H * W) y torch.sqrt(torch.abs(matrix) 1e-8) * torch.sign(matrix) y torch.nn.functional.normalize(y.view(B, -1), dim1) return y代码中的torch.bmm把B个样本的C×HW矩阵和C×HW转置相乘得到B×C×C的外积求和结果除以H*W是平均池化先取符号平方根再做L2归一化是双线性池化的标准后处理能让特征分布更接近线性可分。需要注意输出维度是C的平方ResNet34最后一个卷积层C通常为512C²等于262144维直接训练全连接层参数量会很大。大作业最稳妥的做法是双线性特征只做特征提取离线存盘PCA降维到2048维后用线性SVM分类这个流程在第四章会给完整方案。4. 可复现的高分实验流程从ResNet基线到双线性特征加SVM4.1 搭建基线ResNet34整图分类先跑通最简单的基线后续所有对比都有立足点。用torchvision自带的预训练ResNet34把最后一层全连接换成200输出然后训练60轮左右。不要一上来就上复杂模型基线的作用是确认数据装载、标签映射、归一化都没有问题。import torch from torch import nn from torchvision import models model models.resnet34(weightsmodels.ResNet34_Weights.IMAGENET1K_V1) model.fc nn.Linear(512, 200) model model.to(device) optimizer torch.optim.SGD(model.parameters(), lr1e-3, momentum0.9, weight_decay1e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max60) criterion nn.CrossEntropyLoss() for epoch in range(60): model.train() running_loss 0.0 for imgs, labels in train_loader: imgs, labels imgs.to(device), labels.to(device) optimizer.zero_grad() logits model(imgs) loss criterion(logits, labels) loss.backward() optimizer.step() running_loss loss.item() scheduler.step() # 每个epoch保存loss每5个epoch计算一次测试集准确率SGD加momentum在迁移学习微调场景通常比Adam稳学习率1e-3是常见起点如果loss震荡或测试准确率波动大降到3e-4再跑。CosineAnnealing让学习率沿余弦曲线衰减后期精细调整权重。训练时长取决于设备普通单卡大约一到两小时完全在可接受范围。训练过程中必须保留每个epoch的loss和准确率日志写报告时画曲线用得上。测试时要记得切到model.eval()并套torch.no_grad()。准确率计算按官方划分不要自己重新划训练测试集这是和公开结果可比的前提。4.2 从全连接到双线性特征加线性SVM基线跑通后升级路线是离线提取双线性特征。这里不直接改网络结构做端到端双线性分类因为那样训练显存占用极高而且调参难度大。先把图像经过预训练模型得到卷积特征图用前面的bilinear_pool得到262144维向量存成numpy矩阵再PCA降维最后训练线性SVM。import numpy as np from sklearn.decomposition import PCA from sklearn.svm import LinearSVC def extract_features(model, loader): model.eval() feats, labels [], [] with torch.no_grad(): for imgs, lbs in loader: imgs imgs.to(device) feat_map model(imgs) # 取layer4的输出需要在模型上去掉最后的全局平均池化 pooled bilinear_pool(feat_map).view(imgs.size(0), -1) feats.append(pooled.cpu().numpy()) labels.append(lbs.numpy()) return np.vstack(feats), np.concatenate(labels) # 训练集上拟合PCA再映射测试集 pca PCA(n_components2048) train_feats, train_labels extract_features(model, train_loader) test_feats, test_labels extract_features(model, test_loader) train_feats_pca pca.fit_transform(train_feats) test_feats_pca pca.transform(test_feats) svm LinearSVC(C0.01, max_iter5000) svm.fit(train_feats_pca, train_labels) acc svm.score(test_feats_pca, test_labels)PCA拟合时只能在训练集上fit测试集只做transform否则会把全局统计信息泄漏给测试集分数虚高。LinearSVC的C取0.01是基于经验双线性特征经过归一化后线性SVM在小C值下更稳C太大容易过拟合。max_iter给到5000是为了保证收敛遇到“ConvergenceWarning”时优先调大多类样本权重或者再做一次标准化。如果显存紧张可以把extract_features改成按小batch提取后及时存盘避免把所有特征堆在内存里。C512时6000多张训练图的原始双线性特征大约6GB内存PCA降维后只剩几十MB所以及时降维是关键。另一种省内存的做法是只保留矩阵上三角把C×C变成C×(C1)/2但这样后续SVM输入不再是紧凑向量反而增加代码量不如PCA直观。4.3 消融实验是98分的关键把每个改动都变成报告证据数字图像处理大作业想拿高分光有一个最终准确率不够还要把“每个模块到底贡献了多少”讲清楚。用消融实验对比四组配置报告结构就完整了。实验图像输入分类头验证目标A原图直接ResizeResNet全连接基线成绩Bbbox裁剪ResNet全连接前景定位的作用Cbbox裁剪双线性特征LinearSVC二阶统计量的作用Dbbox裁剪五crop双线性特征均值LinearSVC多尺度融合的作用五crop是在测试时取图像中心、左上、右上、左下、右下五个224区域分别提取特征最后取特征均值或概率均值。CUB-200-2011图像分辨率不统一部分鸟在整图里只占很小区域五crop能提供一定平移鲁棒性。从A到D每多一个改动报告里就能多一小节分析这正是老师愿意给高分的结构。每轮实验固定随机种子训练三个重复实验取平均分数差异小于0.5个百分点再下结论。只跑一次就写“方法有效”遇到数据噪声大的情况结论可能完全站不住。报告里把A到D的准确率做成柱状图配一张典型样例图评分维度中的“实验设计与分析”基本就满了。5. CUB-200-2011细粒度分类避坑5个影响最终分数的关键问题5.1 数据装载与标注对齐的3个坑坑1图像ID与标签ID错位准确率接近随机。现象是训练loss下降正常但测试准确率只有5%左右和随机猜200类差不多。 原因在于有些人读txt文件时直接按行号对应没有校验image_id是否一致。CUB-200-2011的txt文件行号在多数版本里是对齐的但一旦你换了一个重新整理过的数据源或用了不同的文本排序规则行对齐就会漂移。 解决方法是始终用pandas按image_id做inner join加载后检查df.shape[0]是否等于11788并打印class_idx的最小最大值确认落在0到199区间。坑2bbox裁剪过紧丢失判别部位。现象是模型在几组外形接近的物种上错误率特别高比如把某种莺误判成另一种莺。 原因是原始bounding_boxes只框出鸟的主体喙和尾羽经常被切掉一半而这两个部位正是细粒度分类最重要的线索。 解决方法是统一用中心对齐正方形裁剪并加10%到20%余量。前面代码里的bbox_scale1.1就是干这个用。如果你发现某些图裁完仍缺翅膀尖把scale调到1.2代价是多带入一点背景但通常利大于弊。坑3自己重新切分训练测试集分数虚高。现象是自定义随机划分能到82%官方划分只有74%差距接近8个点。 原因是同一只鸟的多视角照片被同时拆进训练和测试模型靠“认出个体”得分。 解决方法是直接用官方train_test_split.txt。写报告时说明“使用官方划分保证同个体不跨集合”这一句话就能避免评审老师误解你的准确率来源。5.2 训练与硬件相关的2个坑坑4双线性特征维度爆炸内存直接打穿。现象是在提取特征时进程被OOM杀掉或numpy矩阵占满十几GB。 原因是C512时双线性池化输出262144维6000多张训练图全量存储约6GB以上再加上测试集和PCA中间变量内存很容易爆。 解决方法是按batch提取特征并即时转存numpy数组所有样本算完后再统一PCA降维。如果内存还是紧张换ResNet18让C变成512但特征图尺寸减小或直接改用ResNet输出256通道的特征层更简单的是把双线性特征降维目标从2048改成1024精度损失通常不超过1个点。坑5报告里只写一个准确率数字看起来像黑盒调参。现象是最终准确率不错但老师评价“只看到结果不见过程”分数卡在85左右。 原因是数字图像处理课的评分不完全看当下准确率更看分析和验证能力。没有可视化等于告诉老师你没有深入研究模型行为。 解决方法是在最终报告中加入Grad-CAM热力图和混淆矩阵用具体误判案例解释细粒度分类的难点这部分会在下一章展开。6. 收尾加分技巧Grad-CAM热力图与混淆矩阵一起上Grad-CAM是验证细粒度模型“到底看了哪里”的最直接工具。它利用最后一个卷积层的梯度加权激活图生成一张和原图同尺寸的热力图高亮区域表示模型做出决策时重点关注的部位。对CUB-200-2011来说理想情况是热力图集中在头部、翅膀、尾羽附近而不是整张图均匀响应。activation {} gradient {} def forward_hook(module, input, output): activation[value] output def backward_hook(module, grad_input, grad_output): gradient[value] grad_output[0] handle_f model.layer4[-1].register_forward_hook(forward_hook) handle_b model.layer4[-1].register_full_backward_hook(backward_hook) img img.unsqueeze(0).requires_grad_(True) logits model(img) target logits[0].argmax() model.zero_grad() logits[0, target].backward() weights gradient[value].mean(dim(2, 3), keepdimTrue) cam torch.relu((weights * activation[value]).sum(dim1, keepdimTrue)) cam torch.nn.functional.interpolate(cam, size(224, 224), modebilinear)代码里forward_hook拿到layer4最后一组残差块的输出backward_hook拿到对应梯度梯度对空间维度取平均作为通道权重再和激活图做加权和。使用register_full_backward_hook时要注意PyTorch版本差异新版推荐用register_full_backward_hook而不是旧版register_backward_hook。热力图生成后和原图叠加再和数据集自带的parts标注并排能直接说明模型找到的部位与人工语义部件一致。最后再做一个数据驱动的分析输出混淆矩阵找出错判最多的三类观察它们是否具有相似配色或相似体型在报告中写一段文字解释。比如两种鹪鹩都偏褐色、体型小模型区分失败的原因可以回溯到训练样本数量太少、或者某个关键部位被遮挡。这种分析是老师眼中“学懂了”的标志。我自己做这类实验时有个习惯每个实验存档时除了准确率还保留三张代表图——一张正确分类且热力图理想一张正确分类但热力图分散一张错误分类。回看这些图比只看分数更容易发现数据集噪声、标注错误和模型偏好。把这一套流程做完98分不是玄学而是你实验设计完整度的自然结果。希望帮到你。本文还有配套的精品资源点击获取 CUB-200-2011细粒度图像分类：数字图像处理大作业完整方案与避坑指南
简介这份数字图像处理大作业聚焦细粒度图像分类基于CUB-200-2011鸟类数据集使用Python实现评审得分98分。项目由导师指导并认可难度适中面向计算机相关专业的学生、毕业设计者以及需要实战练习的学习者。资源包共14个文件包含4个Python源码涉及数据预处理、模型训练与评估、3个PDF文档项目报告、细分类讲解等、1个PPT演示文稿、1个Word说明文档以及文本说明、Markdown文档和示例图片整体仅4.76MB组织结构清晰。目前已有103人学习使用。源码均已调试运行通过其中涵盖了迁移学习、双线性CNNBCNN等细粒度分类方法并提供了数据集的解读与处理工具可帮助你理解从数据准备到模型评估的完整流程。配套的报告和幻灯片还展示了项目思路、结果分析与改进方向便于将其用作课程作业或毕业设计的直接参考。1. 数字图像处理大作业选CUB-200-2011为什么细粒度分类更值得做数字图像处理的大作业最容易翻车的是MNIST手写数字和CIFAR-10分类——做的人太多老师一眼就能看出你只是换了网络结构参数。细粒度图像分类加CUB-200-2011数据集这个组合任务难度足够数据规模适中又能把目标定位、特征提取、分类器设计和结果可视化整条链路铺开是少数可以让98分成为可复现结果的选题。下面从数据集结构、技术路线、实验设计和避坑四条线展开读者照着搭完至少能拿到一个结构完整的报告想再往上走就看是不是认真做了消融和多尺度验证。这个方案对本科数字图像处理实验、课程设计都适用也适合第一次接触细粒度分类的入门者。2. CUB-200-2011数据集落地先读懂目录结构再写可复用的装载代码2.1 拿到数据后的第一件事结构与坐标标注摸透CUB-200-2011全称是Caltech-UCSD Birds-200-2011200种北美鸟类共11788张图像每类大约30到60张。这个规模对数字图像处理大作业非常合适数据量够支撑CNN微调但又不至于像ImageNet那样需要几周训练时间。解压之后你首先会看到一堆txt文件和一个images目录很多第一次用的人会直接写代码按行读取结果标签和图片对不上白白浪费一晚上。正确做法是先把六个关键文件的作用记清楚。images.txt给出图像ID和相对路径image_class_labels.txt给出图像ID和类别ID1到200bounding_boxes.txt给出每张图中鸟主体的外接框train_test_split.txt标出每个样本属于训练集还是测试集。另有parts和attributes两个标注子集parts给出15个语义部件的位置attributes给出312个二值属性大作业里可以只用parts做后续分析attributes一般用不到。文件每行内容大作业用途images.txtimage_id 图片相对路径定位图像文件image_class_labels.txtimage_id 类别ID分类标签bounding_boxes.txtimage_id x y w h前景裁剪train_test_split.txtimage_id 1/0确定训练测试划分parts/part_locs.txtimage_id 部件ID x y 可见性局部语义验证attributes/312个属性文件一般不强制使用很多人忽略bounding_boxes直接拿整张图缩放。细粒度分类里背景占比过高会让模型学成“认场景”而不是“认鸟”所以外接框坐标必须用起来。这个框也给后面做Grad-CAM对比提供了标注真值。2.2 写一个干净的PyTorch Dataset把bbox裁剪与标签对齐一次做对四个txt文件的行号在大多数分发版本里是对齐的但不要赌这个对齐关系。我一般用pandas按image_id做merge把图片路径、类别、外接框、划分标记合成一张表再按split过滤这样即使txt顺序有调整也不会错位。import os import pandas as pd import torch from PIL import Image from torch.utils.data import Dataset class CUB200(Dataset): def __init__(self, root, splittrain, bbox_scale1.1, transformNone): super().__init__() self.root root self.bbox_scale bbox_scale self.transform transform images pd.read_csv( os.path.join(root, images.txt), sep , names[image_id, filename] ) labels pd.read_csv( os.path.join(root, image_class_labels.txt), sep , names[image_id, class_id] ) bboxes pd.read_csv( os.path.join(root, bounding_boxes.txt), sep , names[image_id, x, y, w, h] ) split_info pd.read_csv( os.path.join(root, train_test_split.txt), sep , names[image_id, is_train] ) df images.merge(labels, onimage_id) df df.merge(bboxes, onimage_id) df df.merge(split_info, onimage_id) use_flag 1 if split train else 0 df df[df[is_train] use_flag].reset_index(dropTrue) df[class_idx] df[class_id] - 1 # 标签从1开始转为0~199 self.df df def __len__(self): return len(self.df) def __getitem__(self, idx): row self.df.iloc[idx] img Image.open(os.path.join(self.root, images, row[filename])).convert(RGB) x, y, w, h row[[x, y, w, h]].astype(float) cx, cy x w / 2, y h / 2 side max(w, h) * self.bbox_scale half side / 2 left, top int(cx - half), int(cy - half) right, bottom int(cx half), int(cy half) img img.crop((left, top, right, bottom)) if self.transform: img self.transform(img) label torch.tensor(row[class_idx], dtypetorch.long) return img, label代码里的核心是四个txt用image_id合并而不是按行拼接这是避免标签错位的关键。bbox裁剪时没有直接用原始框而是取w和h的较大边作为边长再乘1.1扩一圈目的是防止框太紧把喙、尾羽这些判别部位切掉。细粒度分类宁可多留背景不能丢部件。class_id原本从1计到200减去1之后变成0到199正好对应CrossEntropyLoss的类别索引。调用时需要给训练集和测试集用不同的transform。常见配置是训练时Resize到256再RandomCrop到224配合随机水平翻转测试时Resize到256后CenterCrop。归一化均值标准差用ImageNet的默认值因为后面加载的是预训练模型。from torchvision import transforms transform_train transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomCrop(224), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) transform_test transforms.Compose([ transforms.Resize((256, 256)), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ])这套输入配置是绝大多数迁移学习任务通用的。Resize到256再裁剪到224等于给随机裁剪留了32像素的扰动空间能显著缓解CUB每类只有几十张图带来的过拟合。如果机器性能紧张也可以直接Resize到224但效果通常弱两三个点。2.3 训练测试划分的边界不要自己重新洗牌官方train_test_split.txt已经按约一半训练、一半测试划定。我见过很多大作业翻车是因为他们按类别随机切了80/20最后测试集结果虚高。CUB-200-2011里同一只鸟通常有多张照片用户自定义随机划分时这些照片大概率被拆到训练集和测试集两边模型学到的其实是“认出这只个体”而不是“认出这个物种”测试分数完全失真。正确做法是直接使用官方划分。如果你非要自己划分也必须先按个体聚类再按个体划分保证同一只鸟的所有照片只出现在一个集合里。但课程报告里没必要给自己加这个复杂度官方划分足够专业也方便和其他公开方案对比。写报告时训练集、测试集的张数、类别数、每类图像均值这些统计信息放一张表老师会觉得你数据结构吃得透。3. 细粒度分类技术路线从HOGBOW到双线性池化怎么选才不亏3.1 传统HOGBOW与SVM在CUB上有多少含金量细粒度分类难在类间差异微小。同样是体型偏小的鸣禽几种莺放在一起喙的长度、翅膀斑纹颜色、腿部深浅稍有不同普通特征根本抓不住。冈萨雷斯《数字图像处理》第四版里的分割、边缘检测、纹理描述子在MNIST这类数据集上很好使但放到CUB-200-2011上按传统思路做HOG加词袋模型再用SVM分类课程报告里复现出的正确率常常卡在30%到45%区间。为什么会这么低HOG描述子对姿态和遮挡敏感整只鸟的姿态稍微一偏直方图分布就变了颜色直方图也容易受光照干扰。更重要的问题在词袋量化这一步BOW把局部特征聚类成视觉单词后丢失了空间位置信息而识别两种相近鸟类恰恰要依赖“翅膀末端特征”与“喙部特征”的位置关系。传统流程用MATLAB写起来倒是很顺如果老师要求体现图像处理管线的设计能力甚至可以用面向对象思路把预处理、特征提取、分类器封装成模块这就是“多算法融合系统设计”的常见形态——但精度瓶颈是客观存在的。因此我建议把传统流程当作对照基线不要当主力方案。报告里保留一组HOGBOW结果能体现你理解数字图像处理的经典方法而后续深度方案正好形成新旧对比是评分的加分项。3.2 为什么CNN迁移学习是数字图像处理课的务实选择CNN本质上是一组自动学习的滤波器。浅层卷积核响应的是边缘、角点、颜色块和图像处理课里手工设计的Sobel、Gabor算子功能相似深层卷积核响应的是语义部件比如鸟头、翅膀、尾羽。用ImageNet预训练模型初始化这些滤波器再在CUB上微调相当于把别人已经在千万张图上学到的通用视觉能力搬过来只需要花时间适配鸟类特化特征数据少也能扛得住。常见的参数起点是ResNet34或ResNet50SGD加momentum学习率1e-3到1e-4权重衰减1e-4batch size 16到32。如果显存不够可以冻结网络前几层只微调后几层和最后的全连接。冻结层数越多训练越快但最终精度可能略低大作业里一般全网络微调就能在官方划分上拿到70%以上正确率。路线算力要求报告可解释性精度风险HOGBOWSVMCPU可跑高适合当基线容易卡在40%以下整图CNN微调单GPU即可中能到70%左右bbox裁剪CNN微调单GPU即可中偏高比整图再涨几个点双线性特征SVM特征提取需GPU高大作业最稳主力部件级注意力模型单GPU加标注加工高实现成本高容易超时表格里后两种路线的取舍要根据大作业剩余时间决定。部件级注意力模型需要利用parts标注做复杂的局部对齐代码量大调试周期长双线性池化的实现非常简单但解释性很强在细粒度分类的经典方法里地位很高。3.3 Bilinear Pooling细粒度分类最经典的二阶特征双线性池化的思想不算复杂。取卷积层输出的特征图尺寸是C×H×W每个空间位置有一个C维向量。计算同一位置两个特征向量的外积再把所有空间位置的外积求和得到C×C矩阵。这个矩阵统计的是“通道a在某个位置激活同时通道b也在同一位置激活”的共现频率也就是二阶统计量。对细粒度分类而言单一通道往往只能响应一个低层属性比如“翅膀偏蓝”或“喙形细长”。决定物种的判别点常常是多个属性同时成立双线性池化恰好显式建模了这种共现关系。普通全局平均池化把空间信息压平会丢掉这类联合判别力。def bilinear_pool(x): # x: (B, C, H, W) 卷积层输出 B, C, H, W x.size() x x.view(B, C, H * W) matrix torch.bmm(x, x.transpose(1, 2)) / (H * W) y torch.sqrt(torch.abs(matrix) 1e-8) * torch.sign(matrix) y torch.nn.functional.normalize(y.view(B, -1), dim1) return y代码中的torch.bmm把B个样本的C×HW矩阵和C×HW转置相乘得到B×C×C的外积求和结果除以H*W是平均池化先取符号平方根再做L2归一化是双线性池化的标准后处理能让特征分布更接近线性可分。需要注意输出维度是C的平方ResNet34最后一个卷积层C通常为512C²等于262144维直接训练全连接层参数量会很大。大作业最稳妥的做法是双线性特征只做特征提取离线存盘PCA降维到2048维后用线性SVM分类这个流程在第四章会给完整方案。4. 可复现的高分实验流程从ResNet基线到双线性特征加SVM4.1 搭建基线ResNet34整图分类先跑通最简单的基线后续所有对比都有立足点。用torchvision自带的预训练ResNet34把最后一层全连接换成200输出然后训练60轮左右。不要一上来就上复杂模型基线的作用是确认数据装载、标签映射、归一化都没有问题。import torch from torch import nn from torchvision import models model models.resnet34(weightsmodels.ResNet34_Weights.IMAGENET1K_V1) model.fc nn.Linear(512, 200) model model.to(device) optimizer torch.optim.SGD(model.parameters(), lr1e-3, momentum0.9, weight_decay1e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max60) criterion nn.CrossEntropyLoss() for epoch in range(60): model.train() running_loss 0.0 for imgs, labels in train_loader: imgs, labels imgs.to(device), labels.to(device) optimizer.zero_grad() logits model(imgs) loss criterion(logits, labels) loss.backward() optimizer.step() running_loss loss.item() scheduler.step() # 每个epoch保存loss每5个epoch计算一次测试集准确率SGD加momentum在迁移学习微调场景通常比Adam稳学习率1e-3是常见起点如果loss震荡或测试准确率波动大降到3e-4再跑。CosineAnnealing让学习率沿余弦曲线衰减后期精细调整权重。训练时长取决于设备普通单卡大约一到两小时完全在可接受范围。训练过程中必须保留每个epoch的loss和准确率日志写报告时画曲线用得上。测试时要记得切到model.eval()并套torch.no_grad()。准确率计算按官方划分不要自己重新划训练测试集这是和公开结果可比的前提。4.2 从全连接到双线性特征加线性SVM基线跑通后升级路线是离线提取双线性特征。这里不直接改网络结构做端到端双线性分类因为那样训练显存占用极高而且调参难度大。先把图像经过预训练模型得到卷积特征图用前面的bilinear_pool得到262144维向量存成numpy矩阵再PCA降维最后训练线性SVM。import numpy as np from sklearn.decomposition import PCA from sklearn.svm import LinearSVC def extract_features(model, loader): model.eval() feats, labels [], [] with torch.no_grad(): for imgs, lbs in loader: imgs imgs.to(device) feat_map model(imgs) # 取layer4的输出需要在模型上去掉最后的全局平均池化 pooled bilinear_pool(feat_map).view(imgs.size(0), -1) feats.append(pooled.cpu().numpy()) labels.append(lbs.numpy()) return np.vstack(feats), np.concatenate(labels) # 训练集上拟合PCA再映射测试集 pca PCA(n_components2048) train_feats, train_labels extract_features(model, train_loader) test_feats, test_labels extract_features(model, test_loader) train_feats_pca pca.fit_transform(train_feats) test_feats_pca pca.transform(test_feats) svm LinearSVC(C0.01, max_iter5000) svm.fit(train_feats_pca, train_labels) acc svm.score(test_feats_pca, test_labels)PCA拟合时只能在训练集上fit测试集只做transform否则会把全局统计信息泄漏给测试集分数虚高。LinearSVC的C取0.01是基于经验双线性特征经过归一化后线性SVM在小C值下更稳C太大容易过拟合。max_iter给到5000是为了保证收敛遇到“ConvergenceWarning”时优先调大多类样本权重或者再做一次标准化。如果显存紧张可以把extract_features改成按小batch提取后及时存盘避免把所有特征堆在内存里。C512时6000多张训练图的原始双线性特征大约6GB内存PCA降维后只剩几十MB所以及时降维是关键。另一种省内存的做法是只保留矩阵上三角把C×C变成C×(C1)/2但这样后续SVM输入不再是紧凑向量反而增加代码量不如PCA直观。4.3 消融实验是98分的关键把每个改动都变成报告证据数字图像处理大作业想拿高分光有一个最终准确率不够还要把“每个模块到底贡献了多少”讲清楚。用消融实验对比四组配置报告结构就完整了。实验图像输入分类头验证目标A原图直接ResizeResNet全连接基线成绩Bbbox裁剪ResNet全连接前景定位的作用Cbbox裁剪双线性特征LinearSVC二阶统计量的作用Dbbox裁剪五crop双线性特征均值LinearSVC多尺度融合的作用五crop是在测试时取图像中心、左上、右上、左下、右下五个224区域分别提取特征最后取特征均值或概率均值。CUB-200-2011图像分辨率不统一部分鸟在整图里只占很小区域五crop能提供一定平移鲁棒性。从A到D每多一个改动报告里就能多一小节分析这正是老师愿意给高分的结构。每轮实验固定随机种子训练三个重复实验取平均分数差异小于0.5个百分点再下结论。只跑一次就写“方法有效”遇到数据噪声大的情况结论可能完全站不住。报告里把A到D的准确率做成柱状图配一张典型样例图评分维度中的“实验设计与分析”基本就满了。5. CUB-200-2011细粒度分类避坑5个影响最终分数的关键问题5.1 数据装载与标注对齐的3个坑坑1图像ID与标签ID错位准确率接近随机。现象是训练loss下降正常但测试准确率只有5%左右和随机猜200类差不多。 原因在于有些人读txt文件时直接按行号对应没有校验image_id是否一致。CUB-200-2011的txt文件行号在多数版本里是对齐的但一旦你换了一个重新整理过的数据源或用了不同的文本排序规则行对齐就会漂移。 解决方法是始终用pandas按image_id做inner join加载后检查df.shape[0]是否等于11788并打印class_idx的最小最大值确认落在0到199区间。坑2bbox裁剪过紧丢失判别部位。现象是模型在几组外形接近的物种上错误率特别高比如把某种莺误判成另一种莺。 原因是原始bounding_boxes只框出鸟的主体喙和尾羽经常被切掉一半而这两个部位正是细粒度分类最重要的线索。 解决方法是统一用中心对齐正方形裁剪并加10%到20%余量。前面代码里的bbox_scale1.1就是干这个用。如果你发现某些图裁完仍缺翅膀尖把scale调到1.2代价是多带入一点背景但通常利大于弊。坑3自己重新切分训练测试集分数虚高。现象是自定义随机划分能到82%官方划分只有74%差距接近8个点。 原因是同一只鸟的多视角照片被同时拆进训练和测试模型靠“认出个体”得分。 解决方法是直接用官方train_test_split.txt。写报告时说明“使用官方划分保证同个体不跨集合”这一句话就能避免评审老师误解你的准确率来源。5.2 训练与硬件相关的2个坑坑4双线性特征维度爆炸内存直接打穿。现象是在提取特征时进程被OOM杀掉或numpy矩阵占满十几GB。 原因是C512时双线性池化输出262144维6000多张训练图全量存储约6GB以上再加上测试集和PCA中间变量内存很容易爆。 解决方法是按batch提取特征并即时转存numpy数组所有样本算完后再统一PCA降维。如果内存还是紧张换ResNet18让C变成512但特征图尺寸减小或直接改用ResNet输出256通道的特征层更简单的是把双线性特征降维目标从2048改成1024精度损失通常不超过1个点。坑5报告里只写一个准确率数字看起来像黑盒调参。现象是最终准确率不错但老师评价“只看到结果不见过程”分数卡在85左右。 原因是数字图像处理课的评分不完全看当下准确率更看分析和验证能力。没有可视化等于告诉老师你没有深入研究模型行为。 解决方法是在最终报告中加入Grad-CAM热力图和混淆矩阵用具体误判案例解释细粒度分类的难点这部分会在下一章展开。6. 收尾加分技巧Grad-CAM热力图与混淆矩阵一起上Grad-CAM是验证细粒度模型“到底看了哪里”的最直接工具。它利用最后一个卷积层的梯度加权激活图生成一张和原图同尺寸的热力图高亮区域表示模型做出决策时重点关注的部位。对CUB-200-2011来说理想情况是热力图集中在头部、翅膀、尾羽附近而不是整张图均匀响应。activation {} gradient {} def forward_hook(module, input, output): activation[value] output def backward_hook(module, grad_input, grad_output): gradient[value] grad_output[0] handle_f model.layer4[-1].register_forward_hook(forward_hook) handle_b model.layer4[-1].register_full_backward_hook(backward_hook) img img.unsqueeze(0).requires_grad_(True) logits model(img) target logits[0].argmax() model.zero_grad() logits[0, target].backward() weights gradient[value].mean(dim(2, 3), keepdimTrue) cam torch.relu((weights * activation[value]).sum(dim1, keepdimTrue)) cam torch.nn.functional.interpolate(cam, size(224, 224), modebilinear)代码里forward_hook拿到layer4最后一组残差块的输出backward_hook拿到对应梯度梯度对空间维度取平均作为通道权重再和激活图做加权和。使用register_full_backward_hook时要注意PyTorch版本差异新版推荐用register_full_backward_hook而不是旧版register_backward_hook。热力图生成后和原图叠加再和数据集自带的parts标注并排能直接说明模型找到的部位与人工语义部件一致。最后再做一个数据驱动的分析输出混淆矩阵找出错判最多的三类观察它们是否具有相似配色或相似体型在报告中写一段文字解释。比如两种鹪鹩都偏褐色、体型小模型区分失败的原因可以回溯到训练样本数量太少、或者某个关键部位被遮挡。这种分析是老师眼中“学懂了”的标志。我自己做这类实验时有个习惯每个实验存档时除了准确率还保留三张代表图——一张正确分类且热力图理想一张正确分类但热力图分散一张错误分类。回看这些图比只看分数更容易发现数据集噪声、标注错误和模型偏好。把这一套流程做完98分不是玄学而是你实验设计完整度的自然结果。希望帮到你。本文还有配套的精品资源点击获取