尧图网站建设 
简介面向深度学习知识蒸馏方向入门与进阶开发者的IRG算法实战资源核心任务是以ResNet50作为教师网络蒸馏ResNet18学生网络完整覆盖特征图对齐、知识迁移、蒸馏损失设计、模型训练与效果评估全链路。压缩包共包含2406个文件其中绝大多数为2400余张png训练过程可视化图片可直观观察Loss下降与精度变化曲线另有7个Python源程序负责模型构建、蒸馏与训练逻辑4个json文件分别保存教师模型、学生模型及蒸馏结果的损失与精度指标便于横向对比迁移效果少量pyc缓存与txt文本便于运行和阅读。整体包体约930.95MB数据与代码储备充分适合课程设计、毕业设计或技术预研也可作为知识蒸馏论文实验的参考实现。目前已有720人学习下载配套代码模块划分清晰拿到后可直接复现IRG蒸馏实验快速获得结果数据与可视化图表显著降低从零实现的门槛。1. 知识蒸馏IRG算法实战用ResNet50把表征结构迁给ResNet18一个常见场景ResNet50在服务器上精度可观但体积和推理时延压不到边缘设备要求换成ResNet18后精度立刻掉几个点。常规蒸馏只让学生拟合教师最后的类别概率抄得到答案抄不到答案背后的特征组织方式。IRG算法把监督信号从“最终分布”扩展到“样本间关系”让同一批样本在教师特征空间里的关系图原样搬进学生的特征空间。下文按先原理后代码的顺序展开先拆IRG损失的三项构成再给ResNet50蒸馏ResNet18的可运行PyTorch实现最后落在超参数设置与验证方法上。2. IRG算法原理与损失构成logits之外还缺什么2.1 只拟合logits学生学不到特征组织方式知识蒸馏最朴素的形态是KD loss把教师logits除以温度T再softmax让学生logits的软化分布贴近它。温度T把概率分布抹平让“第二可能的类别”也参与监督。这套做法在分类任务上能搬走一部分精度但ResNet50到ResNet18这种跨容量压缩光靠最后一层分布远远不够。softmax把所有中间表征折叠进一组类别概率学生对特征如何组织完全没有约束。ResNet50最后一个stage输出通道是2048ResNet18只有512两者对同一张图提取的纹理、边缘、部件特征可能顺序完全不同。只在最后输出上对齐学生可以在内部走一条和教师不同的路径却恰好给出相近的概率。这样的学生模型迁到下游任务时特征复用性差蒸馏的价值就打了折扣。2.2 IRG三项损失特征变换、实例对、三元组IRG把蒸馏拆成三个层级。第一层是单样本特征回归学生特征先过一层1x1卷积升维到教师通道数再做MSE回归。第二层是实例对关系在一个batch内计算两两样本的余弦相似度矩阵让学生矩阵逼近教师矩阵。第三层是三元组关系对每个anchor样本保持它在教师特征空间里与positive、negative的相对距离排序。代码骨架如下import torch.nn.functional as F # s_vec / t_vec: 学生和教师特征的池化向量形状都是 [B, C] loss_single F.mse_loss(s_vec, t_vec.detach()) s_norm F.normalize(s_vec, dim1) t_norm F.normalize(t_vec.detach(), dim1) sim_s s_norm s_norm.t() # batch内学生相似度矩阵 sim_t t_norm t_norm.t() # batch内教师相似度矩阵 loss_pair F.mse_loss(sim_s, sim_t) dist_s torch.cdist(s_norm, s_norm) dist_t torch.cdist(t_norm, t_norm) loss_triplet F.mse_loss(dist_s, dist_t)代码有三个要点。t_vec.detach()必须加教师特征是监督信号不能参与反向传播。相似度矩阵对角线恒为1会往loss里注入常数偏移实际实现时去掉对角线再算MSE更干净。三元组用距离矩阵的MSE近似排序约束比遍历所有三元组快得多效果接近。矩阵运算是O(batch²)复杂度batch越大关系图信噪比越高显存开销也线性上涨。2.3 特征层位选择与权重分配特征层位不是全要。我一般取教师和学生各自stage3的输出覆盖中高层语义信息stage1和stage2的低层特征会让学生复制不必要的纹理噪声收益很低。CIFAR-100这类小图数据集上stage3已经包含类别判别信息如果是ImageNet级别的大图可以再加stage4一起监督。损失项监督层面常见权重对batch的敏感度loss_single单样本通道回归0.1~0.5低loss_pair两两关系矩阵1.0~5.0高loss_triplet相对距离排序0.5~1.0中调节顺序是先把pair项设为1.0跑通再逐步加到5.0看验证集变化最后微调另两项。IRG常被拿来和FitNet比较区别在于FitNet只有单样本特征MSE没有关系项。样本量很小的任务里pair矩阵噪声大退回FitNet反而更划算。3. 环境准备与项目结构解压zip后先核对三件事3.1 依赖版本与目录核对拿到压缩包先解压确认里面train.py等文件齐全。常见做法是项目带distill_loss.py、models.py和config.yaml。动手前先核对三件事PyTorch版本与CUDA是否对应、预训练权重走下载还是本地路径、数据集路径是否写死。unzip resnet50_distill_resnet18_irg.zip -d irg_project cd irg_project python -c import torch; print(torch.__version__, torch.cuda.is_available())输出True才继续。torch和torchvision版本错位时weights参数会报预训练权重下载或加载失败建议按官方安装命令选对应大版本。目录文件对照关系如下文件作用需要改动的概率distill_loss.pyIRG损失实现低通常只调权重系数models.py模型构建与hook注册中换数据集要改num_classestrain.py训练循环高路径和epochs要改config.yaml超参数统一入口高建议所有参数集中在这里3.2 加载ResNet50教师并冻结参数import torchvision.models as models teacher models.resnet50(weightsmodels.ResNet50_Weights.IMAGENET1K_V2) teacher.eval() for p in teacher.parameters(): p.requires_grad FalseIMAGENET1K_V2的精度比V1高一个档次教师越强学生蒸馏后的上限越高。冻结参数有两个原因省显存不建教师的反向传播图避免教师被优化器扰动否则监督信号本身在漂移。目标数据集和ImageNet差异很大时可以先冻结教师训一个epoch观察loss再决定是否需要解冻微调教师一两轮后重新冻结。3.3 注册forward hook提取中间特征学生模型按数据集类别数初始化蒸馏中stage3的特征是IRG的输入student models.resnet18(weightsNone, num_classes100) feat_store {s: None, t: None} def make_hook(key): def hook_fn(module, inp, out): feat_store[key] out return hook_fn h1 teacher.layer3.register_forward_hook(make_hook(t)) h2 student.layer3.register_forward_hook(make_hook(s))forward hook在每个前向传播后把layer3输出写入字典不修改模型结构。ResNet18的layer3输出256通道ResNet50是1024通道这两个数字是初始化IRG损失时in_dim_student和in_dim_teacher的入参。训练结束时记得调用h1.remove()和h2.remove()解注册否则下次建模型时旧hook残留在模块上会白占显存并污染特征字典。数据流用CIFAR-100举例ResNet系列在小图上注意补齐RandAugment或MixUp这类增强否则学生很容易在120 epoch附近过拟合transform_train transforms.Compose([ transforms.RandomCrop(32, padding4), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize((0.5071, 0.4867, 0.4408), (0.2675, 0.2565, 0.2761)), ])batch设置成128。pair矩阵在batch小于32时噪声非常大单纯把batch翻倍到256通常还能让最终精度再涨0.3个点左右代价是一个epoch的更新次数减半训练总时长相应拉长。4. 核心实现IRGLoss类与蒸馏训练循环的写法4.1 IRGLoss完整实现把上一章的三个损失项封装成模块1x1卷积是唯一新增的可训练参数import torch import torch.nn as nn import torch.nn.functional as F class IRGLoss(nn.Module): def __init__(self, in_dim_s, in_dim_t, alpha0.3, beta1.0, gamma0.5): super().__init__() self.alpha, self.beta, self.gamma alpha, beta, gamma self.transform nn.Conv2d(in_dim_s, in_dim_t, 1) def forward(self, feat_s, feat_t): proj_s self.transform(feat_s) # [B, 1024, H, W] s_vec F.adaptive_avg_pool2d(proj_s, 1).flatten(1) t_vec F.adaptive_avg_pool2d(feat_t, 1).flatten(1) loss_single F.mse_loss(s_vec, t_vec.detach()) s_norm F.normalize(s_vec, dim1) t_norm F.normalize(t_vec.detach(), dim1) sim_s torch.mm(s_norm, s_norm.t()) sim_t torch.mm(t_norm, t_norm.t()) mask 1.0 - torch.eye(sim_s.size(0), devicesim_s.device) loss_pair F.mse_loss(sim_s * mask, sim_t * mask) dist_s torch.cdist(s_norm, s_norm) dist_t torch.cdist(t_norm, t_norm) loss_triplet F.mse_loss(dist_s, dist_t) total self.alpha * loss_single self.beta * loss_pair self.gamma * loss_triplet return total, {single: loss_single.item(), pair: loss_pair.item(), triplet: loss_triplet.item()}几个实现细节。mask把相似度矩阵对角线置零去掉恒为1的自相似项pair loss才真正反映跨样本关系。adaptive_avg_pool2d把任意分辨率的特征压成1x1H和W不一致时不需要额外的resize逻辑。返回的字典用于tensorboard记录每一项的数值调权重时直接看哪一项的量级失控。4.2 训练循环与优化器选择教师只做前向学生和IRGLoss一起反向T 4.0 optimizer torch.optim.SGD(student.parameters(), lr0.01, momentum0.9, weight_decay5e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max150) kd_loss nn.KLDivLoss(reductionbatchmean) irg_fn IRGLoss(in_dim_s256, in_dim_t1024).cuda() for epoch in range(150): for images, labels in train_loader: images, labels images.cuda(), labels.cuda() with torch.no_grad(): logits_t teacher(images) logits_s student(images) optimizer.zero_grad() loss_kd kd_loss(F.log_softmax(logits_s / T, dim1), F.softmax(logits_t / T, dim1)) * T * T loss_irg, metrics irg_fn(feat_store[s], feat_store[t]) (loss_irg loss_kd).backward() optimizer.step() scheduler.step()训练循环里两个必须说明的点。KLDivLoss前面乘T²是Hinton蒸馏的标准写法温度T把梯度scale缩小了T²倍乘回来才能让KD项和分类loss处于同一量级。IRG项不需要温度缩放它直接作用于特征空间。优化器选SGD带动量而不是AdamResNet系列在SGD加余弦退火下收敛更平滑Adam前期更快但最后精度通常低0.5个点左右。4.3 超参数参照表与调节顺序参数推荐起点调节方向温度T4.0类别数多调小到2分布太平调大到6alpha0.3特征回归失控先调小beta1.0batch128时加到3.0有明显收益gamma0.5收敛后期可调大强化排序学习率0.01换数据集时按batch/256同步缩放batch128显存够就上256每个超参数单独调不要同时动两个。调节顺序建议batch固定→T固定→beta从1.0加到3.0观察5个epoch→alpha减半看pair项是否回升→最后用swa或ema收尾。5. 蒸馏效果验证与三个必踩的坑5.1 用accuracy1对比教师、蒸馏学生和基线学生训练结束后单独写评估脚本三组数对比ResNet50教师、IRG蒸馏出的ResNet18、从零训练的ResNet18。第三组必须跑否则判断不了IRG的增益。def evaluate(model, loader): model.eval() correct total 0 with torch.no_grad(): for images, labels in loader: out model(images.cuda()) correct (out.argmax(1).cpu() labels).sum().item() total labels.size(0) return correct / total print(teacher :, evaluate(teacher, test_loader)) print(distilled :, evaluate(student, test_loader)) print(baseline :, evaluate(baseline, test_loader))CIFAR-100上用前面的配置教师大约78%从零训练的ResNet18大约73%蒸馏后通常到75.5%左右具体随增强和随机种子浮动。增益不到1.5个点时先查stage层位和beta权重。5.2 三个反复出现的坑与EMA收尾第一个坑是hook残留。重复跑训练时旧hook留在模块上显存随epoch累积。训练结束后调用h1.remove()、h2.remove()并清空feat_store。第二个坑是pair loss随batch波动。batch32时pair项数值跳动几个数量级训练波动大。固定随机种子、batch升到128后曲线会平滑很多。第三个坑是两项loss的梯度量级不一致。backward前分别打印KL项和IRG项让KL项乘T²后与IRG项同量级再反向。收尾用EMA提点对学生参数做滑动平均推理用EMA权重还能再拿0.3到0.5个点# 每个epoch结束后执行decay越大历史权重占比越高 with torch.no_grad(): for k, v in student.state_dict().items(): ema_weights[k] decay * ema_weights[k] (1 - decay) * v评估前把ema_weights整体加载进student替换state_dict注意BatchNorm的running_mean和running_var也一起换掉只换卷积核会让BN统计量错位。epoch越多decay越靠近0.9999150轮用0.9999。本文还有配套的精品资源点击获取 IRG知识蒸馏实战：ResNet50向ResNet18迁移特征
简介面向深度学习知识蒸馏方向入门与进阶开发者的IRG算法实战资源核心任务是以ResNet50作为教师网络蒸馏ResNet18学生网络完整覆盖特征图对齐、知识迁移、蒸馏损失设计、模型训练与效果评估全链路。压缩包共包含2406个文件其中绝大多数为2400余张png训练过程可视化图片可直观观察Loss下降与精度变化曲线另有7个Python源程序负责模型构建、蒸馏与训练逻辑4个json文件分别保存教师模型、学生模型及蒸馏结果的损失与精度指标便于横向对比迁移效果少量pyc缓存与txt文本便于运行和阅读。整体包体约930.95MB数据与代码储备充分适合课程设计、毕业设计或技术预研也可作为知识蒸馏论文实验的参考实现。目前已有720人学习下载配套代码模块划分清晰拿到后可直接复现IRG蒸馏实验快速获得结果数据与可视化图表显著降低从零实现的门槛。1. 知识蒸馏IRG算法实战用ResNet50把表征结构迁给ResNet18一个常见场景ResNet50在服务器上精度可观但体积和推理时延压不到边缘设备要求换成ResNet18后精度立刻掉几个点。常规蒸馏只让学生拟合教师最后的类别概率抄得到答案抄不到答案背后的特征组织方式。IRG算法把监督信号从“最终分布”扩展到“样本间关系”让同一批样本在教师特征空间里的关系图原样搬进学生的特征空间。下文按先原理后代码的顺序展开先拆IRG损失的三项构成再给ResNet50蒸馏ResNet18的可运行PyTorch实现最后落在超参数设置与验证方法上。2. IRG算法原理与损失构成logits之外还缺什么2.1 只拟合logits学生学不到特征组织方式知识蒸馏最朴素的形态是KD loss把教师logits除以温度T再softmax让学生logits的软化分布贴近它。温度T把概率分布抹平让“第二可能的类别”也参与监督。这套做法在分类任务上能搬走一部分精度但ResNet50到ResNet18这种跨容量压缩光靠最后一层分布远远不够。softmax把所有中间表征折叠进一组类别概率学生对特征如何组织完全没有约束。ResNet50最后一个stage输出通道是2048ResNet18只有512两者对同一张图提取的纹理、边缘、部件特征可能顺序完全不同。只在最后输出上对齐学生可以在内部走一条和教师不同的路径却恰好给出相近的概率。这样的学生模型迁到下游任务时特征复用性差蒸馏的价值就打了折扣。2.2 IRG三项损失特征变换、实例对、三元组IRG把蒸馏拆成三个层级。第一层是单样本特征回归学生特征先过一层1x1卷积升维到教师通道数再做MSE回归。第二层是实例对关系在一个batch内计算两两样本的余弦相似度矩阵让学生矩阵逼近教师矩阵。第三层是三元组关系对每个anchor样本保持它在教师特征空间里与positive、negative的相对距离排序。代码骨架如下import torch.nn.functional as F # s_vec / t_vec: 学生和教师特征的池化向量形状都是 [B, C] loss_single F.mse_loss(s_vec, t_vec.detach()) s_norm F.normalize(s_vec, dim1) t_norm F.normalize(t_vec.detach(), dim1) sim_s s_norm s_norm.t() # batch内学生相似度矩阵 sim_t t_norm t_norm.t() # batch内教师相似度矩阵 loss_pair F.mse_loss(sim_s, sim_t) dist_s torch.cdist(s_norm, s_norm) dist_t torch.cdist(t_norm, t_norm) loss_triplet F.mse_loss(dist_s, dist_t)代码有三个要点。t_vec.detach()必须加教师特征是监督信号不能参与反向传播。相似度矩阵对角线恒为1会往loss里注入常数偏移实际实现时去掉对角线再算MSE更干净。三元组用距离矩阵的MSE近似排序约束比遍历所有三元组快得多效果接近。矩阵运算是O(batch²)复杂度batch越大关系图信噪比越高显存开销也线性上涨。2.3 特征层位选择与权重分配特征层位不是全要。我一般取教师和学生各自stage3的输出覆盖中高层语义信息stage1和stage2的低层特征会让学生复制不必要的纹理噪声收益很低。CIFAR-100这类小图数据集上stage3已经包含类别判别信息如果是ImageNet级别的大图可以再加stage4一起监督。损失项监督层面常见权重对batch的敏感度loss_single单样本通道回归0.1~0.5低loss_pair两两关系矩阵1.0~5.0高loss_triplet相对距离排序0.5~1.0中调节顺序是先把pair项设为1.0跑通再逐步加到5.0看验证集变化最后微调另两项。IRG常被拿来和FitNet比较区别在于FitNet只有单样本特征MSE没有关系项。样本量很小的任务里pair矩阵噪声大退回FitNet反而更划算。3. 环境准备与项目结构解压zip后先核对三件事3.1 依赖版本与目录核对拿到压缩包先解压确认里面train.py等文件齐全。常见做法是项目带distill_loss.py、models.py和config.yaml。动手前先核对三件事PyTorch版本与CUDA是否对应、预训练权重走下载还是本地路径、数据集路径是否写死。unzip resnet50_distill_resnet18_irg.zip -d irg_project cd irg_project python -c import torch; print(torch.__version__, torch.cuda.is_available())输出True才继续。torch和torchvision版本错位时weights参数会报预训练权重下载或加载失败建议按官方安装命令选对应大版本。目录文件对照关系如下文件作用需要改动的概率distill_loss.pyIRG损失实现低通常只调权重系数models.py模型构建与hook注册中换数据集要改num_classestrain.py训练循环高路径和epochs要改config.yaml超参数统一入口高建议所有参数集中在这里3.2 加载ResNet50教师并冻结参数import torchvision.models as models teacher models.resnet50(weightsmodels.ResNet50_Weights.IMAGENET1K_V2) teacher.eval() for p in teacher.parameters(): p.requires_grad FalseIMAGENET1K_V2的精度比V1高一个档次教师越强学生蒸馏后的上限越高。冻结参数有两个原因省显存不建教师的反向传播图避免教师被优化器扰动否则监督信号本身在漂移。目标数据集和ImageNet差异很大时可以先冻结教师训一个epoch观察loss再决定是否需要解冻微调教师一两轮后重新冻结。3.3 注册forward hook提取中间特征学生模型按数据集类别数初始化蒸馏中stage3的特征是IRG的输入student models.resnet18(weightsNone, num_classes100) feat_store {s: None, t: None} def make_hook(key): def hook_fn(module, inp, out): feat_store[key] out return hook_fn h1 teacher.layer3.register_forward_hook(make_hook(t)) h2 student.layer3.register_forward_hook(make_hook(s))forward hook在每个前向传播后把layer3输出写入字典不修改模型结构。ResNet18的layer3输出256通道ResNet50是1024通道这两个数字是初始化IRG损失时in_dim_student和in_dim_teacher的入参。训练结束时记得调用h1.remove()和h2.remove()解注册否则下次建模型时旧hook残留在模块上会白占显存并污染特征字典。数据流用CIFAR-100举例ResNet系列在小图上注意补齐RandAugment或MixUp这类增强否则学生很容易在120 epoch附近过拟合transform_train transforms.Compose([ transforms.RandomCrop(32, padding4), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize((0.5071, 0.4867, 0.4408), (0.2675, 0.2565, 0.2761)), ])batch设置成128。pair矩阵在batch小于32时噪声非常大单纯把batch翻倍到256通常还能让最终精度再涨0.3个点左右代价是一个epoch的更新次数减半训练总时长相应拉长。4. 核心实现IRGLoss类与蒸馏训练循环的写法4.1 IRGLoss完整实现把上一章的三个损失项封装成模块1x1卷积是唯一新增的可训练参数import torch import torch.nn as nn import torch.nn.functional as F class IRGLoss(nn.Module): def __init__(self, in_dim_s, in_dim_t, alpha0.3, beta1.0, gamma0.5): super().__init__() self.alpha, self.beta, self.gamma alpha, beta, gamma self.transform nn.Conv2d(in_dim_s, in_dim_t, 1) def forward(self, feat_s, feat_t): proj_s self.transform(feat_s) # [B, 1024, H, W] s_vec F.adaptive_avg_pool2d(proj_s, 1).flatten(1) t_vec F.adaptive_avg_pool2d(feat_t, 1).flatten(1) loss_single F.mse_loss(s_vec, t_vec.detach()) s_norm F.normalize(s_vec, dim1) t_norm F.normalize(t_vec.detach(), dim1) sim_s torch.mm(s_norm, s_norm.t()) sim_t torch.mm(t_norm, t_norm.t()) mask 1.0 - torch.eye(sim_s.size(0), devicesim_s.device) loss_pair F.mse_loss(sim_s * mask, sim_t * mask) dist_s torch.cdist(s_norm, s_norm) dist_t torch.cdist(t_norm, t_norm) loss_triplet F.mse_loss(dist_s, dist_t) total self.alpha * loss_single self.beta * loss_pair self.gamma * loss_triplet return total, {single: loss_single.item(), pair: loss_pair.item(), triplet: loss_triplet.item()}几个实现细节。mask把相似度矩阵对角线置零去掉恒为1的自相似项pair loss才真正反映跨样本关系。adaptive_avg_pool2d把任意分辨率的特征压成1x1H和W不一致时不需要额外的resize逻辑。返回的字典用于tensorboard记录每一项的数值调权重时直接看哪一项的量级失控。4.2 训练循环与优化器选择教师只做前向学生和IRGLoss一起反向T 4.0 optimizer torch.optim.SGD(student.parameters(), lr0.01, momentum0.9, weight_decay5e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max150) kd_loss nn.KLDivLoss(reductionbatchmean) irg_fn IRGLoss(in_dim_s256, in_dim_t1024).cuda() for epoch in range(150): for images, labels in train_loader: images, labels images.cuda(), labels.cuda() with torch.no_grad(): logits_t teacher(images) logits_s student(images) optimizer.zero_grad() loss_kd kd_loss(F.log_softmax(logits_s / T, dim1), F.softmax(logits_t / T, dim1)) * T * T loss_irg, metrics irg_fn(feat_store[s], feat_store[t]) (loss_irg loss_kd).backward() optimizer.step() scheduler.step()训练循环里两个必须说明的点。KLDivLoss前面乘T²是Hinton蒸馏的标准写法温度T把梯度scale缩小了T²倍乘回来才能让KD项和分类loss处于同一量级。IRG项不需要温度缩放它直接作用于特征空间。优化器选SGD带动量而不是AdamResNet系列在SGD加余弦退火下收敛更平滑Adam前期更快但最后精度通常低0.5个点左右。4.3 超参数参照表与调节顺序参数推荐起点调节方向温度T4.0类别数多调小到2分布太平调大到6alpha0.3特征回归失控先调小beta1.0batch128时加到3.0有明显收益gamma0.5收敛后期可调大强化排序学习率0.01换数据集时按batch/256同步缩放batch128显存够就上256每个超参数单独调不要同时动两个。调节顺序建议batch固定→T固定→beta从1.0加到3.0观察5个epoch→alpha减半看pair项是否回升→最后用swa或ema收尾。5. 蒸馏效果验证与三个必踩的坑5.1 用accuracy1对比教师、蒸馏学生和基线学生训练结束后单独写评估脚本三组数对比ResNet50教师、IRG蒸馏出的ResNet18、从零训练的ResNet18。第三组必须跑否则判断不了IRG的增益。def evaluate(model, loader): model.eval() correct total 0 with torch.no_grad(): for images, labels in loader: out model(images.cuda()) correct (out.argmax(1).cpu() labels).sum().item() total labels.size(0) return correct / total print(teacher :, evaluate(teacher, test_loader)) print(distilled :, evaluate(student, test_loader)) print(baseline :, evaluate(baseline, test_loader))CIFAR-100上用前面的配置教师大约78%从零训练的ResNet18大约73%蒸馏后通常到75.5%左右具体随增强和随机种子浮动。增益不到1.5个点时先查stage层位和beta权重。5.2 三个反复出现的坑与EMA收尾第一个坑是hook残留。重复跑训练时旧hook留在模块上显存随epoch累积。训练结束后调用h1.remove()、h2.remove()并清空feat_store。第二个坑是pair loss随batch波动。batch32时pair项数值跳动几个数量级训练波动大。固定随机种子、batch升到128后曲线会平滑很多。第三个坑是两项loss的梯度量级不一致。backward前分别打印KL项和IRG项让KL项乘T²后与IRG项同量级再反向。收尾用EMA提点对学生参数做滑动平均推理用EMA权重还能再拿0.3到0.5个点# 每个epoch结束后执行decay越大历史权重占比越高 with torch.no_grad(): for k, v in student.state_dict().items(): ema_weights[k] decay * ema_weights[k] (1 - decay) * v评估前把ema_weights整体加载进student替换state_dict注意BatchNorm的running_mean和running_var也一起换掉只换卷积核会让BN统计量错位。epoch越多decay越靠近0.9999150轮用0.9999。本文还有配套的精品资源点击获取