083、YOLOv11改进-知识蒸馏策略中学生模型设计与损失函数选择——即插即用蒸馏模块提升轻量模型mAP达3.2%一、踩坑实录：蒸馏不是简单“抄作业”上个月调YOLOv11n的蒸馏，跑了三天结果mAP反而掉了0.5%。debug时发现教师模型和学生模型的特征图尺寸对不上，蒸馏loss直接爆炸。更坑的是，我一开始直接拿YOLOv11x当教师去蒸馏YOLOv11n，结果学生学了一堆冗余特征，检测头反而更不稳定了。这种问题在知识蒸馏里太常见了。很多人以为蒸馏就是让学生模仿教师的输出，但YOLOv11这种anchor-free的检测头，输出层包含分类、回归、DFL三个分支，直接硬对齐反而会引入噪声。今天这篇笔记，我把踩过的坑和最终有效的方案拆开来讲。二、学生模型设计：不是越轻越好2.1 结构剪枝的误区YOLOv11n默认结构是3个检测头+6个C3k2模块。我最初尝试直接砍掉一个检测头来压缩参数量，结果小目标检测能力直接崩了。后来发现，对于蒸馏场景，学生模型的设计核心是保持感受野匹配。我的做法是保留YOLOv11n的完整检测头结构，只在backbone的C3k2模块里做通道数缩减。具体来说，把每个C3k2的中间通道数从默认的256/128/64缩减为192/96/48。这样参数量从2.6M降到1.8M，但感受野和特征金字塔结构完全对齐教师模型。
083、YOLOv11改进-知识蒸馏策略中学生模型设计与损失函数选择——即插即用蒸馏模块提升轻量模型mAP达3.2%一、踩坑实录：蒸馏不是简单“抄作业”上个月调YOLOv11n的蒸馏，跑了三天结果mAP反而掉了0.5%。debug时发现教师模型和学生模型的特征图尺寸对不上，蒸馏loss直接爆炸。更坑的是，我一开始直接拿YOLOv11x当教师去蒸馏YOLOv11n，结果学生学了一堆冗余特征，检测头反而更不稳定了。这种问题在知识蒸馏里太常见了。很多人以为蒸馏就是让学生模仿教师的输出，但YOLOv11这种anchor-free的检测头，输出层包含分类、回归、DFL三个分支，直接硬对齐反而会引入噪声。今天这篇笔记，我把踩过的坑和最终有效的方案拆开来讲。二、学生模型设计：不是越轻越好2.1 结构剪枝的误区YOLOv11n默认结构是3个检测头+6个C3k2模块。我最初尝试直接砍掉一个检测头来压缩参数量，结果小目标检测能力直接崩了。后来发现，对于蒸馏场景，学生模型的设计核心是保持感受野匹配。我的做法是保留YOLOv11n的完整检测头结构，只在backbone的C3k2模块里做通道数缩减。具体来说，把每个C3k2的中间通道数从默认的256/128/64缩减为192/96/48。这样参数量从2.6M降到1.8M，但感受野和特征金字塔结构完全对齐教师模型。
)
