091、EfficientAdditiveAttention加法注意力在YOLOv12中的实现：去除矩阵乘法的涨点与推理加速实验

091、EfficientAdditiveAttention加法注意力在YOLOv12中的实现：去除矩阵乘法的涨点与推理加速实验从一次深夜调试说起上周有个学员跑来找我，说他的YOLOv12在VisDrone上mAP卡在42.3%死活上不去，换了各种trick都无效。我远程看了一眼他的训练日志，发现一个有意思的细节——模型在浅层特征上花费了大量的FLOPs，但梯度回传时这些位置的贡献几乎可以忽略不计。这让我想起去年读的一篇关于加法注意力（Additive Attention）的论文，当时觉得思路清奇但没太当回事，现在回头看，这玩意儿可能正是我们需要的。传统的多头自注意力（MHSA）依赖矩阵乘法计算Query和Key之间的相似度，计算复杂度随特征图尺寸平方增长。YOLOv12虽然已经用了一些轻量化设计，但在处理高分辨率输入时，注意力模块的矩阵乘法依然是推理延迟的主要瓶颈之一。EfficientAdditiveAttention的核心思想很粗暴——用逐元素加法和前馈网络替代Query和Key的矩阵乘法，把注意力权重的计算从二次复杂度降到线性。论文核心思想：加法比乘法更便宜这篇论文（我印象中是发表在某个CVPR workshop上的）提出了一个非常反直觉的观点：我们真的需要那么精确的相似度度量吗？在目标检测任务中，注意力权重的作用是让网络关注到重要区域，而不是精确计算每个像素对之间的相关性。基于这个观察，作者设计了一个双分支结构——一个分支用可学习的加性函数计算注意力权重，另一个分支保持原始的特征变换。