尧图网站建设 
一. 前言RGBT可见光 红外目标检测通过同时输入 RGB 可见光图像与红外热成像图像利用两者互补信息可见光提供丰富纹理、色彩信息红外不受光照、黑夜、烟雾干扰提供热辐射特征在夜间安防、自动驾驶、低空监视等场景具备巨大价值。但 RGBT 任务的核心难点不在于简单拼接 4 通道输入而在于跨模态特征对齐与高效融合可见光与红外模态存在明显域偏移亮度、对比度、特征分布不一致简单相加 / 拼接很容易引入噪声互相干扰反而降低检测性能。现有很多双分支方案大多在网络最深层才做融合浅层的细粒度边缘、小目标特征得不到充分交互部分早期差分融合方案使用固定vis‑ir做特征差分权重完全固定不能自适应不同场景下两个模态的可靠性。针对这个痛点本文自研AdaptiveGatedFusion(AGF自适应门控差分融合)模块在 P3/P4/P5 多尺度骨干阶段就进行双向跨模态交互配合残差特征相加与极化通道自注意力实现可见光、红外特征的渐进融合。二. 双模态整体网络架构设计整体网络遵循双独立骨干 多尺度渐进融合 标准 YOLO的范式。 输入可见光分支、红外分支特征输入到双backbone特征提取模块中。双分支独立编码RGB 分支、IR 红外分支各自进行下采样分别得到 P3 (8×)、P4 (16×)、P5 (32×) 多尺度特征。Stage‑wise 渐进融合核心每一个尺度P3/P4/P5提取完本层特征后立刻送入自研AdaptiveGatedFusion模块AGF 接收同尺度 vis、ir 特征输出增强差分融合特征通过C2DFF_FeatureAdd残差相加分别把增强特征回加到可见光分支、红外分支两条分支都被融合信息更新继续往下下采样这一步非常关键不是融合完丢掉其中一条支路而是双向更新两个分支都携带跨模态互补信息梯度可以双向回流。SPPF‑C2PSA 增强P5 阶段两条分支分别使用 YOLO11 原生SPPF C2PSA模块扩大感受野强化高层语义。多模态对齐输出P3/P4/P5 两个支路的特征送入C2DFF_PolarizedSelfAttention_Channel极化通道自注意力完成通道维度的多模态对齐输出 3 路多尺度融合特征送入检测头。三、AdaptiveGatedFusion 核心原理AdaptiveGatedFusion自适应门控差分融合围绕动态门控自适应、跨模态差分增强、多尺度空间校准三大核心思想设计第一模态自适应加权思想。传统跨模态差分采用固定相减方式无法适配复杂场景模态质量波动。该模块通过可学习门控对可见光、红外特征动态分配权重场景明亮时侧重可见光纹理暗光干扰场景侧重红外热特征实现双模态信息自适应配比融合。第二差分特征提纯思想。利用双模态特征差值筛选有效目标信息背景区域两模态特征高度重合、差分响应低目标区域特征差异显著、差分响应高以此抑制背景冗余、强化目标弱特征大幅提升跨模态特征信噪比。第三双向互补融合思想。区别于单路融合模块将差分增强特征双向回流至可见光、红外双分支让两路特征均获得跨模态互补信息配合多尺度卷积组完成空间特征强化实现细粒度、高精度的多模态特征对齐与增强。整套 AdaptiveGatedFusion 由自适应门控分支、差分增强单元、通道注意力单元、双向残差融合单元、多尺度空间卷积分支、输出映射单元逐级串联构成为 RGBT 双分支检测专用可插拔融合模块自适应门控分支采用 1×1 卷积对可见光特征编码结合 Sigmoid 激活生成逐通道自适应门控权重动态平衡可见光与红外模态的特征贡献度。自适应差分增强单元依托门控权重完成加权差分计算替代固定差分模式提取双模态差异化目标特征经 1×1 卷积与 GELU 激活完成初步特征提纯。双池化通道注意力单元内置平均池化与最大池化双支路统计结构对差分特征进行通道维度重标定增强有效特征通道、压制背景与噪声通道。双向残差融合单元将注意力提纯后的差分特征分别残差叠加至原始可见光、红外特征再融合双支路增强特征实现双模态信息双向互补、梯度双向回流。多尺度非对称卷积单元并行搭载 5×5 标准深度卷积、多组横竖分解一维大核卷积轻量化捕获多尺度、长条形目标空间轮廓特征适配多形态目标检测场景。输出映射单元对多尺度空间特征做权重重校准通过 1×1 卷积调整通道维度输出最终跨模态融合增强特征。四、代码与配套视频教程4.1 仓库地址YOLO11 double backbone:https://github.com/tgf123/YOLOv8_improve/blob/master/YOLOv11_double_backbone.mdYOLO12 double backbone:https://github.com/tgf123/YOLOv8_improve/blob/master/YOLO12%E5%8F%8Cbackbone.mdYOLO26 double backbone:https://github.com/tgf123/YOLOv8_improve/blob/master/YOLO26%E5%8F%8Cbackbone.md双模态:https://github.com/tgf123/YOLOv8_improve/blob/master/%E5%8F%8C%E6%A8%A1%E6%80%81.md4.2 视频讲解https://www.bilibili.com/video/BV1vPozBGE8C/?spm_id_from333.1387.collection.video_card.clickvd_source8a6043a22d94a87da35299c073140577https://www.bilibili.com/video/BV12To9BiEiy/?spm_id_from333.1387.collection.video_card.click五、双模态介绍双模态yaml结构AdaptiveGatedFusion代码和task导包 双模态YOLO双分支检测：自研 AdaptiveGatedFusion 自适应门控差分融合
一. 前言RGBT可见光 红外目标检测通过同时输入 RGB 可见光图像与红外热成像图像利用两者互补信息可见光提供丰富纹理、色彩信息红外不受光照、黑夜、烟雾干扰提供热辐射特征在夜间安防、自动驾驶、低空监视等场景具备巨大价值。但 RGBT 任务的核心难点不在于简单拼接 4 通道输入而在于跨模态特征对齐与高效融合可见光与红外模态存在明显域偏移亮度、对比度、特征分布不一致简单相加 / 拼接很容易引入噪声互相干扰反而降低检测性能。现有很多双分支方案大多在网络最深层才做融合浅层的细粒度边缘、小目标特征得不到充分交互部分早期差分融合方案使用固定vis‑ir做特征差分权重完全固定不能自适应不同场景下两个模态的可靠性。针对这个痛点本文自研AdaptiveGatedFusion(AGF自适应门控差分融合)模块在 P3/P4/P5 多尺度骨干阶段就进行双向跨模态交互配合残差特征相加与极化通道自注意力实现可见光、红外特征的渐进融合。二. 双模态整体网络架构设计整体网络遵循双独立骨干 多尺度渐进融合 标准 YOLO的范式。 输入可见光分支、红外分支特征输入到双backbone特征提取模块中。双分支独立编码RGB 分支、IR 红外分支各自进行下采样分别得到 P3 (8×)、P4 (16×)、P5 (32×) 多尺度特征。Stage‑wise 渐进融合核心每一个尺度P3/P4/P5提取完本层特征后立刻送入自研AdaptiveGatedFusion模块AGF 接收同尺度 vis、ir 特征输出增强差分融合特征通过C2DFF_FeatureAdd残差相加分别把增强特征回加到可见光分支、红外分支两条分支都被融合信息更新继续往下下采样这一步非常关键不是融合完丢掉其中一条支路而是双向更新两个分支都携带跨模态互补信息梯度可以双向回流。SPPF‑C2PSA 增强P5 阶段两条分支分别使用 YOLO11 原生SPPF C2PSA模块扩大感受野强化高层语义。多模态对齐输出P3/P4/P5 两个支路的特征送入C2DFF_PolarizedSelfAttention_Channel极化通道自注意力完成通道维度的多模态对齐输出 3 路多尺度融合特征送入检测头。三、AdaptiveGatedFusion 核心原理AdaptiveGatedFusion自适应门控差分融合围绕动态门控自适应、跨模态差分增强、多尺度空间校准三大核心思想设计第一模态自适应加权思想。传统跨模态差分采用固定相减方式无法适配复杂场景模态质量波动。该模块通过可学习门控对可见光、红外特征动态分配权重场景明亮时侧重可见光纹理暗光干扰场景侧重红外热特征实现双模态信息自适应配比融合。第二差分特征提纯思想。利用双模态特征差值筛选有效目标信息背景区域两模态特征高度重合、差分响应低目标区域特征差异显著、差分响应高以此抑制背景冗余、强化目标弱特征大幅提升跨模态特征信噪比。第三双向互补融合思想。区别于单路融合模块将差分增强特征双向回流至可见光、红外双分支让两路特征均获得跨模态互补信息配合多尺度卷积组完成空间特征强化实现细粒度、高精度的多模态特征对齐与增强。整套 AdaptiveGatedFusion 由自适应门控分支、差分增强单元、通道注意力单元、双向残差融合单元、多尺度空间卷积分支、输出映射单元逐级串联构成为 RGBT 双分支检测专用可插拔融合模块自适应门控分支采用 1×1 卷积对可见光特征编码结合 Sigmoid 激活生成逐通道自适应门控权重动态平衡可见光与红外模态的特征贡献度。自适应差分增强单元依托门控权重完成加权差分计算替代固定差分模式提取双模态差异化目标特征经 1×1 卷积与 GELU 激活完成初步特征提纯。双池化通道注意力单元内置平均池化与最大池化双支路统计结构对差分特征进行通道维度重标定增强有效特征通道、压制背景与噪声通道。双向残差融合单元将注意力提纯后的差分特征分别残差叠加至原始可见光、红外特征再融合双支路增强特征实现双模态信息双向互补、梯度双向回流。多尺度非对称卷积单元并行搭载 5×5 标准深度卷积、多组横竖分解一维大核卷积轻量化捕获多尺度、长条形目标空间轮廓特征适配多形态目标检测场景。输出映射单元对多尺度空间特征做权重重校准通过 1×1 卷积调整通道维度输出最终跨模态融合增强特征。四、代码与配套视频教程4.1 仓库地址YOLO11 double backbone:https://github.com/tgf123/YOLOv8_improve/blob/master/YOLOv11_double_backbone.mdYOLO12 double backbone:https://github.com/tgf123/YOLOv8_improve/blob/master/YOLO12%E5%8F%8Cbackbone.mdYOLO26 double backbone:https://github.com/tgf123/YOLOv8_improve/blob/master/YOLO26%E5%8F%8Cbackbone.md双模态:https://github.com/tgf123/YOLOv8_improve/blob/master/%E5%8F%8C%E6%A8%A1%E6%80%81.md4.2 视频讲解https://www.bilibili.com/video/BV1vPozBGE8C/?spm_id_from333.1387.collection.video_card.clickvd_source8a6043a22d94a87da35299c073140577https://www.bilibili.com/video/BV12To9BiEiy/?spm_id_from333.1387.collection.video_card.click五、双模态介绍双模态yaml结构AdaptiveGatedFusion代码和task导包