面向红外小目标检测的方向感知偏移增强与动态可变形卷积

论文解读 | EDDNet：方向感知偏移增强 + 动态可变形卷积，让红外小目标检测摆脱背景噪声淹没

论文：Direction-Aware Offset Enhancement and Dynamic Deformable Convolution for Infrared Small-Target Detection作者：Baofeng Ji, Dewei Wang, Jianpeng Bai, Guoqiang Zheng, Tongshuai Xin, Huitao Fan（河南科技大学 / 龙门实验室 / 郑州煤矿机械集团等）期刊：IEEE Transactions on Geoscience and Remote Sensing, Vol. 64, 2026, Article 5620310DOI：10.1109/TGRS.2026.3688853 ｜代码：GitHub - wdw0537/EDDNet: Official implementation of "EDDNet: [Direction-Aware Offset Enhancement and Dynamic Deformable Convolution for Infrared Small Target Detection]" · GitHub

博主简介

​

AI小怪兽 | 计算机视觉布道者 | 视觉检测领域创新者

深耕计算机视觉与深度学习领域，专注于目标检测前沿技术的探索与突破。长期致力于YOLO系列算法的结构性创新、性能极限优化与工业级落地实践，旨在打通从学术研究到产业应用的最后一公里。

🚀 核心专长与技术创新

• YOLO算法结构性创新：于CSDN平台原创发布《YOLO26魔术师》、《YOLO11魔术师》等全系列深度专栏。系统性提出并开源了多项原创自研模块，在模型轻量化设计、多维度注意力机制融合、特征金字塔重构等关键方向完成了一系列突破性实践，为行业提供了具备高参考价值的技术路径与完整解决方案。

• 技术生态建设与知识传播：独立运营“计算机视觉大作战”公众号（粉丝2.3万），成功构建高质量的技术交流社群。致力于将复杂算法转化为通俗易懂的解读与可复现的工程代码，显著降低了计算机视觉的技术入门门槛。

🏆 行业影响力与商业实践

• 荣获腾讯云年度影响力作者与创作之星奖项，内容质量与专业性获行业权威平台认证。

• 全网累计拥有8万+垂直领域技术受众，专栏文章总阅读量突破百万，在目标检测领域形成了广泛的学术与工业影响力。

• 具备丰富的企业级项目交付经验，曾为工业视觉检测、智慧城市安防等多个关键领域提供定制化的算法模型与解决方案，驱动业务智能化升级。

💡 未来方向与使命

秉持“让每一行代码都有温度”的技术理念，未来将持续聚焦于实时检测、语义分割及工业缺陷检测的商业化闭环等核心方向。愿与业界同仁协同创新，共同推动技术边界，以坚实的技术能力赋能实体经济与行业变革。

原创自研系列，26年计算机视觉顶会创新点

《YOLO26魔术师》

《YOLO26-seg魔术师》

原创自研系列，25年计算机视觉顶会创新点

《YOLOv13魔术师》

《YOLOv12魔术师》

《YOLO11魔术师》

《YOLOv8原创自研》

《YOLOv5原创自研》

《YOLOv7原创自研》

《YOLOv9魔术师》

​《YOLOv10魔术师》 ​

应用系列篇：

《YOLO小目标检测》

《深度学习工业缺陷检测》

《YOLOv8-Pose关键点检测》

23、24年最火系列，加入24年改进点内涵100+优化改进篇，涨点小能手，助力科研，好评率极高

《YOLOv8魔术师》

《YOLOv7魔术师》

《YOLOv5/YOLOv7魔术师》

《RT-DETR魔术师》

一、摘要

红外小目标检测（IRSTD）在军用与民用领域都扮演着关键角色。然而红外小目标本身尺寸极小，往往小于卷积核的尺寸，传统卷积操作不可避免地引入背景噪声，导致检测性能不佳。本文提出增强动态可变形网络EDDNet：在特征提取过程中减少背景噪声引入的同时，充分提取小目标特征。具体包括三个设计：

1）设计动态可变形卷积，在精准提取红外小目标特征的同时，最小化背景噪声干扰；

2）提出方向感知偏移增强（DAOE）模块，增强卷积核采样点向小目标偏移的能力；

3）在编码器—解码器过渡处引入语义精炼（SR）模块，增强深度语义特征，确保网络在聚焦小目标的同时保持语义感知。

在 NUAA-SIRST、NUDT-SIRST、IRSTD-1K 三个公开数据集上的大量实验表明，该方法优于现有 SOTA 方法，能在复杂背景下提取更有效的目标信息。

二、研究背景和意义

2.1 红外小目标：一个"先天不足"的检测难题

红外热成像（ITI）通过红外探测器捕捉目标热辐射成像。由于红外波长超过可见光，能有效穿透雾、烟等大气障碍，在恶劣天气下具备可见光难以比拟的探测优势；凭借热辐射特征，目标识别得以突破视觉限制。依托全天候工作能力，IRSTD 在军用（作战交战与防御系统）与民用（智能交通管理、农业监测、水下侦察）领域均有重要价值。

但红外小目标天生带有三大"缺陷"：

与汽车、人脸等具有丰富几何结构和纹理的普通目标不同，红外小目标往往呈现为点状斑块，几乎没有可利用的形状信息。

2.2 现有方法的瓶颈：固定卷积核的"原罪"

传统图像处理方法各有所长但各有硬伤：

• 滤波类（Top-hat、max-median/max-mean）：只能抑制简单背景杂波，复杂场景性能急剧退化，虚警率高；

• 人眼视觉建模类：对高亮小目标敏感，但目标与背景相似时难以区分；

• 低秩矩阵类：能适应暗弱小目标，但复杂背景中形状多变的目标仍导致高虚警；

• 共同短板：严重依赖手工特征，难例表现不佳。

深度学习时代，CNN 成为主流，U 形架构（U-Net）显著提升了复杂背景下的鲁棒性，特征融合模块被用于弥合"低层细节 vs 高层语义"的断层，CNN-Transformer 混合模型则试图补足 CNN 全局上下文不足的短板。然而这些方法存在一个共同的"原罪"：全部依赖固定网格卷积核。当目标尺寸小于卷积核（subkernel scale）时，3×3 感受野内绝大多数采样点落在背景上，卷积响应被背景主导，弱目标信号被噪声淹没——性能瓶颈不在后处理，而在特征提取的第一步。

2.3 研究意义

EDDNet 的价值不止于刷榜：它把引入可变形卷积的动机从"处理几何变换"重新定义为"在乘法操作前先做一次空间注意力，从物理上过滤背景杂波"，实现了从"事后滤波"到"源头抑制"的范式转变。这对算力受限的机载/边端红外探测系统尤其有意义——不依赖 Transformer 即可获得对点状目标的定位先验。

三、创新点

1）EDDNet 整体架构：克服传统固定卷积核在特征提取中引入背景噪声的问题，并通过输入依赖的动态卷积核尺寸适配不同大小的小目标；

2）DAOE 模块：通过单向池化定位小目标边界，约束可变形卷积采样点的偏移自由度，使其向小目标收敛；

3）SR 模块：在编码到解码的过渡阶段，将深层语义信息重新聚焦到小目标上。

四、创新点解读

4.1 问题本质：卷积核比目标还大

承接背景部分：当目标小于 3×3 卷积核时，固定网格的 9 个采样点中大部分落在背景上，微弱目标信号被背景噪声淹没，卷积响应被背景主导。

作者特别指出：引入可变形卷积的动机不是处理旋转、缩放等几何变换，而是自适应地把采样点聚集到稀疏的目标区域——相当于在乘法累加之前先做一次"空间注意力"，从物理上过滤背景杂波，实现"从源头抑制"而非"事后滤波"。

4.2 增强动态可变形卷积（EDDConv）

输入先经 ResBlock 将通道扩展到 C=16，随后编码器由 5 级 EDDConv 下采样构成。每一级 EDDConv 包含两条分支：

• 动态路由：MaxPool → Conv2d → Sigmoid生成路径权重 W_d，按输入特征动态调节各核尺寸的贡献；

• 多尺度采样：核尺寸配置为 {1, 3, 5}（小目标平均约 50 像素，故刻意避开更大核，防止引入背景噪声与额外延迟），另加一路可学习高斯核（对点状目标有增强作用）；

• 输出为cat(Fx1, Fx3, Fx5, Fg) × W_d，即"多尺度特征拼接后按输入动态加权"。

4.3 DAOE 模块：给 offset 装上"导航仪"

标准可变形卷积在亚像素目标上容易"offset 失灵"（学到的偏移紊乱）。DAOE 的核心思路是约束 offset 的自由度：

沿 x 方向、y 方向分别做 MaxPool，再做全局 MaxPool。关键在于：全局池化会丢失空间坐标，而MaxPool_x 与 MaxPool_y 分别保留水平/垂直轴上的峰值响应位置，二者拼接相当于一个显式的空间坐标系，提供几何先验，引导可学习偏移 Δb_n 收敛到 x/y 峰值的交点——即目标中心，从而让卷积核物理"收缩"以贴合极小目标。此外，每个采样点引入调制因子 M(b_n)，对错误 offset 的影响逐点增强或抑制：

y(b₀) = Σ M(b_n) · w(b_n) · x(b₀ + b_n + Δb_n)

4.4 SR 模块：编码—解码之间的语义接力

编码阶段已滤除大部分背景噪声后，SR 模块部署在特征图分辨率最低的瓶颈处：由不同扩张率的深度可分离卷积（3×3、5×5）+通道混洗（Channel Shuffle）级联而成，首尾以 1×1 卷积调整通道并带残差连接。扩张感受野有助于抑制目标周边残余噪声而不引入新背景；通道混洗促进编码器到解码器的特征过渡，增强泛化能力。

五、实验结果

5.1 实验设置

评价指标为 IoU、nIoU（归一化 IoU，小目标分割专用）、Pd（检测率）与 Fa（虚警率，×10⁻⁶）。训练平台为 RTX 3090，PyTorch 实现，Xavier 初始化，Adagrad 优化器 + SoftIoU 损失，学习率 0.05，从零训练。对比方法涵盖 10 个 SOTA：ACM、ALCNet、DNA-Net、ISNet、UIU-Net、PBT、MRF-Net、RRCANet、FMNet、SCTransNet。

5.2 主实验（Table I 精选，单位 %）

• NUAA-SIRST：IoU / nIoU 超次优 MRF-Net 1.37 / 1.32 个点；Pd 96.591% 仅比最高的 FMNet（96.958%）低 0.36 个点；Fa 15.897×10⁻⁶。

• NUDT-SIRST：IoU / nIoU 超 MRF-Net 0.54 / 0.52 个点；Pd 99.361%，仅低于 DNA-Net 0.1 个点；Fa 3.913×10⁻⁶。

• IRSTD-1K：IoU 68.564% 超 PBT 0.125 个点；nIoU 66.507% 略低于 PBT 的 67.841%，但 Pd（94.913%）与 Fa（16.154×10⁻⁶）双优。

• WideIRSTD-Full（大规模最难场景）：IoU / nIoU 全场最高，但 Pd（57.360%）低于 SCTransNet（59.435%），Fa（59.883×10⁻⁶）明显差于 UIU-Net（20.088×10⁻⁶）——虚警控制仍是短板。

定性结果（Fig. 6）显示，EDDNet 的定位更准、轮廓更完整、漏检（绿框）与虚警（黄框）更少：

5.3 消融实验（Table II，NUAA-SIRST）

三个关键读数：

1）动态路由按输入自适应调配多尺度核权重，IoU +1.47；

2）裸的可变形卷积反而掉点（76.984%，低于动态路由变体 77.385%）——无约束的 offset 在亚像素目标上会紊乱，恰好反衬 DAOE 的必要性；

3）DAOE 是全文最大的单模块增益：IoU 从 76.98% 拉至 78.91%（+1.93）；SR 再补 0.37 个点，并把 Fa 压到最低 15.897×10⁻⁶。

特征热力图（Fig. 12）进一步显示：加入 SR 前后，深层网络对小目标邻域的关注显著增强，背景响应被持续抑制：

六、展望

论文自述的局限与未来方向：

1）速度代价：动态 offset 计算不可避免增加计算复杂度，相比静态卷积推理速度略有下降（完整版 15.228G FLOPs，约为 baseline 的 2.2 倍）；

2）极端杂波虚警：在与目标特征相似的高强度杂波场景中，仍可能出现少量虚警；

3）后续将聚焦模型轻量化与语义约束的进一步探索。