学术速递 | AAAI 2026 Accepted Papers For Image Fusion @ 请选出你心中的最佳论文!(点击跳转阅读)本文为 AAAI 2026 图像融合方向中,最受读者欢迎论文投票排名第二名,共计 28 票占比为 28.28%。
导读
红外和可见光图像融合的目的就是将红外图中的明显目标以及可见光图中的纹理细节合并到一幅图像里来。
现有的方法一般都依靠更加复杂化的网络结构来提高性能,但是本文认为:网络越大,并不意味着学习得越充分。在训练到中期以后的时候,大部分模块的权重更新速度就会变得很慢了,有的还会停止下来,作者把这种情况叫做网络懒人。
本文提出AIDFusion,不再单纯堆叠复杂网络,而是通过动态抑制网络惰性,让轻量模型也能充分发挥融合能力。
一句话理解:AIDFusion 的核心不是把网络做大,而是让轻量网络真正“动起来、学起来、用起来”。
核心信息
论文题目Revisiting Network Inertia: Dynamic Inertia Inhibition Coupled Multidimensional Periodicity for Infrared and Visible Image Fusion | 重审网络惯性:动态惯性抑制耦合多维周期性用于红外与可见光图像融合
作者Yufeng Chen、Yuan Sun、Hao Pan、Xujian Zhao、Jian Dai、Zhenwen Ren**、Xingfeng Li**
单位西南科技大学、四川大学和西南自动化研究所
代码https://github.com/YufengChen1113/AIDFusion
发表AAAI 2026
关键词红外和可见光融合、轻量化的网络结构、网络的惰性、多维度特征融合以及傅里叶卷积
01 问题:轻量级网络弱,复杂的网络也会变得“懒惰”
如图1 所示的网络惰性现象
轻量网络计算量小,但是表达能力差;复杂的网络表达能力强,但是会带来大量的参数和计算量,在训练过程中后期会出现权重更新速度减慢的情况。
即有很多网络虽然在训练中但是实际上已经处于“惰性状态”,所以模型的潜力没有得到充分挖掘。
关键矛盾
图像融合除了要有一个好的网络之外,在训练的过程中还要不断地进行有效的学习。
图2 设计意图以及性能对比
左边两种情况分别是:普通的轻量级网络参数少、计算低但是表达能力差;复杂的网络虽然强一些,但是参数和计算量都很大,在训练过程中容易出现“网络惰性”。本文的方法用到了DIILS和MMFM来使轻量网络里的每个模块一直有效地进行学习,这就相当于蚂蚁虽然少但是很努力。
右边的雷达图表示,在MSRS数据集上AIDFusion的综合指标更优,并且参数数量、GFLOPs和显存占用也较小,说明了在性能和效率之间有一个更好的平衡。
02 DIILS:使网络在后期阶段仍然可以进行学习
图3 AIDFusion 整体结构
为了减小网络延迟的影响,本文提出了动态惯性抑制学习方法。
一般的方法只是对最后的结果进行监督,在AIDFusion中加入了在各个解码层之后的预测分支,使每一层都可以参与到监督当中来。
但是多层监督不能一开始就全部加入进来,否则会使得训练变得不稳定。所以本文采取了渐进的方式,在前面阶段进行正常的训练,在后面阶段逐渐增加更多的层次监督。
一句话理解:DIILS就是当网络快要“躺平”时候,逐步给在各个层次上加入监督,并把它们再激活起来。
MMFM:低预算实现多种方式融合
图4 MMFM模块结构
只让网络继续学习是不够的,还要加强轻量网络的特征融合能力。
本文提出MMFM 多维调制融合模块,主要包括:
MPSA 多角度稀疏注意:同时用H-W、H-C、W-C三种方式来建立模型,并且捕捉到更加完整空间和通道的关系。
MSRT 多尺度循环Transformer:用较小的计算开销来获取不同尺度上的特征,并且加强了红外和可见光之间相互补充的信息。
一句话理解:MMFM 并不是简单的把两种模态拼接在一起,在轻量化的前提下使网络能够从多方面去理解这两种图像应该如何融合。
04 FAConv:利用周期性先验来帮助恢复
图5 普通卷积和FAConv比较
本文还提出FAConv 傅里叶分析卷积在解码过程中加入Sine和Cosine周期函数来利用周期性进行特征恢复。
普通的卷积可以看作是局部映射,但是FAConv给网络加入了一个明显的周期性建模先验,使得融合后的特征被还原成最终图像的过程更加有效。
一句话理解:FAConv 采用傅里叶周期性特征来辅助解码器快速稳定地还原出融合后的图像。
05 实验:效果很好,计算量也很小
图6 定性比较的结果
表 1 MSRS 数据集上量化的比较结果
表 2 在M3FD、FMB两个数据集上进行量化的比较结果
论文在MSRS、M3FD、FMB在三个公开的数据集上做实验,并和SwinFusion、LRRNet、CDDFuse、DATFuse、CrossFuse、EMMA、SAGE、GIFNet等方法比较一下。
在MSRS数据集上,AIDFusion在CC、SCD、MS-SSIM得到最好的结果,在SSIM得到次好的结果。
而且它的体积很小:
参数为 0.247MGFLOPS: 1.85内存占用为 0.83G
与之相比,SwinFusion 是 118.53GFLOPs、CDDFuse 是 220.92GFLOPs,但是 AIDFusion 只有 1.85GFLOPs。
一句话理解:AIDFusion 优势并不是通过增加计算量来实现的,在很小的成本之下就得到了很好的融合效果。
06 消融:三部分均有效
图7 消融实验定性结果
表3 消融实验量化的结果
消融实验证明,在去掉DIILS、MMFM或者FAConv之后,模型的表现都变差了。
其中,DIILS 用来减小网络的惰性,MMFM 用来加强跨模态交互的效果,FAConv 用来提高解码和还原的能力。
一句话理解:DIILS使网络继续学习,MMFM使网络学习更加全面,FAConv使得结果恢复得更好。
07 一句话总结
AIDFusion 的主要贡献,并不是提出了一个更大型的融合网络,而是在于从“网络利用率”的角度来解决轻量网络在训练过程中后期会变得“懒惰”的问题。
它通过抑制网络惰性的DILS,通过MMFM加强了多种模式下的融合,再通过FAConv 采用周期性恢复先验最后实现了一个比较好的性能和效率之间的平衡。
要记住的是
轻量级模型并不一定差,主要看有没有把网络的优势发挥出来。
对图像融合的研究有帮助
未来的方法不一定要用到更大的模型上,在训练动态、网络利用效率以及轻量化模块的设计方面也存在新的突破点。
END