news 2026/7/9 3:22:40

AAAI 2026 | 蚂蚁虽小也能搬山:西南科大提出 AIDFusion 让轻量融合网络不再 “躺平”

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
AAAI 2026 | 蚂蚁虽小也能搬山:西南科大提出 AIDFusion 让轻量融合网络不再 “躺平”

学术速递 | AAAI 2026 Accepted Papers For Image Fusion @ 请选出你心中的最佳论文!(点击跳转阅读)本文为 AAAI 2026 图像融合方向中,最受读者欢迎论文投票排名第二名,共计 28 票占比为 28.28%。


导读

红外和可见光图像融合的目的就是将红外图中的明显目标以及可见光图中的纹理细节合并到一幅图像里来。

现有的方法一般都依靠更加复杂化的网络结构来提高性能,但是本文认为:网络越大,并不意味着学习得越充分。在训练到中期以后的时候,大部分模块的权重更新速度就会变得很慢了,有的还会停止下来,作者把这种情况叫做网络懒人

本文提出AIDFusion,不再单纯堆叠复杂网络,而是通过动态抑制网络惰性,让轻量模型也能充分发挥融合能力。

一句话理解:AIDFusion 的核心不是把网络做大,而是让轻量网络真正“动起来、学起来、用起来”。


核心信息

论文题目Revisiting Network Inertia: Dynamic Inertia Inhibition Coupled Multidimensional Periodicity for Infrared and Visible Image Fusion | 重审网络惯性:动态惯性抑制耦合多维周期性用于红外与可见光图像融合

作者Yufeng Chen、Yuan Sun、Hao Pan、Xujian Zhao、Jian Dai、Zhenwen Ren**、Xingfeng Li**

单位西南科技大学、四川大学和西南自动化研究所

代码https://github.com/YufengChen1113/AIDFusion

发表AAAI 2026

关键词红外和可见光融合、轻量化的网络结构、网络的惰性、多维度特征融合以及傅里叶卷积


01 问题:轻量级网络弱,复杂的网络也会变得“懒惰”

如图1 所示的网络惰性现象

轻量网络计算量小,但是表达能力差;复杂的网络表达能力强,但是会带来大量的参数和计算量,在训练过程中后期会出现权重更新速度减慢的情况。

即有很多网络虽然在训练中但是实际上已经处于“惰性状态”,所以模型的潜力没有得到充分挖掘。

关键矛盾

图像融合除了要有一个好的网络之外,在训练的过程中还要不断地进行有效的学习。

图2 设计意图以及性能对比

左边两种情况分别是:普通的轻量级网络参数少、计算低但是表达能力差;复杂的网络虽然强一些,但是参数和计算量都很大,在训练过程中容易出现“网络惰性”。本文的方法用到了DIILS和MMFM来使轻量网络里的每个模块一直有效地进行学习,这就相当于蚂蚁虽然少但是很努力。

右边的雷达图表示,在MSRS数据集上AIDFusion的综合指标更优,并且参数数量、GFLOPs和显存占用也较小,说明了在性能和效率之间有一个更好的平衡。


02 DIILS:使网络在后期阶段仍然可以进行学习

图3 AIDFusion 整体结构

为了减小网络延迟的影响,本文提出了动态惯性抑制学习方法

一般的方法只是对最后的结果进行监督,在AIDFusion中加入了在各个解码层之后的预测分支,使每一层都可以参与到监督当中来。

但是多层监督不能一开始就全部加入进来,否则会使得训练变得不稳定。所以本文采取了渐进的方式,在前面阶段进行正常的训练,在后面阶段逐渐增加更多的层次监督。

一句话理解:DIILS就是当网络快要“躺平”时候,逐步给在各个层次上加入监督,并把它们再激活起来。


MMFM:低预算实现多种方式融合

图4 MMFM模块结构

只让网络继续学习是不够的,还要加强轻量网络的特征融合能力。

本文提出MMFM 多维调制融合模块,主要包括:

MPSA 多角度稀疏注意:同时用H-W、H-C、W-C三种方式来建立模型,并且捕捉到更加完整空间和通道的关系。

MSRT 多尺度循环Transformer:用较小的计算开销来获取不同尺度上的特征,并且加强了红外和可见光之间相互补充的信息。

一句话理解:MMFM 并不是简单的把两种模态拼接在一起,在轻量化的前提下使网络能够从多方面去理解这两种图像应该如何融合。


04 FAConv:利用周期性先验来帮助恢复

图5 普通卷积和FAConv比较

本文还提出FAConv 傅里叶分析卷积在解码过程中加入Sine和Cosine周期函数来利用周期性进行特征恢复。

普通的卷积可以看作是局部映射,但是FAConv给网络加入了一个明显的周期性建模先验,使得融合后的特征被还原成最终图像的过程更加有效。

一句话理解:FAConv 采用傅里叶周期性特征来辅助解码器快速稳定地还原出融合后的图像。


05 实验:效果很好,计算量也很小

图6 定性比较的结果

表 1 MSRS 数据集上量化的比较结果

表 2 在M3FD、FMB两个数据集上进行量化的比较结果

论文在MSRS、M3FD、FMB在三个公开的数据集上做实验,并和SwinFusion、LRRNet、CDDFuse、DATFuse、CrossFuse、EMMA、SAGE、GIFNet等方法比较一下。

在MSRS数据集上,AIDFusion在CC、SCD、MS-SSIM得到最好的结果,在SSIM得到次好的结果。

而且它的体积很小:

参数为 0.247MGFLOPS: 1.85内存占用为 0.83G

与之相比,SwinFusion 是 118.53GFLOPs、CDDFuse 是 220.92GFLOPs,但是 AIDFusion 只有 1.85GFLOPs。

一句话理解:AIDFusion 优势并不是通过增加计算量来实现的,在很小的成本之下就得到了很好的融合效果。


06 消融:三部分均有效

图7 消融实验定性结果

表3 消融实验量化的结果

消融实验证明,在去掉DIILS、MMFM或者FAConv之后,模型的表现都变差了。

其中,DIILS 用来减小网络的惰性,MMFM 用来加强跨模态交互的效果,FAConv 用来提高解码和还原的能力。

一句话理解:DIILS使网络继续学习,MMFM使网络学习更加全面,FAConv使得结果恢复得更好。


07 一句话总结

AIDFusion 的主要贡献,并不是提出了一个更大型的融合网络,而是在于从“网络利用率”的角度来解决轻量网络在训练过程中后期会变得“懒惰”的问题。

它通过抑制网络惰性的DILS,通过MMFM加强了多种模式下的融合,再通过FAConv 采用周期性恢复先验最后实现了一个比较好的性能和效率之间的平衡。

要记住的是

轻量级模型并不一定差,主要看有没有把网络的优势发挥出来。

对图像融合的研究有帮助

未来的方法不一定要用到更大的模型上,在训练动态、网络利用效率以及轻量化模块的设计方面也存在新的突破点。


END

往期推荐

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/9 3:21:28

2026年新手必看!生辰八字排盘应用推荐:真太阳时、AI提示词和命盘复盘怎么选?

很多人搜索“生辰八字排盘应用推荐”,真正想解决的不是简单排出一个盘,而是希望出生信息填对、四柱排得清楚,后面还能看懂十神、五行和大运流年。 生辰八字排盘和普通查日期不一样。它会涉及出生日期、出生时间、出生城市、真太阳时、早晚子…

作者头像 李华
网站建设 2026/7/9 3:19:15

HTML5+CSS3 个人主页实战:5个页面布局与JS轮播特效实现

HTML5CSS3 个人主页实战:5个页面布局与JS轮播特效实现当你想在简历中展示自己的技术能力时,一个精心设计的个人主页往往比千篇一律的PDF简历更能打动面试官。本文将带你从零开始,用现代前端技术构建一个包含5个页面的完整个人网站&#xff0c…

作者头像 李华
网站建设 2026/7/9 3:16:30

npm 安全审计与依赖风险排查:5步构建供应链安全防线

npm 安全审计与依赖风险排查:5步构建供应链安全防线在当今快速迭代的前端开发领域,npm 生态系统的便利性已成为双刃剑。2022年 colors.js 事件中,一个维护者的恶意更新导致数千个应用崩溃;更早的 left-pad 事件则暴露出单点依赖的…

作者头像 李华
网站建设 2026/7/9 3:16:19

AnythingLLM 与 Ollama 集成:3种本地LLM模型性能与成本对比评测

AnythingLLM 与 Ollama 集成:3款主流开源模型实战评测与选型指南在本地部署大语言模型(LLM)已成为企业构建私有知识库的热门选择。作为一款开源的文档聊天机器人框架,AnythingLLM 凭借其灵活的架构和易用性备受开发者青睐。而 Oll…

作者头像 李华
网站建设 2026/7/9 3:14:41

终极指南:如何5分钟搭建网易云音乐永久直链解析API服务器

终极指南:如何5分钟搭建网易云音乐永久直链解析API服务器 【免费下载链接】netease-cloud-music-api 网易云音乐直链解析 API 项目地址: https://gitcode.com/gh_mirrors/ne/netease-cloud-music-api 还在为网易云音乐链接频繁失效而烦恼吗?想要在…

作者头像 李华
网站建设 2026/7/9 3:14:39

高精度ADC与ARM MCU构建的数据采集系统设计

1. 项目概述:高精度模拟信号采集系统设计在工业测量、医疗设备和科学仪器等领域,我们经常需要将微弱的模拟信号转换为高精度的数字信号。最近我在一个振动监测项目中,成功实现了使用ADS127L11 ADC和MKV46F128VLH16 MCU构建的24位数据采集系统…

作者头像 李华