MobileFusion: Mobile-Friendly Infrared and Visible Image Fusion via Structural Re-parameterization
- 摘要
- 引言
- 2、相关工作
- 2.1 基于深度学习的图像融合
- 2.2 高效网络架构设计
- 3 方法
- 4 实验
- 4.1 实验设置
- 4.1.1 实现细节
- 4.1.2 数据集
- 4.1.3 对比算法与评价指标
- MobileFusion论文完整总结
- 一、研究背景与现存问题
- 二、核心创新与三大模块
- 1. RepMBConv（可重参数多分支卷积，核心模块）
- 2. LCAA（轻量化上下文感知注意力）
- 3. RepFFN（重参数前馈网络）
- 4. 损失函数（多目标加权联合优化）
- 三、实验设置
- 四、实验核心结果
- 1. 融合画质定量&定性
- 2. 算力效率（核心优势）
- 3. 下游视觉任务验证
- 五、结论
- 六、补充附录关键结论
摘要
近年来深度神经网络推动了红外与可见光图像融合（IVIF）技术的发展，但现有多数算法结构复杂、存在冗余模块，难以在算力与内存资源受限的移动设备上实现实时部署。本文提出MobileFusion——一款轻量化、高性能卷积框架，可在严苛资源限制下完成高质量图像融合。该网络采用全新可重参数化多分支卷积模块：训练阶段促进跨模态特征交互，推理阶段合并为单路算子以实现高速运算；同时搭配轻量化注意力模块增强上下文感知能力，并引入重参数化前馈网络提升特征表达能力。大量实验证明，MobileFusion在融合效果与计算效率间取得了理想平衡，可在资源受限设备上实时完成高质量红外可见光融合。项目开源代码地址：https://github.com/sucessfullys/MobileFusion
引言
图像融合（Liu等人，2018）旨在融合多种传感模态的互补信息，生成信息更完备的图像表征。红外与可见光图像融合（IVIF）作为重要分支，应用场景广泛，包括自动驾驶（Bijelic等人，2020）、军事侦察（Liu等人，2022）等领域，因此受到越来越多关注。红外可见光融合能够有效融合红外图像显著热辐射信息与可见光图像丰富纹理细节。
近年来深度学习的飞速发展极大推动了红外可见光融合技术的进步（Zheng等人，2024）。学界相继提出基于Transformer（Ma等人，2022；Zhao等人，2023c；Yi等人，2024b）与扩散模型（Zhao等人，2023d；Yi等人，2024a）的方法以提升融合效果。但这类方法存在关键缺陷：研究仅侧重提升融合评价指标，忽略实时推理需求。
