news 2026/8/12 20:32:42

(论文速读)Multinex:基于多优先Retinex的轻量级微光图像增强

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
(论文速读)Multinex:基于多优先Retinex的轻量级微光图像增强

论文题目:Multinex: Lightweight Low-light Image Enhancement via Multi-prior Retinex(基于多优先Retinex的轻量级微光图像增强)

会议:CVPR2026

摘要:微光图像增强(LLie)的目的是在严重光照退化的情况下恢复自然可见度、颜色保真度和结构细节。最先进的(SOTA)LLie技术通常依赖于大型模型和多阶段训练,限制了边缘部署的实用性。此外,它们对单一颜色空间的依赖引入了不稳定性和可见的曝光或颜色伪影。为了解决这些问题,我们提出了Multinex,这是一个超轻量级的结构化框架,它将多个细粒度的表示集成到一个Pruled Retinex残差公式中。它将图像分解为从不同的解析表示法得出的照明和颜色优先堆栈,并学习将这些表示法融合到校正曝光所需的亮度和反射率调整中。通过将增强优先于重建和利用轻量级神经操作,Multinex显著降低了计算成本,其轻量级(45K参数)和Nano(0.7K参数)版本就是例证。广泛的基准测试表明,所有轻量级变种的性能都大大超过了相应的轻量级Sota型号,并达到了与重型型号相当的性能。

项目页面,请访问https://albrateanu.github.io/multinex.


Multinex:用 700 个参数打败百万级模型的低光图像增强框架

一、背景:低光图像增强(LLIE)为什么难?

夜间监控、手机摄影、无人机巡检、自动驾驶……这些场景每天都在产生大量低光图像。低光图像的典型缺陷包括:亮度抑制、对比度差、噪声明显、色彩偏移(chromatic bias)。低光图像增强(Low-Light Image Enhancement,LLIE)的目标,就是在不引入新噪声和结构失真的前提下,恢复图像的自然外观。

近年来,基于深度学习的 LLIE 方法取得了显著进展,但两大问题始终制约着它们的实用性:

问题一:单一色彩空间导致增强不稳定

主流方法大多在单一色彩空间(RGB、YUV、HSV 或 HVI)中建模,这会导致亮度与色度信息高度耦合。一旦耦合,网络很难同时把"应该有多亮"和"应该是什么颜色"这两件事都做对,最终产生:

  • 曝光伪影(过亮或局部过暗)
  • 色彩漂移(偏黄、偏绿等)
  • 红色通道不连续(HSV 空间特有的 hue 跳变)
  • 黑平面噪声(暗部放大了传感器噪声)

问题二:大模型无法边缘部署

以 GLARE(59.48M 参数、508 GFLOPs)为代表的重型 SOTA 方法,在性能上固然亮眼,但在手机、嵌入式摄像头、无人机这类资源受限设备上根本无法实时运行。研究者们虽然探索了轻量化路线(ZeroDCE 79K、LYT-Net 45K),但参数量压缩到极致后,增强质量会出现明显的断崖式下降,尤其是低于 10K 参数的"微型"模型。


二、Multinex 的核心思路

一句话总结:不去重建整张图,而是只预测"需要加多少"——把多种物理先验打包进轻量网络,用最少的参数做最精准的修正。

Multinex 的设计哲学建立在三个支柱之上:

  1. Retinex 残差公式:从"重建"改为"修正"
  2. 多视图表示先验:多个色彩描述子提供互补视角
  3. 极致轻量融合网络:精心设计的注意力与特征模块

下面逐一展开。


三、核心创新一:Enhancement Delta(增强增量)

传统 Retinex 的问题

经典 Retinex 理论将图像分解为亮度图 L 和反射率图 R,增强图像通过重建。这种做法在低曝光场景下存在根本性困难:RGB 空间中亮度和色度高度耦合,很难分解出准确的 L 和 R,且整个重建过程需要额外的计算开销。

Multinex 的改进:加性残差

Multinex 不去预测整张图像"应该长什么样",而是预测一个加性修正场(Enhancement Delta),公式如下:

其中:

  • 亮度修正项,由亮度网络预测,三个 RGB 通道共享同一个亮度调整量
  • 反射率修正项,由反射率网络预测,负责颜色层面的修正

这样做的好处是三重的

  • 原始图像 I 始终保留,不会丢失固有纹理和结构信息
  • 网络只需要学习"差量",任务难度大幅降低,参数利用率更高
  • 加法运算的梯度稳定,训练更鲁棒

【此处配图:Figure 2(Multinex 整体架构图),展示 Multi-view Representation Construction → Fusion Module → Enhancement Delta → Enhanced Output 的完整数据流】


四、核心创新二:多视图表示先验(Guidance Stacks)

Multinex 不让网络从头学习所有颜色和亮度表示,而是提前解析地计算一批物理有意义的特征图,直接喂给网络。这些特征图被称为"引导栈"(Guidance Stacks),分为亮度引导栈和反射率引导栈

亮度引导栈(4通道)

分量公式物理含义
ITU-R BT.709 标准亮度,最接近人眼感知亮度
高亮区域能量代理,捕捉镜面反射与高光
HSL 感知亮度,引入轻微对比度正则化
RGB 向量的 L2 能量,编码像素总体强度

这四个分量分别从线性感知、高光响应、对比度调节和全局能量四个维度描述图像亮度,互补而不冗余

【此处配图:Figure 9 上方第一行(六个亮度候选描述子的可视化),展示各亮度图的外观差异】

反射率引导栈(5通道)

分量描述作用
YCbCr 的蓝差/红差分量从全局强度中剥离颜色信息
归一化色度比对绝对亮度不变,保留颜色比例关系
SHSV 饱和度量化像素离灰轴的距离(色彩鲜艳度)

这五个分量联合构成对低光图像颜色结构的全面刻画,论文通过线性重建分析(LRA)可视化证明,的组合能够准确还原图像的颜色结构。

【此处配图:Figure 8各子集的 LRA 可视化),展示恢复整体色彩,[r,g] 定位均匀反射区域,S 强化暗区边界控制】

为什么选这些而不是别的?

论文针对亮度引导栈额外考察了(算术平均)和(YCgCo 亮度)两个候选。通过描述子重要性分析(DIA)——一种 leave-one-out 的能量和梯度重要性量化方法——结果显示:

【此处配表:Table 5(候选亮度先验重要性排名),展示得分及排名】

在能量重要性中排名第一,在梯度重要性中排名第一,而两项均垫底——因此被排除。


五、核心创新三:轻量融合网络

Multinex 的网络主体是一个双分支融合模块(Fusion Module),亮度网络和反射率网络使用相同架构但独立权重,分别处理

融合块(Fusion Block, FB)

  • 第一个MSEF(多阶段 Squeeze-Excite Fusion):用全局上下文校准每个通道权重
  • DSConv + ReLU:深度可分离卷积引入轻量空间滤波与平滑门控
  • 第二个MSEF:对增强后的激活重新评估,强化跨通道一致性

分量注意力(Component-wise Attention, CWA)

CWA 的关键设计是为引导栈中每个描述子生成独立的注意力图,避免早期的跨通道混合(这正是 CBAM、MHSA 等方案的缺陷)。通过深度可分离卷积(DWConv)保持分量独立性,再用零偏置卷积做线性投影,参数量极低。

完整融合模块

CWA 产生的注意力图对特征进行掩码后,再经过 T 层 FB 精炼,最后用卷积输出修正量。

两个变体

变体FB 层数 T参数量GFLOPs
MultinexT=344.7K2.50
Multinex-NanoT=1(简化路径)0.7K0.04

六、实验结果

6.1 参考数据集定量对比

Multinex 按参数规模分成四组进行对比:重型(>10M)、中型(1-10M)、轻量(<1M)、微型(<10K)。

【此处配表:Table 1(LOLv1/LOLv2-real/LOLv2-syn 上的 PSNR/SSIM/LPIPS 结果),展示四组模型的完整对比数字】

核心结论:

  • Multinex(45K):LOLv1 PSNR=23.19dB,在轻量级组全面领先,超越 LYT-Net(22.38dB)约 0.8dB,且以不到 2.4% 的参数量逼近中型模型 CIDNet(23.81dB)
  • Multinex-Nano(0.7K):LOLv1 PSNR=19.42dB,在微型组全面最优,LOLv2-syn 达 21.05dB,大幅超越 RUAS(13.40dB)、SCI(15.43dB)

6.2 无参考数据集定量对比

在 MEF、LIME、DICM、NPE 四个真实场景数据集上,使用 NIQE 和 BRISQUE 两个无参考质量指标评估:

【此处配表:Table 2(MEF/LIME/DICM/NPE 上的 NIQE/BRISQUE 结果)】

  • Multinex 平均 NIQE=3.64(所有方法中最低,即最优),BRISQUE=14.33
  • 对比 CIDNet(NIQE=3.81,参数量 1.88M),Multinex 以 2.4% 的参数量将 NIQE 降低 0.17,BRISQUE 降低 5.69
  • Multinex-Nano 在极限体量下仍保持 NIQE=3.82,超越 ZeroDCE(4.97)等更大的模型

【此处配图:Figure 1(论文首图的散点图),直观展示参数量 vs. 平均NIQE 的权衡关系,Multinex 系列处于左上角(最优区域)】

6.3 下游任务:低光目标检测

将 Multinex 作为 YOLOv3 的前处理增强模块,在 ExDark 数据集上评估 12 类低光目标检测性能:

【此处配表:Table 3(ExDark 数据集上各类别 AP 和 mAP50 结果)】

  • Multinex-Nano(0.7K)达到 mAP50=80.7%,超越所有对比方法,包括专门为低光检测设计的 EMV-YOLO(79.7%,27K参数)
  • Multinex(45K)mAP50=79.7%,与 EMV-YOLO 持平但参数更少
  • 这说明 Multinex 的引导栈先验在极限压缩下对下游任务依然有益

6.4 定性结果

【此处配图:Figure 3(轻量级 SOTA 对比图),展示 RetinexNet、PairLIE、ZeroDCE、LYT-Net、RUAS、RSFNet、SCI 与 Multinex 的视觉效果】

  • RetinexNet、ZeroDCE、RUAS、SCI:明显的噪声或色彩伪影
  • PairLIE、RSFNet:噪声抑制较好但色彩饱和度损失明显
  • LYT-Net:整体较好但仍有轻微曝光偏差
  • Multinex:更干净的光照梯度,更稳定的色彩,最接近 Ground Truth

【此处配图:Figure 15(与中型/重型模型对比图),展示 Multinex 以极少参数接近 RetinexFormer、CIDNet、GLARE 的效果】


七、消融实验:每个设计的贡献

7.1 引导栈先验的消融

【此处配表:Table 4(a)(Multinex Priors 消融)】

配置PSNR (dB)
无先验(直接 RGB)14.15
仅 $\Delta_L$(亮度修正)20.57
仅 $\Delta_R$(反射率修正)18.50
$\Delta_L$ + $\Delta_R$(完整 Multinex)23.19

无先验的直接 RGB 建模仅能达到 14.15dB,加入亮度修正后跳升至 20.57dB,两者协同达到 23.19dB,性能提升接近9dB

【此处配图:Figure 4(先验消融的定性对比),直观展示不同配置下的图像质量】

7.2 CWA 和 MSEF 的消融

【此处配表:Table 4(b)(CWA/MSEF 分析)】

CWAMSEFPSNR (dB)
19.92
21.34
22.27
23.19

CWA 提供描述子级别的相关性加权,MSEF 提供局部细节增强,两者互补:单独使用任一模块均不及两者结合。

7.3 注意力机制对比

【此处配表:Table 4(c)(CWA vs. CBAM / MHSA / MDTA)】

注意力机制PSNR (dB)
CBAM_S20.44
MHSA + Pooling21.67
MDTA22.39
CWA(本文)23.19

CWA 为每个描述子生成独立注意力图,避免了 CBAM 的分量耦合和 MHSA+Pooling 的结构损失,以最低的复杂度取得最优性能。

7.4 亮度引导栈组合消融

【此处配表:Table 7(亮度引导栈各子集的 PSNR/SSIM)】

单个分量时 PSNR 在 18-19dB 徘徊,两两组合升至 20dB 区间,三组合达到约 22dB,全部四个分量的完整栈达到23.19dB,证明多视图亮度先验的每个分量均有独特贡献。

7.5 损失函数消融

【此处配表:Table 6(损失函数消融)】

MSE 单独使用约 22.31dB,加入 MS-SSIM 后强化结构一致性,再加入感知损失后进一步提升色彩真实感,三者组合最终达到23.19dB PSNR / 0.843 SSIM


八、局限性与未来工作

论文诚实地指出了 Multinex 目前的局限:

  • 复杂光谱畸变:对于复杂光谱失真、镜头光晕(lens flare)、混合自然-人工光照场景,增强效果有所下降
  • 极暗场景的噪声放大:解析先验在极暗区域可能放大传感器噪声
  • 高动态范围(HDR)局限:加性残差对欠曝光非常稳定,但对于高光截断或 HDR 恢复效果减弱

未来方向包括:将 Multinex 原则推广到内在图像分解色彩恒常性水下/去雾等任务,以及探索乘性公式或 Tone-Mapping 作为加性残差的替代方案,并尝试结合 Transformer 或扩散模型处理极端场景。


九、总结

Multinex 给出了一个清晰的答案:好的先验设计可以弥补参数量的不足。通过将多个解析计算的色彩和亮度描述子打包为引导栈,配合加性 Retinex 残差公式和精心设计的轻量融合模块,Multinex 在 45K 参数下达到了中型模型水平,在700 个参数(Multinex-Nano)下依然在微型模型中独占鳌头——甚至在低光目标检测任务上击败了所有对比方法。

维度MultinexMultinex-Nano
参数量44.7K0.7K
GFLOPs2.500.04
LOLv1 PSNR23.19 dB19.42 dB
平均 NIQE3.643.82
ExDark mAP5079.7%80.7%

对于需要在边缘设备上部署实时低光增强的应用场景,Multinex 系列提供了目前最具竞争力的参数效率,是一个值得重点关注的工作。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/8/12 20:27:02

基金申请书框架:把研究构想搭成基金申请书框架:立项依据、研究目标内容、方案、特色创新、基础与可行性。

「基金申请书框架」是察元AI文档助手内置的一个高校 / 科研领域助手。运行时它扮演的是科研管理顾问,搭建基金申请书框架&#xff0c;核心做的事很明确&#xff1a;把研究构想搭成基金申请书框架:立项依据、研究目标内容、方案、特色创新、基础与可行性。 它解决什么问题 从零写…

作者头像 李华
网站建设 2026/8/12 20:25:38

揭秘上海网站建设渠道的隐藏陷阱与避坑指南:从零基础到上线的全流程解析

在这个数字化浪潮席卷全球的今天,几乎每一个在上海打拼的企业老板或者初创团队负责人,脑子里都转着一个念头:我的网站什么时候能上线?我的客户能不能在百度上搜到我?这种焦虑感,我想大家都懂。毕竟在现在的商业环境里,如果一个品牌连个像样的门面都没有,就像是你开了一…

作者头像 李华
网站建设 2026/8/12 20:25:43

构建健壮业务循环:从设计模式到生产级实践

1. 项目概述&#xff1a;当循环不止于“for”和“while”“循环”这个词&#xff0c;在程序员的日常里&#xff0c;几乎等同于for、while这些控制流语句。我们用它来遍历数组、处理批量数据、轮询状态。但今天我想聊的“Loop Engineering”&#xff0c;远不止于此。它指的是一种…

作者头像 李华
网站建设 2026/8/12 20:25:18

上海红酒网站建设:打破同质化困境,打造有灵魂的品牌数字化名片

在这个人人都在谈转型、谈数字化转型的时代,上海的老板们似乎比任何人都要忙碌。黄浦江边的霓虹灯彻夜不熄,陆家嘴的玻璃幕墙反射着资本的光芒,而在这个看似繁华的背后,无数中小企业主正面临着一种隐秘的焦虑:我们辛辛苦苦做出来的网站,真的能帮到公司吗?今天,我想和大…

作者头像 李华
网站建设 2026/8/12 20:23:20

中小团队低成本做好GEO优化!2026高性价比GEO查询工具选型攻略

2026年GEO概念爆火&#xff0c;市面上动辄几万、十几万一年的GEO商业系统层出不穷&#xff0c;让很多小团队望而却步。但真实行业现状是&#xff1a;90%的中小品牌GEO需求&#xff0c;根本用不到昂贵高阶功能。绝大多数企业的核心需求只有三个&#xff1a;看清AI排名波动、找到…

作者头像 李华