从亮度预测色度：一种巧妙的色彩恒常性光照校正方法

1. 先定义清楚：色彩恒常性在图像处理里到底解决什么问题

1.1 同一个场景，三张照片三个样子

色温这个词，做图像的人基本天天见，但真把它背后的麻烦讲清楚的人不多。我举个特别日常的例子：一件纯白T恤，中午大太阳底下拍一张，阴天窗边拍一张，晚上白炽灯下再拍一张。三张照片放到一起看，T恤区域的像素值完全是三种状态——偏蓝、偏灰、偏黄。人眼扫一眼就知道这都是同一件白T恤，可你把这三张图丢给一个目标检测或者图像识别模型，它可能就会犯迷糊。

这个"不管光照怎么变，物体的颜色看起来应该保持不变"的能力，在视觉生理学里叫色彩恒常性。到了计算机视觉这边，问题就变成了：给定一张在未知光源下拍摄的图像，算法能不能估计出光源的颜色，然后把图像校正到标准光照下的样子。这篇《Color Constancy by Learning to Predict Chromaticity from Luminance》讨论的正是这个问题，它的解法非常有意思——直接扔掉彩色信息，只从灰度（亮度）图去预测色度，再用预测结果反推光照。

这篇论文适合谁读？如果你是做计算摄影、相机自动白平衡、图像增强的工程师，或者正在研究低层视觉任务的算法同学，都建议花点时间看看。它不是那种堆砌技巧的工程论文，而是提供了一个思考问题的全新角度，读完之后你会重新审视"亮度"和"色度"这两个维度的关系。

1.2 光照估计加对角校正：绕不开的经典框架

先把问题形式化。相机传感器拍到的像素值，大致可以写成物体表面反射率乘以光照光谱能量的乘积在传感器响应函数上的积分。简化之后，观测图像 I 可以近似表达为：

I(x, y) = L(x, y) · R(x, y)

其中 L 是照射到场景的光源颜色，R 是物体本身的反射率（也就是我们想恢复的"真实颜色"）。因为 L 是一个随空间位置可能变化的量，问题就分成两类：全局光照估计和局部光照估计。大多数传统方法先从全局入手，假设整张图像共享同一个光源颜色。

估计出光源 L 之后，图像校正通常用对角变换（Von Kries 模型）完成。它的假设是：把每个通道的像素值除以对应通道的光源强度，就能得到标准光照下的颜色。数学上就是乘一个对角矩阵：

I_corrected = D · I，其中 D = diag(1/L_r, 1/L_g, 1/L_b)

所以整个色彩恒常性流水线可以拆成两个阶段：先从图像里计算光源颜色 L，再做逐通道的缩放校正。这里 80% 的功夫都花在第一阶段——光源估计。估计得准不准，直接决定校正后的颜色是否自然。任何一篇做色彩恒常性的论文，本质上都是在回答同一个问题：怎么从这幅已经"被染色"的图像里，把光源成分和物体本身成分分开。

1.3 传统统计方法：假设很简洁，但都栽在同一类场景上

在深度学习流行之前，这个领域主流是一批基于图像统计假设的方法，思路都挺直接，我整理了一个对比表：

这些方法的共同特点是：先用一个手工设计的统计量（平均值、最大值、边缘响应）去估计光源，然后做校正。它们的问题也很统一——所有假设都是"用一个固定的规则去套所有图像"，可自然图像的统计分布远不是一条规则能概括的。橙色墙面会把 Gray World 带偏，因为平均颜色不再灰；走廊里的一盏彩色射灯会把 White Patch 带偏，因为最亮区域本身就不是中性色。这套方法的精度天花板其实很低，在后来大规模评测集上，最好的传统方法平均角度误差也常在 4 度以上。

这也解释了为什么后来大家都转向学习的方法——用数据去拟合场景中光照和颜色的复杂关系，而不是依赖一个脆弱的手工假设。而这篇论文的切入点，比"端到端学一个光照回归"还要更刁钻一些。

2. 核心思路的特别之处：从亮度预测量色度，主动绕开光照干扰

2.1 亮度与色度：编码上正交，统计上却藏着一层关系

大多数人对亮度（Luminance）和色度（Chromaticity）的直觉是：这是两个独立的维度。CIE Lab 色彩空间把 L 通道和 a、b 通道分开，YCbCr 把 Y 和 Cb、Cr 分开，JPEG 压缩甚至可以丢弃一半色度信息而看不出明显损失。于是大家默认它们的关联很弱——灰度图丢了颜色，就等于是把色度通道清零，亮度通道纹丝不动。

但这里要注意，"编码上正交"和"统计上独立"是两件完全不同的事情。编码正交是说，我可以把亮度和色度分别存成两个通道而不互相干扰；统计独立说的是，给定一个亮度值，色度的条件分布完全均匀、没有任何可预测性。显然自然图像不满足后者。举几个显然的例子：天空区域的亮度通常偏高，对应的色度大概率是蓝色系；大面积的植被亮度中等，色度大概率落在绿色系；柏油路面亮度偏低，色度偏灰褐色。这些关联稳定存在，只是传统方法从没有系统性地利用过它。

论文的核心洞察就在这里：既然亮度里藏着大量关于场景结构和物体材质的信息，而这些信息又和色度存在统计关联，那是不是可以用一个网络直接学习从亮度到色度的映射？换句话说，给定一张灰度图，网络应该能"脑补"出每个像素大概是什么颜色。

2.2 为什么这个思路对光照估计特别有利

可能有人会问：光照估计本身就是为了恢复颜色，你现在让人家用灰度图去猜颜色，这不是绕远路吗？直接拿 RGB 图去回归光照不就行了吗？这里恰恰是这篇论文最值得品的地方。

直接回归光照的端到端网络，面临一个隐蔽的问题：它必须从"被光源染色之后"的图像中拆出光源成分，但网络没有显式的约束来区分"物体本身是橙色"和"光照把物体照成了橙色"。训练数据里如果橙色物体很多，网络就可能把"图中橙色面积大"误判为"光源偏暖"，导致在冷色物体多的场景里做校正时矫枉过正。

而如果网络输入只有亮度图，情况就不一样了。光源颜色主要污染的是各个通道的相对幅度，它确实也会改变总亮度，但相比直接在三维颜色空间里去分离光源和反射率，从一维亮度信号里去提取几何结构、物体边界、材质信息，再基于这些信息预测一个"不受当前光照影响的色度先验"，路径要干净得多。网络学到的实际上是一个"在标准光照下，这种亮度结构对应什么颜色"的映射。

有了这个预测色度，光源估计就变得很优雅：把网络预测的色度和图像实际观测到的色度做比较，它们之间的系统性偏差，主要就来自光源的染色。这个残差信号经过聚合，就能解出光照颜色。相当于把问题从一个绝对估计变成了一个相对估计——网络不需要知道光源绝对值，只需要给出一个"无光照色度参照"，剩下的差值计算是高度可解释的。

2.3 相比直接学"图像到光照"的三个实际优势

我在实际工程里也试过各种光照估计模型，对比下来，这个设计的优势不是理论上的花架子，而是实打实的工程收益：

第一，对大面积主色物体更鲁棒。端到端模型很容易被图像里占比最大的颜色带偏，但亮度到色度的映射模型在面对大面积纯色区域时，因为输入的只有亮度纹理，它只能依赖形状、上下文和亮度分布来推断颜色，反而能抵抗一部分"主色偏置"。

第二，训练数据更容易增强。亮度信号的增强手段可以做得非常激进：做几何变换、添加高斯噪声、调整对比度，这些都不会破坏"亮度结构与色度的对应关系"。相比之下，彩色空间的增强要小心得多，因为你一改色度，光照标签和颜色标签之间的关系就乱了。

第三，中间产物有可解释性。网络输出的"预测色度图"本身就能可视化——你把灰度图输入，模型会吐出一张彩色估计图，一眼就能看出它学到了什么：天空变蓝、草地变绿、肤色回复正常色调。这对调试模型非常有价值，远比盯着一个光照向量的三维坐标去猜哪里错了要直观得多。

3. 方法拆解：从亮度图到色度图的回归网络

3.1 问题建模：把色彩恒常性等价成一个残差估计问题

论文把任务拆成两步。第一步，训练一个网络 f，输入亮度图 Y，输出预测的色度图 C_pred（在 Lab 空间里就是 a、b 两个通道；在 YCbCr 空间里就是 Cb、Cr 两个通道）。训练目标是最小化预测色度和真实色度之间的误差：

L = || f(Y_gt) - C_gt ||²

这里有个实现细节值得注意：训练样本需要准备"标准光照下的图像"，即已经校正过的图像对。这样网络学习到的映射才是"亮度结构到标准色度"的映射，而不是当前光照下的条件映射。

第二步，推理时拿到一张任意光照下的图像，把网络对当前亮度图的预测色度 C_pred 和图像实际色度 C_obs 做差。这个差值 ΔC = C_obs - C_pred 在理想情况下主要来源于光源的染色。接下来对 ΔC 做空间聚合——可以用平均，可以用加权平均，也可以按区域置信度加权——得到一个全局的光源色度偏移量。最后用这个偏移量构造对角校正矩阵，完成色彩恒常性校正。

整体流程相当干净：一个网络承担了"场景颜色先验"的功能，光源估计退化成简单的残差计算。这种解耦方式还有一个额外好处：如果后续想扩展到局部光照估计，只需要把全局聚合步骤改成滑动窗口或语义区域分组，网络本身不需要重新训练。

3.2 网络架构选择：感受野和上下文是关键

因为输入是单通道亮度图，输出是双通道色度图，架构天然是一个图像到图像的回归网络。论文里选择的骨干结构在如今看来并不算复杂，大致是一个卷积编码器-解码器结构，但有几个设计点值得展开：

• 输入分辨率不需要特别高。色度预测依赖的主要是区域级的语义线索，而不是像素级高频细节。把输入缩放到合适尺寸，既省显存又能让网络有更大的有效感受野。

• 感受野必须覆盖足够大的上下文。预测一个像素的颜色，只看它周围十几个像素是不够的。比如一块中等亮度的区域，局部看可能是灰色石头，但如果大范围上下文里都是天空，网络就应该倾向于把它预测成淡蓝。这就依赖多尺度特征融合，底层特征保留像素细节，高层特征提供场景语义。

• 跳连结构对这种任务帮助明显。纯编码器-解码器容易丢失边缘锐利度，导致预测色度图边缘发糊，而光源残差计算对边缘附近的错误很敏感。用跳连把编码器细节直接送到解码器对应层，色度图边缘会清晰得多，后续残差也稳定不少。

我自己的经验是，这类网络不需要特别"深"，因为输入是单通道、任务相对底层，堆到十几层就足够了，更大的模型收益不明显，反而容易过拟合训练数据里的场景分布。倒是在输出层加一个小的空间平滑模块，或者用结构相似性损失约束，能明显减少预测色度图的斑点噪声。

3.3 从色度预测到光照估计：聚合策略直接影响精度

模型输出的是逐像素的预测色度，但最终需要一个标量或低维向量的光源估计。聚合这一步看似简单，实际对精度影响很大，我梳理一下几种策略的优劣：

最朴素的做法是全局平均残差：把所有像素的 C_obs - C_pred 求平均，当作光源色度偏移。这个做法的前提是预测误差在空间上大致均匀，但实际上网络在纹理丰富区域预测得准，在低纹理区域预测得差，简单平均会把噪声也平均进来。

改进思路是加权聚合。一种自然的权重设计是用预测置信度——网络输出两个通道的同时，可以加一个分支预测逐像素的置信度，置信度来自训练时预测误差的统计量。高置信度像素给大权重，低置信度像素给小权重。另一种更实用的设计是用图像梯度幅值做权重：梯度大的位置通常是物体边界，色度突变处携带的光源信息置信度较高；而平滑区域颜色猜测的可靠性本来就低。

还有个细节：残差聚合之前最好做一次离群值剔除。某些区域可能包含奇异颜色（比如屏幕发光、霓虹灯），它们的色度和光照没有任何关系，如果不剔除，单个区域就能把聚合结果拉偏。用简单的中位数滤波或者分位数截断就能解决，不需要复杂设计。

3.4 训练数据与评价指标：容易被低估的两个环节

训练数据方面，这个思路对数据量的需求其实不高，因为它学的是一个相对稳定的统计先验。训练集一般来自两组数据：一组是实验室采集的校色卡场景，含有准确的光照真值；另一组是互联网大规模自然图像集，可以借助图像中的已知物体颜色做弱监督。实践中的关键是数据多样性——场景类型越丰富越好，尤其是光照条件。我会在训练前做一次光源增强：对训练图像随机乘上不同色温的增益矩阵，模拟不同天气、不同时段的拍摄条件。这能显著提升模型在极端色温下的表现。

评价指标上，学术圈最常用的是角度误差：光源真值和估计值之间的夹角。它的物理含义比较直观，夹角越小说明估计的光源方向越准。报告时通常看三个统计量：平均角度误差、中位角度误差、以及最差 25% 样本的平均误差。最后一个指标尤其重要——很多方法能做到平均误差低，但在一些难例上彻底翻车，最差 25% 的指标能把这种隐患暴露出来。如果一篇论文只说平均指标不说最差值，我读的时候会保持警惕。

4. 结果解读：亮度-色度关联这条路线确实走通了

4.1 整体指标：传统方法被明显甩开，但亮点不在绝对值

从结果看，这个方案在标准校色评测集上的平均角度误差，比灰度世界、白斑法、灰度边缘这些经典方法低了一大截，也优于部分早期的端到端光照回归模型。不过说实话，我关注的重点不是它比传统方法好多少——用神经网络打败手工统计规则，这在今天并不是什么新鲜事。真正有意义的是它在相对早期的端到端回归模型之间做出的对比：同样是用 CNN，为什么"亮度到色度残差"的建模方式更好？

我自己判断指标的方式是拆开看。平均角度误差的降低可能有相当一部分来自那些本身就好处理的样本——比如包含天空、植被、肤色这些颜色先验极强场景的图像。在这个思路下，天空和植被恰好是网络最容易学会的先验，所以这部分提升并不意外。难能可贵的是最差 25% 的指标也保持住了，说明这个方案在困难样本上没有因为建模方式而额外引入系统性偏差。

4.2 模型涌现出来的行为：它确实学会了"脑补颜色"

我最有共鸣的部分是论文里对模型预测色度图的可视化分析。把一张灰度风景照输入网络，输出的预测色度图大致长这样：天空区域被填上自然的浅蓝，并且靠近地平线的部分会稍微变暖——这和真实天空的色度分布非常接近；草地和树叶区域被填上饱和度适中的绿色；裸露土壤区域被预测成黄褐色。整个预测色度图看起来像是一张被手工粗略上色的老照片，轮廓清晰、颜色合理、边缘干净。

这说明网络真正掌握的并不是一个简单的"亮度-色度查找表"——如果是查表，那对不同纹理但同样亮度的区域会给出相同颜色，但模型显然区分了天空、树冠、石头这些具有不同纹理特征但亮度可能接近的区域。它把局部亮度结构、纹理梯度、边缘方向和更大的场景上下文组合在一起，推断出最合理的颜色。这正是我们希望它学到的：一个可泛化的场景颜色先验，而不是对训练集的死记硬背。

还有一个有趣的现象：对完全平坦、无纹理的灰色区域，网络的预测往往趋于中性的灰——色度接近零。这符合逻辑，因为没有任何结构线索时，条件概率最大的颜色就是灰色。这种"不确定性管理"虽然不是显式建模的，但网络在数据驱动下自行学会了在信息不足时保持审慎，而不是强行猜一个离谱的颜色。这在实际光照估计中非常重要：信息不足的区域预测趋于中性，就不会给残差聚合引入大的错误信号。

4.3 边界情况：这个方案绕不开的几道坎

没有完美的方法，我读论文时习惯先看它的边界在哪里。这个"从亮度预测色度"的思路，有几种情况处理得并不好。

首先是强彩色光源场景。比如游乐园里的紫红色射灯、舞台上的蓝色追光，这种极端光照下亮度通道本身也被严重污染，网络基于"正常光照下亮度结构对应什么颜色"训练出来的先验，面对输入亮度图和历史训练样本相差太多的情况，预测结果会明显失真，残差信号的有效性也大打折扣。

其次是场景颜色先验本身就不明确的图像。比如室内一堆五颜六色的塑料制品，它们的颜色和亮度结构的关联很弱——一个红色塑料盒和蓝色塑料盒可能有着几乎相同的表面纹理和亮度分布。这时候网络只能猜，而猜错的部分都会变成残差里的噪声。

第三是训练场景分布外的内容。网络学到的先验本质上是训练数据分布的投影，如果评测集里大量出现训练时几乎没有的场景类型（比如水下摄影、高光谱传感器成像），性能下降几乎是必然的。这也是所有学习方法共同的问题，但在这个方案里会体现得更明显，因为它依赖的正是"常见场景的颜色统计规律"。

5. 读完后我的延伸思考：这个思路够新，但离落地还有距离

5.1 给后续工作的三个启发

这篇论文最有价值的输出，在我看来不是那个具体的网络结构，而是"预测-残差"这个范式本身。它把光照估计从一个直接的回归问题，转化成了一个先验预测加误差分析的问题。沿着这个思路，可以自然延伸出很多工作。

第一个启发是置信度估计的价值。既然逐像素预测色度有对有错，显式地建模逐像素的不确定性，然后用不确定性做加权聚合，是显而易见的改进方向。具体做法可以在网络输出层加一个方差分支，训练时用高斯负对数似然做损失，推理时方差直接就当置信度用。

第二个启发是跨任务协同。预测色度图本质上是一个场景理解结果，它和语义分割、深度估计共享大量信息。如果网络同时预测语义标签、深度和色度，通过多任务学习共享表征，颜色先验的质量大概率会进一步提升。这个思路尤其适合移动端场景——反正模型已经在跑，多几个轻量输出头的代价很低。

第三个启发是反馈闭环。现有的残差聚合是一次性的，预测错了就错了。如果把这个流程做成迭代的：先用粗糙的光照估计做校正，把校正后的图像重新输入网络预测色度，再比较残差，几次迭代后光源估计会越来越准。第一次残差大没关系，校正后第二次预测就接近标准光照条件了，网络在这个条件下的预测显然更可信。这个想法实现不复杂，但对精度和稳定性的提升值得期待。

5.2 局限性与现实工程里的距离

从工程落地角度看，这个方案离直接商用还有不小的距离。首先是计算效率问题：逐像素预测色度图的代价比直接回归一个三维光照向量高得多，在移动端实时白平衡场景下，跑一个编码器-解码器网络的开销并不划算。当然可以通过缩分辨率、剪枝量化来压缩，但收益到底还剩多少需要实测。

其次是场景覆盖问题。真实世界里拍摄条件千差万别，舞台灯光、车载夜视、水下灯光、无人机航拍，每个场景的光照模型都不一样。基于自然图像统计先验的方法，在这些场景下大概率需要专门微调。而微调又需要对应场景的光照真值，采集成本不低。

最后是动态范围问题。论文研究的对象基本是普通动态范围图像，但现代计算摄影管线里 HDR 才是常态。HDR 图像的亮度信息跨越十几个 EV，高光区域的色度常常被裁剪或压缩，这对亮度到色度的映射关系影响不小。这个领域目前还没有特别成熟的公开数据集，想做相关实验的团队得自己造数据。

5.3 如果我自己动手复现，会怎么做

最后聊聊实际操作层面的东西。如果我想在本地把这篇论文的思路复现一遍，大概会按以下步骤组织：

数据准备阶段，我会先准备一批已校正的标准光照图像作为训练集，然后用随机色温增益合成不同光照下的版本。图像需要分成两路：一路转换到 Lab 空间提取 L 通道做网络输入，另一路保留 a、b 通道做训练目标。注意数据增强时一定要保证几何变换是同步的——裁剪、翻转操作必须同时对亮度图和色度图施加，否则输入输出之间就错位了。

网络训练阶段，用一个 U-Net 变体起步，输入单通道，输出双通道，损失用 L1 加边缘保持项。我建议先用小分辨率 128×128 验证流程能通，再上 256 分辨率做正式训练。优化器用 Adam，初始学习率设低一些，因为回归任务容易出现早期震荡。

推理阶段，光源估计的聚合我用梯度权重加分位数截断，先去掉最亮最暗 5% 的像素再加权平均。评价时除了整体平均角度误差，我会特别关注不同色温区间下的分桶误差——这个方法对中间色温的效果应该最好，但需要验证极端冷暖条件下的衰减程度。

整体来说，这篇论文给我最大的收获是提醒了我：不要被色彩空间的编码方式束缚住思维。亮度和色度在数学表示上正交，不代表它们在物理世界里无关。自然图像里的结构信息和颜色信息本来就是一体的两面，这篇论文用一个巧妙的网络设计，把这种内在关联变成了可用的算法能力。对于做图像底层任务的同行，无论你最终采不采用这个方案，它"预测-残差"的思维方式都值得留在你的工具箱里。