统一多模态线稿上色：从架构原理到PyTorch实现解析

OmniColor 这个名称对应一个非常具体的研究问题：如何把文本、颜色提示、参考图等多种条件输入统一到同一个线稿上色框架中。线稿上色是图像生成里的经典任务，输入只有一张黑白线稿，模型要补出合理的颜色；但颜色组合几乎无限，所以只靠线稿本身很难得到稳定结果。于是研究者逐渐引入外部条件，比如用户输入一句描述、在图上点几个颜色点、或者给一张想要风格参考图。OmniColor 这类工作的技术主线，就是把多种条件收进同一个模型，而不是每种条件各训练一个专用网络。标题里的 ECCV 2026 说明它属于学术研究向的模型设计语境，本文不讨论录用状态，只关注这类"统一多模态"框架要解决什么问题、内部模块怎么搭、训练和排查要注意什么。

这篇博客以一个可复现的最小原型为主线：先解释任务本质，再拆架构，然后用 PyTorch 实现一个支持文本、颜色提示、参考图的线稿上色骨架，最后补充训练策略、评估指标和常见坑。代码片段用于说明设计思路，实际项目要按自己的数据集、显卡显存和任务目标调整。

1. 先理解"统一多模态线稿上色"要解决什么问题

1.1 线稿上色为什么一直难做

线稿上色的本质是从稀疏结构信息恢复稠密颜色信息。一张白底黑线的图，只告诉模型"这里有一根线、那里有一圈轮廓"，但没有告诉模型这根线对应的是头发还是裙子，更没告诉模型它应该是什么颜色。

数学上看，这是一个严重欠约束的映射问题。输入是单通道线稿L_sketch，输出是三通道彩色图I_rgb，同样的线稿可以被涂成红黑、蓝白、彩色渐变等多种结果，每一种在视觉上都可以是合理的。因此单纯用有监督回归训练，模型容易学到一个"平均色"，也就是对所有可能颜色取期望，最后输出灰蒙蒙的图。这也是为什么很多早期上色模型结果偏淡、饱和度低。

解决思路有两个方向：一是让模型学会"多峰分布"而不是"平均期望"，这个方向对应生成模型、扩散模型；二是给模型更多条件，把颜色选择范围缩小，这个方向对应条件上色。OmniColor 强调的是第二个方向，而且是多种条件一起用。

1.2 多模态输入到底有哪几种

在条件上色任务里，常见的条件输入可以分成三类：

实际用户习惯是混合使用：先用文本说"要一个少女风格的场景"，再在头发区域点一点粉色，最后给一张整体色调偏暖的参考图。单模态方案无法同时吃进这些信息，换一种输入方式就要重新设计网络、重新训练，这是"统一"要解决的问题。

1.3 "统一框架"和单模态方案的本质区别

单模态方案通常把条件编码进网络的一种固定位置。比如纯文本上色方案会在 U-Net 某层插入文本特征向量，纯参考图上色方案会在主干网络里拼一份参考图特征。这些方案换条件类型时，网络结构几乎要重写。

统一框架的设计目标，是把不同模态先编码成同一种"文本长度可变的序列特征"或"空间特征图"，再通过同一个融合模块注入主干网络。这样做到三点：

1. 编码器不同，融合方式统一。
2. 训练时可以做条件随机丢弃，模型在缺少某些模态时仍然能工作。
3. 推理时用户可以选择只传文本、只传颜色点，或者一起传。

关键设计取舍在于"融合"发生在哪里。早期做法是直接把所有特征 concat 进通道维度，简单但对齐能力弱；后来常见做法是用交叉注意力，让线稿特征作为 Query，其他模态特征作为 Key 和 Value。OmniColor 这类框架的名称里强调"统一"，实际上就是这个融合层设计得足够通用，能容纳文本、提示点、参考图三种输入。

2. 从架构角度看核心设计：编码、对齐、融合、解码

2.1 整体管线拆解

一个典型的统一多模态线稿上色框架可以拆成四段：

线稿编码器 -> 空间特征图 文本编码器 -> 文本序列特征 颜色提示编码器 -> 空间特征图或序列特征 参考图编码器 -> 空间特征图或全局特征 | v 多模态融合模块 | v 解码器/U-Net | v 预测 ab 通道或 RGB

线稿编码器负责提取结构信息，是整个网络的主干骨架。文本编码器通常复用预训练 CLIP 或 T5 的文本分支，因为它们已经具备较强的语义常识，比如知道"草地通常是绿色"这种知识，直接用随机初始化的文本编码器很难学到这种语言与视觉的关联。颜色提示编码器处理的是稀疏输入，需要额外注意怎样让局部的颜色信息扩散到未标记区域。参考图编码器可以复用图像编码器，再通过注意力机制与线稿特征交互。

值得注意的一点是颜色空间的选择。很多上色模型把目标图像从 RGB 转到 Lab 空间，用 L 通道作为输入结构，只预测 ab 两个通道。这样做的原因是 L 通道保存亮度结构，ab 通道保存颜色信息，模型只需要回答"这里该是什么颜色"，不需要同时重构明暗细节，训练压力小很多。OmniColor 这类框架如果采用 Lab 空间，那么解码器输出的是 ab 通道，最终上色结果是L + ab再转回 RGB。

2.2 线稿模态与其他模态的对齐方式

多模态框架最棘手的问题是不同模态的特征空间不一致。文本特征是一个向量序列，颜色提示是稀疏空间图，参考图是稠密空间特征图。要让它们注入同一个主干网络，必须先做对齐。

对齐分为两个层次：

第一个层次是维度对齐。文本特征经过线性投影到隐藏维度C，空间特征经过卷积也投影到C，这样融合模块能统一处理。这里要注意，投影层是否可学习很重要。直接使用预训练 CLIP 特征时，建议在 CLIP 后面加一层可学习的线性层，因为 CLIP 的原始特征空间是为对比学习设计的，直接使用可能损失和颜色相关的信息。

第二个层次是结构对齐。文本特征没有空间位置概念，需要先和空间特征交互，才能决定"这句话影响图像的哪个区域"。参考图特征和线稿特征都有空间位置，但两者的位置语义不一定对应，比如参考图里的人脸位置和线稿里的人脸位置可能完全不同。因此参考图特征不能按像素直接 concat，需要通过注意力机制做软对齐。

示例中的最小实现采用CrossModalFusion：线稿特征展开成序列作为 Query，其他模态特征作为 Key 和 Value，注意力输出再叠加回原来的空间特征。这样每一种模态都能以同样的方式参与融合，只是编码方式不同。

2.3 融合模块选型：拼接、门控与交叉注意力

融合模块是"统一"的关键位置，常见选型有三种，各自的取舍如下：

实际使用中，通道拼接并不是完全不能用。如果条件模态和线稿本身在空间上已经对齐，比如颜色提示点，它本身就在线稿的坐标上，那么 concat 就很自然。文本和参考图这种需要语义映射的模态，更适合用交叉注意力。

还有一种常见做法是混合使用：颜色提示用 concat，文本和参考图用注意力。OmniColor 追求"统一"，更常见的形态是全部转成序列特征后用同一套注意力层处理。这里的统一不是指对输入做同一种处理，而是指融合逻辑一致。

3. 用 PyTorch 搭建最小多模态上色原型

3.1 数据组织：把不同条件统一成标准样本

没有代码和数据的多模态框架文章都是空中楼阁。下面给出一套最小实现，覆盖数据库加载、多模态编码、融合、解码和训练循环。先定义一个统一的样本结构。

{ "line": line_tensor, # 1 x H x W，灰度线稿，范围 [0,1] "text": "red dress", # 文本，可空字符串 "hint": hint_tensor, # 3 x H x W，稀疏颜色点，未标记区域为 0，可全零 "ref": ref_tensor, # 3 x H x W，参考图，可全零 "target_lab": lab_tensor, # 3 x H x W，目标图像 Lab 空间，L 范围 [0,100]，ab 范围约 [-128,127] }

这样设计的好处是训练循环里不需要对每种条件写不同的分支。代码层面用全零张量表示"该模态缺失"，配合损失函数里的条件丢弃，模型能学会在缺少条件时也正常输出。

线稿数据来源有两种常用方式：一种是用公开的动漫线稿上色配对数据集，另一种是从任意彩色图像提取边缘生成合成线稿。合成方式可以用 Canny 边缘检测、XDoG 滤波或分割轮廓提取。合成数据成本低，但是边缘质量和你最终应用场景差距可能很大，建议至少保留一部分真实线稿做微调。

3.2 文本、颜色提示与参考图的编码实现

文本编码器在实际项目中可以复用开源 CLIP 模型的文本分支。下面示例省略了 CLIP 内部的 transformer，直接假设已经拿到了文本特征向量，并加了一层可学习投影。

import torch import torch.nn as nn import torch.nn.functional as F class TextProj(nn.Module): def __init__(self, clip_text_dim=512, hidden=768): super().__init__() self.proj = nn.Linear(clip_text_dim, hidden) def forward(self, clip_text_feat): # clip_text_feat: B x seq_len x clip_text_dim return F.gelu(self.proj(clip_text_feat))

这里的关键点是只在预训练文本特征后面加投影，而不是随机初始化一个文本网络。CLIP 的文本语义包含了大量常识，直接微调它的全部参数在数据量不足时容易过拟合。

线稿编码器用简单的卷积堆叠，控制特征图的空间大小，方便后续与融合模块配合。

class LineEncoder(nn.Module): def __init__(self, in_channels=1, base=64): super().__init__() self.blocks = nn.Sequential( nn.Conv2d(in_channels, base, 3, 2, 1), nn.GELU(), nn.Conv2d(base, base * 2, 3, 2, 1), nn.GELU(), ) def forward(self, line): # line: B x 1 x H x W return self.blocks(line) # B x 128 x H/4 x W/4

颜色提示编码是一个容易被低估的细节。如果直接把3 x H x W的稀疏颜色图送入卷积，卷积核在空白区域会大量计算无意义的特征。推荐额外拼接一个 mask 通道，标记哪些位置有用户颜色输入。

class HintEncoder(nn.Module): def __init__(self, in_channels=4, base=32): super().__init__() self.conv = nn.Sequential( nn.Conv2d(in_channels, base, 3, 1, 1), nn.GELU(), ) def forward(self, hint_rgb, hint_mask): # hint_rgb: B x 3 x H x W # hint_mask: B x 1 x H x W, 有颜色点的位置为 1 x = torch.cat([hint_rgb, hint_mask], dim=1) return self.conv(x)

mask 通道的作用是告诉网络"这些颜色点在哪里"。没有 mask 的话，网络很难从全零区域和无输入区域之间区分出边界，颜色点的影响就会扩散到不应该影响的地方。

参考图编码可以用和线稿编码器类似的结构，也可以在空间特征上做全局池化得到全局风格向量。如果只需要迁移整体色调，全局向量就够；如果要迁移纹理和局部配色，保留空间特征更好。下面示例保留空间特征，方便和线稿做逐区域对齐。

class RefEncoder(nn.Module): def __init__(self, in_channels=3, base=32): super().__init__() self.conv = nn.Sequential( nn.Conv2d(in_channels, base, 3, 2, 1), nn.GELU(), nn.Conv2d(base, base * 2, 3, 2, 1), nn.GELU(), ) def forward(self, ref_image): return self.conv(ref_image) # B x 64 x H/4 x W/4

3.3 融合与解码：预测 ab 通道

融合模块把线稿特征作为基础，依次和文本、参考图、颜色提示特征做交叉注意力。以文本特征为例，实现如下。

class CrossModalFusion(nn.Module): def __init__(self, hidden=128): super().__init__() self.norm = nn.LayerNorm(hidden) self.q = nn.Linear(hidden, hidden) self.k = nn.Linear(hidden, hidden) self.v = nn.Linear(hidden, hidden) def forward(self, line_feat, modal_feat): # line_feat: B x C x H x W # modal_feat: B x seq_len x C，文本可以是任意长度 B, C, H, W = line_feat.shape q = self.q(line_feat.flatten(2).transpose(1, 2)) # B x HW x C k = self.k(modal_feat) v = self.v(modal_feat) attn = torch.softmax(q @ k.transpose(-2, -1) / (C ** 0.5), dim=-1) out = attn @ v # B x HW x C return out.transpose(1, 2).view(B, C, H, W) + line_feat

如果参考图也保留空间特征，可以先展平成序列再作为 modal_feat 传入。颜色提示编码后如果已经和线稿图在同一个分辨率，也可以展平后走同样的注意力路径；如果显存紧张，颜色提示可以直接在通道维度拼进线稿特征，节省计算量。

解码器把融合后的特征恢复到完整分辨率，并输出 ab 通道。这里有一个稳定训练的关键设计：输出层使用tanh再乘以 127 的缩放，而不是直接输出任意数值。因为 ab 通道本身范围约为[-128, 127]，tanh输出范围在[-1, 1]，乘以 127 后对应真实范围内，避免模型为了拟合少数极端颜色而把输出推得过大。

class LabDecoder(nn.Module): def __init__(self, in_channels, out_channels=2): super().__init__() self.up = nn.Sequential( nn.ConvTranspose2d(in_channels, 128, 4, 2, 1), nn.GELU(), nn.ConvTranspose2d(128, 64, 4, 2, 1), nn.GELU(), nn.Conv2d(64, out_channels, 3, 1, 1), ) def forward(self, x): return torch.tanh(self.up(x)) * 127.0

最终把输入线稿的 L 通道和预测的 ab 通道拼接，转回 RGB 得到上色结果。这个后处理建议放到模型外面，不要放进可学习参数里，方便调试时单独检查每一段输出的范围。

3.4 最小训练循环

有了数据、编码器、融合和解码器，最小训练循环如下。这里把每种条件都传入网络，但用条件丢弃模拟缺失状态。

def train_step(model, batch, optimizer): line = batch["line"] text_feat = batch.get("text_feat") hint = batch.get("hint", torch.zeros_like(line).repeat(1, 3, 1, 1)) ref = batch.get("ref", torch.zeros_like(line).repeat(1, 3, 1, 1)) target_ab = batch["target_lab"][:, 1:, :, :] # 只取 ab 通道 # 条件丢弃：以 15% 概率将某种条件置零，对应"该模态缺失" if torch.rand(1) < 0.15: text_feat = torch.zeros_like(text_feat) if torch.rand(1) < 0.15: hint = torch.zeros_like(hint) if torch.rand(1) < 0.15: ref = torch.zeros_like(ref) pred_ab = model(line, text_feat, hint, ref) loss = F.l1_loss(pred_ab, target_ab) optimizer.zero_grad() loss.backward() optimizer.step() return loss.item()

条件丢弃的比例不能太大。15% 左右既能让模型学会无条件输出，又不会因为条件经常缺失而忽略它。如果后续要切换到扩散模型，条件丢弃可以配合 classifier-free guidance，在采样时放大条件影响。

4. 训练策略与损失函数：让模型真正用上每一种条件

4.1 损失组合与各自的作用

只用 L1 损失能训练，但结果容易偏平滑，颜色边界不锐利。推荐至少组合两类损失：

CLIP 相似度损失对文本上色尤其重要。原因是文本"红色连衣裙"和图像中某个像素的 L1 距离没有直接关系，L1 只负责让模型在统计上接近真实颜色，但模型可能学到"听到 red 就全图偏红"。CLIP 损失会把整个生成图和文本描述一起做语义匹配，迫使模型把颜色放到正确区域。这个损失建议放到训练后期再加入，前期分布还没成型，CLIP 梯度会把模型带偏。

损失函数的权重不要一次加到最大，建议从主损失开始，逐步加入辅助损失，每个阶段观察验证集效果。生产项目里还可以按任务调整：如果上色结果用于动画批量生产，L1 权重可以提高；如果用于创意设计，对抗损失和 CLIP 损失权重可以提高。

4.2 条件丢弃、分阶段训练和生成式扩展

训练统一多模态模型时，最容易出现的问题是模型"偷懒"只依赖某一种条件。比如训练集中每个样本都有颜色提示和参考图，模型可能会学会丢掉文本，因为文本对应的不确定性更大。条件丢弃能缓解这个现象，但还不够。

更稳妥的做法是分阶段训练：

1. 第一阶段只训练线稿编码器和解码器，输入只有线稿，损失为 L1 和感知损失，得到一个基础上色能力。这一步让模型先学会"没有条件时该怎么涂色"。
2. 第二阶段加入颜色提示，固定或低学习率微调编码器，验证颜色点是否真的影响输出。
3. 第三阶段加入文本条件，引入 CLIP 损失。
4. 第四阶段加入参考图条件，统一融合所有模态。

分阶段训练的问题在于总训练时间增加。如果项目时间紧，也可以一次性多模态联合训练，但每个条件都要保证在验证集上单独做消融，确认它确实起作用，而不是被其他条件掩盖。

如果框架底层是扩散模型，条件丢弃后还可以在采样阶段使用 classifier-free guidance，公式为epsilon_theta = epsilon_uncond + guidance_scale * (epsilon_cond - epsilon_uncond)。这能让模型在推理时更听条件的话，是文本上色任务里提升效果非常明显的手段。

5. 验证与评估：不能只看整张图是否好看

5.1 定量指标组合

上色任务的评估不能只看一两张示例图。视觉上好看的图可能在像素层面和真实图差距很大，因为"另一种合理配色"同样好看。因此建议同时使用多种指标：

真实项目里，PSNR 高不代表结果好。一个灰蒙蒙的图 PSNR 可能很高，因为它和真实图平均误差小，但视觉非常无趣。LPIPS 和用户调研更能反映实际观感。文本条件任务一定要单独报告 CLIP Score，这是验证"模型有没有听文本的话"最直接的指标。

5.2 消融实验和分模态评估

统一框架最怕出现"什么都支持，什么都不好用"。因此验证阶段要做分模态消融：

1. 只给线稿，不给任何条件，看基础输出是否合理。
2. 只给文本，看颜色是否符合语义。
3. 只给颜色提示，看提示点颜色是否能够正确传播。
4. 只给参考图，看整体色调是否迁移。
5. 所有条件都给，看效果是否优于任意单一条件。

每种配置都要在同一个测试集上计算上面的指标。如果发现"只给文本"的 CLIP Score 很高，但"文本+颜色提示"时 CLIP Score 反而下降，说明两个条件在融合层冲突了，需要调整融合方式或者增加融合层参数。

建议把每类条件单独出一个小测试集。比如文本测试集按颜色词、物体词分组，验证"红色、蓝色、绿色"三个颜色词的上色准确率。颜色提示测试集按提示点数分组，2 个点、10 个点、50 个点分别统计。这样能快速定位框架在什么输入条件下最容易失效。

6. 常见问题排查：从现象倒推根因

6.1 文本条件不起作用

现象：无论输入什么文本，生成图颜色几乎一样，或者只有轻微变化。

排查顺序：

1. 确认文本特征是否真的进入网络。在融合模块处打印文本特征向量的范数，如果完全没有梯度或者特征被丢弃，说明前向链路有问题。
2. 确认训练时条件丢弃是否过于频繁。如果丢弃概率 50%，模型很可能直接放弃文本条件。
3. 确认文本和图像是否在同一个样本里配对正确。数据加载 bug 是这一类问题最常见的来源。
4. 检查是否加入 CLIP 损失。如果只用 L1，模型没有足够信号把文本语义映射到颜色区域。
5. 检查文本特征是否被冻结。复用 CLIP 特征时可以冻结编码器，但后面的投影层必须可学习。

预防建议：训练过程中每个固定步数用同一个文本条件做一次可视化，观察颜色变化。如果训练到一半仍然不变，优先检查数据配对和梯度流。

6.2 颜色提示边界被忽略

现象：用户在线稿某个区域点了粉红色，但生成结果里该区域颜色没有明显变化，或者粉色扩散到了很远的地方。

可能原因是提示编码缺少 mask 通道。如果只把稀疏颜色图直接送入卷积，网络很难从数值上区分"这里用户点了粉色"和"这里本来就没有颜色"。检查方式有两个：一是可视化 hint 编码器输出特征，看有颜色点附近是否有高响应；二是把提示点数量从 1 个增加到 10 个，看指标是否明显提升。

另一个常见原因是颜色提示和线稿特征分辨率不一致，已经下采样了好几层，导致细粒度位置信息丢失。解决方法是在小分辨率特征图做粗粒度融合，同时在高分辨率特征图额外做一次提示引导。

颜色提示还常用 distance transform 作为附加输入，把每个像素到最近颜色点的距离编码进去，让模型更清楚地知道"距离颜色点越远，受这个点影响越小"。

6.3 Lab 空间输出异常和训练不收敛

现象：生成图颜色发灰、颜色溢出、或者 loss 波动很大不下降。

检查顺序如下：

Lab 空间里 L 通道是独立输入的，不要在解码器里重新预测 L。如果解码器里又输出 3 个通道，模型会分一部分容量去预测已经知道的 L，不仅浪费，还可能让 ab 通道学不充分。正确做法是解码器只预测 2 个通道的 ab。

6.4 多模态一起输入时效果反而变差

现象：单模态结果正常，一旦同时输入文本和参考图，结果混乱，色块错位。

这是典型的融合冲突。文本希望全局语义主导，参考图希望局部色调主导，两者在交叉注意力里互相干扰。排查方式是把各模态特征输入融合前和融合后的差异可视化，看哪个模态的特征梯度更大。

解决方向：

1. 调整条件丢弃策略，训练时用不同条件组合，而不是只训练全条件。
2. 给不同条件分配可学习的门控权重，让网络自己决定每种条件在每层特征上的贡献。
3. 检查模型是否有足够的容量。多模态统一意味着需要额外参数和额外训练数据，小模型加少数据很容易过拟合到某一种条件上。

7. 最佳实践与扩展方向

7.1 可复用的工程检查清单

无论从零实现 OmniColor 类似框架，还是改造已有模型，建议在启动训练前逐项确认：

• [ ] 线稿通道数、取值范围是否统一，训练和推理保持完全一致
• [ ] 文本编码器是否冻结，投影层是否可学习，特征维度是否对齐
• [ ] 颜色提示是否带 mask 通道，mask 是否和颜色图严格对应
• [ ] 参考图是否需要空间对齐，还是只使用全局风格向量
• [ ] 输出层是否做范围约束，Lab 空间下是否只预测 ab 通道
• [ ] 条件丢弃概率是否设置，验证集里是否有单独的缺失条件测试
• [ ] 损失函数是否附带文本语义约束，CLIP 损失是否纳入训练后期
• [ ] 每个模态在验证集上是否有单独指标，避免被整体指标掩盖
• [ ] 推理代码是否和训练代码共享同一套预处理逻辑

这条清单在模型改版时同样适用。很多"升级后效果变差"的问题，最后都能追溯到某个输入范围不一致、某个预处理开关没有同步。

7.2 生产环境需要额外注意的差异

学习环境里用单卡、小分辨率、少量 epoch 把原型跑通，和生产部署之间还有很大距离。生产环境要额外考虑：

1. 推理服务的输入约束。用户上传的线稿可能是任意尺寸、带背景噪声、分辨率差异很大，服务端要做尺寸归一化、去噪或反色处理。
2. 模型量化与加速。如果面向 Web 应用，要考虑使用 TensorRT 或 ONNX Runtime 加速，量化过程里要多模态输入是否都能正确处理需要逐一验证。
3. 配置外置化。线稿范围、提示点数量限制、文本长度、参考图最大尺寸等参数应放到配置文件或环境变量里，避免改一个参数就重新部署版本。
4. 日志与监控。记录每张图的推理耗时、输入模态组合、生成结果哈希，方便后续回溯"某一批结果为什么偏色"。
5. 回滚方案。模型版本之间要保持旧版本接口兼容，新模型上线灰度发布，观察用户反馈和自动化指标后再全量。

7.3 下一步可以扩展的方向

OmniColor 这类"统一多模态"思想的价值不只在线稿上色。同一套"多种条件编码成统一序列 + 交叉注意力融合"的架构，可以迁移到以下任务：

• 线稿补全：输入端增加破损区域 mask，让模型同时理解结构和缺失区域。
• 图像编辑：通过文本和参考图控制局部重绘，具备更可控的编辑能力。
• 风格迁移：把参考图模态扩展为任意样式，文本控制内容语义，颜色提示控制局部，能够组合出更灵活的创作工具。
• 视频线稿上色：把单帧变成视频帧序列，多模态条件按帧对齐，需要额外考虑时序一致性。

对新手来说，最有价值的练习是先把单模态上色完整跑通，确认数据和损失没有隐藏 bug，再扩充到多模态。不要一上来就堆三个条件、多个损失，问题会出现得很晚且难以定位。

最终判断一个统一多模态框架是否成功，标准不是"它有多少种输入方式"，而是"每一种输入方式单独用的时候都好用，组合起来也稳定"。把这个标准拆成验证计划、分阶段训练、逐个条件做消融，OmniColor 这类工作背后的工程思路，在任何条件生成任务里都值得复用。