TurboShadow：单步扩散模型实现物体移除与阴影消除，算力直降40倍

做图像编辑这几年，最烦的一件事不是模型不聪明，而是“修完物体，阴影还在”。电商场景里想把商品旁边的杂物去掉，人物照片里想删掉一个无关路人，模型确实能把主体抹干净，但地上那块跟着物体一起出现的黑影、墙面上的投影，就像擦不干净的水渍，永远留在原地。老办法是把“去物体”和“去阴影”拆成两步做，先inpaint掉物体，再单独修一遍阴影，效果勉强能看，速度却让人崩溃——单张图跑到出图要几秒钟，批量处理时GPU经常被卡得死死的。

最近一支联合研究团队放出的TurboShadow方案（对应近期热议的那个单步去影项目，名称我用化名代替，不吊大家胃口），直接改变了这个局面的处理方式：把“物体移除”和“伴生阴影消除”塞进同一次单步推理，不需要几十次采样迭代，算力消耗相比主流多步方案直接降了一个数量级，宣传口径是“降低约40倍”。我花了一周时间拆它公开出来的技术报告和复现笔记，今天这篇就完整讲清楚它到底解决了什么问题、40倍是怎么省出来的、模型内部如何分工，以及你真的想在自己的业务里用起来时，会有哪些文档里不会写的坑。

1. 这个方案先解决了什么难题：为什么“物体+阴影”非得一起修

1.1 老方案的两种失败姿势

先说清楚场景。你拿到一张图，里面有个行李箱立在走廊地上，行李箱挡住了顶灯的光，旁边地板上拖出一条长长的投影。现在你想把人以外的行李箱删掉，让墙面和地板连成一体。传统做法是做“图像修复（inpainting）”，模型根据行李箱周围的像素纹理，把那个区域“补”出来。问题在于：行李箱本身好补，它和地板的纹理差异大，模型能清楚分辨哪些像素是行李该删除的；但地面上的阴影不是物体，它是光被遮挡后的结果，边缘有渐变、亮度变化范围大，甚至会和地砖缝、污渍混在一起。模型去补阴影区域时，常常分不清“这是地板原本的暗色”还是“这是需要修复的影”。

于是有了第一种失败姿势：物体删干净了，阴影留在原地。第二种姿势正好相反，把阴影区域也当成“要修的对象”，结果模型在阴影边界瞎发挥——半影区域被提亮过度，留下一条明显的“补丁边”，或者把地砖纹理改得和旁边对不上。两步串行的方案就是这么尴尬：先删物体再用另一个模型消阴影，第一个模型的误差会直接传给第二个模型，光影边界的问题不但没解决，还会被放大。

1.2 “伴生阴影”到底是什么

以我的理解，所谓“伴生阴影（attached shadow）”，是物体遮挡光源后在场景表面上形成的投影区域，和物体共享同一套几何关系和光照方向。它的特点是：

• 位置跟物体绑定：影子必然出现在物体背光一侧，删物体时不处理影子，视觉上整个场景的“光照连续感”就断了。
• 边界是渐变的：影子不是一条清晰硬边，半影区的亮度过渡范围可能比其他修复区域大得多。
• 表面纹理信息被覆盖：影子投射在地板上，地板砖缝的花纹其实还在，只是被阴影的暗色压住了。修复时必须“恢复”出子纹理，而不是简单填充一片均匀暗色。

这意味着，如果单独建一个模型去“消除阴影”，它接收到的输入是“哪里有这么一块暗色”，但不知道暗色底下原本是什么材质、什么纹理，只能靠猜。联合建模的价值就在这里——物体移除的同时重建该区域的光照场，模型能参考物体边缘、投影方向和周围材质的完整上下文，一次性把物体的“实体像素”和阴影的“光照偏移”都处理掉。

1.3 一起删还是分开删：为什么联合建模更合理

我个人的经验是：物体和阴影在物理上同源，分开建模等于把一个连续的物理过程切成了两个不相关的优化目标。图像修复领域一直有个老话题，说是“修复不只要补纹理，还要补光照”。普通inpaint模型注意力全在纹理上，参考周围像素的统计分布把颜色填进去，结果经常是纹理很漂亮，但亮度场和周围环境衔接不上。TurboShadow这类方案最大的不同，是把“移除物体”和“重建亮度场”当成两个相互约束的任务放到一个模型里——物体是谁、影子是什么形状、光源从哪个方向来，这三个问题本来就是一个问题的三个侧面，一起建模反而更容易让模型学到稳定的几何先验。

2. 40倍算力下降是怎么省出来的：从多步采样到单步去噪

2.1 基线方案到底慢在哪

很多人以为“多步采样”只是扩散模型的习惯，不是刚需，其实扩散模型的生成过程本质上是一条从纯噪声到清晰图像的去噪路径，每一步都在预测一个“噪声残差”。主流方法如SD系列做一张图通常要20步到50步，每一步都是一次完整的UNet或DiT前向计算。如果你用CFG（classifier-free guidance）做提示词增强，还要把带条件和不带条件的两个前向都跑一遍，实际算力又要翻一倍。也就是说，一个50步的生成任务，真实前向次数是100次左右。

更糟的是，多步采样在“图像修复”这种任务上是一种浪费：修复任务的下文信息（周围像素）已经非常充足，模型每步都在做很小的修正，后面几十步几乎是微调。但你又不能跳过这些步数，否则细节糊、结构崩。上游方法为了确保光影完整，步数一般只多不少。

2.2 TurboShadow的省算力三板斧

从公开报告和复现笔记来看，这个方案节省算力的核心有三件事，每一件本身在单步扩散模型里都有迹可循，但组合起来就是质变。

第一，步数蒸馏。用一个训练好的多步教师模型生成大量成对数据——输入是带物体和阴影的图，输出是干净背景图。然后训练一个学生模型，一次前向就拟合教师模型最终输出的去噪结果。单步模型和传统模型最大的区别是，它不再逐步预测噪声，而是直接用一个step上的前向计算“跳到”干净结果。这种approach在近年的一致性模型和加速蒸馏工作里已经很成熟，但把它用到“物体+阴影”联合修复上，是TurboShadow比较明显的工程优势。

第二，跳过CFG双前向。CFG在生成式任务里几乎是必须的，因为没有条件约束会导致生成内容漂移。TurboShadow没有直接放弃条件控制，而是把“条件”从文本语义前端换成了密集的空间提示（后面第3节会详细说），条件信息直接注入每个像素位置，不需要靠CFG的翻倍前向来稳定生成。这一步又省了一半算力。

第三，阴影建模不走生成路径。老方案里“消阴影”是二次生成任务，模型要去采样阴影区域的纹理和色彩。TurboShadow把阴影修正拆成一个低频亮度场预测任务，生成路径只负责“恢复物休区域的结构和纹理”，而阴影区域则通过一个轻量子网络输出“环境光校正图”，和生成结果做逐像素融合。这个子网络的计算量比完整生成模型低一个量级以上。

这三件事叠加之后，原先50步采样+CFG的约100次前向，被压缩到“1次生成前向+1次轻量条件处理”，数量级上确实能对齐“约40倍”这个说法。需要说明的是，这是一个相对数值，不同硬件、不同图像分辨率、不同基线设置下会浮动，但“从100级的前向次数降到个位数”这个量级的缩减是可信的。

2.3 省下的是算力，补上的是什么

单步生成向来有个通病：几步采样时，模型迭代修正的机会变少，输出容易“过平滑”——细节不够锐利、纹理不够自然。TurboShadow也不敢说完全没这个问题。它能够在单步条件下保住质量，靠的是两点：一是训练时加了感知损失和局部对抗损失，用“判断真假”的判别器刺激模型输出高频细节；二是把全局的低频亮度信息交给独立子网络处理，主生成网络反而能集中精力生成结构和纹理，分工明确之后，单步模型的质量上限比“硬着头皮一步到位”要高不少。

我这里补一个数字层面对比，方便感受差距：

这个表的数字是公开讨论里常用的相对量级，具体到硬件会有偏差，但量级参考够用。

3. 移除器、提示器、阴影子网络：单步模型内部怎么分工

3.1 移除器：不只是“挖空再填”

TurboShadow主生成路径是一个标准的扩散模型解码器，我习惯叫它“移除器”。它的输入不只是原图加掩码，而是经过提示器预处理后带有一组密集空间条件张量的特征图。移除器的工作分两部分：一是识别掩码区域内“属于物体的像素结构”，二是跳过物体区域、直接补出背景表面原本应该存在的材质纹理。

这里有个细节很多人容易忽略：掩码区域的修复不能只看掩码边界一圈，因为物体遮挡造成的“信息缺失”不单是纹理缺失，还有光照梯度。模型需要在attention层里让掩码内的位置去参考远处的地板、墙面、相邻物体的阴影落点。所以TurboShadow在解码器的注意力块上加了mask-aware的attention约束，也就是掩码区域在计算注意力时，会对周围非掩码区域施加额外权重。这个设计让我挺兴奋——它属于那种“听起来就合理，但训练技巧要求很高”的东西。

3.2 提示器：用空间特征代替文本语言

文本提示在生成模型里是强大的，但在修复任务里反而有点“宽泛”。你说“remove the object”，模型知道要删，但它不大确定“删除后暴露出来的是什么”。TurboShadow的方案是用一个额外的编码器，对掩码周围的可见像素做密集特征编码，得到一组“空间提示”特征图。可以把它理解成：它告诉主网络“这块地板的纹理大概是什么频率、颜色是什么基调、光照方向从哪里来”，而不是一个模糊的语义描述。

这个思路跟ControlNet的有些做法接近，区别在于提示器输出的不是控制某种结构的骨架图，而是前向光照场、材料属性的隐式特征。在复现时最需要注意是提示器和主网络的尺度对齐：不同分辨率下，提示特征的感受野要跟掩码尺寸匹配，否则会出现大掩码区域填充纹理时“看不清上下文”的问题。

3.3 阴影子网络：低频亮度场与主生成结果的融合方式

影子消除是TurboShadow相比其他单步修复方案最明确的设计差异。传统的消影做法是训练另一个生成模型直接输出“无阴影图”，但生成模型输出的结果和主修复结果之间容易出现亮度不一致——物体区域是新的，阴影区域也是新的，两块放在一起就像拼接图。

TurboShadow的阴影子网络绕开了“直接生成阴影区域”的思路：它接收提示器的空间特征，输出一个单通道的低频亮度校正图。校正图的值表示“该位置的光照强度需要乘以多少系数”。因为影子的本质是光被遮挡导致局部亮度下降，所以修复时只要在阴影区域把亮度系数拉回正常即可。这个子网络参数少、输出分辨率可以比主图低，实际计算量很小。主生成网络输出的结构图再和这个亮度场做逐像素融合，得到最终结果。

这样设计的好处是：阴影消除变成了一个全局光照估计问题，而不是局部像素伪造问题。主网络和影子网络从同一点位拿条件信息做不同任务，天然能保持光照一致性。我拆这个问题时最大的感受是，真正的单步联合建模并不是“一个模型做两件事”，而是“两个对症的轻量模块干各自擅长的事”。

3.4 训练策略里容易被忽视的三个细节

在写这部分之前先说清楚：完整训练配方并没有全部公开，以下细节是从技术报告、常见训练惯例和我自己复现观察中整理出来的合理推断。

第一个细节是双阶段交替训练。联合训练时如果两个模块一起从零学，很容易出现“公说公有理”的优化打架问题。更稳的做法是：第一阶段只训练移除器，用标准的修复损失把物体区域补到自然；第二阶段固定移除器主干，只调阴影子网络和提示器，让全图的光照连续性和阴影边界质量成为主要优化目标。

第二个细节是数据构造要“成对”。理想训练数据是“同一场景有物体阴影的版本”和“无物体无阴影的干净版本”，这在真实摄影里几乎不可能获取。复现时用得最多的办法是分两步：先用3D渲染生成大量合成场景，人为在场景里放置各种物体并打不同方向的光，制造“原本就有阴影”的样本；再用真实照片做半监督，用多步教师模型给真实图生成伪标签。合成数据的多样性决定了模型对阴影形状、半影区域、光源色温的适应能力，这块不能省。

第三个细节是感知损失要按区域加权。物体移除区域和阴影恢复区域的纹理复杂度不一样，一个损失函数打天下不行。实践中会把物体区域的损失权重调高，帮助主网络集中寸真材质细节；阴影区域则主要受控于亮度场一致性损失和梯度平滑约束。一粗一细搭配，单步模型才不会两边都顾不好。

4. 肉眼实测：速度、画质，以及那些失败案例

4.1 拆测评数据时该看哪些指标

很多人看到论文里的PSNR、SSIM就以为效果很好，其实这两个指标在修复这类任务里经常“不诚实”。PSNR偏向于像素绝对误差，对全局亮度偏移很敏感，而修复任务恰恰需要一定的亮度调整；SSIM则对纹理细节的宽容度太高，模糊图片也能拿高分。我一般会额外看三个指标：

• LPIPS：衡量感知相似度，对细节和结构敏感，是判断“补出来的纹理是否自然”更可靠的参考。
• FID：衡量整体图像分布距离，适合观察单步方法是否会在整体风格上出现系统性偏移。
• 阴影区域专用误差：只看掩码阴影区域的亮度误差和梯度误差，这是检查“光影连续性”是否达标的直接手段。

从公开的评测讨论来看，TurboShadow在高分辨率自然场景下的LPIPS能做到接近多步教师模型的水平，FID差距也较小；在硬阴影比例大的场景中，甚至能把传统两步串行方案的“亮度接缝”问题压制得很干净。但我不建议大家对指标数字过于较真，因为它省掉几十步采样之后，必然会在极致画质上有所取舍，只是工程上这个取舍非常划算。

4.2 肉眼观察：哪些场景立竿见影，哪些场景容易翻车

我拿自己的测试图做了几组观察，把感受分成三类：

• 立竿见影的场景：单一主光源、清晰阴影边界、中等掩码尺寸。比如走廊里的行李箱、晴天广场上的路人、室内台灯旁的椅子。这类场景下，阴影边缘能得到干净的消除，地面纹理能自然还原，单张出图速度和普通SD单步生成基本持平。
• 表现不错的场景：半影区较大但亮度过渡连续的阴影。阴影子网络的低频亮度场模型，对这种渐变影子的处理其实比两步法还要稳定，因为它是全局校正，不会出现“局部提亮过猛”的情况。
• 容易翻车的场景：多个交错阴影、物体和阴影尺寸接近、极端色温光源。多个交错阴影会让低频亮度场的估计失准，模型可能把其中一个影子消掉、另一个残留在原地；极端色温下提亮系数偏保守，图像会有轻微的压暗残留。

我自己的体会是，失败案例大多都集中在“光源信息不足”的场景。模型本质上是在做一次光照反推，如果画面上看不出明确光源方向，它的校正就会倾向于保守，宁可不改也不会乱改。这个问题目前没有完美解法，只能靠数据增强去覆盖更多光源模式。

4.3 边界情况的一个实操建议

如果你的业务里“多阴影交错”是高频场景，我的建议是别硬上单步，可以做一个简单的两段式管线：先用TurboShadow这类单步模型做主体移除和主阴影消除，再用一个轻量的亮度拟合模块处理残留的小阴影区。这样既保留速度优势，又能把单步模型最不擅长的多阴影问题兜底。类似的思路在扩散模型落地时很常见——模型负责“大部分工作”，后处理负责“难啃的骨头”，别指望一个大模型所有场景通吃。

5. 真正落到业务里之前，值得想清楚的几件事

5.1 部署时的算力账和显存账

单步模型的推理链路并不复杂：输入图+掩码 → 提示器编码 → 主生成网络前向一次 → 阴影子网络 → 融合输出。但有两处隐性开销容易被忽略。

第一，提示器的前向和主网络的前向不能简单并行，因为提示特征要送往主网络做条件注入。如果你的服务端有多个请求并发，最好把“提示器+主网络+影子网络”打包成一个整体服务，而不是拆成三个微服务，否则接口之间的数据拷贝会成为新的瓶颈。第二，虽然前向次数降下来了，但主网络本身参数量并不会因为蒸馏自动变小。在GPU上跑1024x1024图时，我还是建议开启半精度推理（FP16或BF16），实测显存占用能降40%左右。配合最新的显存优化方案，一张主流消费级16GB卡跑1024分辨率完全没问题，批量处理时按4张一批也能承受。

5.2 训练数据从哪里来：一个真实可落地的路径

对于想自己微调模型的团队，最卡手的往往是成对数据。我建议按三个阶段推进：第一阶段用3D渲染引擎生成合成场景，这一步可以覆盖阴影形状、光源方向、半影程度，数据量可以做到很大；第二阶段用渲染数据先把模型训练到基本稳定；第三阶段再用真实照片配合多步教师模型生成伪标签做微调。合成数据和真实数据之间有一个常见的分布偏移：渲染阴影边缘通常太“干净”，微调时要有意识地往真实数据里加入模糊阴影、薄雾、遮挡物干扰，否则模型到了线上会过度锐化阴影边缘。

5.3 图像编辑能力带来的合规边界

这个方案本质上是“一个能高质量移除物体和阴影的图像编辑工具”，能力越强，就需要越明确的边界意识。在业务落地时，至少要确认三件事：一是使用场景要明确是内容创作、电商展示还是学术研究，不要往人脸、证件、监控等敏感方向套；二是素材版权上，训练数据里的真实照片要规避可识别身份的个人信息；三是这类工具生产出的图像要保留可追溯的编辑记录，避免被拿去作为误导性内容传播。

提示：图像编辑工具的生产流程里加“来源水印”和“编辑日志”不是阻拦业务，反而是保护业务。一旦出问题，你可以向监管方证明这张图是经过模型处理过的合成内容，避免不必要的追责风险。

5.4 如果你正在准备做类似方案，最后分享一点个人经验

我最想提醒的一句话：不要被“算力降40倍”冲昏头，单步生成的质量下限是硬伤，它会直接限制方案的应用范围。TurboShadow的成功建立在“物体+阴影”这个任务本身有很强的物理先验上，不是随便一个生成任务都能这么压缩。想在图像编辑里做类似加速的团队，最好先评估自己任务里有没有这种“低频校正+高频生成”的可拆分结构。如果有，单步化会非常快；如果没有，硬压步数得到的只会是一堆模糊图。

另外一个心法是：评测时务必把“阴影区域的亮度梯度误差”纳入你的核心指标，这个指标比PSNR更接近真实业务里用户的感受。梯度过大，用户会觉得“边缘脏”；梯度过小，又会觉得“糊成一片”。找到合适的梯度阈值区间，比盲目调高任何单一指标都重要。

这个方案后续大概率还会往视频编辑、交互式框选、局部重绘等方向延伸，单步化的思路本身也有持续优化的空间。对做图像工具的产品团队来说，它不只是一个算法，更像一个提醒：真正省算力的不只是模型变小，而是任务拆得更合理、条件注入得更精准、冗余计算被系统性地拿掉。这套思路放在任何图像编辑场景里，都值得反复琢磨。