图像合成这活儿，做过的人都知道，把一个人或者一个物体从A图抠出来贴到B图上，边缘处理得再干净，十有八九还是会露馅。原因不复杂：前景和背景之间的光照、色温、阴影、对比度这些底层统计特征对不上，人眼对这类不一致极其敏感，哪怕你说不出哪里怪，就是觉得"假"。图像和谐化要解决的就是这个问题——让合成后的前景在色彩和光照上真正融入背景，看起来像是原本就在那个场景里拍的。CVPR 2020那篇工作把数据集和方法一起端了出来，iHarmony4数据集加上DoveNet，算是这个方向上一个绕不开的基线。我最近把整套流程从数据准备到推理部署完整跑了一遍，踩了不少坑，这里把核心细节和实操经验整理出来，给要做图像合成、电商图生成、AR内容落地的朋友一个可直接参考的路径。
1. 图像和谐化到底在解决什么问题
1.1 从合成图的"违和感"说起
先把这个任务的边界划清楚。图像和谐化不是图像融合，也不是简单的色彩迁移。它的输入是一张已经合成好的图——前景已经贴到背景上了，位置、大小、透视关系都定了——输出是调整过前景外观的图，让前景的色调、亮度、饱和度、阴影方向跟背景匹配。注意，它不改几何，不改位置，只改外观。
为什么这件事难？因为真实照片里，前景和背景共享同一套光照条件。一个杯子放在木桌上，杯子的高光方向、环境反射色、投影软硬程度，都是被同一个光源和同一个环境决定的。当你把杯子从另一个场景抠过来，它带着原来场景的光照信息，跟新背景的光照信息冲突。这种冲突在像素层面表现为：前景区域的亮度分布、色彩直方图、梯度特征跟周围背景区域存在系统性偏差。
传统做法有两类。一类是基于物理的，试图估计光照参数然后重新渲染，但单张图估计光照本身就是一个病态问题，参数稍微偏一点结果就崩。另一类是手工特征匹配，比如匹配前景和背景的均值和方差，做全局色彩校正。这类方法在简单场景下能用，但遇到复杂光照就歇菜——因为真实场景的光照是非均匀的，全局校正会把本来对的地方也改坏。
深度学习方法的路子不一样。它不显式估计光照，而是让网络从大量"合成图-真实图"配对数据里学到一个映射：给定一张合成图，直接回归出和谐化后的图。这个思路的关键在于数据——你得有足够多、足够真实的配对样本，网络才能学到泛化能力。iHarmony4就是在这个背景下出现的。
1.2 iHarmony4数据集的构成逻辑
iHarmony4这个名字里的"4"指的是它包含四个子数据集，每个子数据集的前景来源和合成方式不同，覆盖不同的难度和场景类型。我把它整理成一张表，方便对照：
| 子数据集 | 前景来源 | 背景来源 | 合成特点 | 难度定位 |
|---|---|---|---|---|
| HCOCO | COCO数据集中的物体 | COCO数据集中的场景 | 真实物体贴真实背景 | 中等，场景多样 |
| HAdobe5k | Adobe5k图像编辑数据集 | 同源 | 经过专业编辑的合成 | 较高，编辑痕迹复杂 |
| HFlickr | Flickr真实照片 | 同源 | 自然场景合成 | 中等偏高 |
| HDay2night | 同一场景不同时间 | 同源 | 光照差异极大 | 高，跨光照条件 |
四个子集加起来大约有7万多张合成图，每张都有对应的真实图作为监督信号。这个规模在当时算是相当可观了。更重要的是，四个子集的合成方式不同，逼着模型不能只学某一种合成伪影，得学到更本质的光照一致性。
我实际用下来，HCOCO适合做基础训练和快速验证，因为它的合成方式相对简单，模型容易收敛。HAdobe5k的编辑痕迹最复杂，很多图的前景经过了多次处理，噪声和压缩伪影混在一起，训练时loss波动明显。HDay2night是最能拉开模型差距的，白天前景贴到夜晚背景上，或者反过来，光照差异巨大，baseline方法基本全崩，DoveNet在这个子集上的优势最明显。
提示：如果你只是想快速验证一个和谐化模型的效果，建议先在HCOCO上跑，收敛快、指标好看。但要真正评估泛化能力，HDay2night是绕不开的，它最能暴露模型对光照的理解深度。
1.3 DoveNet的核心设计思路
DoveNet的全称是Deep Image Harmonization with Domain Verification，翻译过来就是"基于域验证的深度图像和谐化"。它的核心创新点在于引入了一个域验证机制，用来判断一张图是"合成域"还是"真实域"，然后用这个判断信号去指导和谐化网络。
为什么要做域验证？因为和谐化的本质是把合成域的前景映射到真实域的分布上。如果网络能同时学会区分"这张图看起来像合成的"和"这张图看起来像真实的"，那它就有了一个明确的优化目标：让和谐化后的图在域判别器眼里越来越像真实图。这比单纯用像素级loss（比如L2）去回归真实图要更鲁棒，因为像素级loss对配准误差极其敏感，而域级别的信号更关注整体分布。
具体结构上，DoveNet包含三个主要模块：和谐化网络、域验证网络、以及一个域特征融合模块。和谐化网络负责生成调整后的前景，域验证网络负责判断输入图属于哪个域，融合模块把域特征注入到和谐化过程中，让网络知道当前应该往哪个方向调整。整个训练是端到端的，域验证的梯度会回传到和谐化网络。
这个设计的好处是，它把"看起来真实"这个模糊的目标转化成了一个可学习的判别信号。我实测下来，相比纯L2回归的baseline，DoveNet在HDay2night上的PSNR提升明显，而且生成的图在视觉上更自然，不会出现过度校正导致的色彩断层。
2. 环境搭建与数据准备实操
2.1 依赖环境与版本选择
这套代码基于PyTorch，我用的环境是Python 3.8 + PyTorch 1.7 + CUDA 11.0。为什么不建议用太新的版本？因为这类CVPR 2020的工作，代码库往往依赖一些旧版本的API，比如torch.nn.functional.interpolate的某些参数行为在新版本里有变化，直接上PyTorch 2.x大概率会遇到兼容性问题。
我的环境配置清单：
# 创建虚拟环境 conda create -n dove python=3.8 conda activate dove # 安装PyTorch（根据你的CUDA版本调整） pip install torch==1.7.1 torchvision==0.8.2 # 其他依赖 pip install numpy opencv-python pillow scikit-image tensorboard pip install dominate # 用于生成HTML可视化显卡方面，训练至少需要11GB显存，我用的是单卡2080Ti，batch size只能开到8。如果显存更小，可以把batch size降到4，同时把学习率相应调小，否则训练不稳定。推理阶段显存需求低很多，4GB的卡也能跑。
注意：不要用
pip install torch直接装最新版，一定要指定版本。我一开始图省事装了最新版，结果在加载预训练权重时报了一堆key不匹配的错，排查了半天才发现是版本问题。
2.2 数据集下载与目录结构
iHarmony4数据集官方提供了下载链接，但文件比较大，四个子集加起来大概几十GB。下载后需要按照代码要求的目录结构组织。我整理了一个标准的目录树：
iHarmony4/ ├── HCOCO/ │ ├── composite_images/ # 合成图 │ ├── real_images/ # 真实图（监督信号） │ └── masks/ # 前景mask ├── HAdobe5k/ │ ├── composite_images/ │ ├── real_images/ │ └── masks/ ├── HFlickr/ │ └── ... └── HDay2night/ └── ...每个子集里，composite_images是输入，real_images是对应的目标，masks用来指示哪些区域是前景。mask是二值的，前景区域为1，背景为0。训练时loss只在前景区域计算，因为背景本来就不需要改。
这里有个容易踩的坑：mask的格式。有些子集的mask是单通道灰度图，有些是RGB三通道但内容相同。代码里一般会做统一处理，但如果你自己写dataloader，记得先检查一下。我遇到过mask值不是严格的0和255，而是0和1的情况，导致前景区域几乎为空，loss一直是0，排查了好久。
2.3 数据预处理的关键细节
数据预处理这块，官方代码做了几件事：resize到256x256、归一化到[-1,1]、以及一些数据增强。我建议在复现时保持和官方一致，否则指标对不上。
resize这一步有个细节：合成图、真实图、mask必须用同样的变换参数，否则像素对不齐。官方代码里用的是cv2.resize，插值方式对图像用双线性，对mask用最近邻。这个区别很重要，mask如果用双线性插值，边缘会出现0.5这样的中间值，二值化后就偏了。
归一化到[-1,1]是因为DoveNet的生成器最后一层用了tanh激活，输出范围是[-1,1]。如果你改成[0,1]归一化，生成器的输出范围就对不上，训练会出问题。
数据增强方面，官方用了随机裁剪和随机翻转。随机裁剪要注意，裁剪后前景可能被裁掉一部分，如果裁得太狠，前景区域太小，loss就没意义了。我的做法是保证裁剪后前景区域至少占图像的5%，否则重新裁。
# 数据增强示例 def random_crop_with_foreground(image, real, mask, min_fg_ratio=0.05): h, w = image.shape[:2] for _ in range(10): # 最多尝试10次 crop_size = random.randint(200, 256) x = random.randint(0, w - crop_size) y = random.randint(0, h - crop_size) crop_mask = mask[y:y+crop_size, x:x+crop_size] if crop_mask.sum() / crop_mask.size >= min_fg_ratio: return (image[y:y+crop_size, x:x+crop_size], real[y:y+crop_size, x:x+crop_size], crop_mask) # 如果10次都不满足，返回原图 return image, real, mask这段代码看着简单，但实际用的时候要注意，如果某个子集的前景本来就很小，可能10次都裁不到满足条件的，这时候要有兜底逻辑，不然会死循环。
3. DoveNet网络结构与训练细节拆解
3.1 生成器与判别器的结构选择
DoveNet的生成器用的是U-Net结构，encoder-decoder加skip connection。为什么用U-Net？因为和谐化是一个image-to-image的任务，输入和输出的空间结构要一致，U-Net的skip connection能把浅层的位置信息传到深层，保证输出不会跑偏。
encoder部分用的是ResNet-50的前几层，预训练权重来自ImageNet。这里有个选择：用预训练权重还是从头训？我的经验是必须用预训练，因为iHarmony4的数据量虽然不小，但相比ImageNet还是少，从头训容易过拟合。用预训练权重后，收敛速度快很多，最终指标也更好。
判别器用的是PatchGAN，输出一个NxN的矩阵，每个位置判断对应patch是真是假。为什么不用整图一个标量的判别器？因为和谐化的问题往往是局部的，某个区域不和谐，整图判别器可能被其他和谐的区域平均掉，PatchGAN能捕捉局部不一致。
域验证网络的结构和判别器类似，但它的任务不同：判别器判断"这张图是真实的还是生成的"，域验证网络判断"这张图是合成域的还是真实域的"。这两个任务有重叠但不完全一样。判别器关注的是生成质量，域验证网络关注的是域归属。
3.2 损失函数的设计与权重调优
DoveNet的损失函数是几项的加权和，我把它拆开说：
- L1损失：和谐化结果和真实图的像素级差异，只在前景区域计算。这一项保证输出不会偏离太远。
- 感知损失：用VGG提取特征，比较和谐化结果和真实图在特征空间的差异。这一项让输出在语义上更接近真实图，避免过度平滑。
- 对抗损失：判别器的输出，让生成结果看起来真实。
- 域验证损失：域验证网络的输出，让和谐化结果在域空间上接近真实域。
权重方面，官方给的配置是L1权重1，感知损失权重0.1，对抗损失权重0.01，域验证损失权重0.1。我试过调整这些权重，结论是L1和感知损失的权重比较敏感，调大了会导致输出模糊，调小了会导致色彩偏移。对抗损失和域验证损失的权重相对不敏感，在0.005到0.05之间都能work。
实操心得：如果你发现训练出来的结果偏灰、饱和度不够，大概率是L1权重太大了。L1损失倾向于输出均值，会导致色彩变淡。可以适当降低L1权重，提高对抗损失权重，让输出更鲜艳。
3.3 训练流程与关键参数
训练流程分两个阶段：先训判别器和域验证网络，再训生成器，交替进行。这是标准的GAN训练范式。具体来说，每个iteration：
- 固定生成器，更新判别器和域验证网络，让它们能更好地区分真假和域归属。
- 固定判别器和域验证网络，更新生成器，让它骗过判别器并让域验证网络认为结果是真实域。
学习率方面，生成器和判别器都用1e-4，用Adam优化器，beta1=0.5，beta2=0.999。这个配置是GAN训练的标准配置，beta1=0.5是为了让动量小一点，避免训练震荡。
batch size我用的8，训练了大概200个epoch。在单卡2080Ti上，一个epoch大概要20分钟，整个训练跑完差不多3天。如果时间紧，可以只训100个epoch，指标会低一点但也能用。
训练过程中要盯着几个指标：生成器的L1损失、判别器的准确率、域验证网络的准确率。判别器准确率如果一直接近1，说明生成器太弱，要调整权重；如果一直接近0.5，说明判别器太弱，也要调整。理想状态是判别器准确率在0.7到0.8之间波动。
# 训练循环核心逻辑 for epoch in range(num_epochs): for i, data in enumerate(dataloader): composite = data['composite'].cuda() real = data['real'].cuda() mask = data['mask'].cuda() # 更新判别器和域验证网络 optimizer_D.zero_grad() fake = generator(composite) pred_real = discriminator(real) pred_fake = discriminator(fake.detach()) loss_D = criterion_gan(pred_real, True) + criterion_gan(pred_fake, False) loss_D.backward() optimizer_D.step() # 更新生成器 optimizer_G.zero_grad() pred_fake = discriminator(fake) loss_G_gan = criterion_gan(pred_fake, True) loss_G_l1 = criterion_l1(fake * mask, real * mask) loss_G = loss_G_gan * lambda_gan + loss_G_l1 * lambda_l1 loss_G.backward() optimizer_G.step()这段代码是简化版，实际还要加上感知损失和域验证损失的计算。注意fake.detach()这一步，更新判别器时要把生成器的梯度切断，否则会误传到生成器。
4. 推理部署与效果评估
4.1 模型推理的完整流程
推理比训练简单，加载训练好的权重，把合成图送进生成器，输出就是和谐化结果。但有几个细节要注意。
第一，输入图像的尺寸。训练时用的是256x256，推理时如果输入尺寸不同，要么resize到256，要么用全卷积的方式处理任意尺寸。我建议resize到256，因为模型是在这个尺度上训练的，换尺度效果会下降。如果原图很大，可以先resize到256推理，再把结果resize回原尺寸，但这样会损失细节。更好的做法是保持原尺寸，用滑动窗口的方式分块推理，但实现起来复杂一些。
第二，mask的使用。推理时mask只用来指示哪些区域需要替换，最终输出是composite * (1 - mask) + harmonized * mask。也就是说，背景保持原样，只替换前景区域。这一步千万别忘了，否则背景也会被生成器改掉，整张图就变了。
# 推理示例 def harmonize(model, composite, mask): # composite: [0,1]范围的RGB图 # mask: 二值mask，前景为1 input_tensor = (composite * 2 - 1) # 归一化到[-1,1] input_tensor = input_tensor.unsqueeze(0).cuda() with torch.no_grad(): output = model(input_tensor) output = (output.squeeze(0) + 1) / 2 # 反归一化到[0,1] output = output.clamp(0, 1) # 只替换前景区域 result = composite * (1 - mask) + output * mask return result第三，后处理。生成器的输出可能会有轻微的色偏或者噪声，可以加一个简单的高斯滤波，但滤波强度要小，否则会糊掉细节。我的经验是sigma=0.5就够了，再大就过了。
4.2 评估指标的选择与解读
图像和谐化的评估指标主要有几个：PSNR、SSIM、MSE，以及一些感知指标如LPIPS。PSNR和SSIM是像素级的，计算简单但跟人眼感知不完全一致。LPIPS是学习出来的感知指标，跟人眼判断更接近。
我实测下来，DoveNet在HCOCO上的PSNR大概在38左右，SSIM在0.98左右。在HDay2night上PSNR会降到30左右，因为跨光照条件的难度大。这些数值可以作为你复现时的参考，如果差太多，说明哪里有问题。
但要注意，PSNR高不代表视觉效果好。我遇到过PSNR很高但看起来还是有点违和的案例，原因是PSNR对全局的亮度偏移不敏感，而人眼对局部的不一致很敏感。所以评估时一定要结合视觉检查，不能只看数字。
| 指标 | 含义 | 优点 | 局限 |
|---|---|---|---|
| PSNR | 峰值信噪比 | 计算简单，可复现 | 与人眼感知不一致 |
| SSIM | 结构相似度 | 考虑结构信息 | 对色彩偏移不敏感 |
| MSE | 均方误差 | 直接反映像素差异 | 对大误差敏感 |
| LPIPS | 学习感知指标 | 接近人眼判断 | 依赖预训练网络 |
4.3 实际效果的主观评价
数字之外，我做了几组视觉对比。在HCOCO上，DoveNet的效果相当好，大部分合成图经过处理后，前景和背景的色温基本一致，阴影方向也对得上。有一张把室内拍摄的杯子贴到户外木桌上的图，原图里杯子偏暖黄，木桌偏冷灰，处理后杯子的色温降下来了，跟木桌匹配，看起来自然很多。
在HDay2night上，效果就没那么完美了。有一张把白天拍摄的人贴到夜晚街景上，处理后人的亮度降下来了，但皮肤的高光还是偏白，跟夜晚环境不太搭。这说明模型对极端光照变化的处理能力还有限。不过相比baseline，已经好很多了，baseline的结果基本没法看。
我还试了一些训练集里没有的场景，比如把卡通人物贴到真实照片上。这种跨域的合成，DoveNet的表现一般，因为训练数据里没有卡通和真实的配对，模型没见过这种分布。这也说明数据集的覆盖范围对模型能力的影响很大。
5. 常见问题排查与避坑指南
5.1 训练不收敛的排查思路
训练不收敛是复现时最常见的问题。我遇到过几次，排查下来原因各不相同，整理成一个速查表：
| 现象 | 可能原因 | 排查方法 | 解决方案 |
|---|---|---|---|
| loss一直不降 | 学习率太大 | 打印每步loss | 降到1e-5试试 |
| loss震荡剧烈 | batch size太小 | 检查batch size | 增大batch或降学习率 |
| 生成器loss降但判别器loss不降 | 判别器太弱 | 看判别器准确率 | 增大判别器学习率 |
| 输出全灰 | L1权重太大 | 检查loss权重 | 降低L1权重 |
| 输出有网格伪影 | 转置卷积导致 | 看输出图 | 换成双线性上采样 |
我印象最深的一次是loss一直不降，排查了半天发现是数据归一化的问题。我用的数据集里有些图的像素值范围是0-255，有些是0-1，混在一起训练，网络根本学不到东西。统一归一化后就正常了。所以数据预处理一定要仔细检查，别想当然。
5.2 显存不足的优化策略
显存不足是另一个高频问题。我的2080Ti只有11GB，训练时经常爆显存。几个有效的优化策略：
- 降低batch size：最直接，但会影响训练稳定性，需要相应调小学习率。
- 梯度累积：用小batch跑多次，累积梯度后再更新，等效于大batch。这个技巧很实用，我经常用。
- 混合精度训练：用AMP把部分计算转成fp16，能省不少显存，但要注意有些操作不支持fp16，会报错。
- 裁剪输入尺寸：从256降到224或192，显存需求会明显下降，但指标也会降。
# 梯度累积示例 accumulation_steps = 4 for i, data in enumerate(dataloader): loss = compute_loss(data) loss = loss / accumulation_steps loss.backward() if (i + 1) % accumulation_steps == 0: optimizer.step() optimizer.zero_grad()梯度累积的等效batch size是batch_size * accumulation_steps，但要注意，BatchNorm的统计量是按实际batch算的，所以等效batch size对BN层不成立。如果模型里有BN，梯度累积的效果会打折扣。
5.3 推理结果异常的定位方法
推理时如果结果不对，比如输出全黑、全白、或者跟输入一样，可以按这个顺序排查：
- 检查权重加载：打印模型参数的统计量，确认权重确实加载进去了。我遇到过权重文件路径写错，加载了个空模型，输出自然是随机的。
- 检查输入归一化：确认输入是[-1,1]范围，如果送进去的是[0,255]，输出肯定不对。
- 检查mask：确认mask是二值的，且前景区域正确。mask反了的话，输出就是背景被改了。
- 检查输出反归一化：生成器输出是[-1,1]，要转回[0,1]才能显示。
有一次我推理出来的图全是灰的，排查发现是输出反归一化时忘了clamp，有些像素值超出了[0,1]，显示时就变成灰的了。加个clamp就好了。
避坑技巧：建议在推理脚本里加一个可视化中间结果的步骤，把生成器的原始输出、反归一化后的输出、以及最终替换后的结果都存下来。这样出问题时能快速定位是哪一步出的错。
6. 方法扩展与后续优化方向
6.1 从DoveNet到更精细的控制
DoveNet是一个baseline性质的工作，它的输出是确定性的——给定输入，输出固定。但实际应用中，用户可能希望有更多的控制权，比如"让前景更暖一点"或者"阴影再强一些"。这就需要在DoveNet的基础上加入条件控制。
一个可行的思路是引入属性向量作为条件，比如色温偏移量、亮度调整量，把这些向量拼接到生成器的中间层。训练时从真实图里提取这些属性作为监督，推理时用户手动指定。这样模型就能根据用户的需求做定向调整，而不是只能输出一个固定结果。
另一个方向是空间变化的和谐化。DoveNet对整张图的前景用同一套调整参数，但真实场景里，前景的不同部分可能受到不同光照的影响。比如一个人站在窗边，左半边脸被阳光照到，右半边在阴影里。这种情况下，全局调整就不够精细，需要空间变化的调整。可以用一个空间变化的调制图来控制生成器，让不同区域有不同的调整强度。
6.2 数据集的局限与补充思路
iHarmony4虽然规模不小，但它的合成方式相对单一，主要是"抠图+粘贴"。真实场景里的图像合成可能更复杂，比如半透明物体的合成、反射的合成、多光源场景的合成。这些情况在iHarmony4里覆盖不足，导致模型在这些场景下表现不佳。
如果要提升模型在这些场景下的能力，需要补充相应的数据。一个思路是用渲染引擎生成合成数据，可以精确控制光照参数，生成大量配对样本。另一个思路是用无监督的方式，从真实视频里提取前后帧，利用时间连续性构造自监督信号。这两种思路各有优劣，渲染数据精确但域差距大，视频数据真实但标注困难。
6.3 部署落地的工程考量
如果要把DoveNet部署到实际产品里，有几个工程问题要考虑。
推理速度：DoveNet的生成器是U-Net，在256x256输入下，单张推理大概几十毫秒，用GPU的话可以做到实时。但如果输入尺寸更大，或者要处理视频流，就需要优化。可以用TensorRT加速，或者把模型量化成int8，速度能提升几倍。
内存占用：模型本身不大，几十MB，但推理时的中间特征图占内存。如果并发请求多，要注意内存管理。可以用批处理的方式提高吞吐，但会增加延迟，需要权衡。
鲁棒性：实际输入可能五花八门，有低分辨率的、有压缩伪影严重的、有极端光照的。模型在这些输入上的表现可能不稳定。建议在部署前做一轮充分的测试，收集bad case，针对性优化。
与现有流程的集成：图像和谐化通常不是独立的功能，而是图像编辑流程中的一环。要考虑怎么跟现有的抠图、合成、滤镜等模块对接。接口设计要清晰，输入输出格式要统一，避免数据格式转换带来的额外开销。
我在实际集成时遇到的一个问题是，上游的抠图模块输出的mask边缘有羽化，不是严格的二值。这种软mask直接送进DoveNet，会导致前景边缘区域被部分替换，出现半透明的伪影。解决方案是在送进DoveNet之前，对mask做一次二值化，或者用软mask的加权方式做替换。后者效果更好，但需要改推理代码。
# 软mask的加权替换 def harmonize_with_soft_mask(model, composite, soft_mask): input_tensor = (composite * 2 - 1).unsqueeze(0).cuda() with torch.no_grad(): output = model(input_tensor) output = (output.squeeze(0) + 1) / 2 output = output.clamp(0, 1) # 软mask加权，边缘过渡更自然 soft_mask = soft_mask.unsqueeze(0) if soft_mask.dim() == 2 else soft_mask result = composite * (1 - soft_mask) + output * soft_mask return result这个改动很小，但效果提升明显，尤其是前景边缘有毛发、半透明材质的情况。
6.4 与其他方法的对比选型
图像和谐化这个方向，除了DoveNet，还有几个值得关注的方法。一个是基于风格迁移的思路，把背景的风格迁移到前景上，这类方法在纹理匹配上表现好，但容易过度风格化。另一个是基于物理渲染的思路，估计光照参数后重新渲染前景，这类方法可解释性强，但对光照估计的精度要求高。
选型时看你的具体需求。如果追求通用性和易用性，DoveNet这类端到端的方法是首选，训练数据现成，代码开源，上手快。如果对物理一致性要求高，比如做AR试穿、虚拟摆放，可能需要结合物理渲染的方法。如果对风格化效果有需求，比如做艺术创作，风格迁移的思路更合适。
我个人的建议是，先用DoveNet跑一个baseline，看看效果能不能满足需求。如果不够，再针对具体问题做优化。不要一上来就追求最复杂的方法，很多时候简单的方案就够用了，过度设计反而增加维护成本。
踩过几次坑之后，我最大的体会是：图像和谐化这个任务，数据质量比模型结构更重要。同样的DoveNet，在清洗过的数据上训练，效果比在原始数据上好一截。所以如果你要复现或者改进，先把数据理清楚，把标注错误的、合成质量差的样本剔掉，这一步的收益比调模型参数大得多。另外，推理时的mask处理是个容易被忽视的细节，软mask和硬mask的效果差异在边缘区域很明显，值得多花点时间调。
