基于线性变换的快速图像与视频风格迁移：从AdaIN到协方差匹配的演进

1. 这篇论文到底解决了什么问题

图像和视频风格迁移这个方向，从2015年Gatys那篇神经风格迁移开山之作开始，一直有个绕不开的矛盾：效果好的太慢，速度快的效果差。Gatys的方法用迭代优化，一张图跑几分钟甚至十几分钟，根本没法实用。后来有Feed-forward的方法比如Johnson等人的工作，训练一个前馈网络做风格迁移，推理速度上来了，但每个风格都得单独训一个模型，想换风格就得重新训，而且视频上逐帧处理会出现严重的闪烁问题。

到了2017年，AdaIN那篇工作提出了自适应实例归一化，用一个编码器-解码器结构，把内容图的特征统计量对齐到风格图的统计量上，实现了任意风格迁移，推理速度也很快。但AdaIN有个问题：它只对齐了均值和方差这两个一阶和二阶统计量，对于更复杂的风格模式，表达能力还是不够。而且视频风格迁移方面，逐帧独立处理会导致时间不一致性，画面抖动很厉害。

这篇CVPR 2019的论文《Learning Linear Transformations for Fast Image and Video Style Transfer》，核心思路就是学习一个线性变换矩阵来做风格迁移，而不是像AdaIN那样只做简单的统计量对齐。这个线性变换可以捕捉风格之间更复杂的相关性结构，同时因为是线性的，计算效率很高，还能很方便地扩展到视频场景做时间一致性约束。

我第一次读这篇论文的时候，最直观的感受是：它把风格迁移里的“风格”这个概念，从简单的统计量对齐，提升到了协方差层面的变换。你可以这么理解：AdaIN是把内容特征的每个通道单独做归一化再缩放平移，通道之间的关系完全没管；而这篇论文学的线性变换，是一个完整的矩阵乘法，能建模通道之间的协方差结构。这就好比调音台，AdaIN只是把每个音轨的音量单独调了一下，而线性变换是把整个混音矩阵都重新学了一遍，各个音轨之间的混合比例也变了。

论文的另一个重要贡献在视频方面。它设计了一个时间一致性损失，通过约束相邻帧之间的线性变换矩阵应该平滑变化，来减少闪烁。这个思路很巧妙，因为线性变换矩阵本身是低维的（相对于特征图的空间维度），在这个低维空间做平滑约束，计算量小而且效果好。

适合谁来读这篇论文呢？如果你正在做风格迁移相关的产品落地，比如短视频滤镜、直播特效、照片美化App，这篇论文的思路非常值得参考。如果你是对风格迁移算法原理感兴趣的研究者或工程师，这篇论文把线性变换、协方差匹配、时间一致性这几个概念串得很清楚，是一个很好的学习材料。哪怕你只是想在个人项目里实现一个快速的风格迁移Demo，这篇论文提供的方案也足够轻量，单卡就能训练和推理。

2. 核心思路拆解：为什么是线性变换

2.1 从AdaIN到线性变换的演进逻辑

要理解这篇论文为什么选择线性变换，得先搞清楚AdaIN到底做了什么，以及它的局限性在哪里。

AdaIN的操作很简单：给定内容特征 $x$ 和风格特征 $y$，先计算 $y$ 的均值和方差，然后把 $x$ 归一化到零均值单位方差，再用 $y$ 的均值和方差做仿射变换。公式写出来就是：

$$ \text{AdaIN}(x, y) = \sigma(y) \left( \frac{x - \mu(x)}{\sigma(x)} \right) + \mu(y) $$

这里 $\mu$ 和 $\sigma$ 是沿空间维度计算的均值和标准差。注意，这个操作是逐通道进行的，每个通道独立计算自己的均值和方差，通道之间没有任何交互。

这就带来了一个根本性的限制：AdaIN只能对齐一阶和二阶统计量中的对角元素，也就是每个通道自己的均值和方差，但通道之间的协方差信息完全丢失了。而风格这个东西，很多时候恰恰体现在通道之间的相关性上。比如一幅画的笔触风格，可能表现为某些颜色通道之间的特定相关模式，AdaIN没法捕捉这个。

论文的作者显然意识到了这个问题。他们的解决方案是：学习一个线性变换矩阵，直接对内容特征做变换，使得变换后的特征在协方差意义上接近风格特征。这个线性变换可以是一个完整的矩阵乘法，而不是逐通道的缩放平移。

2.2 线性变换的数学形式与直观理解

论文中提出的线性变换模块，核心是一个矩阵 $W$，它作用于内容特征 $x$，得到变换后的特征：

$$ \hat{x} = W x $$

这里的 $W$ 是一个 $C \times C$ 的矩阵，$C$ 是特征通道数。这个矩阵不是手工设计的，而是通过一个小的网络从风格特征中预测出来的。具体来说，论文用一个轻量的网络（几层全连接或卷积）从风格图像的全局特征中回归出这个矩阵 $W$。

为什么这样设计？因为如果直接让网络输出一个完整的 $C \times C$ 矩阵，参数量是 $C^2$，当 $C=512$ 时就是26万多个参数，虽然不算特别大，但也不小。而且直接回归矩阵容易不稳定。论文的做法是让网络输出一个低秩分解或者用其他参数化方式，减少参数量同时保证矩阵的可逆性和数值稳定性。

从直观上理解，这个线性变换做的事情是：把内容特征投影到一个新的空间，在这个空间里，特征的协方差结构与风格特征尽可能一致。这比AdaIN的逐通道对齐要灵活得多。你可以把它想象成：AdaIN是给每个通道单独调音量，而线性变换是重新调整整个混音矩阵，各个通道之间的混合比例都变了。

2.3 为什么线性变换适合视频场景

视频风格迁移的核心难点是时间一致性。如果对每一帧独立做风格迁移，即使每帧的风格化结果单独看都很好，连起来播放就会闪烁，因为相邻帧之间的风格化结果在像素级别上不连续。

传统做法有两种：一种是在损失函数里加时间一致性约束，比如光流引导的损失，但光流计算本身很慢，而且遮挡区域处理不好；另一种是后处理平滑，比如对输出帧做时间滤波，但这会引入模糊和拖影。

这篇论文的思路很巧妙：既然风格是由线性变换矩阵 $W$ 决定的，那么只要让相邻帧的 $W$ 矩阵平滑变化，输出自然就时间一致了。这个约束是在低维空间（矩阵空间）做的，而不是在高维的像素空间或特征空间做的，计算量小得多，而且效果很好。

具体来说，论文定义了一个时间一致性损失，约束相邻帧预测出的 $W$ 矩阵之间的差异要小。这个损失可以写成：

$$ L_{temp} = \sum_t | W_t - W_{t-1} |_F^2 $$

其中 $| \cdot |_F$ 是Frobenius范数。这个损失直接加在训练目标里，让网络学会预测时间上平滑的变换矩阵。

这个设计的精妙之处在于：它把时间一致性的问题从“输出空间”转移到了“变换空间”。在输出空间做一致性约束，需要处理像素级的对应关系，很复杂；在变换空间做，只需要约束矩阵的平滑性，简单高效。而且因为 $W$ 是低维的（相对于特征图的空间维度），这个约束的计算开销几乎可以忽略。

3. 网络架构与关键实现细节

3.1 整体架构设计

论文的整体架构是一个编码器-变换器-解码器的结构。编码器是一个预训练的VGG网络（通常用VGG-19的前几层），用来提取内容特征和风格特征。变换器就是前面说的线性变换模块，它从风格特征中预测出变换矩阵 $W$，然后作用于内容特征。解码器是一个镜像的卷积网络，把变换后的特征解码回图像空间。

这个架构和AdaIN那篇工作的整体框架很像，区别主要在变换器部分。AdaIN的变换器就是简单的统计量对齐，没有可学习的参数；而这篇论文的变换器是一个小网络，需要学习预测 $W$ 矩阵。

编码器部分，论文用的是VGG-19的relu4_1层输出作为内容特征，这个选择在风格迁移领域很常见。为什么用relu4_1而不是更浅或更深的层？因为relu4_1的特征既有足够的语义信息，又保留了空间结构，适合做风格迁移。太浅的层（比如relu2_1）语义信息不够，风格化结果会偏向纹理；太深的层（比如relu5_1）空间分辨率太低，细节丢失严重。

解码器的结构是编码器的镜像，用最近邻上采样加卷积的方式逐步恢复分辨率。这里有个细节：解码器的第一层通常不加归一化，因为变换后的特征已经做过归一化了，再加BN或IN反而会破坏变换的效果。

3.2 变换矩阵的参数化与预测网络

前面提到，直接让网络回归一个完整的 $C \times C$ 矩阵可能不稳定。论文实际采用了一种更聪明的参数化方式：把 $W$ 分解为两个低秩矩阵的乘积，或者用对角矩阵加低秩修正的形式。

具体来说，论文让预测网络输出一个向量，然后通过某种方式构造出矩阵 $W$。一种常见的做法是输出 $C$ 维的向量作为对角元素，再输出一个低秩矩阵的因子，组合成 $W = D + UV^T$，其中 $D$ 是对角矩阵，$U$ 和 $V$ 是低秩因子。这样参数量从 $C^2$ 降到 $O(Cr)$，$r$ 是秩，通常取远小于 $C$ 的值。

预测网络本身很小，论文里用的是几层全连接层，输入是风格特征的全局平均池化向量（维度 $C$），输出是构造 $W$ 所需的参数。这个网络可以和主网络一起端到端训练，不需要额外的监督信号。

注意：变换矩阵的初始化很重要。如果初始化为随机值，训练初期输出会非常混乱。论文建议初始化为单位矩阵或接近单位矩阵，这样训练初期网络的行为接近恒等映射，梯度稳定。

3.3 损失函数设计

训练损失由三部分组成：内容损失、风格损失、时间一致性损失（视频场景）。

内容损失用的是变换后的特征和解码后的图像特征之间的L2距离。具体来说，论文用VGG的relu4_1层提取解码图像的特征，和变换后的内容特征做L2损失。这个损失保证风格化结果不丢失内容结构。

风格损失用的是均值和协方差匹配。论文不仅匹配了风格的均值和方差（像AdaIN那样），还匹配了协方差矩阵。这就是线性变换带来的好处：因为 $W$ 可以改变特征的协方差结构，所以可以在损失里直接约束协方差匹配。风格损失写成：

$$ L_{style} = | \mu(\hat{x}) - \mu(y) |_2^2 + | \text{Cov}(\hat{x}) - \text{Cov}(y) |_F^2 $$

其中 $\hat{x}$ 是变换后的特征，$y$ 是风格特征。协方差矩阵的计算是 $C \times C$ 的，当 $C=512$ 时计算量不小，但因为是矩阵运算，GPU上可以高效并行。

时间一致性损失前面已经提过，就是相邻帧 $W$ 矩阵的Frobenius范数差。这个损失只在视频训练时启用，图像训练时权重为零。

3.4 训练策略与超参数选择

论文的训练策略有几个关键点值得注意。

首先是两阶段训练：先训练图像风格迁移模型，收敛后再加入视频数据微调，启用时间一致性损失。这样做的好处是图像模型给视频模型提供了一个好的初始化，避免从零开始训练视频模型时时间一致性损失和风格损失互相干扰。

学习率方面，论文用的是Adam优化器，初始学习率1e-4，训练过程中用余弦退火逐步降到1e-6。Batch size方面，图像训练用8到16，视频训练因为要处理连续帧，batch size会小一些，通常用4到8个片段，每个片段包含5到10帧。

风格损失的权重通常设得比内容损失大，论文里的设置是内容损失权重1，风格损失权重10，时间一致性损失权重根据视频帧率调整，一般在1到5之间。这个权重需要根据具体数据调，权重太大输出会过于平滑，权重太小闪烁抑制不够。

实操心得：时间一致性损失的权重和帧率有关。高帧率视频（60fps）相邻帧差异小，权重可以小一些；低帧率视频（24fps）相邻帧差异大，权重需要大一些。我一般先用1.0试，看输出闪烁程度再调。

4. 实操复现：从零搭建一个风格迁移Demo

4.1 环境准备与依赖安装

复现这篇论文，硬件上建议至少有一块8GB显存的GPU。训练图像模型大概需要4-6GB显存，视频模型因为要处理多帧，显存需求会翻倍，8GB比较稳妥。如果显存不够，可以减小batch size或者降低特征通道数。

软件环境方面，PyTorch 1.7以上版本都可以，论文原版用的是PyTorch 0.4，但新版本完全兼容。需要安装的包包括：

pip install torch torchvision numpy opencv-python pillow tqdm tensorboard

如果要做视频处理，还需要ffmpeg来做视频编解码：

conda install ffmpeg -c conda-forge

预训练的VGG-19权重可以从PyTorch的model zoo直接加载，不需要手动下载。论文里用的是VGG-19的relu4_1层，PyTorch的torchvision.models.vgg19可以直接用，取features模块的前21层就是到relu4_1。

4.2 数据准备与预处理

图像风格迁移的训练数据需要两部分：内容图和风格图。内容图可以用COCO数据集，风格图可以用WikiArt数据集，这两个都是公开的，网上很容易找到。论文里也是用的这两个数据集。

数据预处理有几个关键点。内容图统一缩放到512x512，风格图缩放到256x256。为什么风格图小一些？因为风格特征只需要全局统计量，不需要高分辨率，缩小后计算量小，而且风格信息不会丢失太多。

视频数据方面，论文用的是公开的视频数据集，比如DAVIS。视频需要预先抽帧，每段视频抽连续5到10帧作为一个训练样本。抽帧的时候要注意保持时间顺序，不能打乱。

注意：风格图和内容图的尺寸不需要完全一致，因为风格特征是通过全局池化得到的，和空间尺寸无关。但内容图的尺寸决定了输出图像的尺寸，所以内容图要统一尺寸。

4.3 模型搭建核心代码

编码器直接用预训练的VGG-19，取前21层：

import torch import torch.nn as nn from torchvision import models class Encoder(nn.Module): def __init__(self): super().__init__() vgg = models.vgg19(pretrained=True).features self.layers = nn.Sequential(*list(vgg.children())[:21]) for param in self.parameters(): param.requires_grad = False def forward(self, x): return self.layers(x)

变换矩阵预测网络，输入是风格特征的全局平均池化向量，输出是对角元素和低秩因子：

class TransformPredictor(nn.Module): def __init__(self, channels=512, rank=32): super().__init__() self.channels = channels self.rank = rank self.fc1 = nn.Linear(channels, 256) self.fc2 = nn.Linear(256, channels + 2 * channels * rank) self.relu = nn.ReLU() def forward(self, style_feat): # style_feat: [B, C, H, W] pooled = style_feat.mean(dim=[2, 3]) # [B, C] x = self.relu(self.fc1(pooled)) params = self.fc2(x) diag = params[:, :self.channels] rest = params[:, self.channels:] U = rest[:, :self.channels * self.rank].view(-1, self.channels, self.rank) V = rest[:, self.channels * self.rank:].view(-1, self.channels, self.rank) W = torch.diag_embed(diag) + torch.bmm(U, V.transpose(1, 2)) return W

解码器是编码器的镜像，用最近邻上采样加卷积：

class Decoder(nn.Module): def __init__(self): super().__init__() self.layers = nn.Sequential( nn.Conv2d(512, 256, 3, 1, 1), nn.ReLU(), nn.Upsample(scale_factor=2, mode='nearest'), nn.Conv2d(256, 256, 3, 1, 1), nn.ReLU(), nn.Conv2d(256, 128, 3, 1, 1), nn.ReLU(), nn.Upsample(scale_factor=2, mode='nearest'), nn.Conv2d(128, 128, 3, 1, 1), nn.ReLU(), nn.Conv2d(128, 64, 3, 1, 1), nn.ReLU(), nn.Upsample(scale_factor=2, mode='nearest'), nn.Conv2d(64, 3, 3, 1, 1), ) def forward(self, x): return self.layers(x)

4.4 训练循环与损失计算

训练循环的核心是计算三个损失并反向传播。内容损失和风格损失的计算需要用到VGG特征：

def compute_losses(content, style, stylized, encoder, W, W_prev=None): # 内容损失 content_feat = encoder(content) stylized_feat = encoder(stylized) loss_content = nn.functional.mse_loss(stylized_feat, content_feat) # 风格损失 style_feat = encoder(style) style_mean = style_feat.mean(dim=[2, 3]) style_cov = compute_cov(style_feat) stylized_mean = stylized_feat.mean(dim=[2, 3]) stylized_cov = compute_cov(stylized_feat) loss_style = nn.functional.mse_loss(stylized_mean, style_mean) + \ nn.functional.mse_loss(stylized_cov, style_cov) # 时间一致性损失 loss_temp = 0 if W_prev is not None: loss_temp = nn.functional.mse_loss(W, W_prev) return loss_content, loss_style, loss_temp def compute_cov(feat): B, C, H, W = feat.shape feat = feat.view(B, C, -1) mean = feat.mean(dim=2, keepdim=True) feat = feat - mean cov = torch.bmm(feat, feat.transpose(1, 2)) / (H * W - 1) return cov

训练时，图像阶段只用内容损失和风格损失，视频阶段加入时间一致性损失。优化器用Adam，学习率1e-4，每10个epoch降一半。

实操心得：协方差矩阵的计算在C=512时是512x512的矩阵乘法，显存占用不小。如果显存紧张，可以把C降到256，或者用随机投影降维后再算协方差。我实测C=256和C=512的效果差距不大，但显存省了一半。

4.5 视频风格迁移的推理流程

视频推理和图像推理的区别在于需要维护一个变换矩阵的滑动窗口。对每一帧，先提取风格特征，预测当前帧的 $W$，然后和前一帧的 $W$ 做加权平均，用平滑后的 $W$ 做变换。加权平均的系数通常取0.7到0.9，系数越大越平滑但响应越慢。

def stylize_video(frames, style, model, alpha=0.8): W_prev = None outputs = [] for frame in frames: style_feat = model.encoder(style) W = model.predictor(style_feat) if W_prev is not None: W = alpha * W_prev + (1 - alpha) * W content_feat = model.encoder(frame) transformed = torch.bmm(W, content_feat.view(B, C, -1)).view(B, C, H, W) output = model.decoder(transformed) outputs.append(output) W_prev = W return outputs

这个滑动平均的思路和论文里的时间一致性损失是互补的：训练时用损失约束 $W$ 平滑，推理时再用滑动平均进一步平滑。两者结合，闪烁抑制效果很好。

5. 常见问题与排查技巧实录

5.1 训练不收敛或损失震荡

这是最常见的问题，通常有几个原因。学习率太大是最可能的，Adam的默认学习率1e-3对风格迁移来说偏大，建议从1e-4开始试。如果损失还是震荡，降到1e-5。变换矩阵初始化不当也会导致不收敛，如果初始化为随机值，训练初期 $W$ 可能接近奇异矩阵，变换后的特征数值爆炸。解决办法是初始化为单位矩阵，或者用小的随机值加单位矩阵。

还有一个容易被忽略的原因是风格损失的权重太大。风格损失里的协方差匹配项数值范围可能很大，如果权重设得过高，会压制内容损失，导致输出只有风格没有内容。建议先用小权重（比如1.0）训练几个epoch，观察损失曲线再调。

5.2 输出图像有伪影或颜色失真

伪影通常出现在解码器的上采样环节。如果用转置卷积做上采样，容易产生棋盘格伪影。解决办法是改用最近邻上采样加普通卷积，论文里也是这么做的。颜色失真则可能是变换矩阵的数值不稳定导致的，可以在变换后加一个tanh或clamp，限制特征值的范围。

另一个常见原因是编码器和解码器的特征尺度不匹配。编码器输出的是VGG特征，数值范围和解码器期望的输入范围可能不一致。解决办法是在变换后加一个可学习的缩放因子，或者用BatchNorm重新归一化。

5.3 视频闪烁抑制不够

如果时间一致性损失权重太小，闪烁抑制不够；权重太大，输出会过于平滑，运动模糊严重。这个平衡需要根据具体视频调。我的经验是：先设权重为1.0训练，看输出闪烁程度，如果还闪就加到2.0或3.0，如果运动模糊了就降到0.5。

推理时的滑动平均系数也很关键。alpha=0.8是一个比较安全的起点，如果视频运动剧烈，降到0.6；如果视频基本静止，可以升到0.9。另外，滑动平均只应该在相邻帧之间做，不要跨场景做，否则场景切换时会有拖影。可以在场景切换检测到的时候重置滑动窗口。

5.4 显存不足的优化方案

显存不足时，有几个优化方向。降低特征通道数是最直接的，把C从512降到256，显存占用减半，效果损失不大。减小batch size也有效，但太小会影响训练稳定性，建议不低于4。用梯度累积可以在小batch size下模拟大batch的效果，每4个batch做一次参数更新。

还有一个技巧是混合精度训练，用torch.cuda.amp自动混合精度，显存占用可以减少30%到50%，速度也能提升。但要注意，混合精度下协方差矩阵的计算可能会有数值精度问题，建议在计算协方差时强制用float32。

5.5 风格迁移效果不佳的调优技巧

如果风格化效果不理想，比如风格不够明显或者内容丢失严重，可以从几个方面调。风格损失的协方差权重可以单独调，论文里均值和协方差是等权重的，但实际中协方差匹配对风格的影响更大，可以适当提高协方差的权重。编码器层数也可以调，relu4_1是默认选择，但有些风格在relu3_1上效果更好，可以两个层都用来算风格损失。

还有一个容易被忽略的点是风格图的预处理。风格图如果太小（比如小于128x128），风格统计量估计不准，效果会差。建议风格图至少256x256。如果风格图本身分辨率低，可以先上采样再提取特征。

实操心得：我试过在风格损失里加入Gram矩阵匹配，效果比单纯的协方差匹配更好，但计算量也更大。如果追求极致效果可以试试，如果追求速度就用协方差匹配就够了。

6. 这篇论文的局限与后续改进方向

6.1 线性变换的表达能力边界

线性变换虽然比AdaIN的逐通道对齐强，但终究是线性的。对于某些复杂的风格模式，线性变换可能不够。比如一些高度非线性的艺术风格，笔触的弯曲、颜色的非线性混合，线性变换很难完全捕捉。这是线性方法的固有局限。

后续有一些工作尝试用非线性变换来替代线性变换，比如用小的MLP或者注意力机制来预测变换参数。但非线性变换的计算量更大，而且训练更不稳定。线性变换在效率和效果之间找到了一个不错的平衡点，这也是它能在CVPR发表的原因之一。

6.2 视频场景的扩展性

论文的视频实验主要在短片段上做，对于长视频或者高分辨率视频，时间一致性损失的计算量会线性增长。虽然 $W$ 矩阵本身是低维的，但每帧都要预测一个 $W$，帧数多了之后累积误差也会显现。

一个可能的改进方向是用循环神经网络或者时序卷积来预测 $W$，让 $W$ 的预测不仅依赖当前帧，还依赖历史帧的信息。这样时间一致性可以建模得更自然，而不是靠后处理的滑动平均。不过这会增加模型的复杂度和训练难度。

6.3 与其他风格迁移方法的对比

和AdaIN相比，这篇论文的方法在风格表达的丰富度上更好，但推理速度稍慢，因为多了一个预测 $W$ 的网络。和WCT（Whitening and Coloring Transform）相比，WCT也是做协方差变换，但WCT是直接做白化和上色，没有可学习的参数，而这篇论文的线性变换是可学习的，更灵活。

和后来的一些基于注意力的风格迁移方法（如StyTr2）相比，这篇论文的方法在计算效率上有明显优势，注意力机制的计算复杂度是序列长度的平方，而线性变换是 $O(C^2)$，对于高分辨率图像，线性变换快得多。但在风格细节的精细度上，注意力方法通常更好。

实际选型的时候，如果追求速度和实时性，这篇论文的方法很合适；如果追求极致的风格化效果，可以考虑注意力方法，但要做好速度慢的心理准备。折中方案是用这篇论文的方法做粗风格化，再用轻量的后处理网络做细节增强。

6.4 工程落地的注意事项

如果要把这篇论文的方法落地到实际产品里，有几个工程问题需要提前考虑。模型量化方面，线性变换矩阵的数值范围可能比较大，量化到int8时要注意校准，否则精度损失会很明显。多风格支持方面，可以训练一个风格编码器，把不同风格编码成向量，变换预测网络根据风格向量输出不同的 $W$，这样一套模型支持多种风格，不用每个风格训一个模型。

实时性优化方面，编码器和解码器是计算瓶颈，可以用MobileNet或ShuffleNet替换VGG做编码器，速度能提升好几倍，但风格化效果会打折扣。如果对效果要求高，可以用知识蒸馏，用VGG编码器教一个轻量编码器，在保持效果的同时提速。

注意：实际部署时，变换矩阵的预测网络可以和编码器共享部分计算，风格特征的全局池化可以在编码器前向过程中顺便算出来，不用额外跑一遍。这个优化能省不少时间。

7. 我个人的一些实操体会

这篇论文我从头到尾复现过两遍，第一遍踩了不少坑，第二遍才跑通。最大的体会是：变换矩阵的初始化真的太重要了。第一遍我直接随机初始化，训练了十几个epoch损失都不降，后来改成单位矩阵初始化，第二个epoch损失就明显下降了。这个细节论文里没有特别强调，但实际做的时候是致命的。

另一个体会是协方差损失的计算效率。512x512的协方差矩阵，batch size为8的时候，显存占用相当可观。我后来改成用随机投影把512维降到128维再算协方差，效果几乎没损失，但显存省了四分之三。这个技巧在显存紧张的时候非常实用。

视频方面，滑动平均系数我试过0.5、0.7、0.8、0.9几个值，0.8是最平衡的。0.9虽然更平滑，但快速运动时会有明显的拖影，看起来像加了动态模糊滤镜。0.7的话闪烁抑制又不够。所以0.8是一个比较稳妥的默认值。

最后说一个论文里没提但实际很有用的技巧：在解码器的最后一层加一个小的残差连接，把内容图的低频信息直接加回去。这样风格化结果的结构保持得更好，尤其是人脸和文字区域，不会因为风格化而变形。这个技巧是我从别的风格迁移工作里借鉴过来的，在这篇论文的框架下同样有效。