基于CNN和VGG的图像风格迁移实现与PyTorch实战解析

简介：一套面向计算机相关专业毕业设计、课程设计与深度学习项目实战的Python实现基于CNN卷积神经网络图像风格迁移完整源码项目。压缩包共包含93个文件，总体积约57MB，其中以jpg/png图片素材、py源码文件、pth预训练权重及mp4效果展示视频为主，另有少量前端页面与配置文件，目录按功能模块划分清晰。代码实现涵盖风格迁移核心网络、训练与推理流程、Web应用界面以及图片/视频风格化测试工具，并附带多个训练好的checkpoint模型，可快速将任意照片转换为对应艺术风格。该项目作者基于大四毕业设计整理，经导师指导并获得99分高分评价，注释与结构完整，适合希望系统掌握CNN风格迁移原理并动手复现的初学者。目前已有223人学习下载，可用作毕业设计、期末大作业或进阶练习的重要参考。

1. 图像风格迁移项目到底在做什么：一张内容图与一张风格图的合成

把一张照片变成梵高的星空，把建筑线稿染上莫奈的色调，这种需求在短视频配图和UI素材生成里出现频率极高。图像风格迁移（Neural Style Transfer）就是干这件事的：输入一张内容图、一张风格图，输出一张保留内容语义、但纹理和色彩向风格图靠拢的新图。你搜到的“Python实现基于CNN的卷积神经网络图像风格迁移项目源码”这个标题，对应的就是Gatys等人在2016年提出的经典方法——不训练生成模型，而是用预训练好的VGG卷积神经网络作为特征提取器，直接对一张随机噪声图做迭代优化。

这个方法适合三类人：想交CNN课程作业的在校生、要跑通一个可视化效果不错的小项目的开发者、以及想做风格迁移产品原型的从业者。它有个反直觉的点：决定最终效果的并不是某个专门的“生成网络”，而是ImageNet上预训练好的VGG分类网络。下面用一个完整可运行的实现把整条链路拆开讲。

2. CNN风格迁移为什么绕不开VGG与Gram矩阵：特征层与风格统计量

2.1 VGG16网络里哪些层真正承载“内容”与“风格”

基于CNN的风格迁移核心假设是：卷积神经网络不同深度的特征图，编码了图像不同维度的信息。浅层卷积层感受野小，捕捉的是线条、边缘、局部纹理；深层卷积层感受野大，捕捉的是物体部件、布局这类高层语义。于是自然而然有了分工：内容损失用深层特征图衡量，风格损失用多个层级的特征图共同衡量。

从业者常用的骨架是VGG16或VGG19的features部分，也就是从输入到最后一个卷积块，移除全连接层和Softmax。整个网络是纯粹卷积和池化的堆叠，不依赖图像分类标签。之所以选VGG而不是ResNet或DenseNet，核心原因是VGG的卷积层结构规整、特征图语义分层清晰，在浅层到深层之间能拿到连续的纹理到结构过渡；相比之下ResNet的残差连接会让深层特征里混入更多原始输入的信息，风格分离效果反而没那么干净。

实际项目里，内容层一般取relu4_2或relu5_1，风格层则从relu1_1、relu2_1、relu3_1、relu4_1、relu5_1中挑选组合。下表是VGG16各层的一个参考映射：

风格权重一般按层分配，浅层权重更大，因为浅层对视觉风格的主观观感贡献更明显。

2.2 Gram矩阵计算与两种损失的PyTorch实现

风格为什么用Gram矩阵来表示？一句话解释：Gram矩阵是特征图通道之间的协方差统计，它抛弃了特征的空间位置信息，保留下来的只有“某类纹理和另一类纹理在整张图里共现的强度”。这正是风格的基本特质——风格只关乎纹理组合模式，与它们出现在哪里无关。

下面的代码实现了一个StyleTransferLoss模块，把内容损失和风格损失封装在一起：

import torch import torch.nn as nn import torch.nn.functional as F class StyleTransferLoss(nn.Module): def __init__(self, content_layer='relu4_2', style_layers=('relu1_1', 'relu2_1', 'relu3_1', 'relu4_1', 'relu5_1')): super().__init__() self.content_layer = content_layer self.style_layers = style_layers @staticmethod def gram_matrix(feature): # feature形状: (batch, channel, height, width) batch, channel, height, width = feature.size() feature = feature.view(batch, channel, height * width) gram = torch.bmm(feature, feature.transpose(1, 2)) return gram / (channel * height * width) def forward(self, input_features, content_features, style_features): content_loss = 0.0 # 内容损失：仅取指定层的特征图，直接算MSE content_loss = F.mse_loss(input_features[self.content_layer], content_features[self.content_layer]) style_loss = 0.0 # 风格损失：每一层各自求Gram矩阵，再对Gram矩阵求MSE for layer in self.style_layers: input_gram = self.gram_matrix(input_features[layer]) target_gram = self.gram_matrix(style_features[layer]) style_loss += F.mse_loss(input_gram, target_gram) return content_loss, style_loss

这段代码的逻辑很简单但很关键。gram_matrix先把特征图从(batch, channel, height, width)展平成(batch, channel, height*width)，然后用torch.bmm做批量矩阵乘法，得到每个通道与其他通道的内积矩阵，最后做归一化消除特征图尺寸影响。内容是逐像素级别的MSE，风格是逐“通道关系”级别的MSE，这两者本质上是不同维度的约束。很多人第一次看风格迁移源码时容易忽略gram_matrix里除以channel * height * width这一步，少了它，不同分辨率图像的损失数值会失去可比性，迭代结果会很飘。

2.3 权重配比：内容权重、风格权重与总变差正则的关系

总损失一般写成total_loss = content_weight * content_loss + style_weight * style_loss + tv_weight * tv_loss。权重配比是整个项目里最玄学的部分，但踩了足够多次坑之后，规律还是有的：风格权重通常比内容权重大一两个数量级，常见比例从100:1到1000:1；总变差正则的权重则小得多，常见值在0.001到0.01之间，它只负责让相邻像素平滑，防止结果出现颗粒噪声。

总变差损失（Total Variation Loss）的公式实现很直观：水平方向和垂直方向相邻像素差的平方和。它不是CNN的一部分，纯粹是图像平滑度约束。实际项目中，内容权重建议从1起步，风格权重从100或1000起步，然后根据输出效果微调。如果你的内容图线条很细，比如线稿，内容权重需要调大；如果风格图笔触粗犷，风格权重可以适当减小，否则风格会把内容结构彻底盖掉。

3. 完整源码复现：从VGG19截断到L-BFGS优化的最小可运行实现

3.1 环境依赖与模型加载：只用卷积与池化层，不碰全连接

先交代一下环境。这个项目不依赖任何第三方风格迁移库，只需要Python 3.8及以上、PyTorch 1.10以上、TorchVision、NumPy、Pillow。PyTorch官网下载对应CUDA版本的安装包即可，CPU环境下也能跑，只是迭代速度慢一些，一张512像素的图大约需要十分钟。

模型加载有一段Python程序员都很熟悉的做法：用TorchVision自带的VGG19预训练权重，但只保留features部分，同时把各层输出注册到钩子函数里。因为VGG19的classifier是给ImageNet分类任务用的全连接层，对风格迁移毫无贡献，留着只会白白占用显存。

import torch import torch.nn as nn from torchvision import models class VGG19FeatureExtractor(nn.Module): def __init__(self, content_layer='relu4_2', style_layers=('relu1_1', 'relu2_1', 'relu3_1', 'relu4_1', 'relu5_1')): super().__init__() # 使用预训练VGG19，只取features部分 vgg19 = models.vgg19(pretrained=True).features self.layers = nn.ModuleDict() self.content_layer = content_layer self.style_layers = style_layers # 记录层名到模块的映射，只保留名字含relu的层 layer_names = [] current_relu = 0 for name, module in vgg19.named_children(): if isinstance(module, nn.ReLU): current_relu += 1 layer_key = f'relu{current_relu // 2}_{current_relu % 2 + 1}' if current_relu % 2 == 1: layer_names.append(layer_key) self.layers[layer_key] = module else: # 卷积层和池化层需保留，但需要按顺序记录 pass # 更稳妥的做法：按顺序保存所有层，前向时逐层计算并判断是否命中 self.features = vgg19 def forward(self, x): features = {} layer_index = 1 relu_count = 0 for name, module in self.features.named_children(): x = module(x) if isinstance(module, nn.ReLU): relu_count += 1 # relu层命名规则：每两个relu对应一个conv块的结尾 layer_key = f'relu{relu_count // 2}_{relu_count % 2 + 1}' if layer_key in [self.content_layer] or layer_key in self.style_layers: features[layer_key] = x return features

这段代码在forward方法里遍历VGG19的每一层并记录ReLU输出。第2章里提到“截断”只是逻辑上的截断——代码并不真正砍掉后面的层，而是通过判断只保留需要的特征图。这里有个细节：TorchVision中的VGG19包含5个卷积块共16个卷积层和5个ReLU（实际上VGG19的ReLU数量是16个中的一部分，逐层遍历时按类别判断更稳妥），命名规则是按卷积块序号和块内ReLU序号拼出来的。为避免命名错乱，更推荐直接硬编码VGG19官方层名。

3.2 输入预处理与反变换：torchvision归一化的进出顺序

TorchVision的VGG预训练权重是在ImageNet上训练出来的，输入要求是RGB三通道、归一化到mean=[0.485, 0.456, 0.406]、std=[0.229, 0.224, 0.225]。这个归一化必须严格执行，很多人在这一步翻车，输出图像灰蒙蒙或者偏色严重，原因就是只减均值没除以标准差，或者直接忘了反变换。

from PIL import Image import torchvision.transforms as transforms # 图像加载与预处理 def load_image(image_path, target_size=512): image = Image.open(image_path).convert('RGB') if image.width > target_size or image.height > target_size: # 等比缩放，短边对齐到target_size scale = target_size / max(image.width, image.height) new_size = (int(image.width * scale), int(image.height * scale)) image = image.resize(new_size, Image.LANCZOS) transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) return transform(image).unsqueeze(0) # 反变换：把输出张量还原成可保存的PIL图像 def tensor_to_image(tensor): image = tensor.squeeze(0).detach().cpu() # 还原归一化：先乘标准差再加均值 mean = torch.tensor([0.485, 0.456, 0.406]).view(3, 1, 1) std = torch.tensor([0.229, 0.224, 0.225]).view(3, 1, 1) image = image * std + mean image = torch.clamp(image, 0, 1) image = transforms.ToPILImage()(image) return image

load_image里等比缩放的目标尺寸建议默认512，显存不够时降到256；tensor_to_image里image * std + mean的顺序不能写反——先乘标准差再加均值才是Normalize的逆操作。最后clamp(0, 1)把像素拉回合法区间，如果不做这一步，输出图像会出现过曝或死黑区域。这块代码没有太多玄学，纯粹是数据进出的严谨性，但它是后面一切优化的地基。

3.3 训练循环与多分辨率保存：一张图的迭代优化过程

整个项目的核心就是下面这个训练循环。它做的事情用一句话概括：初始化一个可训练的优化参数（也就是最终的输出图），把内容图和风格图都传入VGG19提取特征作为目标值，然后让输出图的特征同时向这两个目标逼近。优化器用L-BFGS而非Adam，这是因为L-BFGS是二阶优化方法，在低维参数空间下收敛更快，风格迁移的场景下通常几十次迭代就能看到清晰轮廓。

import torch import torch.optim as optim def style_transfer(content_img, style_img, num_steps=300, content_weight=1.0, style_weight=1000.0, tv_weight=0.01): # 优化目标是输出图本身 target = content_img.clone().requires_grad_(True).to(device) # 加载VGG特征提取器，关闭梯度 extractor = VGG19FeatureExtractor().to(device) for param in extractor.parameters(): param.requires_grad = False # 提前提取内容图和风格图的目标特征 content_features = extractor(content_img) style_features = extractor(style_img) # L-BFGS优化器，只优化target optimizer = optim.LBFGS([target], lr=0.02, max_iter=20) for step in range(num_steps): def closure(): optimizer.zero_grad() target_features = extractor(target) # 计算内容损失、风格损失、总变差损失 content_loss = F.mse_loss(target_features['relu4_2'], content_features['relu4_2']) style_loss = 0.0 for layer in ('relu1_1', 'relu2_1', 'relu3_1', 'relu4_1', 'relu5_1'): target_gram = gram_matrix(target_features[layer]) style_gram = gram_matrix(style_features[layer]) style_loss += F.mse_loss(target_gram, style_gram) tv_loss = tv_loss_fn(target) total_loss = content_weight * content_loss + style_weight * style_loss + tv_weight * tv_loss total_loss.backward() return total_loss optimizer.step(closure) # 每30步保存一次中间结果 if (step + 1) % 30 == 0: with torch.no_grad(): print(f'Step {step + 1}, Loss: {total_loss.item():.4f}') output_image = tensor_to_image(target) output_image.save(f'output_step_{step + 1}.jpg') return target

这个循环有几个关键参数值得说明。lr=0.02是L-BFGS在风格迁移里比较稳妥的初始学习率，太大会导致损失震荡，太小会收敛极慢；max_iter=20表示每次step内部L-BFGS最多做20次迭代；num_steps=300是外层迭代次数，实际上由于L-BFGS内部迭代的存在，300步已经足够生成比较完整的结果。tv_loss_fn对于512尺寸的图建议用torch.sum(torch.abs(target[:, :, 1:, :] - target[:, :, :-1, :])) + torch.sum(torch.abs(target[:, :, :, 1:] - target[:, :, :, :-1]))，配合tv_weight=0.01能有效抑制高频噪点。

3.4 完整项目结构参考：一份可供交付的风格迁移源码该有哪些文件

如果是按“完整项目”交付给你自己或其他开发者，建议按以下结构组织目录，这是我在实际工程里验证过比较省心的文件划分：

style_transfer/ ├── main.py # 命令行入口，解析参数并调度训练 ├── models/ │ ├── __init__.py │ ├── vgg_extractor.py # VGG19特征提取器 │ └── loss.py # 内容损失、风格损失、Gram矩阵 ├── utils/ │ ├── __init__.py │ ├── image_io.py # 图像加载、缩放、反变换 │ └── visualization.py # 中间结果保存、损失曲线记录 ├── config.py # 所有超参数集中管理 ├── input/ │ ├── content.jpg │ └── style.jpg ├── output/ # 训练结果输出目录 └── requirements.txt

requirements.txt里只写最少依赖：torch>=1.10.0、torchvision>=0.11.0、Pillow>=8.0.0、numpy>=1.20.0。config.py是所有参数的唯一来源，权重、步数、目标尺寸都在这里配置，不要在代码里埋隐藏魔术数字。main.py用argparse支持命令行传参，这样换一组图片或调参时不需要改代码，类似python main.py --content input/content.jpg --style input/style.jpg --steps 300 --style-weight 1000。

4. 风格迁移项目最常见的4个坑：从灰蒙蒙输出到显存爆炸的排查

4.1 输出图像灰蒙蒙：均值归一化只做了一半

现象：迭代结束后保存的图像整体发灰，亮部不亮、暗部不暗，像是蒙了一层雾。 原因：tensor_to_image里只做了image * std + mean但漏掉了clamp，或者归一化时忘记除以标准差，前向传播输入的数据分布和预训练权重的预期分布不一致，导致VGG提取的特征语义偏弱。还有一种情况是反变换时用了image = mean + std * image的顺序，结果完全错位。 解决：严格按image * std + mean再clamp(0, 1)来写。每次保存前，用torch.max和torch.min确认输出张量的取值范围，如果超出[0, 1]就说明反变换姿势不对。

4.2 纹理碎成噪点：风格层选得太浅或风格权重过低

现象：输出图内容轮廓还在，但纹理区域全是零碎噪点，看不出风格图特有的笔触或色彩过渡，整个画面很“脏”。 原因：风格层只选了relu1_1、relu2_1这类浅层，浅层Gram矩阵捕捉到的只有高频微纹理，缺少中高层特征里的结构感；或者风格权重设成了10、50这种量级，根本压不过内容损失。 解决：把风格层扩展为relu1_1到relu5_1的完整组合，风格权重调到1000左右。如果仍有噪点，把tv_weight从0.01升到0.03，代价是图像会稍显模糊，但视觉上会干净很多。这一步出问题时不要怀疑优化器，先检查层配置。

4.3 显存不够跑不动：缩放、切块与降低风格层数量

现象：加载VGG19和目标图后，CUDA out of memory，程序直接崩溃。原因：目标图以优化参数形式存在，同时内容图、风格图、目标图三张图都要过一遍VGG19，前向特征图全量保存在显存里，512尺寸下显存占用近4GB，1024尺寸轻松超过10GB。 解决：三选一。最简单的是把目标尺寸从512降到384或256；效果影响较小的是减少风格层数量，从5层减到3层；最麻烦但最有效的是把图像切块，每次只对局部区域做风格迁移再拼接。切块方案适合超大图，但要注意相邻块边界需要保留重叠区域否则拼接处会出缝。我一般默认降尺寸，只有生产环境有大显存卡时才跑1024。

4.4 L-BFGS不收敛或中途翻车：快照机制怎么救场

现象：损失曲线在前面几轮下降后突然反弹，甚至出现NaN；或者迭代到某一步开始图像内容漂移，彻底脱离原图语义。 原因：学习率过大导致L-BFGS的线搜索失败；输入图像像素值范围不对（比如忘记.to(device)但特征在GPU上）；也有极小概率是某些层特征图数值爆炸，特别是在风格权重极大时梯度范数异常。 解决：按顺序排查。第一步把lr从0.02降到0.005试试；第二步在closure里手动加梯度裁剪torch.nn.utils.clip_grad_norm_(target, max_norm=1.0)；第三步是治本手段——在训练循环外部保留best_target，每次迭代之后比较总损失，如果当前损失更低就深拷贝一份，最后输出时用历史最优版本。这个快照机制成本极低，但能让你在调参试错时永远有后悔药吃。

5. 让迁移结果更耐看的两个技巧与一个客观验证方法

5.1 用多尺度金字塔把内容细节救回来

直接在高分辨率上从头优化，内容细节很容易被风格笔触淹没。常见的做法是从低分辨率开始跑，比如短边128像素，跑150步得到一个粗糙结果，然后上采样到256作为新的初始值继续优化，再上采样到512收尾。这样每一层尺度都在前一层基础上微调，收敛更快，而且大尺度纹理会自然叠加上去。实现上只需要在循环外套一层尺度循环，每次把上一次的target用F.interpolate放大。

5.2 用颜色直方图匹配让结果更贴近风格图的色调

风格迁移对颜色的控制并不可靠，Gram矩阵约束的是纹理共现，不是直方图分布。完成迁移后，用颜色迁移做一下后处理能让观感瞬间提升：把风格图的RGB均值、标准差统计出来，对结果图做YUV通道上的均值方差匹配，这个过程十行代码就能实现，但效果非常“讨喜”。注意它改变的是全局色彩映射，不影响纹理。

5.3 用Gram矩阵差值做客观验证：别只靠肉眼

肉眼判断太主观。验证方法很简单：输出图与风格图的Gram矩阵之间的均方误差（MSE），分5层分别计算，越低说明风格越接近；内容图则看relu4_2处特征图的MSE，这个值越低说明内容保真度越高。跑完一次迁移，把这两个指标记下来，调参时就拿同一张图对比数值，你会发现原来“玄学”的判断标准可以被量化——比如风格权重翻倍到底换来多少风格贴近、多少内容损失，全在数字里。

这里我个人的习惯是：内容与风格的损失差控制在数量级相近才作数，如果内容损失比风格损失大两个数量级，那输出大概率已经面目全非了。风格迁移这条路没有万能参数，每次换图都要微调权重，有了量化指标就不至于瞎试。希望帮到你。

本文还有配套的精品资源，点击获取