从自然图像到医学CT：小波变换与U-Net的超分重建落地实战

简介：面向深度学习、图像识别与医学图像处理方向的学习者、研究者和工程师，该资源是基于深度学习的图像超分辨率重建项目实践包，聚焦自然图像与医学影像两大场景，可支撑低分辨率医学图像重建及可视化相关研究。自然图像部分在DIV2K数据集上对比ESPCN、DWSR、EDSR等基线模型，提出融合小波变换、U-Net与感知损失多任务学习的改进模型；医学图像部分在DeepLesion数据集的CT关键切片上完成超分实验，并训练CT-LPIPS感知指标；项目还以CT为例搭建了基于Cornerstone.js的DICOM预览前端，后端使用Flask与PyTorch部署推理服务，打通了从模型训练到在线重建的完整链路。压缩包共173个文件，整体9.52MB，核心代码包括52个Python脚本、21个JavaScript文件、15个Shell脚本，以及配置、文档和示例图片，目录结构化较好，便于复现和二次开发。目前已有1203人浏览学习，对想从数据集处理、网络设计到平台部署全链路掌握医学图像超分辨率的开发者具有实用价值。

1. 图像超分辨率重建：一套从自然图像到医学 CT 的完整落地路线

医生看 CT 图像时，最常用的动作是放大。可放大到两倍以上，肺部小结节的边缘就开始发虚，这是扫描重建矩阵给死的物理上限。做超分重建的常规思路是直接用医学数据训练模型，但这套方案偏要反着来：先在 DIV2K 自然图像上把模型结构跑稳，再迁移到 DeepLesion 的 CT 切片上做适配。原因是医学数据标注少、噪声分布特殊，直接上模型很容易把窗宽窗位当成纹理学进去。方案适合正在做图像识别、医学图像方向毕设课设的同学，也适合想给影像浏览工具加超分能力的从业者。整条链路从数据准备、模型改进到 Web 部署都是可以照着重跑的。

2. 数据与评测方案：DIV2K 和 DeepLesion 两条数据管线的差别

2.1 自然图像基线：DIV2K 的 800 训练加 100 验证与退化方式

DIV2K 是超分方向最常用的公开数据集，800 张训练图加 100 张验证图，原图分辨率都在 2K 附近，非常适合做模型结构验证。实验前第一步是把退化方式固定下来：我一般用 bicubic 插值做 2 倍、3 倍、4 倍下采样，低分辨率图和高分辨率图成对存储，评测时固定在同一尺度上。这里有个容易忽略的点——验证集只有 100 张，选哪些尺度、用哪个裁剪窗口做最终评测，必须在实验开始前定死，不然后面每次对比都换参数，指标就没有可比性。

数据读取用 PyTorch 的 Dataset 和 DataLoader 实现，训练时从原图上随机裁剪 96×96 的低分 patch，对应 192×192 的高分 patch，再做随机旋转和翻转。裁剪这一步决定了显存占用和收敛速度，patch 太小模型看不到足够的上下文，patch 太大 batch 又放不下，96 是训练速度和效果之间比较稳的折中。DIV2K 的角色是"练模型"而不是"考模型"，结构有没有问题、损失函数权重对不对，在这个数据集上跑 20 个 epoch 就能看出来，比直接上医学数据快得多。

2.2 医学图像：DeepLesion 的 key_slices 提取与窗宽窗位预处理

DeepLesion 是从真实临床 CT 整理的公开数据集，带病灶标注的 key_slices 是训练和验证超分模型最直接的数据源。CT 和自然图像最大的差异是它存储的是亨氏单位（HU），不同窗宽窗位显示出来的对比完全不同：骨窗下看骨头清楚，软组织窗下看病灶清楚。我在跑这套方案时固定用软组织窗，窗位 40、窗宽 400，把 HU 值线性映射到 0-1，再以病灶标注框为中心裁剪固定大小的区域作为训练样本。

这一条如果不做统一，后面训练会非常痛苦。模型会把"窗宽不一样"当成图像内容去学，同一个病灶在不同窗下长相差很多，网络根本不知道要学什么。另外我建议把所有切片的窗参数记录成一个 meta 文件，推理时用同一套预处理，保证训练和部署的输入分布完全一致。DeepLesion 的切片尺寸大、数量多，离线先做好归一化和裁剪，比训练时在线处理省事得多。

2.3 评测指标怎么选：PSNR、SSIM 与 LPIPS 各自的盲区

超分任务最常见的指标是 PSNR 和 SSIM，但这两个都是像素级对比，天然偏向平滑的图像。模型只要把低频信息拟合好，分数就不会低，高频纹理细节反而被忽略，这就是为什么很多论文里 PSNR 涨了、人眼看着却更糊。LPIPS 用预训练网络提取特征后比较感知距离，更接近主观感受，但标准 LPIPS 是在自然图像上训练的，直接拿它评 CT 会有偏差。所以这套方案做的是三指标并行：PSNR 和 SSIM 管数值合理性，LPIPS 管视觉质量，医学场景再加一个在 CT 上重新训练过的 CT-LPIPS，它在第 4 章会专门讲。

评测结果我习惯整理成一张对比表，每个模型在固定验证集上跑三次取均值，标准差超过 0.1 就说明训练不稳定，要回头查数据增强和归一化。指标表不是为了答辩时好看，而是用来发现问题的：如果某个模型 PSNR 和别的模型差距很小但 LPIPS 差距明显，说明它的问题出在纹理细节而不是整体结构，排查方向完全不一样。

3. LU-MWCNN 实现：小波子带、U-Net 与感知损失的多任务设计

3.1 baseline 为什么不够：ESPCN、DWSR、EDSR 的短板

选 baseline 时对比了三个常用模型。ESPCN 用亚像素卷积在最后一层完成上采样，速度快、显存占用小，但网络比较浅、感受野有限，重建结果偏平滑，边缘不够锐利。DWSR 把网络加深加宽，精度比 ESPCN 好，可参数量明显上去，在医学这种小数据集上容易过拟合，训练轮数稍微多一点验证集指标就开始掉。EDSR 是性能标杆，拿掉了冗余的归一化层，精度确实高，但训练时显存占用大，对数据量的要求也高，单卡跑起来很吃力。

这三个模型有一个共同问题：损失函数只算像素级 MSE，模型倾向于输出"安全"的均值图，高频细节全被磨掉了。LU-MWCNN 的改进围绕三点展开——用小波分解把频率信息拆开建模，用 U-Net 做多尺度特征提取，用感知损失加子带监督做多任务学习。改进不是堆网络深度，而是改变模型"看"图像的方式。

3.2 小波变换：为什么把图像拆成子带再学习

小波变换把图像分解成一个低频近似子带（LL）和三个方向的高频细节子带（LH 水平、HL 垂直、HH 对角）。低频子带保留主体结构，高频子带记录的是边缘和纹理。传统超分模型直接学像素到像素的映射，本质上是把所有频率信息混在一起学；拆成子带以后，模型可以对低频和高频分别建模——低频部分容易学，高频部分才是真正决定清晰度的关键。

项目中调试时保存的 subband_221.bmp、subband_224.bmp 这类文件，就是两级小波分解后第二层子带的可视化结果。保存子带图不是为了好看，而是用来确认分解和重构链路没有出错：如果子带图里出现了不该有的条纹或者方向倒置，说明滤波器参数或者拼接顺序有问题，这时候先修这个再谈训练。小波分解这一步我强烈建议写成独立的模块并固定滤波器，不要在网络里用可学习的卷积替代，否则子带的物理意义就丢了。

3.3 模型结构与多任务损失：U-Net 预测高频残差

先给一个简化版实现，整体流程是 DWT 分解 → U-Net 增强 → IWT 重建：

import torch import torch.nn as nn class LU_MWCNN(nn.Module): """小波 + U-Net 超分模型：用低频子带预测高频残差""" def __init__(self, base_filters=64): super().__init__() # 输入 LL 低频子带，输出三个高频子带的残差修正 self.unet = UNet(in_channels=1, out_channels=3, base_filters=base_filters) def forward(self, lr): # 第一级 DWT，空间尺寸减半 ll, (lh, hl, hh) = dwt_2d(lr) # U-Net 只吃低频子带，预测高频残差 res = self.unet(ll) # (B, 3, H/2, W/2) res_lh, res_hl, res_hh = res[:, 0:1], res[:, 1:2], res[:, 2:3] # 原始高频 + 预测残差，再逆小波重建 2x 高分图 hr = idwt_2d(ll, (lh + res_lh, hl + res_hl, hh + res_hh)) return hr

dwt_2d 和 idwt_2d 用固定的小波滤波器实现。我习惯用 db2 小波，它比 Haar 的频率分辨更好，代价是边界处需要多填充几个像素，用反射填充就能解决。base_filters 默认取 64，显存紧张时降到 32，效果会略降但训练速度提升明显。这里的设计关键是"预测残差"而不是"直接预测高频子带"，因为原始高频信息已经通过旁路保留了，模型只需要补齐缺失的细节，学习难度小很多。

训练损失是三个任务的加权和：

pixel_loss = l1_loss(pred_hr, hr_gt) # 像素级重建损失 percept_loss = vgg_relu_loss(pred_hr, hr_gt) # VGG 感知损失 subband_loss = (l1_loss(pred_lh, gt_lh) + l1_loss(pred_hl, gt_hl) + l1_loss(pred_hh, gt_hh)) # 子带监督损失 total_loss = pixel_loss + 0.05 * percept_loss + 0.1 * subband_loss

感知损失系数给到 0.05，子带损失给到 0.1，权重都不宜过大，否则模型会牺牲像素精度去迎合特征空间的距离。VGG 是在图像分类任务上预训练出来的，拿它中间层的特征差异当距离度量，本质上是在借用图像识别学到的语义特征来约束超分结果。多任务的价值在于梯度同时来自像素域、特征域和频率域三个方向，训练曲线更稳，最终得到的权重在视觉上也更锐利。

注意：pywt 在 CPU 上做分解会拖慢训练。正式训练时把小波滤波器固化成固定卷积权重，在 GPU 上完成 DWT 和 IWT，速度能提升一个量级。

4. 医学影像适配与平台部署：CT-LPIPS 训练、Flask 推理与 Cornerstone 预览

4.1 CT-LPIPS：感知指标为什么要重新训练

标准 LPIPS 的特征提取网络是在自然图像上预训练的，评价 CT 图像时，高频纹理的分布差异会让分数失真，最典型的表现是医生觉得 A 图更清晰，LPIPS 却说 B 图更好。做法是把 LPIPS 的网络结构保留下来，输入改成单通道，在 DeepLesion 的切片上重新做一遍度量学习。

训练数据怎么来？选一批 CT 切片，对同一张低分图跑不同模型生成多张重建结果，由医生或者有经验的阅片者排序，哪张更清晰、哪张更接近原图，用排序结果训练类 VGG 网络输出感知距离。训练完成后把这个网络冻结，当评测工具用，跟 PSNR、SSIM 一起进实验表格。CT-LPIPS 解决的核心问题是"用医学图像自己的感知标准评判医学图像"，而不是拿自然图像的审美标准硬套。这一步在答辩时特别加分，因为它证明你注意到了评价指标和数据分布匹配的问题。

4.2 Flask 后端：模型常驻显存与单请求推理

Web 平台后端用 Flask 加 PyTorch 实现。模型在服务启动时加载一次，常驻 GPU 显存，避免每个请求都重新读权重。推理接口接收前端上传的图像，完成归一化、张量转换、前向计算，再把重建结果连同指标数值一起返回。关键点是推理路径必须包在 torch.no_grad() 里，否则显存会被自动求导图占掉一大块，跑几次就溢出了。

from flask import Flask, request, jsonify from PIL import Image import numpy as np import torch app = Flask(__name__) model = load_model("checkpoints/lu_mwcnn_best.pth").eval() @app.route("/api/super_resolution", methods=["POST"]) def super_resolution(): f = request.files["image"] img = np.array(Image.open(f.stream).convert("L"), dtype=np.float32) img = windowing(img, level=40, width=400) # 窗宽窗位归一化，与训练一致 inp = torch.from_numpy(img)[None, None] # 拼成 (1, 1, H, W) with torch.no_grad(): out = model(inp) hr = tensor_to_png(out) # 张量转 8bit PNG psnr_val = compute_psnr(img, hr) return jsonify({"image": hr_b64, "psnr": psnr_val})

windowing 函数把 HU 值按窗宽窗位线性映射到 0-1，这一步必须和训练时的预处理完全一致，不然模型看到的就是另一种分布。返回值里带 PSNR 有两个作用：前端可以直接展示提升数值，给医生一个直观参考；答辩时也有现成的量化数据可讲，不用现场临时算。

4.3 Cornerstone.js 前端：DICOM 预览与重建结果展示

前端用 Cornerstone.js 加载 DICOM 序列。这个库负责影像渲染，不负责解析所有传输语法，所以服务端先把 DICOM 转成浏览器友好的 PNG imageId 再喂给它。医生端的操作流程是：在序列里定位到病灶切片，点"发送到超分服务"，预览区先显示 loading.gif 占位，后端推理完成后把重建图缓存到 imageCache 再覆盖显示。

cornerstoneWADOImageLoader.external.cornerstone = cornerstone; cornerstoneWADOImageLoader.external.dicomParser = dicomParser; cornerstoneWADOImageLoader.configure({ useWebWorkers: true }); async function sendForSuperResolution() { const canvas = cornerstone.getEnabledElement(element).canvas; const blob = await new Promise((r) => canvas.toBlob(r, "image/png")); const form = new FormData(); form.append("image", blob); document.getElementById("loading").style.display = "block"; // loading.gif const res = await fetch("/api/super_resolution", { method: "POST", body: form }) .then((r) => r.json()); const imageId = cornerstone.imageCache.cacheImage(res.image); cornerstone.displayImage(element, imageId); document.getElementById("loading").style.display = "none"; }

useWebWorkers 配置是必选项，不加的话大尺寸 DICOM 解码会把主线程卡死，滑动序列的时候体验特别差。项目里的 style.css 就是给这套页面做的整体样式，loading.gif 在推理耗时超过一秒时能明显改善等待体验。整套前后端联调时，先拿一张 PNG 测试图把链路跑通，再换真实 DICOM，排查问题会快很多。

5. 常见问题与排查：训练到部署最容易翻车的五个环节

5.1 小波重建出现棋盘格伪影

现象：重建图像的高频区域出现规则的格子纹理，放大后像棋盘。

原因：逆小波变换时子带拼接顺序或维度不对；或者 IWT 实现里用了转置卷积而不是固定滤波器的小波重构。

解决：确认 DWT 输出的子带尺寸严格是输入的 1/2，IWT 用与分解相同的小波族重构。落地时我会写一个单元测试，把一张 lena-grayscale.bmp 做分解再重构，要求还原误差小于 1e-6 才继续训练，这个文件在项目资源里可以直接拿来用。

5.2 PSNR 不降但图像发糊

现象：PSNR 涨了 0.3 dB，人眼看着反而更糊了。

原因：像素级损失偏好平滑解，模型把高频纹理平均掉了，指标和感知不一致。这在超分里是最典型的"指标骗人"。

解决：损失里加感知损失和子带监督，评测时把 LPIPS 和 CT-LPIPS 和 PSNR 一起列出来。调参之前先看一眼生成图，指标和视觉对不上就先查损失函数配置，别看指标涨了就觉得万事大吉。

5.3 CT 归一化不一致导致训练不收敛

现象：训练 loss 反复震荡，验证集指标波动剧烈，怎么调学习率都没用。

原因：不同切片的窗宽窗位没有统一，模型把窗参数当成图像内容去学，同一个病灶在不同窗下长相差很多。

解决：统一固定软组织窗（窗位 40、窗宽 400），所有切片先映射到 0-1 再进网络，记录每个样本的窗参数，推理时用同一套预处理。这是我在这套项目里踩过最深的坑，改了归一化之后训练曲线立刻变稳。

5.4 前端加载 DICOM 黑屏或卡顿

现象：Cornerstone 渲染出黑块，或者序列滚动时明显卡顿。

原因：部分 DICOM 的压缩传输语法浏览器端不支持；一次性解码大尺寸多帧图像也会卡住主线程。

解决：服务端统一转成 PNG imageId 再分发，开启 useWebWorkers，序列分片懒加载，只解码当前视口附近的切片。

5.5 Flask 推理接口并发时显存溢出

现象：同时有两个重建请求进来，第二个直接报 CUDA out of memory。

原因：Flask 开发服务器默认是多线程的，每个请求都有可能触发新的显存分配，模型推理没有串行化。

解决：模型启动时常驻，推理路径用 threading.Lock 串行化，并发请求排队处理；如果上生产环境，直接换成 TorchServe 或 Triton 这类推理服务，由服务端统一管理 batch。自己写的 Flask 接口定位是演示和验收，别拿它扛并发。

6. 验收评估与答辩呈现：把对比表、消融实验和局部放大图讲成故事

6.1 实验表格这样整理

我一般会按模型分列记录一张总表，所有指标在固定评测集上计算，每个模型跑三次取平均，实际数值以你复现时的结果为准：

这个结构的关键是 PSNR、SSIM 后面必须跟 LPIPS，再跟医学专用指标 CT-LPIPS，看表的人能直接理解你不是只刷了像素指标。推理时间必须在同一张显卡上、同一批输入下测量，不同设备的数字混着写一眼就能看出来。

6.2 消融实验怎么设计

消融实验是为了证明每个改动的必要性：完整模型 → 去掉感知损失 → 去掉子带监督 → 去掉小波分支只保留 U-Net，四组对比下来，每去掉一个组件，LPIPS 就涨一点，说明每个模块都在起作用。做消融实验不用很细，四组足够，但除了被消融的模块之外，其他超参数必须完全一致，否则对比没有说服力。

6.3 答辩呈现的三个技巧

第一，开场别念背景，放一张 CT 病灶局部放大图，左边低分原图、右边重建图，用视觉差异先抓住注意力，比任何引言都有力。第二，讲指标时主动指出 PSNR 的盲区，解释为什么引入感知损失和重新训练的 CT-LPIPS，这比等老师质疑再解释有说服力得多。第三，准备失败案例——哪类图像重建效果不好、为什么不好，讲清楚局限比只讲成果更像认真做完了一个项目。

提示：答辩用的对比图必须是局部放大，整图投影出来细节根本看不清，局部裁剪才能在屏幕上看出超分前后的差异。

整套方案的工程文件，包括 lena-grayscale.bmp 测试图、两级小波子带的可视化结果、前端 style.css 和 loading.gif 静态资源，都整理进了资源包，拿到手改一下数据集绝对路径就能把训练到部署的全流程跑通。从那以后我每次跑完实验都强制自己先看生成图再看指标表，指标和视觉对不上就先查归一化和损失函数配置，这条习惯帮我躲过了不少"PSNR 骗人"的坑。希望帮到你。

本文还有配套的精品资源，点击获取