我最早接触医学图像配准深度学习模型的搭建时，一度以为只要把固定图和浮动图拼在一起，扔进一个卷积网络，让它输出变形场就完事了。等真把模型搭出来跑起训练，才发现最耗精力的根本不是什么“更好的结构”，而是那几个容易被一笔带过的地基问题：变形场怎么定义、损失函数怎么组合、三维数据怎么在显存有限的条件下高效训练。医学图像配准深度学习的模型搭建，看起来是网络设计问题，实际上是对任务建模的理解问题。
这篇文章我会从自己实践中反复踩过的坑出发，把配准深度学习模型的搭建过程拆开讲透。适合两类人看：一类是刚接触医学图像处理、想在研究里快速搭配准基线的同学，另一类是在做注册、导航或放疗计划等应用、需要把模型落到真实数据上的工程师。我会尽量说人话，该给公式给公式，该给代码给代码，该说“这里我劝你不要那么做”的部分也绝不藏着。
1. 搭建配准模型前，先把三个根本问题想清楚
配准任务的描述很简单：给定固定图F和浮动图M，学习一个空间变换，让浮动图经过变换后的位置能和固定图对齐。但“空间变换”四个字，在深度学习的实现里可以有很多种落法，选错了一开始就埋下坑。
1.1 变形场的建模方式：参数化变换还是稠密位移场
传统配准方法里，空间变换可以建模为仿射、B样条、薄板样条等参数化形式。深度学习配准则几乎清一色采用稠密位移场（dense displacement field，DDF）——也就是对图像每一个体素位置，直接预测一个位移向量。二维图像预测的是2通道图，三维图像预测的是3通道图，每个通道代表x、y、z方向上的偏移量。
这里最常被忽视的一点是：网络最后一层应该尽量用零初始化，使模型初始状态下输出的位移场近似为0。这么做不是拍脑袋，而是因为如果一个网络随机输出一个大的初始位移场，那么重采样出来的浮动图一开始就乱成一团，训练早期相似性损失下降会非常不稳定。我见过不少新手直接给模型加个普通卷积输出层，结果前几百个iter的loss抖得像心电图。后来加了零初始化的卷积层（或者把输出层weight和bias都初始化为0），训练稳定性立竿见影。
另一个问题是位移场的数值范围。医学图像体素间距通常是毫米量级，比如CT的spacing是1mm×1mm×1mm，MRI可能是1.5mm×1.5mm×5mm。如果网络直接输出一个无约束的位移值，几十个像素的大形变训练起来很难收住。常见做法是输出层接一个限制幅度的激活函数，或者乘一个可学习的缩放因子，让模型自己决定最大形变范围。我的习惯是先把图像重采样到各向同性空间，再让模型输出的位移场幅值保持在pixel单位范围内，比如限制在[-20, 20]个voxel之间，这样调参比较直观。
1.2 数据的形态差异：单模态、多模态与各向异性问题
配准问题的另一个决定性问题在于模态。单模态配准，比如CT到CT、MRI到MRI，图像灰度有直接的物理对应关系，损失函数的选择比较宽松，均方误差、互相关都能用。多模态配准则麻烦得多，比如CT到MRI、MRI到PET，不同序列之间的灰度关系没有确定函数，甚至可能在局部区域出现同一解剖结构一个亮一个暗的反转现象。
这直接决定了模型输入和损失设计。“我能不能把两张图拼成两通道输入？”——可以，但如果跨模态差异太大，单靠灰度卷积特征很难对齐，就需要引入模态无关的描述子（比如MIND）或者额外训练一个模态不变特征提取层。还有一个容易被默认的选择：到底用2D网络还是3D网络。医学数据天然是三维体数据，如果切片方向上有连续语义，2D模型在逐层处理时会丢失跨层面的几何连续性，最终配准的变形场会很撕裂。我在实际项目里的原则是：能用3D就用3D，除非数据本身就是单层切片或时间序列，否则二维配准最终都要补一个层间平滑后处理，很费劲。
1.3 训练范式：有监督、无监督还是弱监督
配准模型训练的范式，可以看成是“你对目标有多少标注可用”的权衡。
有监督配准需要真实的位移场标注，但医学图像里几乎没有人工标注一整张稠密位移场的先例，多数是从已知合成的形变中制造标注，属于半仿真性质。无监督配准是目前最主流的选择：不需要真实变形场，只需要输入固定图和浮动图，用网络输出的变形场重采样浮动图，再让重采样结果和固定图在某种相似性度量下尽量接近。这实际就是在训练阶段把损失函数当成了配准质量的定义。弱监督配准则利用器官分割标签来辅助约束，比如两个体数据的心室分割掩膜配对好，网络不仅要把灰度对齐，还要在分割标签上重叠。
我自己的建议很直接：如果没有特别强的理由，优先选无监督配准。原因很简单，你在模型里每次加监督信号，都要考虑标注数据的获取成本和在不同数据集上的泛化问题，而无监督只需要图像本身，工程上最省心。等到无监督模型效果不满意，再一点点往里面加弱监督约束，这种渐进式路线几乎能覆盖90%的医学配准场景。
2. 网络架构设计：从U-Net骨架到多分辨率级联
配准模型结构五花八门，但绝大多数主干都脱胎于U-Net。为什么不是单纯的编码器-解码器？因为配准需要保留高分辨率空间细节。固定图和浮动图之间的差异往往体现在局部边界、器官边缘这些高频信息上，而普通编码器一路下采样，到深层的特征图已经只剩下语义级别，根本不足以还原精细的位移场。
2.1 输入输出通道与基础U-Net的搭建
一个最简单能跑通的配准U-Net长这样：输入是三张图拼成的多通道Tensor，比如固定图、浮动图各占1个通道，总共2个通道；如果想加梯度或模态特征，可以拼更多通道。输出是位移场，维度与输入图像空间尺寸一致，通道数为图像维度数（3D就是3）。
下面是一个简化但能直接用的二维版搭建示意。三维版把二维卷积换成三维卷积即可，核心思路不变。
import torch import torch.nn as nn class ConvBlock(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.conv = nn.Sequential( nn.Conv2d(in_ch, out_ch, 3, padding=1), nn.InstanceNorm2d(out_ch), nn.LeakyReLU(0.2, inplace=True), nn.Conv2d(out_ch, out_ch, 3, padding=1), nn.InstanceNorm2d(out_ch), nn.LeakyReLU(0.2, inplace=True), ) def forward(self, x): return self.conv(x) class RegistrationUNet(nn.Module): def __init__(self, in_channels=2, out_channels=2, base=16): super().__init__() self.enc1 = ConvBlock(in_channels, base) self.enc2 = ConvBlock(base, base * 2) self.enc3 = ConvBlock(base * 2, base * 4) self.enc4 = ConvBlock(base * 4, base * 8) self.pool = nn.MaxPool2d(2) self.bottom = ConvBlock(base * 8, base * 16) self.up3 = nn.ConvTranspose2d(base * 16, base * 8, 2, stride=2) self.dec3 = ConvBlock(base * 16, base * 8) self.up2 = nn.ConvTranspose2d(base * 8, base * 4, 2, stride=2) self.dec2 = ConvBlock(base * 8, base * 4) self.up1 = nn.ConvTranspose2d(base * 4, base * 2, 2, stride=2) self.dec1 = ConvBlock(base * 4, base * 2) self.out = self._make_output(base * 2, out_channels) def _make_output(self, in_ch, out_ch): # 关键：最后一层零初始化，保证初始位移场接近0 conv = nn.Conv2d(in_ch, out_ch, 3, padding=1) nn.init.zeros_(conv.weight) nn.init.zeros_(conv.bias) return conv def forward(self, x): e1 = self.enc1(x) e2 = self.enc2(self.pool(e1)) e3 = self.enc3(self.pool(e2)) e4 = self.enc4(self.pool(e3)) b = self.bottom(self.pool(e4)) d3 = self.dec3(torch.cat([self.up3(b), e4], dim=1)) d2 = self.dec2(torch.cat([self.up2(d3), e3], dim=1)) d1 = self.dec1(torch.cat([self.up1(d2), e2], dim=1)) flow = self.out(d1) return flow这段代码里有几个值得注意的细节。第一，我用了InstanceNorm而不是BatchNorm。配准模型的batch size通常很小，尤其三维输入时经常只能塞下1或2，BatchNorm在这种统计量不稳定的情况下会拖后腿。第二，跳连接拿的是编码器刚卷积完的特征，而不是池化之后的结果，这样保留的高频信息更充分。第三，最后的卷积层必须零初始化，这是前面强调过的稳定性关键。
2.2 下采样路径中空间分辨率的取舍
U-Net下采样多少层合适，取决于图像分辨率和形变幅度。如果输入体数据是256×256×256，配准的形变超过几十个voxel，那么只下采样三四层可能不够“看到足够大的感受野”。每一层池化带来的感受野翻倍，但分辨率减半。深层特征能感知大范围运动趋势，浅层特征能修正局部细节，二者缺一不可。
但如果盲目加深下采样，深层特征图可能缩到4×4×4甚至更小，这时瓶颈处的信息过于抽象，恢复出来的位移场会丢失空间连续性。我的经验是：三维数据建议下采样3到4层，每层通道数按2倍递增，基通道数从8或16起步，不要一上来就128、256那样炫富，你的显存会第一个抗议。如果形变非常局部，比如只需要配准同一个器官在呼吸过程中的位移，那么减少下采样层数比增加通道数更有效。
还有一个容易忽略的问题：图像重采样到各向同性后，虽然x和y方向的像素尺寸统一了，但卷积操作的每个方向步长仍然是一致的，这没问题。可如果你的原始数据本身spacing严重不均匀（比如z轴间距是x轴的5倍），而又不重采样，网络就会对各向异性的物理空间产生错误的感觉——同一个卷积核在z方向的感受野覆盖的实际解剖范围是x方向的5倍。所有后续指标都会变得很怪。所以我在搭建模型之前，会把所有训练数据重采样到一个标准spacing，比如1.0×1.0×1.0mm，哪怕这会带来插值误差，也比让网络自己消化各向异性好得多。
2.3 多尺度策略与级联微调
单尺度U-Net对大的形变普遍乏力。网络输出的最大位移范围受限于感受野和特征分辨率，当一个器官整体移动了20mm，而U-Net的一个基础特征层只能看见10mm范围时，模型根本无法“看到”把浮动图拉回来的方向。
多尺度处理基本有两种路线。一种是在U-Net内部加多分辨率损失，也就是解码器的每一级都输出一个对应分辨率的位移场，分别在原分辨率或上采样后的分辨率计算损失。另一种是更外显的级联结构：先在一个低分辨率版本上跑一个模型得到粗略位移场，把浮动图重采样变形一次，再在更高分辨率版本上跑第二个模型，将第一个位移场作为初始变形场输入。级联的好处是每个模型的任务相对简单，但训练流程更复杂，参数更多。实际使用中，我会先用一个基础的多分辨率损失U-Net跑通基线，如果发现大形变区域（比如肺部）仍然对不齐，再叠加一个级联微调阶段。
多尺度损失的具体做法也很有讲究。不要在四个尺度上给相同的权重。低分辨率的损失收敛快，但过于粗糙；高分辨率的损失更精确，但梯度波动大。我习惯把权重设为从粗到细的递增，比如四个尺度的权重是[0.1, 0.3, 0.6, 1.0]，最细的原始分辨率权重最大。另一种更稳的玩法是“课程训练”：先用低分辨率损失训练几个epoch，冻结或者大幅降低高分辨率损失的权重，让模型先学会大形变，再逐步开放高分辨率细节。
3. 损失函数与约束设计：模型训练的“灵魂”
网络结构决定了模型能表达什么，损失函数才真正决定了模型会学到什么。配准损失设计得不好，再先进的网络也只会学出一个看似光滑但毫无解剖意义的变形场。
3.1 相似性度量：从MSE到跨模态鲁棒度量
无监督配准最核心的损失就是相似性度量。单模态且灰度校准得比较好时，可以直接用均方误差MSE，但医学图像中同一组织在不同扫描条件下的灰度波动很常见，所以实际中我更推荐局部归一化互相关（LNCC）作为默认起点。
局部归一化互相关的大致逻辑是：在一个局部窗口内，把固定图像块和重采样后的浮动图像块分别做零均值归一化，然后计算相关系数。它允许整体亮度和对比度的线性差异，本质是衡量“局部形状”是否一致，这一点非常契合医学图像的灰度特性。
def local_normalized_cross_correlation(fixed, moving, kernel_size=9): window = torch.ones((1, 1, kernel_size, kernel_size), device=fixed.device) f_mean = torch.nn.functional.conv2d(fixed, window, padding=kernel_size//2) m_mean = torch.nn.functional.conv2d(moving, window, padding=kernel_size//2) f2 = torch.nn.functional.conv2d(fixed * fixed, window, padding=kernel_size//2) m2 = torch.nn.functional.conv2d(moving * moving, window, padding=kernel_size//2) fm = torch.nn.functional.conv2d(fixed * moving, window, padding=kernel_size//2) f_var = f2 - f_mean ** 2 m_var = m2 - m_mean ** 2 cov = fm - f_mean * m_mean ncc = cov / (torch.sqrt(f_var * m_var) + 1e-8) return -ncc.mean()这段代码有一个小坑：window大小kernel_size选择非常关键。窗口太小，对局部噪声敏感，几乎无法抓住结构；窗口太大，又丧失了局部形变的精细度。二维图像我通常用9×9或11×11，三维用7×7×7或9×9×9。我曾经为了追求精细形变，把局部窗口调到5，结果loss震荡到一个地步，配准结果反而开始出现大量局部折叠。后来才明白，窗口太小意味着相似性度量本身就不稳定，模型只能靠正则项硬拉，这本身就是病态的。
多模态的跨模态配准则不适合LNCC。MIND（Modality Independent Neighbourhood Descriptor）是一种模态无关描述子，计算每个体素邻域的自我相似性，在CT-MRI配准里非常有效。你也可以用互信息（MI）的可微近似，但梯度计算复杂，我一般首推MIND，其次才是互信息类方法。
3.2 平滑正则化与变形场折叠
如果只用相似性损失，模型马上会走向极端：给每个体素算出一个互相没有约束的独立位移，最后经过三次线性插值重采样也能在数值上降低相似性，但变形场看起来像噪声，局部甚至会出现折叠，也就是雅可比行列式为负，体素发生了“翻转”。
解决这一问题靠的是平滑正则化，最常用的是对位移场空间梯度做惩罚。以下代码对位移场求梯度后计算其平方和，把过大的局部变化压住。
def gradient_loss(flow): dx = flow[:, :, 1:, :] - flow[:, :, :-1, :] dy = flow[:, :, :, 1:] - flow[:, :, :, :-1] return torch.mean(dx**2) + torch.mean(dy**2)这里的正则化强度需要拿捏。太大，变形场被“抹平”，小的精细形变完全消失，配准结果只保留了全局刚体趋势；太小，折叠区域会增多，解剖结构出现交错。我调参的经验是：先固定相似性损失，单独调整正则系数，每次训练后统计负雅可比行列式体素的比例，让这个比例稳定在1%以下，同时目视检查一张变形场的折叠图。如果你发现负行列式比例已经很小但DSC也没有提升，说明正则可能没有在发挥主要作用，可以适当降低。
3.3 损失组合与权重调整的经验法则
配准总损失通常写成：
Loss = -lambda_sim * Similarity + lambda_reg * Reg
注意这里面有一个很容易出错的地方。LNCC的取值范围在[-1, 1]，通常我们取负号让模型最小化，得到的数值在[-1, 1]之间；而梯度损失是一个数值上远超这个范围的量，尤其位移场尺度大时，梯度平方和的均值可能成百上千。这时候你把两个损失简单相加，梯度损失会完全主导，模型只会在那儿拼命收缩变形场，根本不学习相似性。合理的方式是先估算两部分的尺度，再做warm-up，或者把正则损失也归一化到体素数量级。
一个稳妥的初始化权重组合是：lambda_sim=1.0，lambda_reg=0.01到0.1之间。注意当相似性损失在负值附近波动时，即使很小，也是有效梯度。我还会加一个“正则系数warm-up”：前500步把正则系数从0慢慢升到目标值，让模型先大胆探索形变空间，再逐渐约束平滑。实验下来，这个方法比恒定正则系数收敛得更快，也更少陷入全零平凡解。
另外可以混合多种相似性。比如单模态里用LNCC加上一点梯度角相似度，或者用LNCC加上分割标签的Dice损失做弱监督。多模态里也可以把MIND和LNCC做一个加权和。不要迷信某个单一指标，不同数据集的最优组合往往不同，这部分必须靠实验。
4. 数据准备与训练效率的实战技巧
模型和数据的关系，我常打一个比方：网络结构是汽车底盘，损失函数是方向盘，而数据预处理就是路面。路面坑坑洼洼，底盘再好也开不出速度。医学图像配准的数据处理，坑一点也不少。
4.1 三维数据的重采样、归一化与patch裁剪
第一步是统一方向。医学图像有LPS、RAS等不同坐标方向约定，同一套模型如果供给侧方向和训练集不一致，配准结果很可能直接是镜像或旋转错误。我在数据加载阶段会把所有NIfTI图像用统一工具重定向到同一个方向，比如RAS方向，并为每个样本记录affine矩阵。在测试阶段的推理结果要输出回原始方向时，再用逆变换恢复。
第二步是重采样到标准spacing。这个已经提过，但还要注意插值方式：重采样浮动图时可以用三阶样条，重采样分割标签时用最近邻，而网络训练时对浮动图重采样使用双三次插值即可。第三步是强度归一化。常用的做法是计算每个体积数据非零区域的均值和标准差，做z-score归一化。不要对所有体素一起算，因为背景的0会严重干扰统计，导致前景对比度被压缩。
三维体数据直接整图送入网络，除了少数显存怪兽，大多数人根本扛不住。所以通常要裁剪成patch。patch size的选择直接关联感受野。我常用的三维patch是64×64×64或96×96×96，有时候为了兼顾全局上下文，会用一个低分辨率整体图+高分辨率局部patch的双路输入方案。这实际上就是把多尺度思想放到了输入侧。
4.2 数据增强：空间扰动与强度扰动
配准模型的训练增强有一个天然优势：你可以拿任意一张图像，自己生成一个随机形变场，把图像变形出一个虚拟的浮动图，再把原图作为固定图，从而造出大量“训练对”。这在无监督训练中非常实用，等于在训练时不断给模型制造新的有挑战性的样本。
具体做法是生成一个粗糙的随机位移场，比如用随机低频正弦场在三个方向上叠加，再把它平滑，作用在浮动图上。要注意随机形变场的幅度要分布均匀，不能一直在小形变范围，否则模型永远学不会大形变。我一般让形变幅度在零到目标最大位移之间均匀采样。除此之外，空间增强还可以加随机小角度旋转、平移、缩放。强度增强则包括添加高斯噪声、伽马变换、偏置场扰动，这些能提高模型对不同扫描条件的鲁棒性。
一个容易踩的坑是：增强的幅度不要超过配准任务本身的物理意义。如果任务是配准同一个病人不同时间点的CT，那么你就不该加入过度的非线性形变，因为真实的呼吸和体位变化是有限的。增强太猛，模型在真实数据上反而会因为“见过太多奇怪的形变”而失去对真实形变的敏锐度。
4.3 显存优化与Batch Size选择
三维配准模型的显存压力是绕不开的话题。很多人第一反应是减小patch size，这常常不是最优解。因为patch小到一定程度，像心脏配准这种需要考虑整体形态的任务就完全失效了。更有效的做法是降低基通道数，比如从32降到16，或者增加下采样层数而不是通道数。通道数翻倍带来的是显存的平方级增长，而减少分辨率则几乎是线性降低。
混合精度训练在这个方向上有奇效。位移场和重采样操作在低精度下仍然稳定，我开了自动混合精度后，显存能下降三到四成，速度还能提升。部分网络层对精度敏感，那就用损失缩放。三维配准的batch size往往只有1或2，这很正常，不要硬扛。梯度累积可以模拟更大的batch，但配准任务中batch size适度即可，更大的batch不一定带来更稳的loss，因为每对图像的形变模式差异极大。
4.4 一个可落地的训练循环示例
下面是一个配准模型训练循环的关键骨架，我习惯用PyTorch写。这里包含了固定图/浮动图预处理、前向得到位移场、用空间变换层重采样浮动图、计算损失并反向更新。
def train_one_epoch(model, dataloader, optimizer, device, lambda_sim, lambda_reg): model.train() epoch_loss = 0.0 for fixed, moving in dataloader: fixed = fixed.to(device) moving = moving.to(device) optimizer.zero_grad() flow = model(torch.cat([fixed, moving], dim=1)) # 对moving进行重采样：根据flow的每个位置去取moving的对应位置 grid = make_grid(flow) # 生成采样网格，坐标为[-1,1] warped = torch.nn.functional.grid_sample(moving, grid, align_corners=False, mode="bilinear", padding_mode="border") loss_sim = local_normalized_cross_correlation(fixed, warped) loss_reg = gradient_loss(flow) loss = lambda_sim * loss_sim + lambda_reg * loss_reg loss.backward() optimizer.step() epoch_loss += loss.item() * fixed.size(0) return epoch_loss / len(dataloader.dataset)这段代码里make_grid是手动生成采样网格的函数，实际中需要根据图像坐标和flow的位置关系细心实现。你可以直接用grid_sample的grid定义：grid的第i个位置存的是“输出像素i应该从输入图像哪里采样”，等于-1 + 2 * (coord_original + displacement) / (size - 1)这种归一化形式，具体要仔细对齐坐标方向。最常见的错误是flow的坐标方向搞反，导致配准结果整体漂移。我在第一次做三维配准时就被这个问题折磨了很久，后来通过可视化一个已知的小位移的采样网格才排查出来。
5. 评估指标、可视化与部署前的检查清单
模型训练完了，好不好不能只看loss曲线。医学图像配准的评估本身就是一个需要严谨对待的环节，因为配准效果好坏的界定有时候非常反直觉。
5.1 定量指标：DSC、TRE与HD95
最常用的配准评估指标是DSC（Dice Similarity Coefficient），它需要分割标签。给定某个器官在固定图上的分割标签和浮动图上变形后的分割标签，计算两者重叠率。DSC通常在0到1之间，值越高越好。但它对小的解剖结构非常严苛，比如一个微小病灶区域本身只有几十个像素，一个像素的错位就会让DSC大幅下降，而大器官可能整体移动了一个直径的偏差，DSC依然有0.8以上。所以只看DSC并不全面。
目标配准误差（TRE）需要有对应解剖标记点，比如血管分叉点或专家标出的关键点。在配准前后分别计算这些点在固定图和变形后浮动图上的距离，单位毫米。TRE直接反映形变精度，是真正值得信赖的指标。但获取标记点需要人工成本。如果你恰好有分割标签但没有标记点，可以配合DSC和表面距离HD95一起看。我的习惯是至少报告DSC和HD95两个指标，HD95对边界形状更敏感，能弥补DSC过于“容忍”大体积整体的缺陷。
还有一个容易出错的细节：评估用的标签在浮动图上是否也做了同样的变形？经常有人直接拿固定图的标签和变形后的浮动图标签比较，却没有对浮动图标签做同样的空间变换，导致DSC虚低。正确做法是把浮动图的分割标签用同一个位移场重采样后再和固定图标签计算重叠。这里重采样标签要用最近邻插值，不能用线性插值，否则标签边界出现模糊灰度，DSC会被错误地拉高。
5.2 Jacobian行列式与折叠检测
定量指标只能告诉我们“配准结果在解剖标签上好不好”，但一个看似完美的DSC可能掩盖了内部的严重折叠。配准变换的局部体积变化由位移场的雅可比行列式（Jacobian determinant）来描述。如果某个位置的雅可比行列式小于零，说明这个体素邻域发生了翻转/折叠，这在物理上是不可接受的。折叠检测是配准评估里绝不能跳过的一步。
实现上，你可以用有限差分在离散网格上计算位移场的空间导数。二维情况，对位移场分别求x和y方向的导数，组成2×2矩阵，然后计算行列式。三维则组成3×3矩阵，计算行列式。统计整个体积中负行列式体素的占比，这个比例通常要小于1%，最好越接近0越好。如果发现折叠区域分布在解剖边缘，说明局部形变过于剧烈；如果分布在整个变形场，说明正则化强度不足。
可视化也很关键。一种直观方式是变形场的“网格变形”或“checkerboard图”：把变形前和变形后的图像按棋盘格拼在一起，可以看到解剖结构是否在边界处连续。另一种方式是把位移场的矢量画出来（桌面工具或matplotlib的quiver），再叠加到原图上，看位移方向是否合理。我每次训练完一个模型都会生成几张这样的图，花的时间不多，但能快速暴露坐标方向反了或者折叠集中的问题。
5.3 训练和部署中最容易被人忽略的几个问题
到目前为止，我踩过的比较深的一些坑，在这里集中列一下。
一是输出零位移场的“假收敛”。训练早期，网络可能发现“什么都不做”也能让损失停在一个低点。尤其当两幅图本身位置就比较接近时，零位移是一个很舒服的局部解。如果你发现训练了若干轮，损失基本不下降，但可视化位移场几乎全为0，就要检查初始化的输出是否过小、正则权重是否太大、相似性窗口是否太小。对症下药：把正则降低，或者对零位移做一个轻微惩罚避开平凡解，或者用刚才说的正则warm-up方法。
二是spacing不一致导致的推理翻车。很多模型在训练数据上看起来很漂亮，一换到另一个采集协议的数据上就崩，最典型的原因是spacing。有些部署环境拿到的数据没有统一重采样，输入图像的物理粒度完全不同，网络输出位移场的单位是体素，如果spacing变大了，位移的毫米数就错了。最好在推理管线里强制把输入重采样到和训练集一致的标准spacing，并把变形场采样回到原始spacing之后再做后续应用。
三是重采样边界问题。grid_sample的padding_mode如果设置为zeros，图像边界外全是零，会导致变形场把边界外的内容也拉到图像里，产生严重伪影。在配准里我一般用border或border模式附近的值来做填充，虽然不完美，但比零填充稳定得多。另外重采样模式选择，我默认用双线性，但如果你做的是标签传播任务，输出层应该用最近邻，这时不要在网络里直接反传梯度，要显式地处理离散标签。
5.4 部署前必须完成的检查清单
最后给出一份部署前的检查清单，每一条都来自于实际项目里的教训。
- 输入图像的坐标方向是否与训练时一致。如果不确定，先可视化一次样例。
- 图像spacing是否重采样到训练标准。若没有，必须补这一步。
- 强度是否做了归一化。训练时用z-score，推理时也要用同一套统计值，最好把归一化参数和模型一起保存。
- 网络输出位移场的坐标方向含义是否确认过。在真实数据上对一个已知位移样本测试一下方向。
- 变形场是否在整个体积上保持平滑。可以计算负雅可比行列式占比，若超过阈值需要加后处理平滑。
- 对结果的可视化是否直接生成过。打开一张叠加棋盘图看一眼，手动确认解剖结构是否对齐，胜过一次盲目的指标汇报。
- 如果模型最终要输出变形场给下游系统，务必保留原始affine变换信息，以及变形场和原图像的坐标对应关系。
这套清单看起来繁琐，但能帮你在导入生产环境前把80%的隐性错误先拦住。我自己的习惯是每次训练完新模型，不急着看指标，先跑一遍这个清单，再谈效果。
最后再分享一点个人感受：医学图像配准深度学习模型的搭建，最终比拼的并不是谁能堆出更复杂的网络，而是谁把输入输出定义、损失组合、数据预处理和验证评估这些基础环节理解得更透。网络结构再花哨，损失函数和数据处理一旦有偏差，最后拿到的只是一个跑得动但毫无价值的模型。先把这些基本功练扎实，后续再看Transformer、扩散模型这些高级结构时，你才能真正判断它们到底解决了配准中的哪一个短板，而不是为了换结构而换结构。希望这篇文章能帮正在搭配准模型的你省掉一些不必要的弯路。如果你有自己的损失组合经验或防折叠技巧，也欢迎一起交流。
