医学图像分割实战：从CNN到Transformer的架构演进与调优指南

1. 医学图像分割的技术演进与核心挑战

医学图像分割这个方向，我从几年前做肝脏肿瘤勾画开始接触，到后来做视网膜血管提取、细胞核分割，一路踩坑过来。早期用纯 CNN 方案，后来逐步过渡到 Transformer 架构，中间还试过 CNN 和 Transformer 混合的路线。这个领域最核心的问题其实一直没变：在标注数据极其稀缺的情况下，如何让模型稳定地学到器官边界和病灶区域的精确轮廓。

医学图像和自然图像有本质区别。自然图像里一只猫就是一只猫，轮廓清晰、纹理丰富、光照充足。但医学图像，尤其是 CT 和 MRI，不同软组织之间的灰度差异可能只有十几个 HU 值，边界模糊到肉眼都难以分辨。更麻烦的是，同一个器官在不同患者身上的形态差异巨大，肝脏可能差出两倍体积，肿瘤的形状更是千奇百怪。这就导致一个很现实的问题：模型必须同时具备局部细节捕捉能力和全局语义理解能力，缺一不可。

CNN 天然擅长前者。卷积核在局部感受野上滑动，能精确提取边缘、纹理、角点这些低级特征，再通过层层堆叠逐步抽象出高级语义。但 CNN 有个致命短板——感受野受限。一个 3x3 卷积核堆叠十层，理论感受野也就 20 多像素，对于一张 512x512 的 CT 切片来说，模型很难在早期层就建立起器官之间的空间关系。这就导致 CNN 在分割大器官时容易出现“局部正确、全局矛盾”的情况，比如把左肾和右肾的边界搞混，或者把肿瘤区域和周围正常组织混淆。

Transformer 的出现改变了这个局面。自注意力机制让每个像素都能直接和图像中任意其他像素建立关联，全局感受野从第一层就建立起来了。但 Transformer 也有自己的问题：计算复杂度是序列长度的平方级，一张 512x512 的图像展平成序列后长度是 262144，直接算自注意力，显存根本扛不住。而且医学图像标注数据通常只有几百到几千例，Transformer 这种参数量巨大的架构很容易过拟合。

所以从 CNN 到 Transformer 的演进，本质上是在局部精度和全局语义之间寻找平衡点。我个人的经验是，纯 CNN 方案在数据量充足、目标形态规整的场景下依然能打，比如肺部分割、心脏分割这些任务，U-Net 系列至今仍是很多医院的基线方案。但一旦遇到多器官分割、病灶边界模糊、小目标检测这些场景，Transformer 的优势就体现出来了。下面我按实际项目经验，把这条技术路线拆开来讲。

1.1 CNN 在医学分割中的经典范式与局限

先说 CNN 这条线。医学图像分割领域最经典的架构毫无疑问是 U-Net，2015 年提出，到现在快十年了，依然是很多论文的 baseline。它的结构很简单：编码器逐步下采样提取语义特征，解码器逐步上采样恢复空间分辨率，中间用跳跃连接把编码器的浅层特征直接拼到解码器对应层。这个设计在医学图像上特别有效，因为医学分割既需要深层语义判断“这是什么器官”，又需要浅层细节确定“边界在哪里”。

我早期做肝脏分割时用的就是 2D U-Net，输入 512x512 的 CT 切片，编码器用 VGG16 的前几层做初始化，解码器用转置卷积上采样。训练数据是 200 例腹部 CT，每例取 50 张切片，总共 10000 张。在验证集上 Dice 能到 0.92 左右，看起来不错。但实际部署时发现一个问题：肝脏和胃壁、肝脏和右肾的边界经常出错。原因是这些器官在灰度上太接近，CNN 的局部感受野无法区分它们之间的细微差异。

后来我试了 DeepLab 系列，用空洞卷积扩大感受野。空洞卷积的好处是不增加参数量的情况下扩大感受野，比如 rate=2 的 3x3 卷积，感受野等效于 5x5。但空洞卷积有个理论问题：它会导致特征图出现网格效应，相邻像素之间的信息不连续。在医学图像上，这种不连续性会放大边界模糊的问题。我试过在 DeepLabv3+ 上加后处理 CRF，效果有提升但推理速度太慢，一张 512x512 的图要跑 2 秒，临床根本没法用。

还有一条路是 nnU-Net，这个框架在 2020 年前后几乎统治了医学分割挑战赛。它的核心思想不是设计新架构，而是把预处理、训练策略、后处理全部自动化。比如自动计算归一化参数、自动选择 patch size、自动做数据增强。我实测下来，nnU-Net 在大多数任务上确实比手工调参的 U-Net 高 2-3 个 Dice 点。但它的局限性也很明显：对 3D 数据的显存占用极大，我试过在 24G 显存的卡上跑 3D nnU-Net，patch size 只能开到 128x128x128，再大就 OOM 了。

CNN 方案还有一个共性问题：对旋转和形变的不变性不足。医学图像里器官的形态变化很大，比如肝脏在呼吸过程中会有明显形变，但 CNN 的卷积核是固定方向的，对旋转的鲁棒性靠数据增强来补。我试过用可变形卷积（Deformable Conv）来缓解这个问题，效果有提升但提升有限，而且可变形卷积的 offset 学习在医学图像上不太稳定，容易学出奇怪的形变场。

1.2 Transformer 的引入动机与医学场景适配

Transformer 进入医学分割领域大概是 2021 年之后的事。最早是 TransUNet 这篇工作，把 ViT 作为 U-Net 的编码器，在多个医学分割数据集上刷了 SOTA。它的核心思路是：用 Transformer 的全局自注意力替代 CNN 的局部卷积，让模型从第一层就能建立长距离依赖。

我最早复现 TransUNet 时踩了不少坑。第一个问题是位置编码。医学图像的空间结构很重要，肝脏在右上腹、脾脏在左上腹，这些位置信息必须编码进去。但标准的正弦位置编码是 1D 的，直接用在 2D 图像上会丢失空间关系。TransUNet 用的是可学习的位置编码，我试过固定正弦编码和可学习编码，后者在医学数据上明显更好，因为医学图像的位置分布相对固定，可学习编码能捕捉到这种先验。

第二个问题是数据量。ViT 在 ImageNet 上预训练需要上千万张图，医学数据通常只有几百例。我试过直接在医学数据上从头训练 ViT，结果 Dice 只有 0.6 左右，远不如 U-Net。后来用 ImageNet 预训练权重做初始化，Dice 直接跳到 0.88。这说明 Transformer 对预训练权重的依赖远大于 CNN，如果没有足够的预训练数据，Transformer 在医学场景下很难发挥优势。

第三个问题是计算量。一张 512x512 的图，ViT 的 patch size 设为 16，序列长度就是 1024。自注意力的计算复杂度是 O(n^2)，1024 的平方是 100 万，看起来还能接受。但如果做 3D 分割，比如 128x128x128 的 volume，patch size 设为 16，序列长度就是 4096，平方后是 1600 万，显存直接爆炸。所以早期的 Transformer 医学分割方案基本都是 2D 的，3D 方案要到 Swin Transformer 出来之后才逐渐可行。

Swin Transformer 的核心创新是窗口注意力。它把图像划分成不重叠的窗口，只在窗口内算自注意力，然后通过移位操作让窗口之间产生交互。这样计算复杂度就从 O(n^2) 降到了 O(n)。我实测下来，Swin UNet 在 3D 医学分割上比纯 ViT 方案快 3-4 倍，显存占用降低一半以上，Dice 还能保持相当。但 Swin 的窗口大小是个超参，窗口太小全局建模能力弱，窗口太大计算量又上去了。我试过 4、7、8、12 几种窗口大小，在肝脏分割任务上 7 和 8 效果最好，4 太小、12 太大。

1.3 CNN 与 Transformer 的融合趋势

纯 Transformer 方案在医学分割上有一个明显短板：浅层细节捕捉能力弱。ViT 的第一层就是 patch embedding，把 16x16 的区域直接压成一个向量，这个过程中大量边缘和纹理信息丢失了。而医学分割恰恰对边界极其敏感，肿瘤的毛刺征、血管的细小分支，这些都需要高分辨率特征。

所以现在主流的方案都是 CNN 和 Transformer 混合。比如 TransUNet 用 CNN 做浅层特征提取，Transformer 做深层语义建模；Swin UNet 用 Swin Transformer 块替换 U-Net 的卷积块，但保留了 U-Net 的跳跃连接结构；还有 MISSFormer 这种专门为 2D 医学分割设计的 Transformer，在编码器和解码器之间加了增强的注意力模块。

我个人的经验是，混合架构在医学分割上确实比纯 CNN 或纯 Transformer 更稳。CNN 负责浅层细节，Transformer 负责全局语义，两者互补。但混合架构的调参难度也更大，学习率、权重衰减、dropout 这些超参对 CNN 和 Transformer 部分可能需要不同的设置。我通常会给 Transformer 部分用更小的学习率，因为它的参数量更大、更容易过拟合。

2. 核心架构拆解与关键模块实现

2.1 CNN 编码器的设计要点与参数选择

先讲 CNN 编码器。在医学分割里，编码器的核心任务是把输入图像逐步下采样，提取多尺度特征。我通常用 4 层下采样，每层分辨率减半、通道数翻倍。比如输入 512x512x1 的 CT 切片，第一层输出 256x256x64，第二层 128x128x128，第三层 64x64x256，第四层 32x32x512。

卷积核大小我一般用 3x3，这是最通用的选择。3x3 的感受野虽然小，但堆叠两层就能等效 5x5，堆叠三层等效 7x7，而且参数量更少、非线性更强。5x5 和 7x7 的卷积核在医学图像上我试过，效果没有明显提升，反而增加了计算量。1x1 卷积主要用来做通道压缩和特征融合，不单独作为特征提取层。

激活函数方面，ReLU 是最常用的，但我更推荐 LeakyReLU，负斜率设 0.01。医学图像里有很多低对比度区域，ReLU 在负半轴梯度为零，容易导致神经元死亡。LeakyReLU 能缓解这个问题。我试过在肝脏分割任务上对比 ReLU 和 LeakyReLU，后者在训练初期收敛更快，最终 Dice 高 0.5-1 个点。

归一化层我一般用 BatchNorm，但医学图像有个特殊情况：不同扫描设备的灰度分布差异很大。同一家医院的不同 CT 机，或者不同医院的 CT 机，图像的均值和方差可能差很多。BatchNorm 在训练时依赖 batch 统计量，如果 batch 里混了不同设备的数据，归一化效果会打折扣。我试过用 InstanceNorm 替代 BatchNorm，在小 batch 场景下更稳定，但训练速度会慢一些。GroupNorm 是折中方案，group 数设 8 或 16，效果介于两者之间。

下采样方式我推荐用步长为 2 的卷积，而不是最大池化。最大池化会丢失空间信息，而步长卷积是可学习的，能保留更多细节。我试过在 U-Net 里把 MaxPool 换成 Strided Conv，Dice 提升了 0.3 左右，虽然不多但很稳定。

2.2 Transformer 模块的自注意力机制与位置编码

Transformer 的核心是自注意力。给定输入序列 X，先通过三个线性变换得到 Q、K、V，然后计算 Attention(Q,K,V) = softmax(QK^T / sqrt(d_k)) V。这里的 d_k 是 key 的维度，除以 sqrt(d_k) 是为了防止点积过大导致 softmax 梯度消失。

在医学图像里，自注意力的计算有几个关键点。第一是patch size 的选择。patch size 越小，序列越长，全局建模能力越强，但计算量也越大。我试过 8、16、32 三种 patch size，在 512x512 的 CT 切片上，16 是性价比最高的。8 的序列长度是 4096，显存占用太大；32 的序列长度是 256，全局建模能力不足。

第二是多头注意力的头数。标准 Transformer 用 8 或 16 个头，每个头的维度是 d_model / num_heads。医学图像我一般用 8 个头，d_model 设 512，每个头 64 维。头数太少，注意力模式单一；头数太多，每个头的维度太小，表达能力不足。我试过 4、8、12、16 几种配置，8 和 12 效果最好。

第三是位置编码。前面提过，医学图像的位置信息很重要。我通常用可学习的 2D 位置编码，形状是 (H/patch_size) x (W/patch_size) x d_model。初始化用截断正态分布，标准差设 0.02。训练时位置编码和模型参数一起更新。我试过固定正弦编码，效果比可学习编码差 1-2 个 Dice 点，因为医学图像的位置分布有很强的先验，可学习编码能捕捉到这种先验。

第四是注意力 dropout。Transformer 参数量大，容易过拟合。我一般在注意力权重上加 dropout，rate 设 0.1。另外在 FFN 层也加 dropout，rate 设 0.1。如果数据量特别少（比如少于 500 例），dropout rate 可以加到 0.2 甚至 0.3。

2.3 跳跃连接与多尺度特征融合策略

跳跃连接是 U-Net 的精髓，也是 CNN 和 Transformer 混合架构的关键。在纯 CNN U-Net 里，跳跃连接把编码器的浅层特征直接拼到解码器的对应层。但在混合架构里，编码器可能是 CNN，解码器可能是 Transformer，特征维度不匹配，不能直接拼。

我常用的做法是用 1x1 卷积做维度对齐。比如编码器输出 64 通道，解码器需要 512 通道，就用 1x1 卷积把 64 通道升到 512，再和 Transformer 的输出相加或拼接。相加的计算量小，拼接的表达能力强，我一般用拼接，后面接一个 3x3 卷积做融合。

多尺度特征融合我试过几种方案。最简单的是 U-Net 的逐层拼接，但这种方式对尺度差异大的特征融合效果一般。后来我试了 ASPP（空洞空间金字塔池化），用不同 rate 的空洞卷积提取多尺度特征，再拼接。ASPP 在医学分割上效果不错，尤其是对大小不一的病灶。但 ASPP 的计算量较大，我一般只在编码器最后一层用。

还有一种方案是注意力门控。在跳跃连接上加一个注意力模块，让解码器自动学习哪些编码器特征更重要。我试过在肝脏分割任务上加注意力门控，Dice 提升了 1 个点左右，但训练时间增加了 20%。如果对推理速度有要求，这个方案要慎重。

2.4 损失函数选择与类别不平衡处理

医学分割的损失函数选择很关键。最常用的是 Dice Loss，因为它直接优化 Dice 系数，和评价指标一致。但 Dice Loss 在训练初期梯度不稳定，尤其是当预测和真实标签完全不相交时，梯度会爆炸。我一般用 Dice Loss 和 CrossEntropy Loss 的加权和，权重比 1:1 或 1:2。

类别不平衡是医学分割的常见问题。比如肝脏分割，肝脏像素可能只占整张图的 5%，背景占 95%。如果直接用 CrossEntropy，模型会倾向于预测背景，因为这样 loss 更低。我试过几种解决方案：一是用加权 CrossEntropy，给前景像素更高的权重；二是用 Focal Loss，降低易分类样本的权重；三是用 Tversky Loss，调整 FP 和 FN 的权重。

我实测下来，Focal Loss + Dice Loss 的组合在大多数任务上最稳。Focal Loss 的 gamma 设 2，alpha 设 0.25。如果前景特别小（比如小于 1%），可以把 alpha 调到 0.5 甚至 0.75。Tversky Loss 适合对 FP 和 FN 有不同容忍度的场景，比如肿瘤分割，FN 的代价远大于 FP，可以把 FN 的权重调高。

还有一个技巧是深监督。在解码器的每一层都加一个辅助损失，让浅层也能学到有意义的特征。我试过在 U-Net 的 4 层解码器上都加辅助损失，最终 Dice 提升了 0.5-1 个点。但辅助损失的权重不能太大，一般设为主损失的 0.1-0.3。

3. 完整实操流程与关键环节实现

3.1 数据预处理与增强策略

医学图像预处理的第一步是重采样。不同设备的层厚可能不同，有的 1mm，有的 5mm。如果直接混在一起训练，模型会学到层厚这个无关特征。我一般把所有数据重采样到统一层厚，比如 1mm 或 2mm。重采样用三线性插值，标签用最近邻插值。

第二步是灰度归一化。CT 图像的 HU 值范围是 -1000 到 3000，但大部分组织的 HU 值在 -100 到 200 之间。我一般先做窗宽窗位调整，把腹部 CT 的窗宽设 400、窗位设 50，这样能突出软组织对比。然后做 Z-score 归一化，减均值除标准差。均值和标准差从训练集统计，验证集和测试集用同样的参数。

第三步是数据增强。医学图像的数据增强要特别小心，因为有些增强会破坏解剖结构。我常用的增强包括：随机旋转（-15 到 15 度）、随机缩放（0.9 到 1.1）、随机平移（-10 到 10 像素）、随机弹性形变（alpha 设 1000，sigma 设 50）、随机亮度对比度调整（0.1 到 0.3）。绝对不要用水平翻转，因为肝脏在右边、脾脏在左边，翻转后解剖结构就错了。垂直翻转也要慎用，胸腔和腹腔的上下关系不能乱。

弹性形变是医学分割里最有效的增强之一。我一般用 SimpleITK 或 scipy 的弹性形变实现，alpha 控制形变强度，sigma 控制平滑度。alpha 太大形变太剧烈，可能把器官形状搞乱；alpha 太小形变不明显，增强效果有限。我试过 alpha=500、1000、2000，1000 效果最好。

3.2 模型训练配置与超参数调优

训练配置我一般用 AdamW 优化器，学习率设 1e-4，权重衰减设 1e-5。Transformer 部分的学习率可以设小一点，比如 5e-5，因为它的参数量大、容易过拟合。学习率调度用 Cosine Annealing，从 1e-4 降到 1e-6，训练 200 个 epoch。

Batch size 我一般设 8 或 16。医学图像通常比较大，512x512 的图 batch size 设 8 就需要 16G 显存。如果显存不够，可以用梯度累积，累积 4 步等效 batch size 32。但梯度累积会让 BatchNorm 的统计量不准确，如果用了 BatchNorm，最好还是用真实的大 batch。

训练 epoch 数我一般设 200-300。医学数据量小，模型容易过拟合，训练太多 epoch 验证集 loss 会上升。我通常用早停策略，验证集 Dice 连续 20 个 epoch 不提升就停止。如果数据量特别少（比如少于 200 例），可以先用 ImageNet 预训练权重初始化，再微调 100 个 epoch。

混合精度训练我强烈推荐。用 AMP（自动混合精度）可以把显存占用降低 30-40%，训练速度提升 20-30%。我试过在 Swin UNet 上开 AMP，batch size 从 8 提到 12，训练时间从 8 小时降到 5 小时，Dice 基本不变。但 AMP 对 loss scaling 比较敏感，如果 loss 出现 NaN，要把 loss scale 调小。

3.3 推理与后处理技巧

推理阶段我一般用滑动窗口。医学图像可能很大，比如 512x512x200 的 3D volume，直接整图推理显存不够。滑动窗口的窗口大小设 128x128x128，步长设 64x64x64，重叠区域用高斯加权平均。这样能保证边界区域也有足够的上下文信息。

后处理我常用两种：一是连通域分析，去掉小的孤立区域。比如肝脏分割，如果某个连通域小于 100 个体素，很可能是噪声，直接去掉。二是形态学操作，用开运算去掉小突起，用闭运算填充小孔洞。我试过在肝脏分割上加连通域分析，Dice 提升了 0.5 个点，尤其是对边界区域。

还有一个技巧是测试时增强。对同一张图做多次增强（旋转、缩放），分别推理，然后取平均。我试过 8 次增强（4 个旋转角度 x 2 个缩放比例），Dice 提升了 1-1.5 个点，但推理时间增加了 8 倍。如果对精度要求高、对速度要求低，可以用这个方案。

3.4 评估指标与结果分析

医学分割最常用的评估指标是 Dice 系数和 IoU。Dice = 2|A∩B| / (|A|+|B|)，IoU = |A∩B| / |A∪B|。Dice 对边界更敏感，IoU 对整体重叠更敏感。我一般两个都报，但以 Dice 为主。

除了 Dice 和 IoU，我还看HD95（95% 豪斯多夫距离）。HD95 衡量的是预测边界和真实边界之间的最大偏差，对边界精度要求高的任务（比如放疗计划）很重要。我试过在肝脏分割上，Dice 0.95 的模型 HD95 可能差 10mm，而 Dice 0.93 的模型 HD95 只有 5mm。所以 Dice 高不代表边界一定准。

结果分析我一般做可视化对比。把预测结果和真实标签叠加在原始图像上，用不同颜色标注 TP、FP、FN。TP 用绿色，FP 用红色，FN 用蓝色。这样能直观看到模型在哪里出错。我经常发现模型在器官边界处 FP 和 FN 都很多，说明边界区域的判别能力不足。这时候可以考虑加边界损失，或者用更精细的跳跃连接。

4. 常见问题与排查技巧实录

4.1 训练不收敛或 Dice 震荡的排查思路

训练不收敛是新手最常遇到的问题。我总结了几种常见原因和排查方法。

第一种是学习率太大。Transformer 对学习率特别敏感，1e-3 的学习率很可能导致 loss 爆炸。我一般从 1e-4 开始试，如果 loss 还是震荡，降到 5e-5 或 1e-5。CNN 部分可以用大一点的学习率，但混合架构里我通常统一用 1e-4。

第二种是数据归一化有问题。医学图像的灰度分布差异大，如果归一化参数不对，模型很难学到有效特征。我一般先统计训练集的均值和标准差，然后可视化几张归一化后的图，确认器官边界清晰可见。如果归一化后图像一片灰，说明窗宽窗位没调好。

第三种是batch size 太小。BatchNorm 在 batch size 小于 8 时统计量不稳定，会导致训练震荡。如果显存不够，可以用 GroupNorm 替代 BatchNorm，或者用梯度累积模拟大 batch。

第四种是损失函数权重不对。Dice Loss 和 CrossEntropy Loss 的权重比如果设成 10:1，Dice 的梯度会主导训练，导致模型只关注前景、忽略背景。我一般设 1:1 或 1:2，让两个损失平衡。

4.2 过拟合与欠拟合的识别与应对

过拟合在医学分割里很常见，因为数据量小、模型参数量大。识别过拟合的方法是看训练集和验证集的 loss 曲线。如果训练集 loss 持续下降，验证集 loss 先降后升，就是过拟合。

应对过拟合我一般用这几招：一是加数据增强，尤其是弹性形变和随机裁剪；二是加 dropout，Transformer 部分 dropout rate 设 0.1-0.3；三是加权重衰减，AdamW 的权重衰减设 1e-5 到 1e-4；四是早停，验证集 Dice 连续 20 个 epoch 不提升就停；五是用预训练权重，ImageNet 预训练能显著缓解过拟合。

欠拟合相对少见，但如果模型在训练集上 Dice 就很低，说明模型容量不够或者训练不充分。我一般先检查学习率是不是太小，然后看模型参数量是不是不够。如果 CNN 只有 4 层、通道数最大 256，可能欠拟合，可以加到 5 层、通道数最大 512。

4.3 显存不足与推理速度优化

显存不足是 Transformer 医学分割的常见问题。我总结了几种优化方案。

第一种是梯度检查点。把中间层的激活值不保存，反向传播时重新计算。这样能把显存占用降低 50-70%，但训练速度会慢 20-30%。我试过在 Swin UNet 上开梯度检查点，batch size 从 4 提到 8，训练时间从 6 小时增到 8 小时。

第二种是混合精度训练。前面提过，AMP 能把显存降低 30-40%，速度提升 20-30%。这是性价比最高的优化方案。

第三种是减小 patch size 或窗口大小。Swin Transformer 的窗口从 8 降到 4，显存占用能降一半，但全局建模能力会下降。我一般先试窗口 8，如果 OOM 再降到 4。

第四种是用轻量级架构。比如 MobileViT、EfficientNet 这些轻量级 backbone，参数量只有标准 Transformer 的 1/5 到 1/10，显存占用小很多。但精度可能会降 1-2 个 Dice 点。

推理速度优化我一般用 TensorRT 或 ONNX Runtime。TensorRT 能把推理速度提升 2-3 倍，尤其是对 Transformer 这种计算密集的模型。但 TensorRT 的转换比较麻烦，尤其是自定义的注意力模块，可能需要手写 plugin。

4.4 常见问题速查表

5. 技术选型建议与实战心得

5.1 不同数据规模下的架构选择

数据量是决定架构选择的最关键因素。我按数据规模分三档来说。

数据量小于 500 例：这个规模下我强烈建议用 CNN 方案，比如 nnU-Net 或 U-Net++。Transformer 参数量太大，500 例数据根本不够训练。如果一定要用 Transformer，必须用 ImageNet 预训练权重，而且只微调最后几层。我试过在 300 例肝脏数据上从头训练 Swin UNet，Dice 只有 0.75，而 nnU-Net 能到 0.90。

数据量 500-2000 例：这个规模下混合架构最合适。CNN 做编码器提取浅层特征，Transformer 做解码器建模全局语义。TransUNet 和 Swin UNet 都是不错的选择。我试过在 1000 例腹部 CT 上对比 TransUNet 和 nnU-Net，TransUNet 的 Dice 高 1.5 个点，尤其是多器官分割任务。

数据量大于 2000 例：这个规模下纯 Transformer 方案开始有优势。ViT 或 Swin Transformer 直接做编码器，配合 U-Net 解码器。我试过在 3000 例数据上训练纯 Swin UNet，Dice 比混合架构高 0.8 个点，但训练时间多 50%。

5.2 2D 与 3D 方案的取舍

2D 和 3D 方案的选择取决于任务需求。2D 方案把 3D volume 切成切片，逐片分割再拼回去。优点是显存占用小、训练快、可以用 2D 预训练权重。缺点是切片之间的连续性丢失，可能出现“切片间跳变”。

3D 方案直接处理 volume，能保留空间连续性。优点是分割结果更平滑、对 3D 形态的建模更准。缺点是显存占用大、训练慢、预训练权重少。

我一般这样选：如果层厚大于 3mm，用 2D 方案，因为层间信息本来就少；如果层厚小于 2mm，用 3D 方案，层间信息丰富。如果任务对边界平滑度要求高（比如放疗计划），用 3D 方案；如果对速度要求高（比如术中导航），用 2D 方案。

还有一种折中方案是2.5D，把相邻的 3 个切片作为 3 通道输入，这样既能利用层间信息，又不用 3D 卷积。我试过在肝脏分割上用 2.5D，Dice 比 2D 高 0.5 个点，训练时间只增加 20%。

5.3 预训练权重与迁移学习策略

预训练权重对 Transformer 医学分割至关重要。我试过从头训练和用预训练权重，差距能有 10 个 Dice 点以上。常用的预训练权重来源有 ImageNet、RadImageNet、MedicalNet 等。

ImageNet 预训练权重最容易获取，但它是自然图像，和医学图像差异大。我一般用 ImageNet 预训练初始化 CNN 部分，Transformer 部分随机初始化。如果数据量特别少，Transformer 部分也可以用 ImageNet 预训练，但需要更小的学习率。

RadImageNet 是专门用放射图像预训练的，包括 CT、MRI、超声。我试过用 RadImageNet 预训练初始化 Swin UNet，比 ImageNet 预训练高 1-2 个 Dice 点。但 RadImageNet 的权重不是所有架构都有，需要自己转换。

迁移学习策略我一般分两步：先冻结编码器，只训练解码器 20 个 epoch；然后解冻全部，用更小的学习率微调 100 个 epoch。这样能防止预训练权重被破坏，同时让模型适应医学数据。

5.4 实操心得与避坑清单

最后分享几条我踩坑踩出来的经验。

第一条：不要迷信 SOTA。论文里的 SOTA 是在特定数据集上调出来的，换一个数据集可能就不行了。我试过把某个 SOTA 模型直接搬到自己的数据上，Dice 比 nnU-Net 低 5 个点。一定要在自己的数据上做 baseline 对比。

第二条：数据质量比模型架构重要。我见过太多人花几周调模型，Dice 提升 1 个点，但数据里有一批标注错误的样本，清理后 Dice 直接提升 5 个点。标注质量、标注一致性、标注规范，这些比模型架构重要得多。

第三条：可视化是排查问题的利器。Loss 曲线、Dice 曲线只能告诉你“有问题”，可视化能告诉你“什么问题”。我一般每 10 个 epoch 可视化一批验证集结果，看模型在哪里出错。边界出错就加边界损失，小目标漏检就加 Focal Loss，大器官分割不全就加全局注意力。

第四条：不要忽略后处理。后处理能提升 1-2 个 Dice 点，而且不需要重新训练。连通域分析、形态学操作、测试时增强，这些技巧简单但有效。我一般先跑 baseline，再加后处理，看提升多少。

第五条：多尺度推理很有效。把输入图像缩放到不同尺度分别推理，然后取平均。我试过 3 个尺度（0.75x、1.0x、1.25x），Dice 提升了 1 个点。但推理时间增加 3 倍，需要权衡。

第六条：模型集成是最后的杀手锏。训练 5 个不同初始化的模型，推理时取平均。Dice 能提升 1.5-2 个点，但训练和推理成本都增加 5 倍。如果对精度要求极高、对成本不敏感，可以用这个方案。

第七条：注意数据的伦理和隐私。医学数据涉及患者隐私，使用前必须脱敏，去除 DICOM 头里的患者信息。如果是多中心数据，还要注意数据使用协议，不能随意共享。

第八条：临床落地要考虑推理速度。我见过很多论文模型 Dice 很高，但推理一张图要 10 秒，临床根本没法用。实际部署时，推理速度要控制在 1 秒以内，最好 500 毫秒以内。这时候可能需要模型剪枝、量化、TensorRT 加速。

第九条：持续学习很重要。医学数据是不断增加的，新设备、新协议、新病种都会带来数据分布变化。模型部署后要持续监控，定期用新数据微调。我一般每 3 个月用新数据微调一次，保持模型性能。

第十条：不要重复造轮子。nnU-Net、MONAI、MedicalSeg 这些开源框架已经做了大量工程优化，直接用它们能省很多时间。我早期自己写数据加载、增强、训练循环，花了两个月，后来发现 MONAI 里都有，而且比我写的好。