SALT：基于自蒸馏与空间自适应温度的CT病灶检测方法

当 AI 遇到不完美的医学影像标签：CT 病灶检测新方法 SALT 完全解读

在实际的医学影像 AI 项目中，我们经常面对一个尴尬的现实：高质量的标记数据太少，而低质量的标注又太多。尤其在做 CT 病灶检测时，很多公开数据集的热图标注往往存在模糊、不完整甚至错误的情况。近期有一篇研究提出了一个很有意思的方案：SALT（Spatially Adaptive Label-Guided Temperature），配合 Frozen Self-Distilled Features（冻结自蒸馏特征），在检测性能上取得了显著提升。本文将围绕这一方法，从原理到代码实践，完整拆解其实现思路，帮助正在做医学影像 AI 的开发者快速理解并复用这套方案。

如果你正在从事 CT 影像分析、病灶检测、弱监督定位，或者对自蒸馏、温度缩放这类技术感兴趣，这篇文章可以直接当作学习笔记和工程参考。

1. 背景与问题:为什么 CT 病灶检测这么难

1.1 CT 影像检测的真实痛点

CT（计算机断层扫描）影像是临床上最常用的检查手段之一。肝癌、肺结节、胰腺病变等都需要通过 CT 影像来做初步筛查和诊断。然而，CT 影像本身存在几个让算法工程师头痛的问题。

首先，CT 影像是三维体数据，一张 CT 扫描通常包含数百张切片，每张切片是 512x512 或更大分辨率的灰度图。与自然图像不同，CT 图像的组织密度差异用 HU（Hounsfield Unit）表示，不同组织、不同病灶在 HU 值上的分布重叠度很高，用普通的 RGB 图像预训练模型来处理，往往会遗漏微弱病灶。

其次，病灶检测不是一个纯粹的“分类”任务。模型不仅要判断“有没有病”，还要回答“病在哪”。更麻烦的是，CT 中的病灶经常是模糊的，边界不清，甚至和周围正常组织混在一起。比如早期肝癌在平扫 CT 上可能只是一个密度轻微的异常区域，人类医生都需要结合增强扫描才能确认，算法模型就更难了。

1.2 弱监督检测:不完美的标签也能训练

既然像素级的精细标注成本太高，研究者们开始探索弱监督检测路线。所谓弱监督，就是只提供粗粒度的标签，比如只告诉模型“这个切片里有肿瘤”，而不告诉模型肿瘤具体在哪个位置、边界在哪。模型需要自己从这些粗粒度标签中学习到定位能力。

这种思路在实际项目中价值很大。医院的 PACS 系统里积累了海量带有文字报告的历史 CT 数据，通过 NLP 技术可以从报告里提取出“右肺上叶结节”“肝内占位”这类粗粒度信息，自动生成弱标注。用这些弱标注来训练检测模型，成本远低于人工逐像素标注。

1.3 本文方法的核心思路

SALT 这篇工作的核心思路可以概括为：先用自蒸馏的方式训练一个特征提取器，在训练病灶检测头时，这个特征提取器保持“冻结”状态；然后引入一个空间自适应的温度参数，用标签信息来指导温度的调整，从而让检测头对模糊区域和不完整标注更鲁棒。

这个思路之所以有效，可以从两个角度理解。自蒸馏特征提供了更稳定的语义表征，不随着检测头的训练而剧烈变化，减少了对精标注的依赖；而空间自适应温度则给模型提供了一种“软性注意力”机制，让模型知道哪些位置更值得关注。

2. 方法原理拆解:Frozen Self-Distilled Features 与 SALT

2.1 什么是冻结自蒸馏特征

要理解 Frozen Self-Distilled Features，需要先分清两个关键词：冻结（Frozen）和自蒸馏（Self-Distilled）。

先看自蒸馏。常规的知识蒸馏是让一个小的学生模型去学习大的教师模型的输出。而自蒸馏的特点是教师和学生来自同一个网络，通常是把网络的深层特征作为教师信号，指导浅层特征的学习。这样做的好处是，模型在没有外部标签的情况下，也能通过特征本身的一致性来学习更好的表示。

具体到 CT 病灶检测场景，一张 CT 切片可以被理解为一个多尺度的特征金字塔。浅层特征关注边缘、纹理等细节，深层特征包含更丰富的语义信息。自蒸馏让浅层特征向深层特征对齐，相当于强制模型在不同尺度上都保留语义信息，这对于检测大小不一的病灶特别有帮助。

再看冻结。训练检测头时，特征提取器（骨干网络）的参数不再更新。为什么这样做？关键原因在于医学影像的标签质量参差不齐。如果特征提取器和检测头一起端到端训练，低质量的标签会把梯度误差传导到特征提取器，导致特征本身被“带偏”。冻结之后，特征提取器就像一个固定的编码器，检测头只能在这个稳定的特征空间里做自适应。

2.2 温度缩放与空间自适应温度

温度缩放（Temperature Scaling）是机器学习中一个经典技巧。在 softmax 输出时，通过除以一个温度参数 T 来控制概率分布的平滑程度。

p_i = exp(z_i / T) / sum_j(exp(z_j / T))

当 T 小于 1 时，概率分布变得更尖锐，模型对预测更“自信”；当 T 大于 1 时，概率分布更平滑，模型对预测更“犹豫”。在分类校准任务中，温度可以通过验证集学习得到。

SALT 的改进在于，它不把温度当作一个全局标量，而是将温度做成一个和空间位置相关的“温度图”。CT 影像的不同空间位置，病灶检测的难度完全不同。病灶中心区域信号强，检测头可以有较高的置信度；病灶边缘区域或者与正常组织重叠的区域，信号弱，特征置信度低，应该使用更高的温度，让模型不要过度自信。

这样处理的好处是显而易见的。它避免了“一刀切”式的温度调整，让模型在不同空间位置拥有不同的预测“节奏”。对于大病灶内部的平坦区域，模型可以“大胆”判断；对于小病灶、边界区，模型保持“谨慎”。

2.3 标签如何引导温度

这部分的“Label-Guided”是 SALT 的亮点所在。通常温度图是由特征本身计算出来的，比如用一个小卷积网络从特征图预测温度图。但 SALT 在训练时额外引入标签信息，用它来指导温度图的生成。

一个直观的理解是：在训练阶段，我们知道某些位置有没有病灶（标签给出）。如果病灶存在的区域模型预测置信度不高，那说明该区域特征表达困难，应该用温度调整来补偿；如果非病灶区域模型也给出高置信度，说明出现过拟合或误判，同样需要温度来控制。

通过标签引导，温度模块能够学习“哪些位置容易出问题”的知识。这个温度预测网络可以做成一个小型 U-Net 结构，输入是特征图，输出是和特征图同尺寸的温度图。训练时，除了检测损失，还增加一个温度图的约束，让温度在病灶区域和非病灶区域呈现合理的差异分布。

2.4 方法的整体流程

整个流程可以分为三个阶段。

第一个阶段是自蒸馏预训练。在大量无标注或弱标注 CT 数据上，用自蒸馏方式训练一个骨干网络，学习鲁棒的医学影像特征表示。这个阶段结束后，骨干网络的参数固定下来。

第二个阶段是温度模块训练。加载冻结的骨干网络，在其后接上检测头和空间自适应温度预测模块。输入 CT 影像，得到特征图、检测热图和温度图。利用标签信息对温度图进行指导，同时计算检测损失和温度一致性损失。

第三个阶段是推理。推理时，温度模块已经被训练好，不再需要标签输入。模型直接根据输入 CT 图像输出检测热图和温度图，然后对热图做温度缩放，产生最终的检测结果。

3. 环境准备与依赖版本

在进入代码实战之前，先确认开发环境。由于涉及医学影像处理和深度学习模型训练，推荐使用 Linux 系统，GPU 是必须的。以下是推荐的软硬件环境。

关于版本的说明：以下代码以 PyTorch 2.x 和 MONAI 1.2 为例演示。实际项目中版本需要根据你的服务器环境调整，建议新建 conda 环境，安装时不要破坏已有环境。

创建虚拟环境并安装基础依赖：

conda create -n salt python=3.9 conda activate salt pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install monai nibabel SimpleITK einops tensorboard

说明：MONAI 是医学影像领域最常用的深度学习框架，它提供了很多现成的数据加载、预处理、评估工具，可以避免重复造轮子。如果你不用 MONAI，也可以只使用 PyTorch 加 SimpleITK，但数据管道需要自己写更多代码。

4. 核心代码实战:SALT 模块实现

下面进入代码环节。这个部分我会分几个小节，从数据集读取到模型训练，逐步搭建一个可运行的 SALT 检测流程。需要说明的是，这里的实现是学习性质的复现思路，用于帮助理解论文的核心机制，并非论文官方源码。实际使用时你需要结合自己的任务和数据做调整。

4.1 项目结构设计

项目整体结构如下：

salt_project/ ├── config.py # 配置文件 ├── dataset.py # 数据加载 ├── model.py # 骨干网络检测头与 SALT 模块 ├── loss.py # 损失函数 ├── train.py # 训练脚本 ├── infer.py # 推理脚本 └── utils/ ├── transforms.py # 数据预处理 └── metrics.py # 评估指标

这种结构简单清晰。config.py集中管理所有超参数，方便调整；model.py是核心，包含特征提取器、检测头和 SALT 温度模块；dataset.py负责把 CT 数据从磁盘加载成模型需要的张量。

4.2 骨干网络:冻结特征提取器

我们以一个简单的 2D CNN 骨干网络为例。实际 CT 数据是按切片处理的，或者在 3D 场景下使用 3D 网络。为了演示方便，这里用 2D 网络，重点放在 SALT 模块的实现上。

先定义一个基础卷积块和骨干网络：

# 文件路径：model.py import torch import torch.nn as nn import torch.nn.functional as F class ConvBlock(nn.Module): """标准卷积块：卷积 + BN + ReLU""" def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, padding=1): super().__init__() self.conv = nn.Conv2d(in_channels, out_channels, kernel_size, stride, padding) self.bn = nn.BatchNorm2d(out_channels) self.relu = nn.ReLU(inplace=True) def forward(self, x): return self.relu(self.bn(self.conv(x))) class SimpleEncoder(nn.Module): """ 简单 2D 编码器，输出多尺度特征。 在正式实验中，可以替换为 ResNet、DenseNet 或 3D 网络。 """ def __init__(self, in_channels=1, base_channels=32): super().__init__() self.stem = ConvBlock(in_channels, base_channels) self.layer1 = nn.Sequential( ConvBlock(base_channels, base_channels * 2, stride=2), ConvBlock(base_channels * 2, base_channels * 2), ) self.layer2 = nn.Sequential( ConvBlock(base_channels * 2, base_channels * 4, stride=2), ConvBlock(base_channels * 4, base_channels * 4), ) self.layer3 = nn.Sequential( ConvBlock(base_channels * 4, base_channels * 8, stride=2), ConvBlock(base_channels * 8, base_channels * 8), ) def forward(self, x): f0 = self.stem(x) f1 = self.layer1(f0) f2 = self.layer2(f1) f3 = self.layer3(f2) return [f0, f1, f2, f3]

这里返回了一个特征列表，包含不同分辨率的特征图。自蒸馏的思路会让浅层特征（f0、f1）去拟合深层特征（f3）的语义分布。如果项目中使用预训练好的 ResNet，只需要把冻结逻辑加进去即可。

冻结参数的方式很简单：

def freeze_encoder(encoder): """冻结编码器所有参数，只保留特征提取能力，不再做梯度更新。""" for param in encoder.parameters(): param.requires_grad = False return encoder

这样设置后，在训练检测头和 SALT 模块的过程中，骨干网络参数不会被更新，也就能避免低质量标签对特征空间的破坏性影响。

4.3 检测头:从特征图到病灶热图

检测头的目标是把骨干网络输出的特征图转换成一个和输入尺寸接近的热图（heatmap）。热图的每个像素值表示该位置是病灶的概率。

# 文件路径：model.py class DetectionHead(nn.Module): """ 检测头：把深层特征逐步上采样，最终输出和输入同尺寸的热图。 输出的通道数为 1，使用 sigmoid 归一化到 [0, 1]。 """ def __init__(self, in_channels, upsample_channels=64): super().__init__() self.conv1 = ConvBlock(in_channels, upsample_channels) self.deconv1 = nn.ConvTranspose2d(upsample_channels, upsample_channels, kernel_size=4, stride=2, padding=1) self.conv2 = ConvBlock(upsample_channels, 32) self.deconv2 = nn.ConvTranspose2d(32, 32, kernel_size=4, stride=2, padding=1) self.final = nn.Conv2d(32, 1, kernel_size=1) def forward(self, x): x = self.conv1(x) x = F.relu(self.deconv1(x)) x = self.conv2(x) x = F.relu(self.deconv2(x)) x = self.final(x) return torch.sigmoid(x)

这里的检测头包含了两次上采样，可以把低分辨率的特征图恢复到输入分辨率。实际使用中可能需要根据骨干网络的下采样倍数调整上采样层数。

4.4 SALT 模块:空间自适应温度预测

接下来是核心的 SALT 模块。它的任务是根据输入的特征图，预测出一个和热图尺寸相同的温度图。注意，温度图的取值应该是正数，所以最后一层要使用 softplus 或 exp 激活。

# 文件路径：model.py class SpatialAdaptiveTemperature(nn.Module): """ 空间自适应温度模块（SALT）。 输入特征图，输出与热图同尺寸的温度图 T。 温度图通过 softplus 保证输出为正数。 """ def __init__(self, in_channels, hidden_channels=64): super().__init__() self.conv1 = ConvBlock(in_channels, hidden_channels) self.deconv1 = nn.ConvTranspose2d(hidden_channels, hidden_channels, kernel_size=4, stride=2, padding=1) self.conv2 = ConvBlock(hidden_channels, 32) self.deconv2 = nn.ConvTranspose2d(32, 32, kernel_size=4, stride=2, padding=1) self.final = nn.Conv2d(32, 1, kernel_size=1) self.softplus = nn.Softplus() def forward(self, x): x = F.relu(self.deconv1(self.conv1(x))) x = F.relu(self.deconv2(self.conv2(x))) t = self.final(x) temperature = self.softplus(t) + 1.0 # 保证温度 >= 1.0 return temperature

这里在 softplus 后面加了一个常数 1.0。为什么这么做呢？如果温度小于 1，softmax 输出会变得非常尖锐，容易产生过拟合，特别是在标签不准确的情况下。设置一个下限，可以防止模型在训练初期通过降低温度来“强行”拟合不完美标签。

4.5 自蒸馏损失实现

自蒸馏的目的是让浅层特征学习深层特征的语义分布。一种常见做法是把浅层特征和深层特征都映射到相同维度，然后计算余弦相似度或 L2 损失。

# 文件路径：loss.py import torch import torch.nn as nn import torch.nn.functional as F class SelfDistillationLoss(nn.Module): """ 自蒸馏损失：让浅层特征向深层特征对齐。 这里使用 L2 损失，计算不同尺度特征之间的差异。 """ def __init__(self, weight=1.0): super().__init__() self.weight = weight def forward(self, features): """ features: list of tensors，从浅到深排列 [f0, f1, f2, f3] """ loss = 0.0 target = features[-1] # 最深层的特征作为目标 # 将 target 缩放到与浅层特征一致 for f in features[:-1]: target_resized = F.interpolate( target, size=f.shape[-2:], mode="bilinear", align_corners=True ) loss += F.mse_loss(f, target_resized.detach()) return self.weight * loss

这里的target.detach()是必须的，它表示在计算自蒸馏损失时，深层特征不接收梯度。原因很简单：深层的语义特征已经足够好，我们只希望浅层特征去“靠近”深层特征，而不希望深层的特征因为浅层的影响而被破坏。

4.6 温度引导损失

这是 SALT 的关键。标签信息如何引导温度图呢？一个直接的策略是：对于标签为正的像素区域，希望温度相对较低，因为模型应该在这些区域做出锐利的判断；对于标签为负的像素区域，希望温度相对较高，让模型的预测保持平滑。

不过，直接强制温度高低存在一个问题：如果病灶区域本身特征表达困难，强行降低温度反而会加大误报。更好的做法是把温度当作 softmax 缩放因子，在计算检测损失时使用温度图，而不是直接对温度图本身加约束。这样标签信息通过损失函数间接引导了温度的更新。

为了演示的完整性，我们这里实现一个温和的辅助损失：让病灶区域的温度分布有更小的方差，同时整体温度不过高。

# 文件路径：loss.py class LabelGuideTemperatureLoss(nn.Module): """ 标签引导温度损失。 约束：病灶区域的温度比非病灶区域更小，且有更小方差。 """ def __init__(self, weight=0.1): super().__init__() self.weight = weight def forward(self, temperature_map, label_map): # label_map: 二值标签，1 表示病灶区域 pos_mask = (label_map > 0.5).float() neg_mask = 1.0 - pos_mask # 避免某个类别为空的情况 if pos_mask.sum() < 1 or neg_mask.sum() < 1: return torch.tensor(0.0, device=temperature_map.device) pos_temp = (temperature_map * pos_mask).sum() / pos_mask.sum() neg_temp = (temperature_map * neg_mask).sum() / neg_mask.sum() # 病灶区域温度低于非病灶区域温度 contrast_loss = F.relu(pos_temp - neg_temp + 0.5) # 病灶区域温度方差项，稳定病灶区域内的温度分布 pos_var = ((temperature_map - pos_temp) ** 2 * pos_mask).sum() / pos_mask.sum() var_loss = pos_var * 0.01 return self.weight * (contrast_loss + var_loss)

这里的contrast_loss中的 0.5 是一个松弛项，表示允许病灶区域温度比非病灶区域高 0.5 以内，超过就产生损失。这个常数可以按实验调整。如果设得太小，温度模块会过度拟合标签误差；设得太大，温度引导就失去意义了。

4.7 完整模型与损失组合

现在把上面的组件组合成一个完整模型。模型包含四部分：冻结的编码器、检测头、SALT 温度模块、和一个自蒸馏适配模块。

# 文件路径：model.py import torch import torch.nn as nn class SaltDetectionModel(nn.Module): """ 完整 SALT 检测模型。 包含冻结编码器、检测头、SALT 温度模块。 """ def __init__(self, in_channels=1, base_channels=32): super().__init__() self.encoder = SimpleEncoder(in_channels, base_channels) # 检测头从 encoder 的最后一层特征输入 last_channels = base_channels * 8 self.detection_head = DetectionHead(last_channels) # SALT 模块同样使用最后一层特征来预测温度图 self.salt_module = SpatialAdaptiveTemperature(last_channels) def forward(self, x): features = self.encoder(x) last_feat = features[-1] # 冻结编码器：确保 no_grad 场景下不更新参数 # 训练时在外部调用 freeze_encoder 设置 requires_grad=False heatmap = self.detection_head(last_feat) temperature = self.salt_module(last_feat) # 对热图做温度缩放 # 这里采用：scaled_heatmap = heatmap ** (1 / temperature) # 注意这是一个逐元素的幂运算，温度越大，结果越平滑（越接近 1） scaled_heatmap = torch.pow(heatmap, 1.0 / temperature) return { "heatmap": heatmap, "temperature": temperature, "scaled_heatmap": scaled_heatmap, "features": features, }

这里选择scaled_heatmap = heatmap ** (1 / temperature)作为温度缩放策略。这个操作的直觉是：当 temperature 大于 1 时，小于 1 的数经过 1/temp 次幂后会变大，整体预测更加平滑；当 temperature 等于 1 时，输出不变。相比直接对 logits 做除法，这种策略对已经经过 sigmoid 的热图更友好。

4.8 数据集读取与预处理

医学影像数据读取是整个流程中最容易出错的部分。CT 数据的标准格式是 DICOM 或 NIfTI（.nii.gz）。这里给出一个基于 MONAI 的简化数据集类。

# 文件路径：dataset.py import os import numpy as np import torch from glob import glob from torch.utils.data import Dataset from monai.transforms import ( LoadImage, ScaleIntensityRange, EnsureChannelFirst, ) class CTSliceDataset(Dataset): """ 简单的 CT 切片数据集。 假设数据目录结构： data/ ├── images/ # 存放 .nii.gz 或 .png 格式的切片/图像 │ ├── case_001.nii.gz │ └── ... └── labels/ # 存放对应的热图标签 ├── case_001.nii.gz └── ... """ def __init__(self, data_dir, image_size=256): self.image_paths = sorted(glob(os.path.join(data_dir, "images", "*"))) self.label_paths = sorted(glob(os.path.join(data_dir, "labels", "*"))) self.image_size = image_size assert len(self.image_paths) == len(self.label_paths), ( f"图像数量 {len(self.image_paths)} 与标签数量 {len(self.label_paths)} 不一致" ) self.loader = LoadImage() self.intensity_scale = ScaleIntensityRange( a_min=-200, a_max=400, b_min=0.0, b_max=1.0, clip=True ) def __len__(self): return len(self.image_paths) def __getitem__(self, idx): image = self.loader(self.image_paths[idx]) label = self.loader(self.label_paths[idx]) # 只取单通道 if len(image.shape) == 3: image = image[..., 0] # 取第一通道 if len(label.shape) == 3: label = label[..., 0] image = self.intensity_scale(image.astype(np.float32)) # 把 HU 值之外的标签归一化到 0~1 label = (label > 0).astype(np.float32) image = torch.from_numpy(image).unsqueeze(0).float() label = torch.from_numpy(label).unsqueeze(0).float() # 缩放到统一尺寸 image = torch.nn.functional.interpolate( image, size=(self.image_size, self.image_size), mode="bilinear" ) label = torch.nn.functional.interpolate( label, size=(self.image_size, self.image_size), mode="nearest" ) return image, label

需要注意ScaleIntensityRange的参数。CT 图像中，空气的 HU 值约为 -1000，水为 0，骨骼和钙化灶在 400 以上。对于病灶检测，通常把窗宽窗位设在 -200 到 400 之间，这样可以保留软组织和病灶的对比度。这个范围可以根据检测目标调整，比如检测肺结节时可以适当下调。

4.9 训练脚本

训练脚本把所有模块串联起来。这里使用 Adam 优化器，损失包括检测损失、自蒸馏损失和温度引导损失三部分。

# 文件路径：train.py import torch import torch.nn as nn from torch.utils.data import DataLoader from torch.utils.tensorboard import SummaryWriter from dataset import CTSliceDataset from model import SaltDetectionModel from loss import SelfDistillationLoss, LabelGuideTemperatureLoss def train_one_epoch(model, dataloader, optimizer, device, epoch, writer): model.train() total_loss = 0.0 # 检测损失：评价温度缩放后的热图与标签的差异 bce_loss_fn = nn.BCELoss() # 自蒸馏损失 sd_loss_fn = SelfDistillationLoss(weight=0.5) # 温度引导损失 guide_loss_fn = LabelGuideTemperatureLoss(weight=0.1) for step, (images, labels) in enumerate(dataloader): images = images.to(device) labels = labels.to(device) outputs = model(images) heatmap = outputs["heatmap"] temperature = outputs["temperature"] scaled_heatmap = outputs["scaled_heatmap"] # 计算损失 det_loss = bce_loss_fn(scaled_heatmap, labels) sd_loss = sd_loss_fn(outputs["features"]) guide_loss = guide_loss_fn(temperature, labels) loss = det_loss + sd_loss + guide_loss optimizer.zero_grad() loss.backward() optimizer.step() total_loss += loss.item() if step % 20 == 0: print(f"Epoch {epoch} Step {step} | Loss {loss.item():.4f} | " f"Det {det_loss.item():.4f} | SD {sd_loss.item():.4f} | " f"TempGuide {guide_loss.item():.4f}") writer.add_scalar("Train/TotalLoss", loss.item(), epoch * len(dataloader) + step) writer.add_scalar("Train/DetLoss", det_loss.item(), epoch * len(dataloader) + step) return total_loss / len(dataloader) def main(): device = torch.device("cuda" if torch.cuda.is_available() else "cpu") print(f"Using device: {device}") # 超参数 batch_size = 16 epochs = 50 lr = 1e-4 # 数据 train_dataset = CTSliceDataset(data_dir="./data", image_size=256) train_dataloader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True, num_workers=4, pin_memory=True) # 模型 model = SaltDetectionModel(in_channels=1, base_channels=32).to(device) # 冻结编码器，这里最重要 for param in model.encoder.parameters(): param.requires_grad = False # 冻结后只优化检测头和 SALT 模块，还有 BN 的 running stats 也冻结 optimizer = torch.optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr=lr, weight_decay=1e-5) scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=epochs) writer = SummaryWriter("runs/salt_experiment") for epoch in range(epochs): avg_loss = train_one_epoch(model, train_dataloader, optimizer, device, epoch, writer) scheduler.step() print(f"Epoch {epoch} finished with average loss {avg_loss:.4f}") # 每 5 个 epoch 保存一次模型 if epoch % 5 == 0: torch.save(model.state_dict(), f"checkpoints/salt_model_epoch_{epoch}.pth") torch.save(model.state_dict(), "checkpoints/salt_model_final.pth") writer.close() if __name__ == "__main__": main()

注意filter(lambda p: p.requires_grad, model.parameters())这个写法。它确保优化器只更新检测头和温度模块的参数，编码器参数完全冻结。

4.10 推理流程

推理时，模型只需要前向传播，不需要标签。输出经过温度缩放的热图可以直接用来做病灶定位。

# 文件路径：infer.py import torch import numpy as np import SimpleITK as sitk from model import SaltDetectionModel def load_ct_slice(file_path): """读取 CT 切片，并做基本预处理。""" image = sitk.ReadImage(file_path) array = sitk.GetArrayFromImage(image) # 假设是单切片或取中间切片 if len(array.shape) == 3: array = array[array.shape[0] // 2] # 窗宽窗位预处理 array = np.clip(array, -200, 400) array = (array - (-200)) / (400 - (-200)) return array.astype(np.float32) def infer_single_slice(model, image, device): """ image: shape [H, W] 的 numpy 数组 """ model.eval() # 转为 tensor 并增加 batch 和 channel 维度 tensor = torch.from_numpy(image).unsqueeze(0).unsqueeze(0).float().to(device) # 缩放到 256x256 tensor = torch.nn.functional.interpolate(tensor, size=(256, 256), mode="bilinear") with torch.no_grad(): outputs = model(tensor) heatmap = outputs["scaled_heatmap"].cpu().squeeze().numpy() temperature = outputs["temperature"].cpu().squeeze().numpy() return heatmap, temperature def main(): device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = SaltDetectionModel(in_channels=1, base_channels=32).to(device) model.load_state_dict(torch.load("checkpoints/salt_model_final.pth", map_location=device)) ct_slice = load_ct_slice("./data/test_case.nii.gz") heatmap, temperature = infer_single_slice(model, ct_slice, device) # 保存输出 np.save("output/heatmap.npy", heatmap) np.save("output/temperature.npy", temperature) print("Heatmap shape:", heatmap.shape) print("Temperature range:", temperature.min(), temperature.max()) print("Heatmap max probability:", heatmap.max()) if __name__ == "__main__": main()

推理时，温度图本身也值得可视化。如果训练正常，病灶区域的温度会明显低于非病灶区域，这说明温度模块学会了定位“难”区域。

5. 训练结果分析与可视化

5.1 如何评估检测效果

对于病灶检测任务，常用的评估指标包括 Dice 系数、IoU、精度、召回率和 F1 分数。Dice 和 IoU 同时关注预测热图和真实标签之间的空间重叠程度，它们对像素级别的命中率很敏感。

# 文件路径：utils/metrics.py import numpy as np def dice_score(pred_mask, true_mask, threshold=0.5): pred_bin = (pred_mask > threshold).astype(np.uint8) true_bin = (true_mask > 0.5).astype(np.uint8) intersection = np.sum(pred_bin * true_bin) total = np.sum(pred_bin) + np.sum(true_bin) if total == 0: return 1.0 # 两者都是空，视为完全一致 return 2.0 * intersection / total def iou_score(pred_mask, true_mask, threshold=0.5): pred_bin = (pred_mask > threshold).astype(np.uint8) true_bin = (true_mask > 0.5).astype(np.uint8) intersection = np.sum(pred_bin * true_bin) union = np.sum((pred_bin + true_bin) > 0) if union == 0: return 1.0 return intersection / union

注意：在使用 Dice 和 IoU 评估之前，最好先把预测热图和标签图缩放到原始输入尺寸，避免插值带来的误差。

5.2 温度图的可解释性

SALT 的一个额外优势是温度图具有天然的可解释性。可以把温度图和原始 CT 切片、预测热图一起叠加显示。

使用 matplotlib 做可视化：

import matplotlib.pyplot as plt def visualize_result(ct_slice, heatmap, temperature): fig, axes = plt.subplots(1, 3, figsize=(15, 5)) axes[0].imshow(ct_slice, cmap="gray") axes[0].set_title("Original CT Slice") im1 = axes[1].imshow(heatmap, cmap="hot", alpha=0.7) axes[1].imshow(ct_slice, cmap="gray", alpha=0.3) axes[1].set_title("Predicted Heatmap") plt.colorbar(im1, ax=axes[1]) im2 = axes[2].imshow(temperature, cmap="coolwarm") axes[2].set_title("SALT Temperature Map") plt.colorbar(im2, ax=axes[2]) plt.tight_layout() plt.savefig("visualization_result.png", dpi=150)

通过温度图，医生或算法工程师可以直观看到模型在哪些区域表现得“犹豫”。如果温度图的高温区域恰好对应病灶边界或低对比度区域，说明模型学到了有意义的空间自适应策略。

6. 常见问题与排查思路

6.1 训练不收敛或损失为 NaN

这是医学影像训练中最容易遇到的坑。

建议在数据加载函数里加入一个数值检查：

def check_tensor_valid(tensor, name=""): if torch.isnan(tensor).any(): print(f"Warning: {name} contains NaN values!") return False if torch.isinf(tensor).any(): print(f"Warning: {name} contains Inf values!") return False return True

6.2 冻结编码器后性能反而下降

有些同学反映，冻结骨干网络后，模型在验证集上的表现还不如端到端训练。这个现象是正常的，它由训练数据的规模和质量决定。

如果你的数据集足够大、标注足够准，端到端微调特征提取器能带来性能提升。但如果标签有噪声或者数据量有限，冻结特征可以防止过拟合，却也可能限制了特征提取器的表观能力。

排查建议：

• 检查冻结的层数是否合理。如果骨干网络是预训练好的，冻结前 80% 层、微调最后几层往往优于完全冻结。
• 确认自蒸馏训练是否充分。自蒸馏阶段没有做好，冻结得到的特征就不可靠。
• 加入可学习的投影头。在冻结特征与检测头之间加一层 1x1 卷积，给检测头更多自适应能力。

6.3 温度图产生极端值

温度图如果出现过大的值，会导致缩放后的热图过于平滑，病灶区域和背景区域无法区分。如果温度图过小，则热图饱和，梯度消失。

解决方案：

# 在 forward 中对温度做硬约束 temperature = torch.clamp(temperature, min=1.0, max=10.0)

这里设置最大值 10.0 是一个经验值。如果病灶对比度较好，温度范围可以设得小一些，比如 [1.0, 5.0]；如果病灶非常微弱，需要更大的温度动态范围。

6.4 多类别病灶检测如何扩展

本文示例只处理了二分类病灶检测。如果要检测多种类型的病灶，例如同时检测肝癌和肝囊肿，需要把检测头的输出通道从 1 改为类别数 C，温度模块保持不变。

检测热图的 shape 变为[B, C, H, W]，温度图的 shape 变为[B, C, H, W]。在计算损失时，对每个类别分别计算二分类损失，温度引导损失也需要对每个类别分别计算。

7. 最佳实践与工程建议

7.1 数据层面的建议

医学影像数据永远是项目质量的第一决定因素。这里给出几条实际工程中验证过的经验。

第一，CT 数据的 HU 值裁剪范围要根据任务调整。检测肝部病灶和检测肺部结节的窗宽窗位设置是不同的。不要拿一套固定参数处理所有数据。

第二，处理标签时要特别小心。如果标签是从 DICOM RT-Struct 或分割标注软件导出的，确认坐标系统和输入图像对齐。坐标偏移是最隐蔽的数据错误之一，有时只偏移几个像素，肉眼难以发现，但会让模型训练效果急剧下降。

第三，考虑使用弱标签扩充数据集。完全依赖像素级标注难以获得大量数据，可以使用影像报告文本挖掘，生成图像级别的粗标注，再通过类激活图或本方法中的温度图来引导模型定位。

7.2 训练策略建议

训练阶段有几条实战经验。

首先，先完成自蒸馏预训练，再开始 SALT 训练。自蒸馏阶段的 loss 曲线要观察是否收敛，如果不收敛，说明特征本身没有充分训练，此时进入检测训练效果不会好。

其次，损失权重不要一开始就全加。建议先只用检测损失训练 10 个 epoch，让检测头和温度模块有基本的适应能力，再逐渐加入自蒸馏损失和温度引导损失。用 warm-up 的方式让训练更稳定。

最后，使用梯度裁剪。医学影像的特征分布波动较大，梯度裁剪可以防止偶发的大梯度导致训练崩溃。

torch.nn.utils.clip_grad_norm_( filter(lambda p: p.requires_grad, model.parameters()), max_norm=1.0 )

7.3 工程部署建议

模型训练完成之后，部署是另一个环节。

第一，推理速度优化。在 GPU 上使用 TensorRT 加速，或者对模型做量化，可以显著提高单张切片的推理速度。但要注意，量化可能会影响温度图的小数值精度，建议量化后重新评估指标。

第二，关于安全边界。医学影像 AI 是高风险应用，模型输出不能直接作为诊断依据。部署系统时应设置置信度阈值，对低置信度结果输出“建议医生复核”的提示。不要试图用模型完全替代医生判断。

第三，模型监控。上线后要持续记录模型的预测分布、温度图分布和医生复核结果。如果发现温度图的平均值随时间漂移，可能提示输入数据分布发生了改变，需要重新评估模型。

7.4 如何基于 SALT 做改进

SALT 是一个模块化设计，可以拆开来单独使用。如果对这个方向感兴趣，可以从以下几个角度做改进。

结合 3D 上下文。CT 是三维数据，本文的 2D 切片实现保留了很大提升空间。3D SALT 可以捕捉相邻切片间的上下文信息，对检测微小病灶更有帮助。

温度与不确定性结合。可以尝试让温度图同时作为模型不确定性的估计，在输出热图的同时输出置信区间，辅助医生解读结果。

多尺度温度。目前温度只由最后一层特征预测。病灶大小差异很大时，单个尺度的温度可能不够。可以在特征金字塔的每个尺度上各预测一个温度图，融合后作为最终温度。

伪标签与半监督学习。温度图可以作为伪标签筛选的依据。对于温度高的区域，模型预测不可靠，不用于生成伪标签；温度低的区域，模型预测可靠，可以用来扩充训练数据。

8. 总结与下一步学习建议

SALT 方法为 CT 病灶检测提供了一个新思路：与其追求更复杂的检测网络，不如从标签和数据本身入手，利用冻结自蒸馏特征来保证特征稳定性，再通过空间自适应标签引导温度来改善弱监督场景下的检测效果。这种方法尤其适合标注数据不完美、病灶边界模糊的真实临床数据场景。

前面已经完整实现了骨干网络、冻结逻辑、检测头、SALT 温度模块、自蒸馏和温度引导损失，也给出了训练和推理脚本。代码可以复制到自己的项目中修改使用。

如果下一步想继续深入，建议按以下路径学习：

第一，先跑通本文的示例代码，打印出热图、温度图，手动观察温度图在不同区域的分布规律，建立直观认识。

第二，把自己的数据替换进来，从一个小规模数据集开始，调整损失权重和温度范围，观察训练稳定性和最终指标变化。

第三，阅读自蒸馏相关经典论文，理解特征对齐的本质，再考虑把 SALT 扩展到 3D 网络或检测 Transformer 架构中。

在动手实践前设置好一个可用的 GPU 环境，准备好一批带标注的 CT 数据。训练过程中的可视化输出和图谱分析，往往比最终的指标更能暴露问题。