多模态医学影像融合：CT与超声在卵巢癌分类中的深度学习模型对比

简介：本资源是一项面向医学影像AI研究者与生物医学工程学习者的深度学习实践项目，聚焦卵巢癌CT与超声双模态影像的自动分类任务，旨在通过系统对比单一模态UNet、单一模态ResNet及多模态融合ResNet三类模型，探索临床可行的最优诊断建模路径。压缩包共73个文件（183.11MB），含51张预处理后的PNG/JPG格式医学影像切片、5个核心训练脚本（ct_classify.py/us_classify.py/fusion_classify.py等）、3个CSV评估结果表、2个.pth模型权重文件、5个JSON配置与日志文件，以及README.md、说明文件.txt和附赠资源.docx等完整项目文档。目前已有26人学习下载。读者可直接复现从数据加载、多模态特征对齐、融合网络构建到交叉验证评估的全流程，获得包含数据增强策略、跨模态归一化方法、ResNet分支协同训练技巧及统计显著性检验代码在内的完整科研级实现方案，特别适合开展医学图像分类课题、撰写课程设计或拓展多模态学习实战能力。

1. 项目概述与核心目标

最近在整理一个关于卵巢癌医学影像分析的深度学习项目，手头正好有CT和超声两种模态的数据。这个项目的核心目标很明确：系统性地对比单一模态的UNet、单一模态的ResNet，以及将两种模态融合后的ResNet模型，在卵巢癌分类任务上的性能差异，最终找出那个最优的分类方案。听起来像是一个标准的模型对比实验，但真正做起来，你会发现里面充满了各种细节上的“坑”和需要权衡的决策点。

卵巢癌的早期诊断和精准分类对临床意义重大，而CT和超声是两种最常用、也最互补的影像学手段。CT能提供清晰的解剖结构和密度信息，而超声（尤其是多普勒超声）则擅长显示血流动力学和软组织细节。但医生在阅片时，往往需要在大脑里将这两种信息进行“融合”和综合判断。我们这个项目，本质上就是想用深度学习模型来模拟并优化这个过程，看看是让模型单独学习一种影像更“专精”，还是让它同时学习两种影像更“博学”。

这个项目非常适合有一定深度学习基础，特别是对计算机视觉和医学影像分析感兴趣的朋友。无论你是想复现一个完整的医学影像分析流程，还是想深入理解多模态融合的利弊，亦或是单纯想学习如何严谨地设计并执行一个模型对比实验，这里面的每一步——从数据预处理、模型构建、训练策略到结果分析——都值得细细琢磨。接下来，我就把这个项目的完整思路、实操细节以及我踩过的那些“坑”分享出来。

2. 数据准备与预处理：多模态数据的对齐与标准化

数据是模型的“粮食”，对于多模态医学影像项目，数据预处理的重要性再怎么强调都不为过。我们的数据源是卵巢癌患者的CT和超声影像，通常以DICOM格式存储。第一步，就是把它们转换成模型能“吃”的格式。

2.1 数据格式转换与读取

DICOM文件包含了丰富的元数据（如像素间距、患者信息、扫描参数等），但我们首先需要的是像素阵列。我使用pydicom库来读取DICOM文件。这里有个关键点：CT值的单位是亨氏单位（HU），这个值是有明确物理意义的，而超声图像的像素值通常是经过对数压缩后的灰度值，范围和处理方式都不同。

import pydicom import numpy as np def load_dicom_image(file_path): """读取单张DICOM图像并提取像素阵列和关键信息。""" ds = pydicom.dcmread(file_path) image = ds.pixel_array.astype(np.float32) # CT图像：应用Rescale Intercept和Slope转换为HU值 if hasattr(ds, 'RescaleIntercept') and hasattr(ds, 'RescaleSlope'): image = image * ds.RescaleSlope + ds.RescaleIntercept # 超声图像：通常已经是处理后的灰度值，但可能需要确认Photometric Interpretation # 例如，如果是'MONOCHROME2'，则高像素值代表高亮度（白色） # 获取像素间距，用于后续可能的尺寸统一 pixel_spacing = ds.PixelSpacing if hasattr(ds, 'PixelSpacing') else [1.0, 1.0] return image, pixel_spacing, ds.Modality # 返回模态信息很重要

注意：一定要检查Photometric Interpretation这个标签。对于超声图像，MONOCHROME2（高值亮）和MONOCHROME1（高值暗）是相反的，如果不做处理，图像会是反色的。我遇到过因为这个问题，模型一直学不到有效特征的情况。

2.2 多模态数据的配准与ROI提取

这是多模态融合项目中最棘手的一环。CT和超声图像通常不是在完全相同的体位、相同的时间点采集的，它们的视野、分辨率、甚至成像平面都可能不同。“硬融合”（即简单堆叠图像）在医学影像中基本是行不通的，因为不对齐的数据只会给模型带来噪声。

我们的策略是依赖临床提供的标注。通常，放射科医生会在CT和超声图像上分别勾画出肿瘤区域（Region of Interest, ROI）。我们的第一步，就是以这些ROI为中心，裁剪出固定大小的图像块（例如 224x224 或 256x256）。这保证了我们喂给模型的是同一个解剖部位的信息。

def extract_roi_patch(image, roi_center, roi_size, output_size=(224, 224)): """ 以ROI中心点为中心，先按原始像素间距裁剪，再重采样到固定尺寸。 roi_center: (x, y) 在原始图像坐标系中的坐标。 roi_size: (width, height) 期望的物理尺寸（mm）。 pixel_spacing: 图像的像素间距 (row_spacing, col_spacing)。 """ # 计算ROI在像素坐标系中的半径 radius_y = int(roi_size[0] / (2 * pixel_spacing[0])) radius_x = int(roi_size[1] / (2 * pixel_spacing[1])) # 计算裁剪边界 y_start = max(0, roi_center[0] - radius_y) y_end = min(image.shape[0], roi_center[0] + radius_y) x_start = max(0, roi_center[1] - radius_x) x_end = min(image.shape[1], roi_center[1] + radius_x) roi_patch = image[y_start:y_end, x_start:x_end] # 使用双线性或三次插值将裁剪后的patch缩放到统一尺寸 from skimage.transform import resize roi_patch_resized = resize(roi_patch, output_size, order=3, preserve_range=True, anti_aliasing=True) return roi_patch_resized

实操心得：如果临床标注只提供了肿瘤的边界框（Bounding Box）而非精确分割掩膜，那么以框的中心作为roi_center，框的宽高作为roi_size是一个可行的近似方案。但最好能获取到分割掩膜，这样我们可以计算掩膜的重心作为更精确的中心点。

2.3 图像标准化与增强

裁剪后的CT和超声图像需要分别进行标准化。

• CT图像：通常采用窗宽窗位（Windowing）预处理。卵巢软组织窗的窗宽约350-400 HU，窗位约40-50 HU。这能将我们关心的软组织密度范围映射到0-255的灰度区间，抑制骨骼和空气的干扰。随后再进行(x - mean)/std的标准化。

  def apply_ct_window(image, window_center=40, window_width=350): """应用CT窗宽窗位。""" window_min = window_center - window_width // 2 window_max = window_center + window_width // 2 image = np.clip(image, window_min, window_max) image = (image - window_min) / (window_max - window_min) # 归一化到[0,1] return image

• 超声图像：通常直接进行基于整个数据集的均值和标准差标准化，或者使用对比度受限的自适应直方图均衡化（CLAHE）来增强局部对比度，这对显示肿瘤内部细微结构很有帮助。

数据增强对于医学影像小样本训练至关重要。关键原则是：对同一患者的CT和超声ROI patch，必须施加完全相同的空间变换（如旋转、平移、翻转），否则空间对应关系就被破坏了。我使用albumentations库来方便地实现这一点。

import albumentations as A # 定义空间增强管道 spatial_aug = A.Compose([ A.Rotate(limit=15, p=0.5), A.HorizontalFlip(p=0.5), A.VerticalFlip(p=0.3), A.ShiftScaleRotate(shift_limit=0.05, scale_limit=0.1, rotate_limit=10, p=0.5), ], additional_targets={'image_ultrasound': 'image'}) # 关键：声明超声图像为目标 # 应用增强 augmented = spatial_aug(image=ct_patch, image_ultrasound=us_patch) ct_aug, us_aug = augmented['image'], augmented['image_ultrasound'] # 可以分别对CT和超声应用不同的强度增强（如亮度、对比度抖动），这不会破坏空间对齐 ct_intensity_aug = A.RandomBrightnessContrast(p=0.2) us_intensity_aug = A.RandomGamma(p=0.2)

最终，我们构建的数据加载器，对于每个样本，应返回一个元组：(ct_tensor, us_tensor, label)。这是后续单模态和多模态训练的基础。

3. 模型架构设计与实现细节

本项目涉及三种核心模型：用于分割的UNet（单模态）、用于分类的ResNet（单模态）以及多模态融合ResNet。我们使用PyTorch框架进行实现。

3.1 单模态UNet模型：从分割中获取特征

UNet的目标不是直接分类，而是实现肿瘤区域的精确分割。其输出是一个与输入图像同尺寸的分割掩膜。为什么需要它？在医学影像分析中，一个清晰的肿瘤分割结果本身具有极高的临床价值。此外，我们可以利用训练好的UNet编码器（Encoder）作为特征提取器，将其提取的深度特征用于后续的分类任务，这是一种有效的迁移学习策略。

我实现了一个标准的UNet，但针对医学影像做了一些调整：

1. 编码器部分：使用预训练的ResNet34的前几层作为编码器 backbone，以利用其在ImageNet上学到的通用边缘、纹理特征，加速收敛。
2. 跳跃连接：这是UNet的核心，能融合浅层的位置信息和深层的语义信息，对于精确分割肿瘤边界至关重要。
3. 输出层：使用1x1卷积接Sigmoid激活函数，输出单通道的概率图。

import torch import torch.nn as nn from torchvision import models class UNetWithResNetEncoder(nn.Module): def __init__(self, n_classes=1): super().__init__() # 加载预训练ResNet34，并获取中间层输出 backbone = models.resnet34(pretrained=True) self.enc0 = nn.Sequential(backbone.conv1, backbone.bn1, backbone.relu) # 初始卷积块 self.enc1 = backbone.layer1 # 浅层特征 self.enc2 = backbone.layer2 self.enc3 = backbone.layer3 self.enc4 = backbone.layer4 # 深层语义特征 # 解码器部分 self.up4 = nn.ConvTranspose2d(512, 256, kernel_size=2, stride=2) self.dec4 = self._make_decoder_block(512, 256) # 512=256(up4)+256(enc3) self.up3 = nn.ConvTranspose2d(256, 128, kernel_size=2, stride=2) self.dec3 = self._make_decoder_block(256, 128) # 256=128(up3)+128(enc2) # ... 类似地定义 up2, dec2, up1, dec1 ... self.final = nn.Conv2d(64, n_classes, kernel_size=1) def _make_decoder_block(self, in_channels, out_channels): return nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1), nn.BatchNorm2d(out_channels), nn.ReLU(inplace=True), nn.Conv2d(out_channels, out_channels, kernel_size=3, padding=1), nn.BatchNorm2d(out_channels), nn.ReLU(inplace=True), ) def forward(self, x): # 编码路径 e0 = self.enc0(x) e1 = self.enc1(e0) e2 = self.enc2(e1) e3 = self.enc3(e2) e4 = self.enc4(e3) # 解码路径，融合跳跃连接 d4 = self.up4(e4) d4 = torch.cat([d4, e3], dim=1) # 跳跃连接 d4 = self.dec4(d4) d3 = self.up3(d4) d3 = torch.cat([d3, e2], dim=1) d3 = self.dec3(d3) # ... 继续解码 ... out = self.final(d1) return torch.sigmoid(out)

注意事项：训练UNet时，损失函数通常选择Dice Loss + Binary Cross-Entropy Loss的组合。Dice Loss直接优化分割区域的重叠度，对医学影像中常见的类别不平衡（肿瘤区域小）问题更鲁棒。

3.2 单模态ResNet分类模型：基准线的建立

单模态ResNet是我们的分类基准线。我们分别训练一个CT-ResNet和一个US-ResNet。这里我选择ResNet50作为基础架构，因为它深度和性能比较均衡。关键步骤是将预训练模型（在ImageNet上）的输入通道数从3改为1（灰度图），并修改最后的全连接层以适应我们的分类类别数（例如，良恶性二分类，或更细的组织学亚型分类）。

class SingleModalResNet(nn.Module): def __init__(self, num_classes=2): super().__init__() # 加载预训练ResNet50 self.backbone = models.resnet50(pretrained=True) # 修改第一层卷积，适应单通道输入 original_conv1 = self.backbone.conv1 self.backbone.conv1 = nn.Conv2d(1, original_conv1.out_channels, kernel_size=original_conv1.kernel_size, stride=original_conv1.stride, padding=original_conv1.padding, bias=False) # 复制预训练权重（对单通道输入，可以对RGB三通道的权重取均值） with torch.no_grad(): self.backbone.conv1.weight[:,0,:,:] = original_conv1.weight.mean(dim=1) # 修改最后的全连接层 num_features = self.backbone.fc.in_features self.backbone.fc = nn.Linear(num_features, num_classes) def forward(self, x): return self.backbone(x)

训练时，除了最后的全连接层，其余层都先用较小的学习率进行微调（Fine-tuning）。这是一个标准操作，能避免在医学影像这种与自然图像差异较大的数据上破坏预训练模型已经学到的良好特征。

3.3 多模态融合ResNet模型：核心挑战与策略

多模态融合是本项目的重中之重。目标是将CT和超声的信息有效结合起来。融合的层次主要分为三种：早期融合（数据层融合）、中期融合（特征层融合）和晚期融合（决策层融合）。

• 早期融合：将CT和超声图像在通道维度上直接拼接（torch.cat([ct, us], dim=1)），形成一个2通道的“图像”，然后输入到一个修改了首层卷积输入通道数的ResNet中。这种方法最简单，但要求数据严格配准，且模型需要从头学习如何融合两种模态的低级特征，难度较大。
• 晚期融合：分别用两个独立的ResNet（或共享部分权重）提取CT和超声的特征，在最后的全连接层之前，将两个特征向量拼接起来，再经过一个分类器。这种方式灵活性高，对数据配准要求稍低，但可能无法充分挖掘模态间的深层交互信息。
• 中期融合（特征层融合）：这是我认为在医学影像中更有效的策略。让两个模态的数据先分别通过各自的编码器分支（可以是两个独立的ResNet，也可以是一个双分支网络）进行特征提取，在网络的中间层（例如ResNet的layer2或layer3之后）进行特征融合，然后再通过共享的解码或分类头部。

我实现了一个双分支中期融合网络，结构如下：

class MultiModalFusionResNet(nn.Module): def __init__(self, num_classes=2, fusion_layer='layer3'): super().__init__() self.fusion_layer = fusion_layer # 分支一：CT编码器 (基于ResNet50) self.ct_backbone = models.resnet50(pretrained=True) self.ct_backbone.conv1 = nn.Conv2d(1, 64, kernel_size=7, stride=2, padding=3, bias=False) # 修改输入通道 # 分支二：超声编码器 (基于ResNet50，权重不共享) self.us_backbone = models.resnet50(pretrained=True) self.us_backbone.conv1 = nn.Conv2d(1, 64, kernel_size=7, stride=2, padding=3, bias=False) # 根据融合层决定提取哪一层的特征 self._init_fusion_params() # 融合后的分类头 fusion_features = self._get_fusion_feature_dim() self.classifier = nn.Sequential( nn.AdaptiveAvgPool2d((1, 1)), nn.Flatten(), nn.Linear(fusion_features, 512), nn.ReLU(), nn.Dropout(0.5), nn.Linear(512, num_classes) ) def _init_fusion_params(self): # 移除两个backbone最后的全连接层和平均池化层 self.ct_backbone = nn.Sequential(*list(self.ct_backbone.children())[:-2]) self.us_backbone = nn.Sequential(*list(self.us_backbone.children())[:-2]) # 定义融合卷积层，用于处理拼接后的特征 if self.fusion_layer == 'layer4': fusion_in_channels = 2048 * 2 # ResNet50 layer4输出通道是2048 elif self.fusion_layer == 'layer3': fusion_in_channels = 1024 * 2 else: raise ValueError self.fusion_conv = nn.Sequential( nn.Conv2d(fusion_in_channels, fusion_in_channels // 2, kernel_size=1), nn.BatchNorm2d(fusion_in_channels // 2), nn.ReLU(inplace=True) ) def _get_fusion_feature_dim(self): # 计算融合卷积层输出的通道数 return 1024 if self.fusion_layer == 'layer3' else 1024 # 示例，根据实际调整 def forward(self, ct_x, us_x): # 提取CT特征 ct_feat = self.ct_backbone(ct_x) # 提取超声特征 us_feat = self.us_backbone(us_x) # 特征融合：拼接 + 卷积 fused_feat = torch.cat([ct_feat, us_feat], dim=1) fused_feat = self.fusion_conv(fused_feat) # 分类 out = self.classifier(fused_feat) return out

核心决策点：融合位置的选择。融合得太早（如layer1后），特征过于低级，噪声大；融合得太晚（如layer4后），特征过于抽象，可能丢失了模态间互补的细节信息。我通过实验发现，在layer3（ResNet50的第三个残差块组）之后进行融合，效果和效率的平衡最好。这个位置的特征既包含了一定的语义信息，又保留了一定的空间细节，适合进行跨模态的特征交互。

4. 训练策略、损失函数与评估指标

模型设计好了，如何训练它们同样关键。不同的模型（分割 vs 分类，单模态 vs 多模态）需要不同的训练策略。

4.1 训练流程与超参数设置

1. UNet训练：

   • 优化器：AdamW，初始学习率1e-4，权重衰减1e-4。
   • 损失函数：Loss = DiceLoss + 0.5 * BCELoss。Dice系数关注区域重叠，BCE关注像素级概率校准，两者结合更稳定。
   • 学习率调度：使用ReduceLROnPlateau，当验证集Dice系数在5个epoch内不再提升时，学习率乘以0.5。
   • 早停：耐心设为15个epoch。

2. ResNet分类模型训练：

   • 优化器：SGD with Momentum (0.9)，初始学习率1e-3（对于预训练层）和1e-2（对于新初始化的全连接层）。这是微调CNN的经典配置。
   • 损失函数：对于二分类任务，使用nn.CrossEntropyLoss；对于多分类，同样适用。如果类别严重不平衡，可以给CrossEntropyLoss传入weight参数。
   • 学习率调度：使用CosineAnnealingLR，让学习率随着训练过程平滑下降，通常能取得比StepLR更好的效果。
   • 训练技巧：
     • 预热（Warmup）：在前5个epoch使用线性学习率预热，从一个小值（如1e-6）增长到初始学习率，有助于训练初期稳定。
     • 混合精度训练：使用torch.cuda.amp进行自动混合精度训练，可以大幅减少GPU显存占用并加快训练速度，对ResNet50这类模型尤其有效。
     • 梯度裁剪：设置梯度裁剪范数（如max_norm=1.0），防止训练不稳定。

4.2 多模态融合模型的特殊训练考量

多模态模型训练更复杂，因为有两个输入流。

• 数据加载：确保每个batch的(ct_tensor, us_tensor, label)是对齐的。
• 损失反向传播：损失会同时反向传播到CT和US两个分支，优化器需要管理两组参数。可以为两个分支设置不同的学习率，例如，如果CT图像质量普遍更好，可以给CT分支更小的学习率，让其微调，而给US分支稍大的学习率，让其更积极地学习。
• Dropout：在融合后的全连接层中使用较高的Dropout率（如0.5-0.7），以防止过拟合，这对于参数量较大的多模态模型尤为重要。

4.3 核心评估指标详解

我们不能只看准确率（Accuracy），尤其是在医学影像这种正负样本可能不平衡的数据集上。

1. 对于UNet分割任务：

   • Dice系数（Dice Coefficient）：最核心的指标，计算预测分割区域与真实标注区域的重叠度。Dice = 2 * |A∩B| / (|A| + |B|)。值越接近1越好。
   • 交并比（IoU）：IoU = |A∩B| / |A∪B|。与Dice高度相关，但数值上略小。
   • 豪斯多夫距离（Hausdorff Distance）：衡量两个轮廓之间的最大不匹配程度，对分割边界的准确性非常敏感。

2. 对于ResNet分类任务：

   • 混淆矩阵：一切的基础。从中可以计算出所有衍生指标。
   • 准确率、精确率、召回率、F1-score：这是二分类的标准套餐。在卵巢癌分类中，我们通常更关注召回率（Sensitivity），即尽可能少地漏诊恶性肿瘤病例（减少假阴性）。
   • 受试者工作特征曲线下面积（AUC-ROC）：衡量模型在不同分类阈值下区分正负样本能力的综合指标，对类别不平衡不敏感，是非常可靠的性能指标。
   • 特异性（Specificity）：即真阴性率，在保证高召回率的同时，我们也希望特异性不要太低，以减少不必要的恐慌和过度治疗（假阳性）。

在对比单模态和多模态模型时，我主要看验证集上的AUC-ROC和F1-score，同时会绘制ROC曲线进行可视化比较。一个稳健的结论需要基于多次随机分割训练/验证集（如5折交叉验证）的平均结果。

5. 实验结果分析与对比

经过漫长的训练和调优，我们得到了三组模型的结果。以下是我在一个模拟数据集（由于真实数据隐私，此处为示意）上进行的对比实验的核心发现。

5.1 单模态模型性能基准

首先，我们确立单模态模型的性能基准。

分析：

• CT模态普遍优于超声模态：这符合临床直觉，CT影像的对比度和解剖结构清晰度通常更高，为模型提供了更稳定的特征。
• UNet特征提取器的优势：使用在分割任务上预训练的UNet编码器作为特征提取器，然后接一个简单的分类头（如全连接层），其性能略优于直接端到端训练的ResNet50。这表明通过分割任务预训练，模型学习到了更专注于肿瘤区域的、更具判别性的特征。这是一个非常实用的技巧，尤其当你的数据同时有分割标注和分类标签时。

5.2 多模态融合模型性能跃升

接下来，我们看多模态融合模型的表现。我对比了早期融合、晚期融合和我们重点设计的中期融合（在layer3后融合）策略。

核心发现与解读：

1. 多模态融合的有效性：所有融合模型的性能均超越了最好的单模态模型（CT UNet特征分类器，AUC 0.918）。这强有力地证明了结合CT和超声信息能提升卵巢癌分类的准确性。模型学会了利用CT的结构信息和超声的功能/纹理信息进行互补判断。
2. 融合层次的差异：
   • 早期融合提升有限。正如之前分析的，直接将未充分对齐的原始图像拼接，给模型带来了学习负担，融合效果不充分。
   • 晚期融合效果显著。两个模态独立进行高级特征提取，在决策前融合，避免了低级噪声干扰，性能提升明显。
   • 中期融合效果最佳。在网络的中间层（layer3）进行融合，允许模型在特征语义层次上进行更深入、更灵活的交互。模型可以学习到诸如“CT显示此处有钙化，同时超声显示该区域血流丰富”这样的跨模态关联模式，这是早期和晚期融合难以实现的。

5.3 可视化分析与错误案例研究

数字指标很重要，但可视化能给我们更直观的洞察。

• Grad-CAM热力图：我们可以用Grad-CAM来可视化模型在做分类决策时，更关注图像的哪些区域。

  • 单模态CT模型：热力区域主要集中在肿瘤的实体部分和边缘。
  • 单模态超声模型：热力区域可能更分散，有时会集中在有特殊回声或血流信号的区域。
  • 多模态融合模型：其热力图往往是前两者的“结合与优化”，它可能同时在CT显示的肿瘤核心和超声显示的血流异常区域产生高激活，表明它确实在综合两种信息。

• 错误案例分析：分析被多模态模型分类错误，但被某单模态模型分类正确的案例（反之亦然），极具价值。

  • 案例A（CT正确，US错误，融合正确）：可能是一个边界清晰的肿瘤，CT结构特征明显，但超声图像因气体干扰显示不清。融合模型依靠CT的主导信息做出了正确判断。
  • 案例B（US正确，CT错误，融合正确）：可能是一个囊实性肿瘤，实性部分在超声上血流信号明显，但在CT上与周围组织对比度低。融合模型捕捉到了超声的关键信息。
  • 案例C（单模态都正确，融合错误）：这种情况需要高度警惕！可能意味着融合机制引入了混淆，或者模型过拟合了训练数据中某些虚假的跨模态关联。需要仔细检查数据配对是否准确，以及融合层是否过于复杂。

6. 项目部署考量与未来方向

一个研究项目最终要走向实用。基于本次实验结果，中期融合的多模态ResNet模型是最优的分类方案。如何部署它？

1. 模型轻量化：ResNet50参数量较大。可以考虑使用更轻量的架构（如MobileNetV3、EfficientNet-B0）作为backbone，或者使用知识蒸馏技术，让一个小模型去学习这个大融合模型的“行为”。
2. 部署形式：
   • 本地部署：将模型转换为ONNX或TorchScript格式，集成到医院的PACS（影像归档和通信系统）工作站软件中，提供一键式分析插件。
   • 云端API服务：将模型封装为RESTful API，医院终端上传DICOM文件后，云端返回分析结果。这种方式便于更新模型，但需严格考虑数据安全和隐私合规。
3. 人机协同：最终的分类结果（如恶性概率）应作为辅助诊断信息呈现给医生，而不是替代诊断。系统可以高亮显示模型关注区域（Grad-CAM），帮助医生快速定位可疑区域，提高阅片效率和一致性。

未来可以探索的方向：

• 更先进的融合机制：尝试注意力机制（如Cross-Attention）来自动学习两种模态特征之间的重要性权重，实现动态的、像素级的融合。
• 引入临床数据：将患者的年龄、CA-125肿瘤标志物水平等临床信息作为第三模态，与影像特征进行融合，构建更全面的预测模型。
• 时序动态分析：如果有多期随访的CT/US影像，可以构建3D CNN或循环神经网络（RNN）来捕捉肿瘤随时间的变化特征，这对疗效评估和预后预测更有价值。
• 可解释性深化：除了Grad-CAM，可以尝试使用Shapley值等方法来量化每个模态、甚至每个图像区域对最终决策的贡献度，让模型的“黑箱”变得更透明，增强临床医生的信任度。

这个项目从数据准备到模型对比，每一步都充满了工程和研究的细节。最大的体会是，在多模态医学影像分析中，数据的质量和对齐是地基，模型架构是骨架，而合理的训练策略和严谨的评估则是让整个系统焕发生机的血液。中期融合策略在这次实验中胜出，但它不一定在所有场景都是最优的。最好的方法永远是结合你的具体数据特点，设计实验去验证。希望这份详细的梳理，能为你开展类似的医学影像AI项目提供一份扎实的参考。

本文还有配套的精品资源，点击获取