简介：这份资源是面向计算机专业学生与深度学习入门者的毕业设计/课程作业参考包，聚焦医学影像与报告文本的跨模态检索，帮助解决多模态数据统一表示与相似病例快速匹配的问题。压缩包共52个文件，约208.4MB，以23个Python源码为核心，辅以14个编译缓存、3张示意图、3个XML配置、2个npy特征文件、2个doc2vec模型及说明文档，覆盖数据处理、模型训练、检索与图形界面等模块。内容围绕卷积神经网络提取影像特征、LSTM或Transformer理解报告语义，并通过早期、中期或晚期融合策略实现图文联合检索，同时涉及TensorFlow、PyTorch框架与C++推理优化思路。已有147人学习，适合希望将深度学习理论落地到医疗场景、需要完整项目结构参考与排错思路的读者。
1. 影像报告检索的痛点：为什么单模态方案总是差一口气
影像科日常最耗时的环节之一，不是看图，而是找历史报告。一个患者三年内做了五次胸部 CT，你想调出「右上肺结节较前增大」的那次描述，关键词搜「结节」能返回几百条，搜「右上肺」又漏掉写成「右肺上叶」的记录。传统全文检索在这里翻车，是因为它只匹配字面，不理解「影像学报告」这种半结构化文本里的同义表达、解剖层级和时序关系。
基于深度学习的影像学报告多模态检索，要解决的就是这件事：把报告文本和对应的影像特征映射到同一个向量空间，让「以文搜图」「以图搜文」「以报告片段搜相似病例」都能跑通。它适合做毕设或课程作业的计算机、生物医学工程方向学生，也适合想从零搭一套医学检索原型的工程师。这一方向的核心难点不在模型多深，而在数据怎么组织、模态怎么对齐、检索结果怎么评估。下面按「先立住原理、再动手复现、最后避坑」的顺序拆开讲。
2. 多模态检索的底层逻辑：从报告文本到联合向量空间
2.1 影像学报告为什么不能直接当普通文本处理
影像学报告有它自己的结构。一份典型的 CT 报告包含检查部位、扫描技术、影像所见、诊断意见四段，其中「影像所见」里又嵌套着解剖位置、病灶大小、密度、边缘特征、与周围结构关系。如果直接拿 BERT 做句向量，模型会把「右肺上叶」和「右上肺」当成两个不同的词，把「较前增大」和「略有增大」的相似度算得很低。
常见做法是先做一层轻量结构化：用规则或小模型把报告切成「解剖实体 + 属性 + 变化趋势」三元组，再送进编码器。这样做的收益在检索阶段很明显——查询「右上肺结节增大」时，系统能同时命中「右肺上叶结节较前增大」和「右上肺结节体积增加」两类表述。代价是预处理管线变长，需要维护一套解剖词典和属性映射表。
我一般会建议在毕设阶段先用规则做粗切分，把报告拆成 3 到 5 个语义段，每段单独编码后再拼接。这样既保留了局部语义，又不会让长报告在编码时被截断丢失关键信息。
2.2 双塔架构与对比学习：让文本和影像说同一种语言
多模态检索最稳的基线是双塔结构：一个文本编码器，一个影像编码器，各自输出定长向量，用余弦相似度做召回。文本侧常用 BioBERT 或中文医学预训练模型，影像侧常用 ResNet 或 ViT 提取全局特征。两个塔之间不共享参数，训练时靠对比学习拉近匹配对、推远非匹配对。
对比学习的关键在负样本构造。医学数据里，同一个患者的不同次检查天然构成「难负样本」——影像相似但报告描述不同。如果负样本全从随机患者里抽，模型学到的判别边界会很粗，实际检索时容易把不同患者的相似病灶混在一起。我一般会按患者 ID 做分层采样，保证一个 batch 里同一患者最多出现一次，同时把同患者的其他检查作为难负样本加入。
损失函数用 InfoNCE 就行，温度系数 τ 从 0.07 起步，如果训练集小于 5000 对，调到 0.1 更稳。这个参数控制的是模型对难负样本的惩罚力度，太小会导致所有样本挤在一起，太大又会让训练震荡。
2.3 检索评估：Recall@K 之外还要看什么
Recall@K 是标配，但在医学检索里只盯着它容易踩坑。假设测试集里 80% 的查询都是「肺结节」，模型只要把所有肺结节报告排在前面，Recall@10 就能很好看，但实际临床想找的是「右上肺磨玻璃结节较前增大」这种细粒度匹配。
我一般会补两个指标：一是分层 Recall，按病灶类型、解剖部位、变化趋势分别统计，看模型在哪个维度上弱；二是 MRR（平均倒数排名），它比 Recall 更敏感于「正确结果排在第几位」。如果 MRR 低于 0.5，说明模型虽然能召回，但排序质量差，需要检查文本编码器是否对属性词欠拟合。
提示：评估集不要按报告随机划分，要按患者划分。同一患者的多次检查如果同时出现在训练和测试里，指标会虚高 10 到 20 个百分点。
3. 从零搭一套可复现的检索基线：数据、模型与训练脚本
3.1 数据准备：报告清洗与影像-报告配对
假设你手头有一批影像报告文本和对应的影像序列（DICOM 或已转 NIfTI）。第一步不是急着写模型，而是把配对关系理清楚。常见的数据组织方式是每个患者一个文件夹，里面放多次检查，每次检查有报告 txt 和影像文件。
import os import pandas as pd from pathlib import Path # 假设数据根目录结构：data/患者ID/检查日期/report.txt + image.nii.gz root = Path("data") records = [] for patient_dir in sorted(root.iterdir()): if not patient_dir.is_dir(): continue patient_id = patient_dir.name for study_dir in sorted(patient_dir.iterdir()): report_path = study_dir / "report.txt" image_path = study_dir / "image.nii.gz" if report_path.exists() and image_path.exists(): text = report_path.read_text(encoding="utf-8").strip() # 过滤空报告和极短报告 if len(text) < 20: continue records.append({ "patient_id": patient_id, "study_date": study_dir.name, "report": text, "image_path": str(image_path) }) df = pd.DataFrame(records) # 按患者划分训练/验证/测试，避免同一患者跨集 patients = df["patient_id"].unique() train_patients = patients[:int(len(patients)*0.7)] val_patients = patients[int(len(patients)*0.7):int(len(patients)*0.85)] test_patients = patients[int(len(patients)*0.85):] train_df = df[df["patient_id"].isin(train_patients)] val_df = df[df["patient_id"].isin(val_patients)] test_df = df[df["patient_id"].isin(test_patients)] print(f"训练对: {len(train_df)}, 验证对: {len(val_df)}, 测试对: {len(test_df)}")这段脚本做三件事：遍历目录建立配对、过滤无效报告、按患者划分数据集。关键参数是len(text) < 20这个阈值，低于 20 字的报告通常是「未见异常」这类模板句，对训练对比学习帮助不大，反而会稀释负样本质量。如果你的数据集里模板句占比超过 30%，建议单独拿出来做规则匹配，不参与模型训练。
3.2 文本编码器：用中文医学预训练模型做微调
文本侧我一般用hfl/chinese-roberta-wwm-ext做底座，它在中文医学文本上的表现比通用 BERT 稳。如果显存够，可以换BAAI/bge-base-zh，检索任务上通常高 2 到 3 个点。
from transformers import AutoTokenizer, AutoModel import torch import torch.nn as nn class TextEncoder(nn.Module): def __init__(self, model_name="hfl/chinese-roberta-wwm-ext", proj_dim=256): super().__init__() self.bert = AutoModel.from_pretrained(model_name) hidden = self.bert.config.hidden_size # 投影头把 768 维压到 256 维，减少和影像塔的维度差 self.proj = nn.Sequential( nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, proj_dim) ) def forward(self, input_ids, attention_mask): out = self.bert(input_ids=input_ids, attention_mask=attention_mask) # 取 [CLS] 向量做句表示 cls = out.last_hidden_state[:, 0, :] return self.proj(cls) tokenizer = AutoTokenizer.from_pretrained("hfl/chinese-roberta-wwm-ext") text_encoder = TextEncoder()投影头的作用是把文本和影像映射到同一维度。如果不加投影，文本塔输出 768 维、影像塔输出 512 维，就得靠额外线性层硬对齐，训练时容易一边学表示一边学对齐，收敛慢。proj_dim=256是我在 5000 对数据上试出来的平衡点，再小会丢信息，再大对检索指标没明显提升。
3.3 影像编码器与对比训练循环
影像侧用 ResNet-18 或 ViT-Small 都行，毕设阶段 ResNet-18 更省显存。输入统一 resize 到 224×224，如果是 3D 影像，取病灶中心层面或做最大密度投影后当 2D 处理。
import torchvision.models as models class ImageEncoder(nn.Module): def __init__(self, proj_dim=256): super().__init__() resnet = models.resnet18(pretrained=True) # 去掉最后的全连接层 self.backbone = nn.Sequential(*list(resnet.children())[:-1]) self.proj = nn.Linear(512, proj_dim) def forward(self, x): feat = self.backbone(x).flatten(1) return self.proj(feat) def info_nce_loss(text_emb, image_emb, temperature=0.07): # 归一化后算相似度矩阵 text_emb = nn.functional.normalize(text_emb, dim=-1) image_emb = nn.functional.normalize(image_emb, dim=-1) logits = text_emb @ image_emb.T / temperature labels = torch.arange(logits.size(0), device=logits.device) loss_t2i = nn.functional.cross_entropy(logits, labels) loss_i2t = nn.functional.cross_entropy(logits.T, labels) return (loss_t2i + loss_i2t) / 2训练循环里注意两点：一是每个 batch 要保证同一患者只出现一次，这需要在 DataLoader 的 sampler 里做文章；二是温度系数 τ 初始设 0.07，如果 loss 在前 5 个 epoch 下降很慢，调到 0.1。info_nce_loss同时算 text-to-image 和 image-to-text 两个方向，比单方向收敛更稳。
注意：如果显存不够，先把 batch size 降到 16，但不要降 proj_dim。维度太低会让文本和影像的细粒度特征在投影后混在一起，检索时区分不开「增大」和「缩小」。
4. 避坑与排查：训练不收敛、检索结果玄学的 5 个根因
4.1 现象：loss 降到 2.0 左右就卡住，Recall@10 不到 0.3
原因通常是负样本太简单。随机抽的负样本在影像和文本上都跟正样本差异很大，模型很快学会区分，但学不到细粒度判别。解决方法是引入同患者不同检查作为难负样本，或者在 batch 内做 hard negative mining——每次取相似度最高的非匹配对作为额外负样本。我一般会在第 10 个 epoch 后开启 hard negative，loss 通常能再降 0.5 左右。
4.2 现象：文本搜图结果里，同一患者的多次检查全排在前面
这是患者泄漏的典型表现。训练时同一患者的检查对同时出现在正样本和负样本里，模型学到的是「患者身份」而不是「病灶特征」。排查方法是看测试集的 Recall 是否异常高（比如超过 0.9），同时 MRR 很低。解决就是严格按患者划分数据集，并且在 batch 构造时保证同一患者最多一个样本。
4.3 现象：影像编码器输出向量几乎一样，余弦相似度都在 0.95 以上
ResNet 在医学影像上预训练权重来自自然图像，直接冻结或微调时容易输出坍缩。解决分两步：先冻结 backbone 只训投影头 5 个 epoch，再解冻最后两个 block 做小学习率微调（1e-5）。如果还不行，检查输入归一化——医学影像的窗宽窗位和自然图像差异很大，建议按数据集的均值和方差重新算归一化参数。
4.4 现象：报告里出现「较前」「未见」「考虑」等词时，检索结果明显变差
这些词在通用语料里频率低，医学预训练模型也没充分学到。解决是在文本预处理阶段做同义归一：「较前增大」→「增大」，「未见异常」→「正常」，「考虑炎性」→「炎性可能」。归一化规则不用太复杂，维护一张 50 到 100 条的映射表就能覆盖大部分场景。归一化后文本编码器的负担会轻很多。
4.5 现象：验证集指标正常，测试集掉 15 个点以上
最常见的原因是测试集里出现了训练时没见过的病灶类型或解剖部位。排查方法是按病灶类型分层统计 Recall，看哪一类掉得最狠。如果掉在罕见病灶上，说明模型对长尾分布欠拟合，可以在训练时对罕见类型做上采样，或者用 focal loss 替代 InfoNCE 里的均匀权重。另一个可能是测试集的报告长度分布和训练集不同，检查一下文本截断长度是否一致。
5. 进阶技巧：用检索结果反哺编码器与一个可复现的验证脚本
基线跑通之后，想让检索质量再上一个台阶，最划算的投入不是换更大的模型，而是用检索结果做一轮自训练。具体做法是：用当前模型对训练集做一次全量检索，把 top-1 结果中相似度高于阈值且与查询报告病灶类型一致的样本对作为「伪正样本」，加入下一轮训练。阈值我一般设 0.85，低于这个值说明模型自己都不确定，强行加入会引入噪声。
def mine_pseudo_pairs(model, dataloader, threshold=0.85): model.eval() all_text_emb, all_image_emb = [], [] with torch.no_grad(): for batch in dataloader: t_emb = model.text_encoder(batch["input_ids"], batch["attention_mask"]) i_emb = model.image_encoder(batch["image"]) all_text_emb.append(t_emb) all_image_emb.append(i_emb) text_emb = torch.cat(all_text_emb) image_emb = torch.cat(all_image_emb) text_emb = nn.functional.normalize(text_emb, dim=-1) image_emb = nn.functional.normalize(image_emb, dim=-1) sim = text_emb @ image_emb.T # 取每个文本的 top-1 影像 top1_sim, top1_idx = sim.max(dim=1) pseudo_pairs = [] for i in range(len(top1_sim)): if top1_sim[i] > threshold: pseudo_pairs.append((i, top1_idx[i].item())) return pseudo_pairs这段脚本输出的是「文本索引-影像索引」的伪配对列表。下一轮训练时，把这些对作为额外正样本加入，同时保留原始配对。注意伪正样本的权重不要设太高，我一般给 0.5 倍权重，避免噪声累积。跑两轮自训练后，Recall@10 通常能涨 3 到 5 个点，再往后收益就很小了。
验证阶段我习惯写一个固定脚本，每次改完模型跑一遍，输出分层指标。脚本里把测试集按病灶类型分成「结节」「实变」「磨玻璃」「钙化」四组，分别算 Recall@5 和 MRR。这样能快速看出改动是全面涨还是只涨了某一类。如果某一类掉了，就回看那一类的样本在训练集里的占比和文本归一化规则是否覆盖到位。
最后说一个我踩过的坑：不要为了刷指标把温度系数调到 0.01。那样训练 loss 会很好看，但模型对负样本的惩罚过强，导致向量空间里所有样本都挤在超球面的一小块区域，检索时区分度反而下降。τ 低于 0.05 就要警惕，0.07 到 0.1 是安全区间。这个方向值得做，但前提是把数据划分和负样本构造这两件事做扎实，模型结构反而是最不玄学的一环。希望帮到你。
本文还有配套的精品资源，点击获取
