MIL-DR：面向糖尿病视网膜病变的多实例学习专用数据集

简介：本资源是面向医学图像分析研究者与AI医疗方向初学者的糖尿病视网膜病变（DR）多实例学习（MIL）实践项目，聚焦解决标注粒度粗（仅样本级标签）、病灶区域稀疏等临床影像建模难点。压缩包共5个文件，含2个Jupyter Notebook（主实验流程与CNN基线实现）、1个PyTorch模型权重ckpt文件、1个核心模型定义py脚本及1份README说明文档，总大小10.83MB，结构精炼、开箱即用。已有761人学习下载，适合需快速复现MIL范式、理解DR图像特征提取与实例级聚合机制的学习者。读者可直接运行Notebook完成数据加载、fundus_basic_cnn模型训练、验证指标（准确率/F1/AUC）计算及结果可视化全流程，并通过model.py源码深入掌握MIL中池化层设计与损失函数适配逻辑，为后续拓展Grad-CAM可解释性分析奠定基础。

1. MIL-DR 数据集不是“另一个眼底图数据集”：它是专为多实例学习（MIL）定制的糖尿病视网膜病变诊断闭环验证资源

你手头有一堆眼底照片，标注了“轻度”“中度”“重度”DR，但模型训练时总在单张图像粒度上打转——结果一到临床真实场景就掉链子。因为医生看的从来不是“某一张图有没有出血”，而是“这一组来自同一位患者的5张图，整体是否提示进展期病变”。MIL-DR 正是为打破这个认知断层而生：它不提供孤立图像+全局标签，而是以患者为包（bag）、以单张眼底图为实例（instance）组织数据，每个包附带一个临床级诊断标签（如“需转诊”或“稳定随访”），且所有图像均经统一协议预处理、去畸变、标准化视野。它不是拿来即用的ImageNet替代品，而是一套完整的MIL验证闭环——含JupyterNotebook实现的基准模型（Attention-based MIL + CLAM变体）、可复现的数据加载器（支持动态包采样与实例加权）、以及关键的跨中心泛化评估脚本。适合正在落地DR辅助判读系统、卡在“单图准确率高但包级决策不可靠”阶段的算法工程师与医学AI研究员。

2. 多实例学习为什么必须重构数据组织逻辑：从单图分类到包级推理的范式迁移

2.1 传统DR数据集的隐性缺陷：标签漂移与临床脱节

多数公开DR数据集（如APTOS、EyePACS）采用“图像→疾病等级”映射，这在技术实现上简洁，却掩盖了两个致命问题：第一，同一患者不同时间点、不同拍摄角度的图像质量差异巨大，单张图标签无法反映整体病情趋势；第二，临床决策依据是综合判断——比如3张正常图+2张微动脉瘤图，可能仍判定为“轻度”，但若仅用那2张异常图训练，模型会过度敏感。MIL-DR通过将同一患者的全部可用眼底图归为一个bag，强制模型学习实例间的关联性与权重分配，逼出更鲁棒的包级表征。这不是技术炫技，而是对临床工作流的逆向建模。

2.2 MIL-DR 的数据结构设计：包、实例、标签的三层契约

MIL-DR 的核心契约体现在其目录结构与元数据设计中：

• bags/目录下每个子文件夹代表一位患者（如P00123/），内含该患者所有合格眼底图（.png格式，统一缩放至512×512，灰度归一化）；
• metadata.csv文件定义每个bag的临床标签（label列：0=无DR, 1=轻度, 2=中度, 3=重度, 4=增殖期）及关键协变量（age,duration_diabetes_years,hemoglobin_a1c）；
• instance_labels/目录提供可选的弱监督信号：每个bag对应一个.npy文件，存储该bag内每张图的局部病变置信度（由专家粗标生成，非像素级mask，仅用于引导注意力机制）。

这种结构天然支持三种MIL范式：

• 标准MIL：仅用bag标签训练（最常用）；
• 实例级MIL：结合instance_labels/做半监督优化；
• 多任务MIL：联合预测bag标签与协变量（如血糖控制水平），提升泛化性。

提示：metadata.csv中的split列已划分train/val/test，且确保患者级隔离（同一患者所有图像只出现在一个split中），杜绝数据泄露——这是跨中心验证的前提。

2.3 JupyterNotebook 基准实现的关键模块拆解

项目提供的baseline_mil.ipynb并非黑盒脚本，而是分层可干预的实验框架：

• DataLoader 层：重写了torch.utils.data.Dataset，__getitem__返回(bag_tensor, bag_label, instance_weights)，其中bag_tensor是[N, 3, 512, 512]张量（N为该bag实例数，动态填充至max_instances=8）；
• Model 层：默认加载AttentionMIL模型，其forward函数明确分离实例特征提取（ResNet-18 backbone）与包聚合（Gated Attention机制），输出维度为[1, num_classes]；
• Loss 层：使用nn.CrossEntropyLoss()计算bag级损失，但支持通过instance_labels/注入BCEWithLogitsLoss实例级辅助损失（需手动开启开关）。

这种设计让你能精准定位瓶颈：若bag级准确率低但实例级AUC高，说明聚合机制失效；若两者均低，则需回溯数据预处理或backbone。

3. 从零运行 baseline_mil.ipynb：环境配置、数据加载与模型训练三步实操

3.1 环境依赖与版本锁定：避免PyTorch/CUDA兼容性翻车

MIL-DR 的JupyterNotebook要求严格匹配的CUDA与PyTorch版本，否则在torch.cuda.is_available()后立即报错。实测稳定组合为：

• Python 3.9.16（必须，因部分医学图像库不兼容3.10+）；
• PyTorch 1.12.1+cu113（对应CUDA 11.3，非11.6或11.8）；
• torchvision 0.13.1；
• monai 1.1.0（用于高级图像增强，如弹性形变模拟拍摄畸变）。

安装命令如下（请勿跳过--no-deps）：

# 创建干净环境 conda create -n mil-dr python=3.9.16 conda activate mil-dr # 安装PyTorch（官方渠道，非pip） pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 --extra-index-url https://download.pytorch.org/whl/cu113 # 安装其余依赖（注意monai版本） pip install monai==1.1.0 scikit-image==0.19.3 pandas==1.5.3 tqdm==4.64.1

注意：若服务器CUDA驱动版本低于11.3（如11.0），必须降级PyTorch至1.10.2+cu113（兼容CUDA 11.0+），否则nvidia-smi显示GPU但torch.cuda.device_count()返回0——这是血泪经验，别等训练跑一半才发现。

3.2 数据准备：解压、校验与路径映射

下载的mil-dr-dataset.zip解压后需严格遵循以下路径结构，否则Notebook中data_dir参数会失效：

/mil-dr-root/ ├── bags/ │ ├── P00123/ │ │ ├── img_001.png │ │ └── img_002.png │ └── ... ├── metadata.csv ├── instance_labels/ │ ├── P00123.npy │ └── ... └── baseline_mil.ipynb

执行校验脚本确保完整性（防止传输损坏）：

# 在Notebook中运行此单元格 import pandas as pd import numpy as np from pathlib import Path data_root = Path("/mil-dr-root") # 替换为你的实际路径 meta = pd.read_csv(data_root / "metadata.csv") # 检查bags目录是否存在且数量匹配 bag_dirs = list((data_root / "bags").glob("*")) assert len(bag_dirs) == len(meta), f"bags目录数量({len(bag_dirs)}) ≠ metadata行数({len(meta)})" # 检查每个bag的图像数量是否≥1 for _, row in meta.iterrows(): bag_path = data_root / "bags" / row['patient_id'] assert bag_path.exists(), f"缺失bag: {row['patient_id']}" img_count = len(list(bag_path.glob("*.png"))) assert img_count >= 1, f"bag {row['patient_id']} 无图像" print("✅ 数据校验通过")

3.3 训练启动：参数调优与监控要点

打开baseline_mil.ipynb后，关键参数位于Training Configuration单元格：

• batch_size: 推荐设为4（因bag内实例数不等，大batch易OOM）；
• max_instances: 设为8（MIL-DR中单bag最多含7张图，设8可避免padding过多）；
• lr: 初始学习率1e-4（ResNet-18 backbone微调），若loss震荡则降至5e-5；
• num_epochs: 50轮足够收敛，早停策略基于val_bag_acc（patience=7）。

训练时务必开启W&B或TensorBoard日志（Notebook已预留接口），重点监控：

• train/loss_instancevstrain/loss_bag: 若前者持续下降而后者停滞，说明注意力机制未生效；
• val/bag_acc与val/instance_auc: 两者差距＞15%表明模型过度依赖少数高置信度实例；
• GPU显存占用：若＞95%，需减小max_instances或启用梯度检查点（Notebook中model.use_gradient_checkpointing=True）。

训练完成后的模型权重保存在./checkpoints/，命名含时间戳与best_val_acc，例如model_epoch_42_acc_0.872.pth。

4. 避坑指南：MIL-DR 实战中高频踩坑的5个硬核问题

4.1 现象：训练loss为nan，且仅在第3轮后出现

原因：instance_labels/中的.npy文件包含极小负值（如-1e-8），当开启实例级损失时，BCEWithLogitsLoss输入logits经sigmoid后产生数值溢出。
解决：在InstanceLabelDataset类的__getitem__中添加裁剪：

# 修改前 instance_labels = np.load(label_path) # 修改后 instance_labels = np.clip(np.load(label_path), 1e-6, 1-1e-6) # 限定在(0,1)开区间

4.2 现象：验证集acc高达92%，但测试集骤降至68%

原因：metadata.csv中test split的患者ID未被完全排除于train/val之外——某些患者因多中心数据合并，其部分图像误入train，导致数据泄露。
解决：重新生成split，使用sklearn.model_selection.GroupShuffleSplit按patient_id分组：

from sklearn.model_selection import GroupShuffleSplit gss = GroupShuffleSplit(n_splits=1, test_size=0.2, random_state=42) train_val_idx, test_idx = next(gss.split(meta, groups=meta['patient_id'])) # 再对train_val_idx做二次分割...

4.3 现象：Attention权重可视化全为0.5，无区分度

原因：Gated Attention机制中，门控网络（gate network）的初始化偏差过大，导致所有实例的gate输出趋近0.5。
解决：在AttentionMIL模型__init__中重置门控层权重：

# 在gate网络定义后添加 nn.init.xavier_uniform_(self.attention_V.weight) nn.init.constant_(self.attention_V.bias, 0) nn.init.xavier_uniform_(self.attention_U.weight) nn.init.constant_(self.attention_U.bias, 0)

4.4 现象：CPU占用率100%，GPU利用率＜10%，训练极慢

原因：DataLoader的num_workers设为8，但服务器CPU核心数仅4，进程争抢导致I/O阻塞。
解决：将num_workers设为min(4, os.cpu_count())，并启用pin_memory=True：

train_loader = DataLoader(dataset, batch_size=4, num_workers=4, pin_memory=True, shuffle=True)

4.5 现象：测试时bag_level_prediction与instance_level_prediction结果不一致

原因：模型在eval模式下未调用model.eval()，导致BatchNorm层使用训练统计量，影响注意力权重计算。
解决：在测试循环开头强制设置：

model.eval() # 必须！否则注意力权重失真 with torch.no_grad(): for bag, label in test_loader: ...

5. 跨中心泛化验证：用MIL-DR的test split模拟真实部署压力测试

5.1 为什么test split不能只看准确率？临床部署的三大硬指标

MIL-DR的test split设计初衷并非单纯测上限，而是模拟真实场景下的稳定性压力测试。你需要关注三个超越accuracy的指标：

• 包级敏感性（Bag-level Sensitivity）：对“需紧急转诊”（label=4）病例的检出率，临床容错率为0——漏诊1例即可能延误治疗；
• 实例一致性（Instance Consistency）：同一bag内，模型对各实例的病变置信度排序是否与专家粗标顺序一致（用Spearman秩相关系数ρ衡量）；
• 协变量鲁棒性（Covariate Robustness）：当固定bag标签，人为扰动age或a1c字段±20%，bag预测概率变化幅度（Δp）应＜0.15，否则模型被混杂因素绑架。

这些指标在evaluate_cross_center.py脚本中已封装，只需传入训练好的模型路径：

python evaluate_cross_center.py \ --model_path ./checkpoints/model_best.pth \ --data_root /mil-dr-root \ --output_dir ./results/test_split_v1

5.2 手动验证包级敏感性的代码级操作

直接在Notebook中运行以下代码，获取label=4的详细召回报告：

from sklearn.metrics import classification_report, confusion_matrix # 获取test split的所有bag预测 y_true, y_pred, y_score = [], [], [] for bag, label in test_loader: with torch.no_grad(): logits = model(bag.cuda()) probs = torch.softmax(logits, dim=1) y_true.extend(label.cpu().numpy()) y_pred.extend(torch.argmax(probs, dim=1).cpu().numpy()) y_score.extend(probs.cpu().numpy()) # 专注label=4（增殖期）的召回率 target_class = 4 report = classification_report(y_true, y_pred, output_dict=True) print(f"增殖期DR召回率: {report[str(target_class)]['recall']:.3f}") print(f"混淆矩阵:\n{confusion_matrix(y_true, y_pred)}")

5.3 实例一致性分析：用Spearman检验注意力权重可信度

MIL-DR提供instance_labels/作为弱监督金标准，但它的价值不在训练，而在验证。计算模型注意力权重与专家粗标的相关性：

from scipy.stats import spearmanr def compute_instance_consistency(model, data_root, patient_id="P00123"): bag_path = Path(data_root) / "bags" / patient_id label_path = Path(data_root) / "instance_labels" / f"{patient_id}.npy" # 加载实例标签（专家粗标） expert_labels = np.load(label_path) # shape: (N,) # 提取模型注意力权重 model.eval() with torch.no_grad(): bag_tensor = load_bag_as_tensor(bag_path) # 自定义函数，返回[N,3,512,512] _, A = model.attention_forward(bag_tensor.cuda()) # A: [1, N] model_weights = A.squeeze().cpu().numpy() # shape: (N,) # 计算Spearman相关系数 rho, p_val = spearmanr(expert_labels, model_weights) print(f"患者{patient_id}: ρ={rho:.3f}, p={p_val:.3f}") return rho # 对test split中所有label=4的患者计算 test_meta = pd.read_csv(Path(data_root)/"metadata.csv") severe_patients = test_meta[test_meta['label']==4]['patient_id'].tolist() rhos = [compute_instance_consistency(model, data_root, pid) for pid in severe_patients] print(f"增殖期患者平均ρ: {np.mean(rhos):.3f} ± {np.std(rhos):.3f}")

从那以后我每次交付MIL模型前，都强制走一遍这三步验证：先跑evaluate_cross_center.py看全局指标，再手动抽10个label=4患者查召回细节，最后挑3个典型bag做ρ分析。如果ρ＜0.4，宁可关掉注意力机制改用mean-pooling——模型可解释性比玄学权重重要得多。希望帮到你。

本文还有配套的精品资源，点击获取