Enhancing diagnostic accuracy in rare and common fundus diseases with a knowledgerich vision-language model
此前针对眼底图像的基础模型，其预训练所依据的疾病类别和知识库均较为有限。在此，本文推出 RetiZero——一款融合了 400 多种眼底疾病知识的视觉语言模型。该模型基于 341,896 张眼底图像及其配套文本描述进行预训练，这些数据来自多个民族和国家的多样化来源。RetiZero 在多种下游任务中均展现出卓越性能，包括零样本疾病识别、图像到图像检索、临床诊断辅助、少样本微调以及跨域疾病识别。在零样本场景下，该模型针对15种疾病的Top-5准确率达到0.843，针对52种疾病的Top-5准确率达到0.756；而在图像到图像检索任务中，其准确率分别达到0.950和0.886。值得注意的是，RetiZero在前3名零样本识别任务中的表现超越了来自新加坡、中国和美国的19位眼科医生平均诊断准确率。该模型特别增强了临床医生诊断罕见眼底疾病的能力，凸显了其在涉及多种眼科疾病的临床环境中应用的潜在价值。
失明和视力障碍在全球范围内构成了巨大的疾病负担，影响着各人群中的数百万民众。对眼部疾病（如视网膜和视神经疾病）进行筛查和及时治疗，对于减少严重且永久性的损害至关重要。然而，眼科医疗资源的匮乏严重制约了眼底疾病的及时筛查和治疗，且世界各地在该方面存在巨大的地区差异。
近年来，基于人工智能（AI）的眼底疾病筛查系统相继问世，并在眼底疾病的检测及患者转诊方面表现出了令人鼓舞的效果。然而，此前大多数基于AI的方法都是针对特定情况量身定制的，并且仅限于特定疾病，例如糖尿病视网膜病变（DR）¹、²、青光眼³、⁴以及早产儿视网膜病变⁵、⁶。尽管已有若干方法被提出，可在同时筛查多种眼底疾病时展现出令人鼓舞的性能⁷⁻⁹，但当前大多数用于眼部疾病筛查的人工智能模型均基于特定任务的数据集进行训练，这导致在出现新数据（例如由不同相机拍摄的图像）或任务发生变化（例如引入新类别或罕见类别）时，检测结果难免会出现误差。此外，由于医疗资源有限且眼底疾病的患病率各不相同，收集涵盖所有类型眼底异常的综合数据集既耗时又困难。因此，大多数AI模型仅基于有限的数据和疾病类别进行训练，这限制了其特征表示能力。若要将这些模型应用于不同的实际场景或任务，则需要利用大规模数据集进行大量重新训练。此外，数据质量和标注问题进一步限制了人工智能模型在眼科临床环境中的广泛应用，尤其是从全球视角来看。
得益于海量的大数据和强大的计算硬件，大型基础模型（LFMs）在计算机视觉任务中表现卓越¹⁰,¹¹。这些模型在海量数据集上预训练后，为下游任务（如目标检测¹²、少样本识别¹³和零样本识别¹⁴等）提供了丰富的特征支持。2023年推出的首个眼科大型基础模型RETFound¹⁵，采用掩码自编码器（MAE）框架¹⁶，基于大量未标注的视网膜图像进行训练。该模型提供了丰富的特征支持，并提升了下游任务的性能。然而，这种方法可能会阻碍模型在下游任务中将特征信息与标签进行对齐的能力。相比之下，基于对比性语言-图像预训练（CLIP）的视网膜基础语言-图像模型（FLAIR）¹⁷通过将文本描述与图像特征对齐来增强特征表示，虽然改善了特征与标签的对齐，但在处理医学影像中的复杂语义特征方面仍存在困难¹⁰。基于MAE的预训练方法在捕捉医学影像中的复杂语义特征方面表现出色，其利用了遮罩自编码技术，该技术专注于重建图像中被遮挡的区域，从而促进对局部结构和细微病理细节的深入理解，这些对于准确诊断至关重要。这种方法通过强调图像内的上下文和结构信息，促使模型学习丰富且精细的表征。相比之下，基于CLIP的预训练主要优化全局图像-文本对齐，将整张图像与其对应的文本描述进行对齐，而未深入探究复杂的内部特征。尽管CLIP模型在需要广泛语义理解和跨模态关联的任务中表现有效，但其对图像级对齐的侧重限制了其辨别和解释医疗场景中至关重要的细微而复杂的语义模式的能力。因此，基于 CLIP 的方法难以有效处理精确医学图像分析所需的详细而复杂的特征，这表明其在医疗诊断中的应用存在显著局限性。此外，当前用于眼科成像的 LFM 是在规模庞大但类别有限的数据集上预训练的。因此，开发具备全面眼科疾病知识的LFM对于表征复杂的视网膜特征、从而提升下游任务性能至关重要。然而，为预训练收集涵盖广泛眼底疾病的大规模、多样化眼科数据，仍然是一项重大挑战。
解决这些问题和挑战，本文从29个公开数据集（包含303,124张带标签的眼底图像）中收集了341,896组眼底图像-文本对， 180篇眼科文献（包含23,328张带有疾病相关关键词的眼底图像）以及在线资源（15,544组眼底图像-文本对），涵盖了来自多个国家、地区和族群的400余种视网膜及视神经疾病（图1a）。如图 1b 所示，LFM 模型 RetiZero 基于一种对比式视觉-语言预训练框架，该框架融合了基于 MAE 的预训练知识和低秩训练方法。此外，在对比式视觉-语言预训练框架内引入了基于狄利克雷重参数化的不确定性视觉-语言特征校准方法，以在高维嵌入空间中进一步对齐视觉和语言特征。因此，RetiZero在多种下游任务中均表现优异，包括零样本眼底疾病识别、图像到图像眼底疾病检索、AI辅助临床诊断、内部域眼底疾病识别、少样本微调以及跨域眼底疾病识别。
Methods：
Data for pretraining：
RetiZero 创新性地将基于 MAE 的骨干网络与 CLIP 风格的对比式框架以及基于不确定性的特征校准相结合，从而在 400 多种疾病的眼底图像上实现了稳健的图像-文本对齐。RETFound 采用掩码自编码器（MAE）方法，基于超过 90 万张眼底图像进行了预训练。这种大规模预训练使 RETFound 能够对眼底图像特征形成深刻的理解。因此，将 RETFound 作为图像编码器的骨干网络。这种方法使其能够依托一个稳健且预先建立的特征提取器，从而增强 RetiZero 有效处理复杂眼底图像数据的能力。使用自行收集的数据集对 RetiZero 进行了预训练，该数据集包含 341,896 对图像-文本对，涵盖了 400 多种眼底疾病。如图 1a 所示，图像-文本预训练数据主要由三部分组成：带有类别信息的公开数据集、包含疾病相关关键词描述的眼科文献数据，以及来自在线资源的图像-文本对（补充表 18）。具体而言，从29个公开数据集中共收集了303,124张眼底图像，涵盖了100多种不同的眼底疾病类别。为确保图像描述的呈现一致性，将带有分类标签的眼底图像转换为统一的文本描述格式（图1b）。此外，邀请了12位眼科医生参与编纂和整理这一综合数据集。他们审查了180份眼科文献和在线资源，从文献中识别并记录了23,228张附有相应疾病相关文本描述的眼底图像，以及从在线资源中收集的15,544张眼底图像。一支由十名眼科医生组成的团队被指派负责此项任务。他们的职责包括浏览各类来源以查找眼底照片、截取这些图像的屏幕截图、记录来源（文献/网站）、页码（书籍/页码），并提取与每张眼底图像唯一对应的眼底描述。筛选过程十分严格，仅纳入与对应彩色眼底照片精确匹配的文字描述。任何与图像无关的信息，如标题、背景细节，或其他成像模态的描述，以及视野范围外的内容，均被刻意排除。此外，这十位眼科医生还同时为每张图像分配了诊断标签。最终数据集由两位经验丰富的眼科医生进行了彻底的整理和验证。他们的职责包括统一标签以减少标签噪声，并剔除非标准图像（如模糊、过曝或欠曝、拼接、局部视图、单色图像以及标注有额外图形的图像），从而降低图像噪声。最后，所有经过整理的疾病和病变标签均被转换为“[疾病/病变标签]的眼底图像”这一标准化格式，并输入到文本编码器模型中。
如补充表19所示，这些图像涵盖了414个眼科标签，几乎囊括了迄今为止已知的所有眼底疾病。同时，补充表20提供了关于180篇眼科文献来源的进一步详细信息。此外，还从在线资源中收集了28,800张附有相关描述的眼底图像。12位眼科医生对15,544张图像及其相应的疾病相关文本描述进行了人工清理和整理。使用PyTorch框架，在Nvidia Geforce DGX A100 GPU（80 G）上，以128为批量大小并采用Adam优化器，对RetiZero进行了预训练。图1a展示了RetiZero预训练的数据收集过程。
本研究中使用来自文献和某些网站的图像应属于合理使用，因此不应构成版权侵权。预训练模型不会生成任何与这些资源中的图像相似的可见数据，也不会将来自文献和网站的任何数据重复用于其他下游任务。重要的是，该预训练模型仅用于学术研究，并非用于商业目的。总而言之，用于预训练RetiZero的数据集涵盖了几乎所有已知的眼底疾病，整合了非常全面的眼科知识。
Data for internal domain fundus disease identification：
为了评估 RetiZero 在眼底疾病识别任务中的性能，本文整理了来自多家医院的三套眼底照片数据集：1) 医疗数据集 1（H1），其中眼底照片由汕头国际眼科中心联合医院使用 Topcon TRC-NW8 和 Zeiss VISUCAM-200 设备拍摄； 2) 医疗数据集 2（H2）：该数据集的眼底照片由 Topcon TRC-NW8 和 Zeiss VISUCAM-200 设备在四家医院采集，包括河源市龙川县人民医院、揭阳市普宁市人民医院、龙岩市武平医院以及汕尾市彭排纪念医院； 3) 医疗数据集3（H3）由汕头联合国际眼科中心（JSIEC）使用拓普康DRI OCT Triton设备采集。由于临床来源不同，H1和H2数据集在领域上存在差异；而H3数据集因使用了不同的眼底图像采集设备，与H1和H2均不相同。临床评估和标注流程总结于补充图11中。
H1数据集包含11,414张眼底图像，涵盖15类眼底疾病及正常状态。进一步将H1数据集划分为训练集（图像数量=6942）、验证集（n=2284）和测试集（n=2288），分别用于模型微调、模型选择和性能验证（补充表4）。H2数据集包含7812张眼底图像，涵盖12种眼底疾病及正常状态（补充表5）。为验证在H2数据集上对RetiZero进行眼底疾病识别微调的效果，我们将H2数据集分别划分为训练集（n = 4682）、验证集（n = 1561）和测试集（n = 1569），分别用于模型微调、模型选择和性能评估。H3数据集包含10,863张眼底图像，涵盖12种疾病类别。该数据集被划分为训练集（n = 6511）、验证集（n = 2174）和测试集（n = 2178），分别用于模型微调、模型选择和性能评估（补充表6）。在此任务中，RetiZero 基于 PyTorch 在 Nvidia Geforce 3090 GPU（24 G）上进行了内部领域眼底疾病识别的微调。采用 Adam 优化器和交叉熵损失函数来引导模型微调。总迭代 epoch 和批量大小分别设置为 100 和 64。
Data for few-shot fine-tuning：
为了评估 RetiZero 在少样本微调中的性能，对 H1、H2 和 H3 数据集进行了重组。具体而言，从 H1、H2 和 H3 训练集的每个疾病类别中随机选取了 5 个样本用于少样本微调，同时保留了验证集和测试集以用于模型选择和性能评估。关于类别和数据分布的详细信息见补充表 7–9。在此任务中，RetiZero 是在 Nvidia Geforce 3090 GPU（24 G）上使用 PyTorch 进行微调的。模型优化采用了 Adam 优化器和交叉熵损失函数，共进行了 1000 个 epoch，批量大小为 32。
Data for cross-domain fundus disease identification：
为了评估 RetiZero 在跨领域眼底疾病识别中的通用性和鲁棒性，再次对 H1、H2 和 H3 数据集进行了重组。该过程在三个数据集中识别出 11 个重叠的疾病类别，随后将其重命名为 rH1（图像数量 = 10,304）、rH2（n = 6,829）和 rH3（n = 10,485）。详细信息见补充表 10–12。随后，进行了三种实验设置。具体而言，将 rH1、rH2 和 rH3 依次用作模型微调、模型选择和内部测试的内部数据集，而其余两个数据集则作为外部测试集用于评估。在此任务中，RetiZero 基于 PyTorch 在 Nvidia Geforce 3090 GPU（24 G）上进行微调。采用 Adam 优化器和交叉熵损失函数，模型训练 100 个 epoch，批量大小为 64。
Data for the tasks of zero-shot and image-to-image retrieval：
将来自不同医院的三个数据集 H1、H2 和 H3 合并为一个名为 EYE-15 的数据集，其中包含 30,089 张眼底图像，涵盖 14 种常见眼底疾病和 1 个正常类别。该数据集用于验证 RetiZero 在零样本学习和图像到图像检索任务中筛查常见眼底疾病的性能。EYE-15中各疾病类别的图像数量详见补充表1。此外，还额外收集了7007张由JSIEC及另外四家医院（EYE-52数据集）使用不同眼底相机（如Topcon TRC-NW8、 蔡司 VISUCAM-200 以及 Topcon DRI OCT Triton）采集的额外 7007 张眼底图像，这些图像来自 JSIEC 及其他四家医院（EYE-52 数据集），包含 51 种眼底疾病和 1 种正常状态，旨在更严苛的环境下验证零样本眼底疾病识别以及基于图像到图像检索的眼底疾病鉴别性能。如补充表2所示，EYE-52涵盖了多种临床罕见的眼底疾病，例如白化病、比埃蒂晶状体营养不良、脉络膜缺损和脉络膜肿瘤。采用Top-1、Top-3和Top-5准确率，来评估RetiZero在零样本眼底疾病识别和基于图像到图像检索的眼底疾病鉴定这两项任务中的性能。Top-K准确率是一种用于评估分类模型性能的指标，其通过判断给定输入的正确标签是否出现在模型给出的Top-K个预测结果中来实现，具体如下：
其中 N 和 y 分别表示输入样本的总数和标签。TopK f g 是第 i 个样本的前 K 个预测标签的集合，1f g 是一个指示函数，当真实标签位于前 K 个预测结果中时，其值为 1；否则为 0。补充图 11 展示了 EYE-15 和 EYE-52 数据集的收集过程。在本研究中，还采用了 Precision@1、Precision@3 和 Precision@5 作为指标，用于评估不同基础模型在眼底疾病检索任务中的性能。Precision@K 是一种用于评估信息检索系统和排序算法性能的指标，专门用于衡量系统返回的 Top-K 结果的精确度。其计算公式及解释如下：
其中，Rall 是给定查询的所有相关样本的集合，RRe@K 表示系统针对该查询检索到的 Top-K 样本的集合。jRall \ RRe@Kj 表示在检索到的 Top-K 文档中相关样本的数量，即同时满足“相关”且“在 Top-K 结果中被检索到”这两个条件的样本数量，而 K 是用于该计算的 Top-K 样本的数量。
Framework of RetiZero：
图1b展示了RetiZero框架的概览。RetiZero融合了MAE自监督学习和CLIP对比学习架构的优势。具体而言，该模型基于MAE预训练骨干网络RETFound15构建，其权重被冻结，以保留模型对视网膜图像中病灶轮廓和拓扑结构等复杂语义信息的表征能力。与此同时，在预训练的RETFound中引入了低秩可学习因子，并利用CLIP架构学习图文知识，旨在增强模型对图文关联的理解能力，并提升其特征表示能力。此外，将基于狄利克雷再参数化的不确定性图文特征校准方法融入到对比式图文预训练框架中。这进一步优化了高维嵌入空间中的视觉-语言特征，从而增强了模型对眼底图像中复杂特征的表征能力。最终，开发了RetiZero，该模型融合了MAE和CLIP架构的优势，为下游任务提供了强大的特征支持。下文将详细讨论RetiZero的各组成部分。
Image encoder：
如图1b所示，图像编码器由基于MAE的SSL预训练骨干网络和低秩可学习因子组成。MAE是一种广泛应用的自监督学习方法，它采用简单的自编码器方法，基于部分观测数据来重建原始信号。基于MAE的SSL预训练可以引导网络关注图像中丰富的结构信息和上下文特征。因此，采用了RETFound15作为基于MAE的预训练骨干网络。低秩可学习因子（LoRA）是一种基于重新参数化³⁵的参数高效迁移学习方法，它利用低秩表示来最小化可训练参数的数量。它使预训练的大型基础模型能够将新知识融入新的目标任务中，并在各种参数高效迁移学习任务中展现出稳健且处于最先进水平（SOTA）的性能。因此，利用低秩可学习因子将视网膜特征描述信息引入 RetiZero 的图像编码器，从而增强其表示视网膜图像特征属性的能力。具体而言，给定输入令牌序列 Fin 2 RBatch × N × Cin 以及通过投影层 W 2 RCout × Cin 获得的输出令牌序列 F out 2 RBatch × N × Cout，LoRA 假设对 W 的更新应是渐进且稳定的，其中 Batch 和 N 分别表示令牌序列的批量大小和令牌大小，Cin 和 Cout 分别是输入令牌序列和输出令牌序列的通道维度。因此，应用低秩逼近来实现这种渐进式更新。LoRA 操作的详细过程见补充图 17。首先，冻结变压器层以保持 W 固定，同时添加一条旁路以完成低秩逼近。该旁路由两个线性映射层组成：A 2 Rr × Cin 和 B 2 RCout × r，其中 r ≪ Cin, Cout，本文中 r 设为 8。因此，更新层 Wb 的处理过程可描述为：
多头自注意力机制利用与特征相关的强度来识别关注区域，先前的研究表明，在Transformer注意力机制中针对查询（Q）和值（Va）矩阵进行关注适应，可以在无需大量重新训练或增加模型复杂度的情况下，有效捕捉任务特有的细微差别³⁶,³⁷。因此，我们对查询和值的投影层应用低秩逼近，以影响注意力得分：
Text encoder：
与自然图像相比，眼底图像的描述通常更具挑战性，因为其中往往包含大量专业的临床术语，有时甚至由多个病变征象或句子组成。因此，本文采用BioClinicalBERT38模型作为文本编码器来提取文本特征。利用该模型在MIMIC III数据集的医学文本上预训练的权重进行初始化，并基于视觉-语言对比学习策略对其进行训练，以提取眼科文本特征。
Uncertainty-based feature calibration：
数据集来自全球各地的多种来源，包括公共数据库、眼科文献和在线资源。不可避免地，其中包含复杂的数据分布，例如图像分辨率差异、不完整的文本描述以及质量较低的图文对。因此，针对这些问题，在对比式视觉-语言预训练框架中进一步引入了基于狄利克雷再参数化³⁹,⁴⁰的不确定性视觉-语言特征校准方法，以在高维嵌入空间中进一步校准视觉-语言特征，从而增强模型在表示眼底图像复杂特征时的鲁棒性。具体而言，如图1b所示，RetiZero的预训练由眼底图像编码器和文本编码器组成。线性层同时作为图像编码器和文本编码器的投影头，将获取的特征映射到512维的嵌入特征空间。假设 φ = φE , φH 分别表示图像编码器 (φE ) 和相应的投影头 (φH)。给定一张眼底图像 Xi，采用图像编码器获得特征表示 FImg 2 RDF ：FImg = φE X i ，其中 DF 是图像特征空间的维度。同时，ψ = ψE，ψH 分别表示文本编码器 (ψE) 和相应的投影头 (ψH)。文本编码器 (ψE) 用于从文本输入 XTxt 中提取特征嵌入 FTxt 2 RDTxt：FTxt = ψE X Txt，其中 DTxt 是文本特征嵌入的维度。随后，利用图像投影头（φH）和文本投影头（ψH）将独立模态表示映射到联合单位超球面空间中：V = φH FImg ðÞ jjφH FImg ð Þjj 以及 L = ψH FTxt ðÞ jjψH F Txt ð Þjj。输入图像（Xi）与输入文本（XTxt）之间的相似度，通过基于归一化特征 V T L 的余弦相似度进行评估，其中 T 表示转置运算符。基于获得的相似度度量，对比式学习预训练方法的优化目标是：在最大限度地增大未配对样本特征之间距离的同时，将配对图像与文本描述之间的特征距离最小化。具体而言，假设一个批次包含 N 个样本，V i 2 V 1, V 2, . . . , V N ，且 Li 2 L1, L2, . . . , LN 分别表示每个样本的图像特征向量和文本特征向量，而 G = {0,1,...,N1} 则是相应的类别标签。为了引导模型优化，采用以下损失函数：
其中 N 表示批次中的样本数，Simð Þ 表示余弦相似度函数，τ 是一个可训练的缩放参数，其设置参考了 FLAIR17。狄利克雷重新参数化步骤的详细信息如补充图 18 所示，该过程包括三个步骤:
在本研究中，将狄利克雷分布与图像和文本描述之间的特征相似度分布相关联，从而基于从特征相似度矩阵中收集的证据，为批次中每个样本的图像与文本描述的相似度获得信念权重及相应的总体不确定性评分。因此，可以计算出狄利克雷分布的参数：αV2L = αV2L, 1, . . . , αV2L, N 和 αL2V = αL2V, 1, . . . , αL2V, N，同时获得多项式意见分布 D pV2L, ijαV2L, i 和 D pL2V, ijαL2V, i，其中 pV2L, i 和 pL2V, i 分别表示样本在单纯形上的分配概率。因此，重新参数化后的相似性矩阵的损失函数如下：
其中，L Dl−CE（LV2L Dl CE 和 LL2V Dl CE）用于确保对图像与文本相似度最高的样本做出正确预测时，所获得的证据更多，而对其他样本则获得较少证据；同时，LKL 用于确保错误预测所获得的证据较少， 而 λ 作为平衡因子，其值被逐步增加，以防止模型在训练初期过分关注 KL 散度，这可能会导致参数空间探索不足，并使网络输出平坦的均匀分布。
其中 αb = y + ð1 yÞ α 是狄利克雷分布的调整参数，可避免将真实类别的证据值惩罚为 0，而 Γ() 是伽马函数。一般而言，如式(10)和式(16)至(20)所示，通过不确定性校准，对不确定性较高的图像-文本对施加更高的惩罚。例如，对于不确定性较高的图文特征对齐，系统会施加额外惩罚，以避免模型在对比式预训练过程中过度关注错误匹配。
进行了一系列全面的消融实验（参见补充表 21–24），以阐明 RetiZero 模型中各模块的独立贡献。结果证实， RetiZero 模型始终优于所有其他配置，这表明通过整合基于 MAE 的编码器、图文对比学习以及不确定性校准，能够获得协同优势。此外，还仅使用公开数据集进行预训练，并开展了额外的消融实验，将这些结果与完整的RetiZero模型（该模型还整合了眼科文献和在线资源中的数据）的结果进行了比较（参见补充表25）。尽管仅凭公开数据集就足以可靠地识别常见眼底疾病，但对于稳健地检测罕见病症而言，这些数据集显然不够充分；因此，纳入更多样化的数据源是必不可少的。这一发现凸显了聚合多样化数据集的关键重要性，这有助于开发出知识丰富且在广泛疾病范围内具有强大临床适用性的视觉-语言模型。
Definition of Dirichlet distribution:
狄利克雷分布通过其K个集中参数α = α1, . . . , αK 进行参数化³⁹,⁴⁰。因此，狄利克雷分布的概率密度函数计算如下：
Results:
Zero-shot fundus disease recognition:
RetiZero的最大优势在于其零样本学习能力，这使得RetiZero仅凭文本提示即可识别眼底疾病，而无需使用标注过的眼底图像对模型进行重新训练或微调（图1c中的任务I）。如图 2a 所示，在识别 30,089 张眼底图像（Eye-15 数据集，参见补充表 1）中的 15 种常见眼底疾病及正常状态时，RetiZero 分别取得了 0.442、0.702 和 0.840 的 Top-1、Top-3 和 Top-5 总分（见图 1c 的任务 I）。与 FLAIR 相比，RetiZero 的这些分数在 Top-1 上提高了 25.5%（P = 0.01），在 Top-3 上提高了 15.7%（P = 0.03），在 Top-5 上提高了 15.6%（P = 0.04）。此外，在针对各疾病的单独分析中，RetiZero 在识别大多数类别时展现出卓越的零样本学习能力，特别是在视网膜色素变性（Top-1：0.819，Top-3：0.953，Top-5：0.974）、视网膜脱离（Top-1：0.762， Top-3：0.906，Top-5：0.963）以及青光眼（Top-1：0.748，Top-3：0.929，Top-5：0.972）方面展现出卓越的零样本学习能力（参见补充图1）。为了在更具挑战性的临床场景中进一步验证 RetiZero 的零样本学习能力，构建了一个要求更高的数据集，名为 EYE-52（参见补充表 2）。该数据集包含来自多家眼科诊所的 7007 张眼底图像，涵盖 52 种眼底疾病。其中许多疾病在眼科诊所中较为罕见，但若未被诊断，可能会导致严重的视力障碍。EYE-52数据集中各类疾病的发病率和患病率如补充表3所示。如图2b所示，RetiZero在零样本识别这52种眼底疾病时，分别实现了0.360、 0.626 和 0.756，表现优于 FLAIR（分别为 0.092、0.263 和 0.340）和随机识别（分别为 0.029、0.088 和 0.147）。此外，RetiZero 展现出了卓越的零样本性能，特别是在识别几种罕见眼底疾病方面。例如，在识别 Bietti 晶状体营养不良方面，RetiZero 分别取得了 0.616、0.791 和 0.861 的 Top-1、Top-3 和 Top-5 得分； 在识别脉络膜视网膜裂孔方面，其Top-1、Top-3和Top-5得分分别为0.509、0.808和0.915（详见补充图2）。图2c展示了RetiZero和FLAIR针对三种罕见眼底疾病样本的Top-5预测结果。关于其余52种疾病类别的更多详情，请参见补充图2。
AI-assisted clinical diagnosis:
如图1e中的任务III所示，首先将RetiZero的性能与来自新加坡、中国和美国的19位眼科医生的诊断结果进行了比较，随后考察了RetiZero能否辅助眼科医生进行临床诊断。简而言之，在这项临床验证研究中，创建了一个子数据集，其中共包含从EYE-52数据集的每个类别中随机选取2张样本，共104张图像，并要求眼科医生在没有（第1轮，图3a）和有（第2轮，图3b，于第1轮一周后进行）RetiZero辅助的情况下，根据视网膜照片作出临床诊断。19位眼科医生的诊断准确率范围为0.337至0.788，中位数为0.582；而RetiZero的零样本Top-1、Top-3和Top-5准确率分别为0.308、0.635和0.798（图3c）。因此，RetiZero在零样本Top-3任务上的表现可与大多数眼科医生相媲美，而在Top-5任务上的表现则超越了所有眼科医生。此外，RetiZero 通过图像到图像检索进行眼底疾病识别时，其 Top-1、Top-3 和 Top-5 准确率分别达到 0.702、0.760 和 0.808，超越了大多数眼科医生的表现。
在RetiZero的辅助下，19位眼科医生中有18位的诊断表现得到了提升（图3c）；在总计1976份答复（104个问题×19位医生）中，1569份答复（79.4%）保持不变，而407份答复（20.6%）在第二轮中进行了修改。在这407份被修改的回答中，有279份（68.6%）从错误变为正确，这表明大多数由人工智能辅助的修改帮助临床医生纠正了先前的误诊。此外，如表 1 所示，我们进一步根据从业年限将眼科医生分为初级（≤5 年，7 位医生）、高级（5–10 年，7 位医生）和专家（>10 年，5 位医生）三组。他们第一轮的平均准确率分别为48.5%、56.9%和62.3%，在第二轮中分别提升至57.4%、63.9%和69.0%，提升幅度分别为18.4%（P = 0.01）、 12.3%（P = 0.03）和10.8%（P < 0.001）。这表明RetiZero辅助诊断可提高所有经验水平医生的诊断准确率，其中初级临床医生受益最大。此外，临床医生对诊断的信心从第一轮的平均2.7分（低至中等）上升至第二轮的3.0分（中等，P = 0.04），这表明RetiZero的辅助不仅提高了诊断准确性，还增强了他们进行临床诊断的信心。最后，RetiZero的最高排名得分与眼科医生对诊断结果的调整得分之间存在显著相关性（r = 0.614，P < 0.001，详情见“方法”部分），这表明正确结果在模型前5个预测中的排名越高，医生得出准确诊断的可能性就越大。此外，为了更清晰地说明RetiZero在辅助诊断中的有效性，我们在补充图8–10中提供了额外的定性分析。
Internal domain fundus disease identification:
在任务 IV（图 1f）中，收集了三个名为 H1、H2 和 H3 的视网膜照片临床数据集，用于验证 RetiZero 在内部域眼底疾病识别任务中的性能。补充图 11 展示了这三个数据集的数据收集过程和标注详情。“内部域”是指在三个数据集的每个数据集内分别对模型进行了微调和验证。三个数据集的详细信息见补充表4–6。如图 4 所示，RetiZero 在这三个数据集上分别实现了 0.997、0.980 和 0.993 的平均 AUC 值，这三个数据集分别包含 15、13 和 12 种不同的眼底疾病和/或正常状态类别。与 RETFound 相比，这些结果分别提高了 1.9%（P = 0.02）、 6.9%（P = 0.02）和 2.9%（P < 0.001），与 FLAIR 相比则分别提高了 1.1%（P = 0.02）、8.0%（P = 0.04）和 3.0%（P < 0.001）。这一点在某些具有特定特征的眼底疾病中尤为明显，例如黄斑裂孔、视网膜前膜和视网膜动脉阻塞。
Few-shot fine-tuning:
在任务 V（图 1g）中，仅使用每种眼底疾病各 5 张图像对模型进行了微调，以评估 RetiZero 在训练数据极度有限情况下的性能。数据详情见补充表 7–9。与 RETFound 和 FLAIR 相比，RetiZero 在三个数据集上均获得了最高的 AUC 分数（图 5）。在识别 H1、H2 和 H3 数据集中的 15 种、13 种和 12 种眼底疾病类型任务中，RetiZero 分别获得了 0.967、0.859 和 0.942 的 AUC 值，相较于 RETFound 和 FLAIR，分别提高了 7.2% 至 35.1%（均 P < 0.001）。这些结果表明，即使在标注数据样本有限的情况下，RetiZero 也能有效地从眼底图像中学习到不同眼底疾病的特征信息。
Discussion:
在本研究中，利用海量的图像-文本对数据集训练了一个视觉-语言基础模型——RetiZero。全面的实验结果表明，RetiZero在眼底疾病识别的广泛下游任务中，包括零样本识别、图像到图像检索、AI辅助临床诊断、内部域和跨域分类以及少样本微调，都展现出了强大的眼底疾病特征表示能力。RetiZero的性能优于两款最先进的眼科视觉-语言基础模型（LFM）——RETFound15和FLAIR17。这些结果共同证明了RetiZero在常见及罕见眼底疾病识别方面均具备卓越的泛化能力和鲁棒性
RetiZero 相较于 RETFound15 和 FLAIR17 的优势，可归因于其独特的设计以及预训练所采用的多样化数据。具体而言，尽管 RETFound 模型15 采用 MAE 架构，并在大量眼底图像上进行了预训练，能够提升各类下游任务的性能，但其涵盖的眼底疾病类别有限，尤其是罕见眼底疾病。此外，该模型未整合文本信息，导致对图像特征属性的表征不足。这使其不适用于基于文本提示的零样本眼底疾病检测任务，从而限制了其在临床实践中的应用，特别是在罕见眼底疾病的识别方面。相比之下，基于CLIP架构的FLAIR17在网络训练过程中融入了文本描述信息，以增强图像特征属性的表征能力。然而，该模型是在极其有限的眼底疾病知识数据集上预训练的，导致其在罕见眼底疾病的零样本识别任务中表现不佳。此外，FLAIR17及其他基于CLIP的标准模型¹⁰,¹¹缺乏学习图像中病灶轮廓和拓扑结构等信息的指导，导致其在通过图像到图像检索进行眼底疾病识别时的性能较低。与这些现有的基础模型不同，RetiZero利用基于MAE的自监督学习与基于广泛疾病描述的对比对齐之间的协同作用，从而增强其疾病识别能力。通过将MAE的精细特征提取（其擅长通过基于大规模图像数据集的无监督学习捕捉视觉细节）与对比性图文对齐的语义丰富性相结合，RetiZero获得了对病变更强的隐式表征。这种方法不仅保留了识别细微疾病标志物所必需的局部视觉特征的精细度，还实现了这些特征与种类繁多的文本疾病描述符相结合。因此，RetiZero 通过有效弥合高级语义理解与低级视觉细节之间的差距，实现了卓越的性能，使其能够熟练识别各种眼底病变，无论常见还是罕见。
开发人工智能算法以辅助罕见眼底疾病的临床诊断一直是一项挑战。尽管基于少样本学习的图像分类已取得令人鼓舞的结果¹⁹,²⁰，但对于极罕见的疾病而言，收集足够的训练样本仍面临困难，尤其是考虑到眼底疾病种类超过400种。在这种情况下，零样本学习可能是一种更优的解决方案。在既往文献中，针对眼底图像零样本学习的研究寥寥无几，且仅聚焦于糖尿病视网膜病变或图像质量评估，在处理罕见病症时仍面临困难²¹,²²。图像到图像检索方法是另一种可能的解决方案。现有文献仅针对糖尿病视网膜病变进行了研究，未涉及罕见病，且研究结果显示其性能有限，这可能源于未能整合对复杂疾病识别至关重要的文本信息²³⁻²⁶。据我们所知，本研究是首个利用零样本学习和图像到图像检索来应对罕见病诊断挑战的研究。RetiZero 同时利用 MAE 和 CLIP 架构，从多样化的数据集中增强特征表示，在零样本眼底疾病识别和图像到图像检索任务中取得了优异的性能。通过整合MAE和CLIP架构，RetiZero弥合了语义鸿沟，融合了400多种眼底疾病的知识，并在涵盖50多种疾病的临床数据集上经过了验证。对于临床医生而言，罕见疾病的诊断同样极具挑战性。结果表明，在对包含 52 个类别、104 张眼底照片的测试集进行分类时，初级、高级和专家级眼科医生的准确率分别为 0.485、0.569 和 0.623。在临床场景中，临床医生通常会列出多种疾病进行鉴别诊断，并综合病史、眼部检查及其他检查结果进行综合判断。本研究模拟了这一方法。尽管RetiZero的零样本Top-1准确率（0.360）低于眼科医生，但其零样本Top-3（0.626）和Top-5（0.756）准确率分别与大多数眼科医生相当，甚至超过了他们。该方法为眼科医生进行鉴别诊断提供了宝贵的参考。我们的结果还表明，利用RetiZero的零样本Top-5预测结果显著提升了眼科医生的诊断准确率，其中资深眼科医生的准确率提高了10.8%，初级眼科医生的准确率提高了18.4%。此外，RetiZero的参考预测与眼科医生诊断准确率提升之间的相关性，进一步凸显了其在辅助鉴别诊断方面的潜力。在医疗领域探索人工智能的过程中，早期研究主要侧重于比较AI算法的性能与医生（AI-医生比较）或AI算法自身的性能27–29。然而，在实际应用中，AI算法可能出现错误，从而对患者的治疗结果构成潜在风险。因此，为降低风险，人们提出了AI辅助诊断或AI与医生协作的方案并进行了相关研究。已有研究报道了多种方法，例如利用AI算法提出最可能的诊断结果，再由医生进行确认³⁰。此外，已有研究表明AI模型能提升初级医生的诊断表现³¹。然而，这些研究大多聚焦于常见疾病，且其AI模型通常仅提供一种最可能的疾病诊断。相比之下，RetiZero采用零样本学习方法，提供前五项诊断结果，显著提升了不同临床经验水平眼科医生的诊断准确性。除了强大的零样本识别能力外，RetiZero将结构化医学文本与眼底图像进行关联，为实际临床整合和跨机构协作开辟了新途径。例如，繁忙的眼科医生无需基于大型标注数据集进行预训练，即可快速筛查比耶蒂晶状体营养不良或脉络膜视网膜裂孔等罕见病变，从而在资源有限的诊所中促进及时的分诊或转诊。其图像到图像检索功能可通过从庞大且异质的档案库中提取视觉上相似的病例来辅助确诊，这在本地数据集规模较小或不平衡时尤为有益。此外，RetiZero提供的“前5名”鉴别诊断结果可提升初级和资深临床医生的诊断信心与准确性，这使其对远程眼科网络或多中心筛查项目尤为具有吸引力。
本研究中存在的局限性和有待改进之处。尽管数据集涵盖了400多种眼底疾病的相关知识，但不同类别之间的数据不平衡可能限制RetiZero在下游任务中的表现。为解决这一问题，计划进一步丰富数据集，使各类眼底疾病（尤其是罕见眼底疾病）在数据集中的分布更加均衡。解决罕见与常见眼科病理之间的数据不平衡问题，可能需要采用先进的合成数据生成技术，并针对代表性不足的类别设计定制化的数据增强流程。生成对抗网络（GANs）或扩散模型能够生成逼真的眼底图像，真实反映罕见疾病的表现特征，从而扩大样本多样性，使网络能够学习到原本稀缺的、具有临床重要性的特征³²,³³。除了简单的几何变换（如旋转、翻转）之外，以病变为中心的增强方法——如弹性变形或局部颜色扰动——可以在不丢失关键病理特征的前提下，进一步丰富少数类别的变异性³⁴。这些方法系统地增强了难以识别或罕见病理的表征，最终在面临严重数据不平衡的情况下增强了模型的鲁棒性。此外，尽管 RetiZero 在多项任务和数据集上均展现出令人鼓舞的性能，但针对特定任务进行优化的专用模型可能比更通用的模型表现更优。因此，将继续探索针对性改进，以提升 RetiZero 在特定应用中的性能。综上所述，所提出的基于特征校准的眼底视觉语言基础模型 RetiZero 整合了 400 多种眼底疾病的知识，能够有效捕捉眼底图像中的丰富上下文特征，并学习视网膜图像特征与疾病相关文本信息之间的对应关系。在不同眼科诊所使用不同眼底相机、面临不同程度的领域漂移且训练样本极为有限的情况下，RetiZero在不同眼底疾病识别任务中展现出了卓越的特征表示能力和泛化能力。值得注意的是，RetiZero在零样本眼底疾病识别和基于图像到图像检索任务中表现出的卓越性能，对于临床实践中的眼底疾病筛查具有重要价值，特别是针对罕见眼底疾病。此外，全面的AI辅助临床诊断结果进一步证实，RetiZero能够提高眼科医生的诊断准确性和信心，对经验较少的临床医生尤为有益。
