读懂 CLIP 模型卡：tiny-universe 中 TinyIMGRAG 的图文检索基石

• 示例工程
• 教程

本文以 tiny-universe 仓库内 TinyIMGRAG 项目所集成的 CLIP 官方 Model Card（model-card.md）为主体，系统梳理 CLIP 的模型类型、版本谱系、训练数据、性能边界与部署红线，并结合仓库中随附的 CLIP 源码（clip/clip.py、clip/model.py）与 TinyIMGRAG 的检索模块 ImgRetrieval.py，讲清楚从“模型加载、tokenize、特征编码”到“文本-图像相似度检索”的完整落地链路。读完你可以：准确引用 Model Card 中关于 CLIP 能力与限制的事实依据，并在自己的图文检索或 RAG 流程中复用仓库现成的 CLIP 检索实现。

一、模型卡说了什么：CLIP 的定位与版本谱系

Model Card 是参照 Mitchell et al. 的“Model Cards for Model Reporting”与 Jo & Gebru 的“Lessons from Archives”提出的模型报告规范，用于如实披露一个模型的用途、数据、性能与局限。仓库中的 model-card.md 即为 CLIP 的官方模型卡，其核心信息可以归纳为四条主线：

1. 模型身份（Model Details）：发布时间、模型结构、版本列表；
2. 使用边界（Model Use）：预期用途、明确不鼓励/禁止的用途；
3. 数据来源（Data）：训练数据的构成、采集原则（Data Mission Statement）；
4. 性能与局限（Performance and Limitations）：评测基准清单、已知短板、偏差与公平性（Bias and Fairness）结论。

1.1 模型类型：双编码器 + 对比损失

模型卡给出的模型类型描述是：基础模型使用经过若干修改的 ResNet50 作为图像编码器，使用带掩码自注意力（masked self-attention）的 Transformer 作为文本编码器；两个编码器通过**对比损失（contrastive loss）**训练，目标是最大化配对的（图像，文本）相似度。此外还存在将 ResNet 图像编码器替换为 Vision Transformer 的变体。

这一点在随附源码 model.py 中可以逐一对应：

• ModifiedResNet（约 L94-L154）：注释明确列出三处修改——用 3 层 stem 卷积代替 1 层并以 avgpool 代替 maxpool；对步长大于 1 的卷积前置 avgpool 做抗混叠（anti-aliasing strided convolutions）；末端的池化由平均池换成 QKV 注意力池（AttentionPool2d）。
• VisionTransformer（约 L206-L240）：以卷积实现 patch 切分（conv1的 kernel 与 stride 均为 patch_size），拼接 class embedding 与可学习位置编码，经多层ResidualAttentionBlock后取第 0 位（class token）过proj投影到嵌入空间。
• 文本编码器是Transformer，CLIP类通过build_attention_mask()（约 L328-L334）构造上三角为-inf的因果掩码——这正是模型卡所说的“masked self-attention”（causal attention）。
• encode_text（约 L343-L356）取每条序列中 EOT（`

• 示例工程
• 教程