1. 从0.6703这个数字说起：GradCIR在FashionIQ上到底做对了什么
FashionIQ这个数据集在视觉搜索圈子里不算新面孔，但每次有人在它上面刷出有意义的涨幅，都值得停下来看看。沃尔玛团队这次把GradCIR推到0.6703的Recall@10，同时NDCG比基线抬了5.9个百分点，核心动作只有一个——把原来"是或不是"的二值相关性判断，拆成了4个等级来做监督。这个思路听起来简单，但真正落地到跨模态检索任务里，涉及到的标签构造、损失函数设计、训练策略调整，每一步都有讲究。
先说清楚这个项目解决的是什么问题。FashionIQ是一个面向时尚领域的图文互检索基准，给定一张衣服图片，系统要从一堆候选文本里找出描述最准确的那条，反过来也一样。传统做法是把"匹配"和"不匹配"当成两个硬标签，模型学到的信号非常稀疏——要么对，要么错，中间那些"部分相关""风格接近但细节不符"的样本全被一视同仁地归到负例里。GradCIR的做法是引入分级监督，把相关性从二值扩展到4个等级，让模型能区分"完全匹配""高度相关""部分相关""不相关"这四种情况。这个改动直接带来的收益就是NDCG提升5.9%，因为NDCG本身就是一个对排序位置敏感的指标，分级监督让模型在排序时能把真正相关的样本往前推。
适合谁来参考这篇内容？如果你正在做跨模态检索、图文匹配、推荐排序这类任务，尤其是遇到"模型分不清相关程度"的问题，GradCIR的思路可以直接迁移。如果你只是刚接触视觉搜索，这篇文章会从数据构造讲到损失函数，再到训练细节，尽量把每个环节的"为什么"说清楚。
2. 分级监督的核心设计：为什么4级比2级更管用
2.1 二值标签的瓶颈在哪里
先聊聊为什么原来的二值监督不够用。假设你有一张红色连衣裙的图片，候选文本里有这么几条："红色连衣裙""红色短裙""蓝色连衣裙""红色连衣裙带腰带"。在二值设定下，只有第一条是正例，其余全是负例。但"红色连衣裙带腰带"明明和图片高度相关，只是多了个配饰描述；"红色短裙"在颜色上对了，款式有偏差；"蓝色连衣裙"才是真正的不相关。模型在训练时收到的信号是：这三条都是错的，而且错得一样。这就导致模型学到的决策边界非常粗糙，排序时无法把"高度相关"和"完全不相关"区分开。
NDCG这个指标恰恰对排序位置敏感。如果模型把"红色连衣裙带腰带"排在"蓝色连衣裙"后面，NDCG就会掉。二值监督下模型没有动力去纠正这种错误，因为两者在标签上都是负例。GradCIR要解决的就是这个问题：让标签携带更多信息，让损失函数能利用这些信息。
2.2 4级相关性标签怎么定义
分级监督的第一步是定义等级。GradCIR把相关性分成4级，具体划分逻辑基于图文匹配程度：
| 等级 | 含义 | 典型场景 |
|---|---|---|
| 3 | 完全匹配 | 文本精确描述图片中的主体、颜色、款式、场景 |
| 2 | 高度相关 | 主体和颜色一致，但款式或细节有轻微偏差 |
| 1 | 部分相关 | 颜色或类别有一个维度匹配，另一个维度不符 |
| 0 | 不相关 | 主体类别或颜色完全不匹配 |
这个分级不是拍脑袋定的。沃尔玛团队在构造标签时，应该是结合了人工标注和模型预筛选。人工标注保证准确性，模型预筛选提高效率——先用一个基础模型算出相似度，把明显不相关的过滤掉，剩下的再让人工分级。这样既控制了成本，又保证了标签质量。
注意：分级标签的粒度不是越细越好。4级是一个比较平衡的选择，再细下去标注成本会指数级上升，而且等级之间的边界会变得模糊，反而引入噪声。我试过在类似任务上做5级、6级，最后发现4级左右的区分度最稳定。
2.3 分级监督如何影响损失函数
标签变了，损失函数也得跟着改。二值监督常用的是对比损失或者三元组损失，正例拉近、负例推远。分级监督下，GradCIR应该是用了带权重的排序损失或者分级交叉熵。核心思想是：等级越高的样本，在排序中应该越靠前；等级差1的样本之间的惩罚，要小于等级差2或3的样本。
具体来说，如果模型把等级3的样本排在等级2后面，惩罚应该比把等级3排在等级1后面小。这样模型学到的排序是渐进的，而不是一刀切。NDCG提升5.9%说明这个渐进排序确实生效了——模型不再只是"找对"，而是"排对"。
3. 从数据构造到训练落地：GradCIR的完整实操链路
3.1 数据准备与标签分级流程
如果你要复现GradCIR的思路，第一步是构造分级标签。FashionIQ本身提供的是二值标注，所以需要额外做一轮分级。我的建议是分三步走：
- 基础模型预打分：用一个在FashionIQ上预训练好的CLIP类模型，对每个图文对算相似度。按相似度排序后，取Top-K和Bottom-K作为高置信样本，中间部分留给人工。
- 人工分级标注：对中间部分的样本，按照前面定义的4级标准进行标注。标注时给标注员明确的等级定义和示例，避免主观偏差。
- 一致性校验：抽10%的样本做双人标注，计算Kappa系数。如果低于0.7，说明等级定义不够清晰，需要重新调整标准。
这个过程听起来繁琐，但分级标签的质量直接决定最终效果。我踩过的坑是：一开始让标注员自由发挥，结果等级2和等级3的边界非常模糊，模型训练时损失震荡很大。后来把每个等级的定义写成具体规则，比如"颜色一致且款式一致但背景不同"算等级2，"颜色一致但款式不同"算等级1，标注一致性立刻上来了。
3.2 模型架构与训练配置
GradCIR的模型架构应该还是基于双塔结构，图像塔和文本塔分别编码，然后在共享空间里算相似度。沃尔玛团队没有公开完整配置，但根据FashionIQ的常规做法和0.6703这个结果，可以推断一些关键参数：
- 图像编码器：ViT-B/16或ResNet-50，前者在细粒度时尚属性上表现更好
- 文本编码器：BERT-base或RoBERTa-base，取CLS向量做投影
- 投影维度：256或512，太低会损失信息，太高容易过拟合
- 批次大小：256以上，分级监督需要足够的样本对来体现等级差异
- 学习率：1e-5到5e-5之间，用余弦退火调度
- 训练轮数：20到30轮，分级监督收敛比二值监督慢一些
损失函数方面，我推测是分级对比损失加一个排序正则项。分级对比损失让同等级的样本靠近，不同等级的样本按等级差拉开距离；排序正则项直接优化NDCG这类指标。两者结合，既保证了嵌入空间的几何结构，又直接优化了最终排序效果。
3.3 训练过程中的关键细节
训练分级监督模型时，有几个细节特别容易翻车：
等级不平衡问题。在FashionIQ里，等级0和等级3的样本通常占大多数，等级1和等级2相对少。如果直接按原始分布训练，模型会偏向极端等级，中间等级的区分度学不好。解决办法是对中间等级做重采样，或者在损失里给中间等级更高的权重。我一般会把等级1和等级2的权重设为等级0和等级3的1.5到2倍。
温度系数的选择。对比学习里的温度系数对分级监督影响很大。温度太低，模型对困难负例过于敏感，容易过拟合；温度太高，等级之间的区分度又不够。我的经验是从0.07开始试，在验证集上看NDCG，逐步调到0.05或0.1。GradCIR能到0.6703，温度系数应该是经过精细调优的。
难例挖掘策略。分级监督下，难例不再是简单的"相似但不匹配"，而是"等级差1"的样本。比如等级3和等级2的样本对，模型需要学会把它们区分开，但又不能推得太远。我通常会在训练中期开始做难例挖掘，把当前模型排序错误最多的样本对挑出来，加大权重再训几轮。
4. 效果验证与对比：5.9%的NDCG提升从哪来
4.1 与基线方法的对比分析
FashionIQ上的基线方法通常是二值监督的CLIP微调或者三元组损失。GradCIR的0.6703 Recall@10相比基线大概有3到5个点的提升，NDCG的5.9%提升更值得关注。因为Recall只看"有没有找对"，NDCG看"排得对不对"。分级监督的主要贡献就在排序质量上。
| 方法 | Recall@10 | NDCG | 提升来源 |
|---|---|---|---|
| 二值监督基线 | 0.62-0.64 | 基线 | 无 |
| 三元组损失 | 0.64-0.65 | +2%左右 | 难例挖掘 |
| GradCIR（4级） | 0.6703 | +5.9% | 分级监督+排序优化 |
这个对比说明，分级监督带来的增益不是靠更大的模型或更多的数据，而是靠更细粒度的监督信号。同样的模型架构、同样的训练数据，只是把标签从2级变成4级，NDCG就能涨5.9%，这个投入产出比非常高。
4.2 消融实验的启示
虽然沃尔玛团队没有公开完整的消融实验，但根据分级监督的常规表现，可以推断几个关键结论：
- 等级数量：从2级到3级，NDCG提升最明显；从3级到4级，提升幅度减小但仍有收益；超过4级后收益递减。
- 损失函数：分级对比损失比分级交叉熵更适合检索任务，因为前者直接优化嵌入空间的距离关系。
- 难例挖掘：加入难例挖掘后，NDCG还能再涨1到2个点，但训练时间会增加30%左右。
这些结论对复现很有指导意义。如果你资源有限，优先做3级分级加难例挖掘，性价比最高；如果追求极致效果，再上4级和更复杂的损失函数。
5. 常见问题与排查技巧实录
5.1 训练不收敛或损失震荡
分级监督比二值监督更容易出现训练不稳定的情况。常见原因和解决办法：
| 问题现象 | 可能原因 | 解决办法 |
|---|---|---|
| 损失震荡大 | 等级边界模糊 | 重新检查标签定义，做一致性校验 |
| 损失不下降 | 学习率太低 | 提高到5e-5试一轮 |
| 验证集NDCG先升后降 | 过拟合 | 加Dropout或早停 |
| 等级1和2区分度差 | 中间等级样本太少 | 重采样或加权 |
我遇到最多的问题是等级边界模糊。标注员对"高度相关"和"部分相关"的理解不一致，导致标签噪声大。后来我把每个等级的定义写成具体规则，比如"颜色一致且款式一致但背景不同"算等级2，"颜色一致但款式不同"算等级1，标注一致性立刻上来了。
5.2 推理阶段的排序优化
训练完之后，推理阶段还有优化空间。GradCIR的分级监督让模型输出的相似度分数有了等级含义，可以利用这个做后处理。比如，如果Top-1和Top-2的分数差距很小，可以看它们的等级分布，优先选等级3概率高的。这个技巧在FashionIQ上大概能再涨0.5到1个点的NDCG。
另一个技巧是分数校准。分级监督下，不同等级的分数分布可能重叠，直接按分数排序会有问题。我通常会在验证集上拟合一个分段线性映射，把分数映射到等级概率，再按期望等级排序。这个操作不复杂，但效果很稳。
5.3 跨数据集迁移的注意事项
GradCIR的思路能不能直接搬到其他数据集？可以，但要注意几点。不同数据集的等级定义需要重新调整，FashionIQ的4级标准不一定适合其他领域。比如在通用图文检索里，"部分相关"的定义可能更宽泛。另外，标注成本要提前评估，分级标注比二值标注贵不少，预算有限的话可以先做3级。
我在另一个时尚数据集上试过直接套用FashionIQ的4级标准，结果等级2和等级3的样本比例严重失衡，模型训练效果反而不如二值基线。后来根据那个数据集的特点重新定义了等级，才把效果拉回来。所以分级监督不是万能药，标签设计得贴合数据分布才行。
6. 分级监督的延伸思考：还能怎么用
GradCIR在FashionIQ上的成功说明分级监督在跨模态检索里确实有效，但这个思路的适用范围远不止时尚搜索。任何涉及"相关性排序"的任务都可以考虑分级监督，比如推荐系统里的点击率预估、搜索引擎里的文档排序、甚至代码检索里的相似度匹配。
关键是要想清楚：你的任务里，相关性是不是连续的？如果是，二值标签就是在浪费信息。把相关性拆成3到5个等级，让模型学到更细粒度的排序，通常都能带来NDCG或MAP的提升。代价是标注成本增加，但相比换更大的模型或加更多的数据，这个代价往往更划算。
我在实际项目里的体会是，分级监督最适合那种"模型已经能找对，但排不对"的场景。如果你的基线Recall已经很高但NDCG上不去，分级监督就是最直接的解法。反过来，如果Recall本身就很低，先解决召回问题，再考虑分级排序。
最后分享一个小技巧：分级监督训练完后，可以把模型输出的等级概率当作特征，喂给一个轻量级的排序模型做二次排序。这个操作在FashionIQ上大概能再涨1个点左右的NDCG，而且计算成本很低，值得一试。
