文章主要内容和创新点
主要内容
本文提出了一种名为PRISM（Projection-based Reduction of Implicit Spurious bias in vision-language Models）的方法，用于减少视觉-语言模型（如CLIP）中的隐性虚假偏见。该方法具有无数据依赖和任务无关的特点，主要通过两个阶段实现去偏：
- 第一阶段：利用大型语言模型（LLM），基于简单的类别提示生成包含虚假关联的场景描述，动态识别数据中潜在的虚假属性（如“骆驼”与“沙漠”的不当关联）。
- 第二阶段：提出一种新的潜在空间去偏损失（Latent space Debiasing Loss, LD），通过对比学习的方式学习一个投影矩阵，将嵌入空间映射到一个新的子空间。该子空间可最小化虚假关联的影响，同时保留图像与文本嵌入的语义对齐。
实验表明，PRISM在Waterbirds和CelebA数据集上的去偏性能（最差分组准确率）优于现有方法，且不会降低模型的整体准确率。此外，文中还提出了轻量版PRISM-mini，适用于计算资源有限的场景。
创新点
- 动态识别虚假关联：利用LLM生成反映数据中常见虚假关联的文本描述，无需依赖预定义的偏见类别，实现了任务无关的偏见识别。
