域泛化旨在训练模型,使其在无法访问目标域数据的情况下,仍能对未见目标域保持稳健性能。视觉-语言基础模型因其固有的分布外泛化能力,为域泛化开辟了新途径。然而,现有方法对类级文本锚点的静态对齐,仍不足以处理来自多样域特定视觉特征的巨大分布差异。
本文提出SBGen,一种用于视觉域泛化的跨模态薛定谔桥。其核心思想是:把从域特定视觉表示到域无关文本语义的对齐,建模为受控随机过程;该过程在两个分布之间插值,同时保持接近先验。SBGen包含三个阶段:
文本引导的域感知特征选择:从源图像中提取与类级文本查询对齐的局部视觉token,使模型关注语义相关内容,避免域特定干扰;
随机跨域演化:将薛定谔桥建模为带可学习查询条件漂移的时间索引随机微分方程,并离散化模拟,生成演化特征轨迹;
随机域无关插值:利用这些特征桥接源表示与语义锚点。