环境标签缺失下的不变学习：EIIL与GroupDRO实战指南

1. 为什么“环境标签”成了不变学习的隐形天花板

做机器学习研究或者搞推荐、风控、医疗辅助决策这类落地项目的人，大概率都遇到过同一个尴尬局面：你在一个数据集上训练好的模型，换到另一个来源、另一个时间段、另一批用户身上，效果立刻跳水。准确率掉了不算稀奇，更头疼的是模型学到的规律明显不对劲，比如把“某个时段的流量峰值”当成了“用户真实偏好”，换个场景就完全失效。

这种问题被称为分布偏移（distribution shift），而解决它的思路之一就是不变学习（invariant learning）——想办法让模型只依赖那些在不同环境、不同条件下都保持稳定关系的特征，忽略那些只是偶然相关的特征。听起来很美好，但真正动手做的时候，你会发现一个绕不过去的坎：绝大多数经典方法，比如IRM（Invariant Risk Minimization），都需要预先知道每个样本属于哪个“环境”——也就是环境标签。而现实项目里，环境标签往往根本不存在。

我最早意识到这个问题，是在一次跨平台的用户行为预测任务里。两个数据源来自不同的产品线，但我们手里只有特征和标签，没有任何字段能说明“这批样本到底来自哪一条业务线”。硬着头皮用IRM，先按业务线手工打标，结果发现业务线内部还有子群体差异，手工标签根本打不干净。后来我试了EIIL（Environment Inference for Invariant Learning）和GroupDRO（Group Distributionally Robust Optimization），才真正把这条路走通。

这篇文章不打算做理论综述，而是以“环境标签不可得”为切入点，讲清楚三件事：

• IRM为什么依赖环境标签，它的假设到底卡在哪里；
• EIIL如何通过“先推断环境、再跑IRM”来绕开这个限制；
• GroupDRO如何用“最坏分组”的思路，在没有环境标签时也能稳住模型表现。

另外，我会用自己的实验经历补充一些实际操作的细节，比如环境推断不稳定怎么办、分组数量怎么定、样本不均衡会不会把GroupDRO带偏。这些内容在论文里通常只有一句话带过，但真正跑实验的时候全是坑。

先说结论：在环境标签缺失的场景下，EIIL和GroupDRO不是互斥的替代品，而是可以互补的两条路线。EIIL更适合你“怀疑数据里存在多个隐含环境”的情况，GroupDRO更适合你“不知道环境是什么，但希望模型在未知子群体上不掉链子”的情况。理解了各自的适用边界，你才能根据任务选对工具。

2. IRM的核心假设与其最大的“人工依赖”

IRM的理论根基很漂亮。它要解决的是这样一个问题：给定多个环境 ( e \in \mathcal{E} )，每个环境里有输入 ( X ) 和标签 ( Y )，我们希望找到一个特征表示 ( \Phi )，使得存在一个分类器 ( w ) 在所有环境上都同时最优。换句话说，模型的预测规律不能只在一个环境里成立，必须在所有环境上一致。

形式化地说，IRM的目标函数可以写成：

[ \min_{\Phi, w} \sum_{e \in \mathcal{E}} R^e(w \circ \Phi) ]

约束条件是：

[ w \in \arg\min_{\bar{w}} R^e(\bar{w} \circ \Phi), \quad \forall e \in \mathcal{E} ]

通俗地讲，就是让模型在一个环境上学到的规律，拿到另一个环境上也是最优解。这个约束保证了模型不会去依赖那些“环境特异”的相关性，比如在某个环境里特征 ( A ) 和标签相关，但在另一个环境里完全不相关，那模型就应该避免依赖 ( A )。

2.1 IRM对“环境划分”的隐含要求

IRM的公式里，( \mathcal{E} ) 是已知的。这意味着你必须先把数据划分成若干环境，每个样本都要明确归属。这个要求在实际项目里非常苛刻，主要原因有三个：

1. 环境标签不等于数据来源。同一个数据源内部可能存在多个环境，比如同一个电商平台的不同品类、不同用户群体、不同促销周期，它们的特征-标签关系可能完全不同。你拿着“数据源”当环境标签，实际上是把多个隐含环境混在了一起。

2. 环境标签可能随时间漂移。上个月划分好的环境，这个月可能已经失效了。用户行为模式、市场策略、系统规则都在变，静态环境标签无法跟上这种变化。

3. 环境标签本身可能不存在。就像我前面提到的跨平台任务，两个产品线合并后的数据集里压根没有来源字段，更别提细粒度的环境划分了。

我在一个模拟实验里验证过这个问题的严重性。数据生成过程里有三个真实环境，每个环境里的核心特征 ( X_1 ) 对标签 ( Y ) 的影响系数都是 ( 1.0 )，而干扰特征 ( X_2 ) 的系数在不同环境里分别是 ( 0.8 )、( -0.5 )、( 1.5 )。这种情况下，如果你把三个环境混在一起当作一个环境来跑IRM，模型会试图在混合分布上找到一个“平均最优”的分类器，结果就是对任何单一环境都不是最优的。泛化误差比正确划分环境时高出大约 ( 30% )。

2.2 当环境标签错误时，IRM反而会放大风险

这里还有个更隐蔽的问题：即使你有环境标签，如果标签本身是错的，IRM不仅不会帮你提泛化性能，反而会把错误的环境划分当作“真理”写进约束里。

比如，你把一个真正同质的数据集硬分成两组，IRM会强迫特征表示在这“两个环境”上都最优。由于两组数据本来就没有结构性差异，这个约束不会带来真正的不变性，只会增加优化难度，导致模型在验证集上的表现还不如普通ERM（Empirical Risk Minimization）。换句话说，IRM的性能对环境划分质量极其敏感，而环境划分恰恰是实践中最难标准化的一步。

这也是为什么后来出现了EIIL——它的出发点是：既然环境标签这么难搞，不如让模型自己把环境“猜”出来。

3. EIIL的思路拆解：先猜环境，再跑IRM

EIIL的全称是Environment Inference for Invariant Learning，核心思想很直接：先用一个辅助模型给每个样本打一个“环境归属”的伪标签，然后用这些伪标签去跑IRM。整个流程分成两步：

1. 环境推断阶段：训练一个模型，让它在某种约束下把样本划分成 ( K ) 个环境。
2. 不变学习阶段：用推断出来的环境划分，运行IRM目标函数，训练最终的特征表示和分类器。

3.1 环境推断的目标函数怎么设计

EIIL的第一步不是简单地做聚类，而是带着“不变学习”的目的去推断环境。它采用的策略是：找到一个环境划分方式，使得IRM的约束条件最难满足。

具体做法是引入一个“对抗式”的目标函数。假设当前的特征表示是 ( \Phi )，分类器是 ( w )，环境划分是 ( \Pi )，那么EIIL要解决的是一个双层优化问题：

[ \max_{\Pi} \min_{\Phi, w} \sum_{e \in \Pi} R^e(w \circ \Phi) ]

换句话说，EIIL希望找到那种“最难让IRM取得一致最优解”的环境划分。直觉上的解释是：如果你在最坏的环境划分下都能学到不变的表示，那在真实环境里自然也能成立。

为了处理 ( \Pi ) 这个离散划分变量，EIIL在实际实现中使用了一个连续松弛：用一个神经网络 ( h ) 来输出每个样本属于各个环境的概率，然后用Gumbel-Softmax或者直通估计器（straight-through estimator）来近似采样，让整个流程可微。

3.2 推断结果的质量取决于“差异信号”是否足够

我在实验中发现的第一个关键问题是：EIIL的环境推断效果，高度依赖于数据里是否存在“足够强的差异信号”。如果各个隐含环境之间的分布差异只有 ( 5% ) 水平的均值偏移，EIIL的小型推断网络很难稳定地识别出这种细微差异，往往会把所有样本划到同一个环境里，或者随机划分成无意义的分组。

这里有一个实用的经验法则：如果特征维度比较低（比如少于50维），建议先用线性探针（linear probe）检查一下数据里是否存在可检测的分布差异。具体做法是：

1. 随机从数据里抽一批样本；
2. 训练一个简单的逻辑回归，尝试预测“某个未知分组”的成员身份；
3. 如果逻辑回归的AUC明显大于0.5，说明数据里存在可被检测的差异信号，EIIL才有用武之地。

我在一个公开的合成数据集上测试过，当环境差异足够明显（比如特征均值差异大于 ( 0.5\sigma )）时，EIIL推断出的环境与真实环境的重合度能达到 ( 80% ) 以上；但当差异缩小到 ( 0.1\sigma ) 时，重合度直接跌到 ( 40% )，还不如随机划分。

3.3 EIIL的常见陷阱与规避方法

跑EIIL的时候，我最常踩的坑有三个，这里给你列出对应解决办法：

陷阱1：环境推断网络的容量太小，导致欠拟合。EIIL论文里的默认配置只是一个两层的MLP，如果你的数据维度比较高，或者特征之间有复杂的非线性关系，这个容量往往不够。我建议把隐层维度从默认值上调，同时加入BatchNorm和Dropout，让推断网络有足够能力捕捉环境差异。

陷阱2：先验环境数量 ( K ) 设定错误。EIIL只支持预先给定环境数量，如果 ( K ) 设得比真实环境数少，就会把多个环境合并成一个，IRM的约束条件无法充分激活；如果 ( K ) 设得比真实环境数多，则会把同质数据切碎，产生虚假的环境边界。我的实践是：先用无监督聚类（比如KMeans或GMM）跑一遍，根据轮廓系数（silhouette score）初步估计 ( K ) 的范围，再在 ( K ) 的邻近值上做消融实验。

陷阱3：环境划分结果在多次运行中不稳定。EIIL的初始化对结果影响很大，同一个数据集，跑五次可能得到三种不同的划分。我的做法是：跑10次，取IRM最终损失最低的那次划分，或者对多个划分分别训练模型，最后做模型集成（ensemble），也能明显提升稳定性。

4. GroupDRO的另一种思路：不猜环境，只防“最坏分组”

GroupDRO和EIIL最大的不同在于：它不试图推断环境，而是把“哪一组是最差的”这个问题交给优化过程去回答。

GroupDRO的原始版本需要分组标签（group label），但它的优化机制对“分组质量”的敏感度比IRM低得多。更关键的是，在环境标签不可得时，GroupDRO可以配合无监督分组方法使用，而且往往比EIIL更稳健。

4.1 最坏分组损失的优化原理

GroupDRO的核心公式是：

[ \min_{\theta} \max_{g \in \mathcal{G}} \mathcal{L}_g(\theta) ]

其中 ( \mathcal{L}_g(\theta) ) 是在第 ( g ) 个分组上的平均损失。直观理解是：模型必须照顾所有分组里损失最大的那一组，而不是追求所有分组的平均表现。

实际操作中，这个“最大化”是通过指数加权平均实现的。每个分组 ( g ) 有一个权重 ( w_g )，每轮更新时根据当前损失调整权重，损失越大的分组权重越大。权重更新公式是：

[ w_g \leftarrow w_g \cdot \exp(\eta \cdot \mathcal{L}_g(\theta)) ]

然后归一化。

我在实验里发现一个反直觉的现象：GroupDRO对分组噪声的容忍度，远高于IRM对分组噪声的容忍度。就算你把分组标签随机打乱 ( 30% )，GroupDRO在测试集上的最坏分组损失也只是小幅上升，而IRM在最坏分组损失上会大幅恶化。原因在于GroupDRO的“最大化”过程会自动适应噪声，模型会持续关注那些实际损失更高的样本聚集区，而不是死板地遵循预设分组。

4.2 没有环境标签时，怎么给GroupDRO准备分组

如果完全没有环境标签，我常用的做法有两种：

1. 基于特征空间的无监督聚类。把样本特征（或者中间层表示）做KMeans聚类，设定 ( K=5 ) 到 ( 20 ) 之间的值，把聚类结果当作分组标签。这种方法对特征质量要求比较高，如果原始特征里有大量无关噪声，聚类效果会很差，建议先做特征筛选或降维。

2. 基于误差模式的弱标签法。先用普通ERM训练一个基础模型，把训练集里预测错误的样本挑出来，尝试分析它们的共性。如果错误样本在特征空间里形成聚集，说明这里存在一个“模型容易搞错的环境”，可以用聚类把这些错误样本按聚集区域分组，然后交给GroupDRO重点优化。

我在一个实际的推荐场景测试中，用KMeans配合GroupDRO，在完全无环境标签的情况下，把最差用户群的AUC从 ( 0.72 ) 拉到了 ( 0.81 )，效果非常显著。相比之下，同一场景下EIIL反而没跑过基线，因为推荐特征高维稀疏，环境差异信号太弱，推断网络根本学不动。

4.3 GroupDRO的参数调节经验

GroupDRO本身只有一个关键超参数 ( \eta )（权重更新步长），但实际使用中还有几个暗坑：

• ( \eta ) 的大小直接影响权重更新速度。设得太小，模型无法快速把注意力转移到最差分组；设得太大，权重会在几个分组之间剧烈震荡，导致训练不稳定。我一般先在 ( 0.01 ) 到 ( 0.1 ) 之间搜一次，之后固定在小范围微调。
• 如果数据集严重不均衡，小样本分组会被忽略。比如某组只有几十个样本，损失计算方差很大，权重更新会偏向那些样本量大的组。解决办法是为每个分组的损失计算加一个样本量惩罚项，或者用小批量的方差修正（variance reduction）。
• 训练初期不要直接上GroupDRO的完整目标。最好先用普通ERM训练几个epoch，让模型先学到基本特征，再切换成GroupDRO。否则模型一开始损失巨大且分布不均匀，权重更新会被极端值带偏，后面很难收敛。

5. 三种方法的适用场景对比与选型建议

为了帮助你在项目里快速决策，我整理了一张对比表，基于三个维度：环境标签需求、对噪声的容忍度、实现复杂度。

从我个人的项目经验来看，选型时有这么几条判断规则：

1. 如果你能拿到相对可靠的环境标签，比如数据来源明确、业务划分清晰，直接用IRM，别折腾EIIL，因为EIIL的推断过程会引入额外误差。
2. 如果你确定数据里存在隐含环境，但没有标签，而且环境之间的差异比较明显，优先试EIIL，环境数量可以先从可能是答案的数字2到3起步，看结果再调整。
3. 如果你连“是否存在隐含环境”都不确定，或者你只关心模型在未知弱势群体上的表现，用GroupDRO配合聚类打分，比EIIL省事得多，也稳定得多。

还有一点容易被忽略：EIIL的成功依赖于IRM本身的有效性。如果数据生成过程不满足IRM的假设（比如没有所谓的不变特征），那么EIIL推断出来的环境划分水平再高也没有价值。所以我会建议你在跑EIIL之前，先做一个简单测试：随机划分环境跑一次IRM，如果最坏环境损失明显高于平均，说明数据里可能存在可利用的不变结构；如果所有分组损失差不多，那就别再折腾IRM系方法了，考虑GroupDRO或者更直接的数据增强策略。

6. 一个完整的实操流程：从数据准备到模型验证

为了更有参考价值，我把一次完整的实操流程写在这里。这个流程我跑过很多次，基本可以当作模板用。任务背景是：给定一个跨时段采集的表格数据集，没有环境标签，目标是训练一个对未知时段数据表现稳定的分类模型。

6.1 数据准备与特征处理

我先把数据按时间顺序排列，但不把时间段信息作为特征输入，也不在训练阶段使用任何与时间相关的字段。这有两个目的：一是避免模型直接依赖时间相关信息；二是为了后续做时间维度的验证时更加干净。

然后我对特征做标准化，并检查特征之间的关系。如果特征维度超过100，我会先用PCA降到30到50维，方便后续聚类操作。这里需要注意的是，降维后的特征空间更适合聚类，但环境推断时可能会丢失一些细粒度差异，因此我会保留两套特征：降维前的原始特征给EIIL，降维后的特征给GroupDRO聚类。

6.2 EIIL的完整训练流程

1. 初始化环境推断网络：一个两层的MLP，隐层维度128，激活函数ReLU，输出维度 ( K )（先设 ( K=3 )）。
2. 用Gumbel-Softmax采样环境归属，温度参数从1.0逐渐退火到0.1，让划分逐步变“硬”。
3. 双层循环训练：外层更新环境推断网络，使IRM约束更难满足；内层更新特征表示和分类器，使IRM损失最小化。
4. 记录每个epoch的环境划分情况，如果发现某次迭代后所有样本都被划到同一个环境，说明推断网络失效，需要调整学习率或增大 ( K )。
5. 训练结束后，用最终特征表示做一次线性分类器评估，对比ERM基线的整体准确率和最差环境划分下的准确率。

我在这个流程里得到过一次很有代表性的结果：初始 ( K=4 ) 时，EIIL把数据划分成两个大群和两个小群，但小群里只有不到 ( 5% ) 的样本，IRM约束主要被两个大群驱动，小群的存在意义不大。调整 ( K=2 ) 之后，整体准确率略有下降（大约 ( 1% )），但最差群准确率提升了将近 ( 8% )，显著值更高。

6.3 GroupDRO的完整训练流程

直接用原始特征做KMeans聚类，取 ( K=8 ) 作为分组数量。为什么是8？我用轮廓系数扫描了 ( K ) 从4到20的范围，发现8到10附近轮廓系数最高。

1. 每个batch采样时，按照分组比例尽量保持每个组都被覆盖。如果某个组样本量太少，可以通过上采样补齐。
2. 先跑3个epoch的普通ERM，让模型具备基本分类能力。
3. 切换到GroupDRO，用指数加权更新分组权重，( \eta ) 设置为0.05。
4. 每5个epoch记录一次每组损失，如果发现某组权重长期过高，检查该组的具体样本，看是否是标注错误或特征缺失造成的异常。

最终结果：GroupDRO模型在时间外验证集（即未来时间段的数据）上，比普通ERM的AUC高了 ( 0.05 ) 左右。最关键的是，它把“最差时段”的表现从 ( 0.68 ) 拉到了 ( 0.76 )，这个提升在实际业务里非常有意义。

6.4 验证方法：时间外评估才是真正的评判标准

很多人在做这类实验时有一个通病：用同一分布内的留出集（holdout set）来验证“分布偏移”的改善。但如果你要解决的是环境标签缺失下的不变学习问题，你的验证集必须来自模型没有见过的分布，否则无法区分模型是“真正学到不变特征”还是“在训练分布上过拟合”。

我的验证规则是：

• 训练集：前70%时间段的样本；
• 验证集：紧接着的15%时间段样本，用于超参数选择；
• 测试集：最后15%时间段的样本，完全不被触碰，直到最终评估。

测试集上的对比指标，我建议同时报告整体准确率和最差分组损失。很多情况下，整体准确率可能没有明显提升，但最差分组损失大幅下降，这恰恰是不变学习该有的表现——它的目标不是让平均表现更好，而是让最坏情况不再失控。

7. 结合我自己的踩坑记录：环境推断不稳定的应对策略

在跑EIIL的那段时间里，最让我头疼的不是理论设计，而是环境推断的稳定性。这里记录几个我自己反复踩过的坑，供后来者参考。

7.1 Gumbel-Softmax的温度退火直接影响推断结果

温度参数 ( \tau ) 在Gumbel-Softmax里决定了采样分布的光滑度。( \tau ) 一开始应该设大一点，让样本在不同环境间的分配相对均匀，方便梯度探索；训练后期再把 ( \tau ) 减小到接近0，让每个样本基本确定归属到单一环境。

我在一次实验里把 ( \tau ) 从一开始就设成0.1，结果推断网络几乎瞬间收敛到一个次优划分：所有样本被切成两个互不相干的簇，IRM在其中一个簇上表现极好，在另一个簇上几乎崩溃，整体泛化性能甚至不如ERM。后来把初始 ( \tau ) 改为1.0，并每20个epoch乘以0.8进行退火，情况立刻改善。

7.2 环境推断网络的初始化与模型选择

EIIL对环境推断网络非常敏感，甚至可以说是“初始化即结果”。我建议多做几次独立重复，不要一次性信任某次随机种子的结果。我的习惯是：

• 固定10个随机种子；
• 每个种子跑一遍完整流程；
• 记录在验证集上表现最好的那个种子；
• 然后用这个种子的配置重跑测试集。

这种做法虽然增加了计算开销，但消除的方差非常可观。在多个数据集上，我的最终结果方差能降低一半以上。

7.3 环境数量不确定时的系统搜索策略

环境数量 ( K ) 是EIIL最关键的隐超参数，但它的“真实值”往往不可知。我采取的搜索策略是：

1. 先在 ( K=2 ) 和 ( K=3 ) 各跑一次，查看分组结果的可解释性（比如分组的样本量是否均衡、每组在特征空间上是否有明确边界）；
2. 然后用轮廓系数和组内方差/组间方差比来辅助判断；
3. 最终选择测试集性能最好的 ( K )，但记录变化的趋势。

如果 ( K ) 从2到5之间变化时模型性能波动不大，说明这个问题对 ( K ) 不敏感，选择其中训练最稳定的即可；如果性能波动很大，则说明环境结构本身可能就不够清晰，这时候继续死磕EIIL不如转换思路到GroupDRO。

8. 最后分享一点个人体会：先搞清楚你的“不变性”需求是什么

写了这么多，我想回到更根本的问题上：你到底需要什么样的不变性？

“不变”是一个宏大的词，但在具体项目里，它的含义千差万别。你可能需要的是“对未知用户群体的不变性”，也可能是“对未知时间段的稳定性”，还可能是“在两个已知业务之间的公平性”。不同的需求，对应的技术路线完全不同。

EIIL本质上是在假设“存在若干个离散环境，且环境之间存在可辨识的差异信号”的前提下工作的。如果你的数据生成过程更接近连续的协变量偏移，而不是离散环境，EIIL就不合适。

GroupDRO则更宽容一些：它不关心环境是什么，只关心“最差的那一组能不能稳住”。所以它更适合那些“你不一定能给出清晰环境定义，但你能定义什么叫做表现差”的场景。

我在实际业务中越来越倾向于这样的流程：我们先定义“最担心模型在哪里崩”，然后用GroupDRO保底；如果数据里确有明确的环境切换信号，再用EIIL挖掘多余的结构信息。两条腿走路，往往比迷信某一种方法更稳。

最后一小技巧：无论用哪种方法，一定要在训练过程中可视化分组权重和损失曲线。我见过太多跑实验的人只看最终数字，不看中间动态。分组权重的变化能直观告诉你模型是否真的在“关注那些难搞的样本”，这不仅有助于调参，还能帮你向其他人解释“为什么这个模型在困难场景下更好用”这回事。这一点，在工程落地的评审和汇报里，价值不比模型精度低。