参保意愿预测5-标签定义与时间切分的坑-育师

参保意愿预测5-标签定义与时间切分——一个模型最容易被忽略的两个坑

模型上线后数字对不上业务预期，最常见的两个根源不在模型——在标签定义和时间切分。“最终参保"还是"当年参保”、随机切分还是时间切分——这两个决定比选RF还是GBDT重要一百倍。这篇用参保预测项目的实际取舍讲透这两个坑。

扩面动员的参保转化有三条路径：

①经办员上门调查 → 当场/事后参保 ②协管员通知 → 本人自行去办 ③完全自主 → 无人触达自己参保

我们的标签是路径无关的：LABEL = 名单生成时未参保，后续任一路径参保 = 1。

这个定义的语义后果：模型分数的含义是"这个人最终会不会参保"——不是"上门动员这个人会不会转化"。

自主参保的人（路径③）可能本来就要参保——没人动员他也缴。这些人被标成LABEL=1进了训练集——模型学到的部分规律是"谁本来就想缴"而不是"谁被动员后会缴"。

如果动员策略团队拿着分数问"Top15%的人上门转化率能有多少"——答不了。分数98%的人群里混着"不用动员也会缴"的人，上门转化的边际贡献没法从总分数里剥离。

MODEL_CARD的限制第3条把这个写死了：“分数含义是参保概率，不是上门动员转化率”。

需要重建标签：只保留被上门动员过的人（路径①），label=上门后是否参保。这要求动员台账记录触达方式和触达结果——当前数据只有最终参保状态。

这就是"标签定义受限于数据生产"的典型——你想要的最优标签，数据经常不支持。妥协方案（路径无关标签）要先想清楚妥协的代价：分数能用于排序资源投放，不能用于评估单路径效果。

LABEL=1：名单生成后，到数据导出日为止，任何时候参保都算

问题：导出日之前跨了多久？如果第一批名单是三年前的——三年里陆续参保的人都算正样本。而业务要的是"今年动员、今年参保"。

“不限期最终参保"的命中率天然高于"当年参保”——我们的Top15%命中率98%是"不限期"口径。如果按年度任务量解读——MODEL_CARD主动写明可能高估10-20个百分点。

train_test_split(...,stratify=LABEL,random_state=42)# train 17,628 / val 3,777 / test 3,778

分层保证三集正负比一致——统计上干净。

假设2023年名单和2025年名单的人群结构不同（政策变了、经济变了、上一轮动员把容易转化的都转走了）——随机切分把2023和2025的数据混在一起，test集里混着train集同时期的"邻居样本"。

模型在test上的表现被同时期相似性抬高——上线面对2027年的全新名单时，真实性能可能低于test指标。

时间切分（早期训练、后期验证）模拟的是真实上线场景：模型永远在预测"未来"的数据。它给出的指标更接近线上真实表现。

数据里没有参保日期字段（INSURE_DATE） ——无法按时间排序，无法定义"早期"和"后期"

立项要求写了时间切分，数据不支持——随机分层是有记录的妥协（MODEL_CARD 2.3节），不是疏忽。改进方向第一条（★★★）就是"补INSURE_DATE改时间切分"。

这个项目里随机vs时间的差异有多大——不知道，因为没法测（没日期字段）。但可以预判方向：

两个力方向相反——真实偏差要等有日期数据后重切分才能量化。当前文档的处理是诚实标注风险而非假装没有。

给任何监督学习项目定标签前先问：

①这个标签在业务上等于什么动作的结果？ ②预测时点之后、标签发生之前的中间过程，有没有模型不该知道的信息混进去？ ③标签的时间窗口是什么——和业务的考核窗口一致吗？

参保项目的答案：①三条路径混合的结果；②收入等调查信息在标签发生前产生（泄漏源）；③不限期vs当年的错位（高估10-20pp）。

不是所有数据都需要时间切分——判断依据是样本间有没有时间相关性：

扩面名单是跨年度累积——属于第二类。没切是因为数据缺字段，不是不需要。