自动化特征选择流水线设计：从过滤法到嵌入法的级联策略
一、特征选择在机器学习流水线中的定位
特征选择是机器学习建模中一个容易被低估的环节。在Kaggle竞赛和学术论文中，特征选择往往被简化为"用XGBoost的特征重要性取top-K"——这种单一方法在特征维度不过千、特征间低冗余的理想条件下尚可工作，但在工业级场景（特征维度数千至上万、高冗余、混合类型）中远不够用。
自动化特征选择流水线的目标是：在不需要人工逐特征审查的前提下，系统性地从原始特征空间中筛选出对模型性能贡献最大、冗余度最低的特征子集。这一流水线需要处理三种特征问题：不相关特征（与目标变量统计独立）、冗余特征（与已选特征高度相关但不提供增量信息）、噪声特征（与目标变量的关系仅在训练数据中偶然成立）。
二、过滤法阶段：低成本高召回的特征粗筛
过滤法（Filter Methods）通过对每个特征独立计算统计量来评估其与目标变量的关联度，计算复杂度为O(N)（N为特征数）。这一阶段的目标不是选出最优特征子集，而是以高召回率剔除明显无用的特征，将特征空间压缩到包裹法能够高效处理的范围。
方差阈值是最简单的过滤器：训练集中方差接近0的特征（如99.9%的值为单一常量的特征）在任何模型中都无法提供区分信息，应直接剔除。实践中，这一简单步骤常常能移除非独热编码的类别特征中占比不足0.1%的稀有类别。
F-score/相关系数衡量单特征与目标变量的线性关系强度。对于回归问题使用Pearson相关系数，对于分类问题使用ANOVA F-value。阈值的设定不应使用绝对数值（如F>10），而应使用百分比（如保留F-score排名前70%的特征）——这样在不同数据集上具有一致的筛选比例。
**互信息（Mutual Information）**捕获了非线性依赖关系，是相关系数的有效补充。一个典型的例子是：对于XOR模式的数据（x1 XOR x2 = y），x1和x2各自与y的相关系数为0（线性不可分），但互信息非零。在特征空间中同时计算相关系数和互信息，对两者都低的特征进行剔除，比单一指标更稳健。
""" 自动化特征选择流水线：三阶段级联策略的完整实现 """ import numpy as np from sklearn.feature_selection import ( VarianceThreshold, SelectKBest, f_classif, mutual_info_classif, RFE ) from sklearn.ensemble import RandomForestClassifier from sklearn.linear_model import LogisticRegression from sklearn.model_selection import cross_val_score class AutoFeatureSelector: """三阶段级联特征选择器。 Phase 1 - 过滤法：方差 + F-score + 互信息的三重粗筛 Phase 2 - 包裹法：基于LightGBM的递归特征消除 Phase 3 - 嵌入法：L1正则化Logistic Regression的精筛 各阶段的保留比例通过参数控制，适配不同的计算预算。 """ def __init__( self, phase1_var_threshold: float = 0.01, phase1_fscore_percentile: float = 70.0, # 保留F-score前70% phase1_mi_percentile: float = 70.0, # 保留MI前70% phase2_rfe_step: int = 50, # RFE每步移除的特征数 phase2_target_features: int = 500, # RFE目标特征数 phase3_c: float = 0.1, # L1正则化强度（C越小越强） cv_folds: int = 5, random_state: int = 42, ): self.phase1_var_threshold = phase1_var_threshold self.phase1_fscore_percentile = phase1_fscore_percentile self.phase1_mi_percentile = phase1_mi_percentile self.phase2_rfe_step = phase2_rfe_step self.phase2_target_features = phase2_target_features self.phase3_c = phase3_c self.cv_folds = cv_folds self.random_state = random_state # 记录每阶段保留的特征索引 self.selected_indices_ = None def fit(self, X: np.ndarray, y: np.ndarray) -> np.ndarray: """执行三阶段特征选择。 Args: X: 特征矩阵 (n_samples, n_features) y: 目标变量 (n_samples,) Returns: np.ndarray: 被选中特征的布尔掩码 """ n_samples, n_features = X.shape current_mask = np.ones(n_features, dtype=bool) current_indices = np.arange(n_features) # ---- Phase 1: 过滤法 ---- # 1a. 方差阈值 vt = VarianceThreshold(threshold=self.phase1_var_threshold) X_filtered = vt.fit_transform(X[:, current_mask]) var_mask = vt.get_support() # 选择经过方差过滤后的特征 current_indices = current_indices[var_mask] current_mask = np.zeros(n_features, dtype=bool) current_mask[current_indices] = True if len(current_indices) <= self.phase2_target_features: # 特征已经足够少，跳过Phase 2直接进入Phase 3 pass else: # 1b. F-score过滤（ANOVA） f_selector = SelectKBest( f_classif, k=max(1, int(len(current_indices) * self.phase1_fscore_percentile / 100)) ) f_selector.fit(X[:, current_indices], y) f_mask = f_selector.get_support() # 1c. 互信息过滤 mi_selector = SelectKBest( mutual_info_classif, k=max(1, int(len(current_indices) * self.phase1_mi_percentile / 100)) ) mi_selector.fit(X[:, current_indices], y) mi_mask = mi_selector.get_support() # 取并集：F-score或MI中任一指标通过的特征都保留 # （高召回策略，避免过早丢弃互补特征） combined_mask = f_mask | mi_mask current_indices = current_indices[combined_mask] current_mask = np.zeros(n_features, dtype=bool) current_mask[current_indices] = True # ---- Phase 2: 包裹法（递归特征消除） ---- n_remaining = len(current_indices) if n_remaining > self.phase2_target_features: # 使用LightGBM作为基模型（快速训练） estimator = RandomForestClassifier( n_estimators=100, max_depth=5, random_state=self.random_state, n_jobs=-1 ) rfe = RFE( estimator=estimator, n_features_to_select=self.phase2_target_features, step=self.phase2_rfe_step, # 每步移除50个特征以加速 ) rfe.fit(X[:, current_indices], y) rfe_mask = rfe.support_ current_indices = current_indices[rfe_mask] current_mask = np.zeros(n_features, dtype=bool) current_mask[current_indices] = True # ---- Phase 3: 嵌入法（L1正则化） ---- if len(current_indices) > 10: lr = LogisticRegression( penalty="l1", C=self.phase3_c, solver="saga", # saga支持L1和稀疏解 max_iter=5000, random_state=self.random_state, ) lr.fit(X[:, current_indices], y) # 选择系数非零的特征（L1的稀疏解特性） l1_mask = np.abs(lr.coef_[0]) > 1e-10 current_indices = current_indices[l1_mask] current_mask = np.zeros(n_features, dtype=bool) current_mask[current_indices] = True self.selected_indices_ = current_mask return current_mask def transform(self, X: np.ndarray) -> np.ndarray: """应用特征选择""" if self.selected_indices_ is None: raise ValueError("请先调用 fit() 方法") return X[:, self.selected_indices_]三、包裹法与嵌入法的互补关系
包裹法（Wrapper Methods）在过滤法的基础上，通过实际训练模型来评估特征子集的质量。理论上，包裹法能找到针对特定模型最优的特征子集，但其两个根本性缺陷限制了实际应用：计算复杂性（特征子集搜索空间为2^N，即使使用RFE的贪心策略，每轮仍需完整训练模型）和过拟合风险（在验证集上挑选特征子集本身是一种超参数选择行为，容易过拟合到验证集）。
嵌入法（Embedded Methods）将特征选择内嵌到模型训练过程中——L1正则化的稀疏解特性和树模型的分裂特征重要性。嵌入法的优势是计算成本低（与单次模型训练相当），劣势是高度依赖模型选择——L1正则化偏向选择与目标变量线性相关的特征，树模型偏向选择高基数的类别特征，两者都有各自的偏好偏差。
这就是级联策略的核心逻辑：过滤法负责"低成本剔除明显无用特征"→ 包裹法负责"在剩余特征中搜索对特定模型最优的子集"→ 嵌入法负责"利用结构化解（L1稀疏、树重要性）进行最后一轮精筛"。三个阶段在计算成本和选择质量上形成互补。
四、稳定性评估与自动化配置
特征选择流水线的可复现性不仅取决于算法选择，还与数据扰动下的稳定性密切相关。一个健康的特征选择结果应当在5折交叉验证的不同训练子集上，选出的特征集合具有高重叠率（Jaccard相似度>0.7）。
如果某特征在5折中只在1折被选中，它很可能是数据扰动的偶然产物，不应进入最终特征集。一种稳定性增强策略是：在每折交叉验证中独立运行特征选择流水线，最终只保留在至少80%的折中被选中的特征——这种"投票"机制有效滤除了对数据敏感的噪声特征。
自动化配置方面，各阶段的超参数（如方差阈值、F-score百分位、RFE目标特征数）不应手工设定，而应通过贝叶斯优化（如Optuna）在验证集上搜索最优组合。搜索的优化目标可设置为"在验证集上模型性能 - λ × 特征数量"（λ是控制稀疏偏好的超参数），从而在性能和特征数量之间取得平衡。
五、总结
自动化特征选择流水线的三级级联策略——过滤法粗筛 → 包裹法搜索 → 嵌入法精筛——是一种在计算成本、选择质量和泛化稳定性之间取得平衡的工程方案。过滤法以O(N)的低成本消除明显无用的特征；包裹法在过滤后的特征空间中进行模型感知的子集搜索；嵌入法利用结构的稀疏解剔除最后的多余特征。各阶段的保留比例不应固定，而应根据计算预算和特征空间的规模动态调整。最终特征集的稳定性需要通过交叉验证的投票机制来验证——在大多数折中被一致选中的特征，才是真正可靠的特征。
