Kaggle房价预测竞赛：特征工程与模型优化实战-育师

1. 项目概述：Kaggle房价预测竞赛解析

Kaggle房价预测（House Prices: Advanced Regression Techniques）是数据科学领域最经典的入门竞赛之一。这个项目要求参赛者基于79个房屋特征变量，预测爱荷华州埃姆斯市的最终房价。作为2016年发布的长期开放竞赛，它已成为检验数据科学家回归建模能力的试金石。

我在2018年首次接触这个项目时，曾天真地以为用简单的线性回归就能取得不错成绩，结果在排行榜上惨遭碾压。经过三年间多次迭代优化，我的方案最终进入了全球Top 10%。这个过程中积累的实战经验，正是本文要分享的核心内容。

2. 数据探索与特征工程

2.1 数据集的魔鬼细节

原始数据集包含1460条训练样本和1459条测试样本，每个样本有80个特征列（包括ID和预测目标SalePrice）。看似规整的数据实则暗藏玄机：

缺失值陷阱：PoolQC（泳池质量）字段缺失率高达99.5%，而FireplaceQu（壁炉质量）也有约47%缺失
非正态分布：目标变量SalePrice右偏严重（偏度1.88），直接建模会导致预测偏差
特征歧义：YearBuilt（建造年份）与YrSold（出售年份）的差值可能比原始年份更有意义

关键发现：通过sns.pairplot可视化发现，GrLivArea（地上居住面积）与SalePrice存在两个明显离群点——面积超过4000平方英尺但售价低于20万美元的异常记录。

2.2 特征工程实战技巧

分类型特征处理：

# 有序类别编码（如ExterQual房屋外观质量） qual_dict = {'Ex':5, 'Gd':4, 'TA':3, 'Fa':2, 'Po':1} df['ExterQual'] = df['ExterQual'].map(qual_dict) # 高基数特征处理（如Neighborhood社区） # 采用目标编码避免one-hot维度爆炸 from category_encoders import TargetEncoder encoder = TargetEncoder() df['Neighborhood'] = encoder.fit_transform(df['Neighborhood'], df['SalePrice'])

数值特征增强：

创建组合特征：TotalSF = TotalBsmtSF + 1stFlrSF + 2ndFlrSF
对数变换：对LotArea、GrLivArea等右偏特征取log1p
时间衍生：HouseAge = YrSold - YearRemodAdd

3. 建模策略与优化

3.1 模型架构设计

经过多次实验，最终采用三层模型架构：

基础模型层：
- XGBoost（学习率0.01，max_depth=5）
- LightGBM（num_leaves=31，min_child_samples=15）
- CatBoost（iterations=2000，depth=6）
元特征生成：用基础模型对训练集进行5折交叉验证预测，将预测值作为新特征

堆叠模型：

from sklearn.linear_model import ElasticNet stack_model = ElasticNet(alpha=0.0005, l1_ratio=0.9) stack_model.fit(meta_features, y_train)

3.2 超参数优化技巧

使用Optuna进行贝叶斯优化时，有几个关键发现：

XGBoost的gamma参数对防止过拟合效果显著
LightGBM的feature_fraction设置在0.3-0.5时表现最佳
早停轮数(early_stopping_rounds)建议设为总迭代次数的10%

避坑指南：在调整subsample参数时，发现当值低于0.6时模型性能急剧下降，原因是部分重要特征被随机丢弃。

4. 结果分析与改进

4.1 评估指标解读

竞赛采用RMSE（均方根误差）的对数形式作为评估标准：

RMSLE = √(1/n Σ(log(p_i+1) - log(a_i+1))^2)

这种设计使得预测误差更符合人类对房价的感知——相差10万美元在50万和60万房屋间的"感觉差异"，比在200万和210万间更明显。

4.2 模型诊断技巧

通过SHAP值分析发现三个关键洞察：

OverallQual（整体质量）贡献了约35%的特征重要性
新建特征TotalSF的贡献超过了原始面积特征
地理位置相关特征在树模型中表现出非线性效应

5. 高级技巧与创新尝试

5.1 对抗验证应用

为防止测试集与训练集分布不一致，我采用了对抗验证：

from lightgbm import LGBMClassifier adv_model = LGBMClassifier() adv_model.fit(X_train_test, is_test_label) # 计算特征重要性找出分布差异大的特征

结果显示MSSubClass（房屋类型）和MoSold（出售月份）在两个集合中分布显著不同，因此在最终模型中降低了这些特征的权重。

5.2 半监督学习尝试

利用测试集样本进行伪标签训练：

用初始模型预测测试集标签
选择预测置信度高的样本加入训练集
迭代训练3轮后RMSLE提升约0.002

6. 完整Pipeline实现

以下是经过优化的完整处理流程：

class HousePricePipeline: def __init__(self): self.num_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='median')), ('scaler', RobustScaler())]) self.cat_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='constant', fill_value='NA')), ('encoder', TargetEncoder())]) def fit_transform(self, X, y=None): # 特征工程 X['TotalSF'] = X['TotalBsmtSF'] + X['1stFlrSF'] + X['2ndFlrSF'] X['HouseAge'] = X['YrSold'] - X['YearRemodAdd'] # 预处理 num_features = X.select_dtypes(include=['int64','float64']).columns cat_features = X.select_dtypes(include=['object']).columns X_num = self.num_transformer.fit_transform(X[num_features]) X_cat = self.cat_transformer.fit_transform(X[cat_features], y) return np.hstack([X_num, X_cat])

7. 经验总结与避坑指南

经过20多次提交迭代，总结出以下核心经验：

数据清洗比模型更重要：
- 删除GrLivArea>4000且SalePrice<300000的异常记录
- 对LotFrontage缺失值采用邻居中位数填充
特征工程的金矿：
- 浴室总数：FullBath + 0.5*HalfBath
- 季节特征：将MoSold转换为季度分类
模型融合的甜点区：
- 单模型最优成绩：XGBoost的0.1221
- 三模型融合后：0.1187
- 加入神经网络后反而下降至0.1203
容易被忽视的时间效应：
- 2006-2010年间的金融危机影响
- 夏季（5-8月）售价比冬季高约2.3%