Python数据探索实战：从EDA到特征工程

1. 项目概述：Python数据探索实战指南

在Kaggle竞赛和实际数据分析工作中，数据探索（EDA）是决定项目成败的关键第一步。这份笔记记录了我使用Python对房价预测数据集进行全方位数据探索的完整过程，特别适合刚接触数据科学的新手和需要系统提升EDA技能的从业者。

不同于简单的数据概览，真正的全面数据探索需要回答三个核心问题：数据质量如何？变量间存在什么关系？哪些特征对目标值影响最大？通过Pandas、Matplotlib、Seaborn等工具的组合使用，我们将从基础统计、可视化分析到多变量关系挖掘，逐步构建完整的分析框架。以Kaggle经典竞赛"House Prices: Advanced Regression Techniques"为例，整个过程可直接复用到其他结构化数据集的分析中。

2. 数据准备与环境配置

2.1 基础工具栈选择

我选择Jupyter Notebook作为交互环境，核心依赖以下Python库：

• Pandas 1.3.5：数据处理基石
• NumPy 1.21.2：数值计算支持
• Matplotlib 3.4.3：基础可视化
• Seaborn 0.11.2：高级统计图表
• Scipy 1.7.1：统计检验

提示：建议使用conda创建独立环境，避免版本冲突。特别是Seaborn与Matplotlib的版本兼容性容易引发图表样式问题。

conda create -n eda python=3.8 conda install pandas numpy matplotlib seaborn scipy jupyter

2.2 数据加载与初检

加载数据后立即执行三个关键操作：

1. 查看维度：df.shape确认样本量和特征数
2. 检查缺失：df.isnull().sum()统计各列缺失值
3. 类型验证：df.info()核对数据类型是否合理

import pandas as pd df = pd.read_csv('train.csv') print(f"数据集维度：{df.shape}") print("\n缺失值统计：") print(df.isnull().sum().sort_values(ascending=False).head(20))

3. 单变量分析技术详解

3.1 数值型特征分析

对于连续变量，我采用四步分析法：

1. 描述统计：关注均值、分位数、标准差
2. 分布检验：偏度(skewness)和峰度(kurtosis)
3. 异常值检测：IQR方法或Z-score
4. 可视化呈现：直方图+箱线图组合

# 典型数值特征分析示例 import seaborn as sns import matplotlib.pyplot as plt plt.figure(figsize=(12,6)) sns.histplot(data=df, x='SalePrice', kde=True) plt.title('房价分布检验', fontsize=15) plt.show() print(f"偏度：{df['SalePrice'].skew():.2f}") print(f"峰度：{df['SalePrice'].kurt():.2f}")

注意：当偏度绝对值>0.5时，建议考虑数据变换。对数变换(log1p)是处理右偏分布的常用方法。

3.2 类别型特征处理

分类变量的分析要点：

• 基数(cardinality)检查：唯一值数量
• 频次分布：value_counts()
• 可视化：柱状图或饼图
• 特殊值处理："NA"是否表示缺失还是有效类别

# 类别特征分析模板 cat_col = 'Neighborhood' vc = df[cat_col].value_counts() plt.figure(figsize=(12,6)) sns.barplot(x=vc.index, y=vc.values) plt.xticks(rotation=45) plt.title(f'{cat_col}分布', fontsize=15) plt.show()

4. 多变量关系挖掘

4.1 数值-数值关系

最有效的三种分析方法：

1. 相关矩阵：df.corr()+ 热力图
2. 散点图矩阵：sns.pairplot()
3. 回归图：sns.regplot()

# 重点特征相关性分析 corr_matrix = df[['SalePrice','GrLivArea','TotalBsmtSF','OverallQual']].corr() sns.heatmap(corr_matrix, annot=True, cmap='coolwarm') plt.title('关键特征相关性', fontsize=15)

4.2 类别-数值关系

必用的可视化方案：

• 箱线图：sns.boxplot()
• 小提琴图：sns.violinplot()
• 柱状图：groupby().mean().plot.bar()

# 不同建筑类型的房价比较 plt.figure(figsize=(12,6)) sns.boxplot(x='BldgType', y='SalePrice', data=df) plt.title('建筑类型与房价关系', fontsize=15) plt.show()

5. 高级分析技巧

5.1 缺失值模式分析

超越简单的缺失统计，我们需要：

1. 使用missingno矩阵图观察缺失模式
2. 分析缺失是否与目标变量相关
3. 判断是随机缺失(MAR)还是非随机缺失(MNAR)

import missingno as msno msno.matrix(df.sample(250)) plt.title('缺失值模式矩阵', fontsize=15)

5.2 特征组合创造

通过现有特征创造新特征往往能提升模型表现：

• 面积比率：TotalBsmtSF / 1stFlrSF
• 年代组合：YearBuilt + YearRemodAdd
• 综合评分：OverallQual * OverallCond

# 创建典型组合特征示例 df['TotalSF'] = df['TotalBsmtSF'] + df['1stFlrSF'] + df['2ndFlrSF'] df['Age'] = df['YrSold'] - df['YearBuilt']

6. 实战问题排查指南

6.1 常见可视化问题

• 图形重叠：调整figsize或使用plt.tight_layout()
• 标签遮挡：设置rotation参数或改用横向条形图
• 颜色混淆：限制分类颜色数量或改用不同标记样式

6.2 内存优化技巧

处理大型数据集时：

1. 使用df.memory_usage()检查内存占用
2. 将category类型用于低基数字符串
3. 对数值列降级数据类型：float64→float32

# 内存优化示例 for col in df.select_dtypes(include='object'): df[col] = df[col].astype('category') df['MSSubClass'] = df['MSSubClass'].astype('int16')

7. 完整EDA流程检查清单

为确保不遗漏关键步骤，建议按此清单操作：

1. [ ] 基础统计：describe() + info()
2. [ ] 缺失分析：isnull() + missingno
3. [ ] 单变量分布：直方图+箱线图
4. [ ] 双变量关系：散点图+相关矩阵
5. [ ] 异常值标记：Z-score或IQR
6. [ ] 特征工程：创建新特征
7. [ ] 数据清洗：处理缺失和异常
8. [ ] 最终报告：关键发现总结

在实际项目中，我发现将SalePrice取对数后，与GrLivArea的线性关系R²从0.49提升到0.54，这提示我们对偏态分布的目标变量进行变换的重要性。另外，通过分析发现Neighborhood特征中Northridge社区的房价中位数比其他区域高出47%，这种级别的业务洞察才是EDA的真正价值所在。