分类数据EDA实战：从基础统计到层次结构挖掘

1. 分类数据EDA的核心价值

第一次接触分类数据集时，我犯过所有新手都会犯的错误——直接跳进模型构建环节。直到某次分析电商用户行为数据时，发现"购买频率"字段中竟然藏着7种不同的null值表示方式，才真正明白探索性数据分析(EDA)对于分类数据的重要性。分类数据EDA不同于常规数值型数据，它需要特殊的处理技巧来揭示那些藏在标签背后的故事。

分类变量中的层次结构就像俄罗斯套娃，表面看只是几个离散值，实则内含多层逻辑关系。比如一个简单的"产品类别"字段，可能隐含着"家电>厨房电器>小家电"这样的树状关系。去年分析某零售数据集时，通过系统性的EDA流程，我们竟从看似杂乱的产品编码中还原出了完整的供应链体系，这个发现直接优化了30%的库存周转率。

2. 数据初探与基础统计

2.1 数据质量检查实战

拿到分类数据集后，我的第一个动作永远是创建数据质量检查表。这个习惯源于一次惨痛教训——曾因忽略编码问题导致整个分析方向错误。以下是经过验证的检查清单：

def data_quality_report(df): # 缺失值检测 missing = df.isnull().sum() # 唯一值统计 unique_counts = df.nunique() # 数据类型验证 dtypes = df.dtypes # 内存使用分析 memory = df.memory_usage(deep=True) return pd.DataFrame({ 'Missing': missing, 'Unique': unique_counts, 'Dtype': dtypes, 'Memory(MB)': memory / 1024**2 })

关键经验：对于分类数据，内存占用经常被忽视。某次处理包含200万条记录的客户数据集时，通过将category类型从object转换为category，内存使用从1.2GB骤降到80MB。

2.2 频率分析的进阶技巧

大多数教程只会教value_counts()，但真实场景中需要更精细的频率分析。这是我的三板斧：

1. 分层统计：结合groupby进行多维频率分析

df.groupby(['主类别','子类别']).size().unstack(fill_value=0)

2. 时间趋势分析：观察分类变量的时间演化

pd.crosstab(df['日期'].dt.to_period('M'), df['类别'])

3. 稀有类别处理：自动识别并处理长尾分布

counts = df['类别'].value_counts() rare_categories = counts[counts < 10].index df['类别'] = df['类别'].replace(rare_categories, '其他')

上周分析用户反馈数据时，通过时间趋势分析发现"支付问题"类投诉在每月25号左右激增，这个发现帮助财务团队调整了账单发送策略。

3. 层次结构发现方法论

3.1 基于频率的层次推断

当数据集没有显式的层次结构时，我们可以通过共现频率来推断潜在关系。具体操作：

1. 构建共现矩阵：

co_occurrence = pd.crosstab(df['特征A'], df['特征B'])

2. 应用层次聚类：

from scipy.cluster.hierarchy import linkage, dendrogram Z = linkage(co_occurrence, 'ward') plt.figure(figsize=(10,5)) dendrogram(Z, labels=co_occurrence.index)

3. 验证聚类结果：

• 计算轮廓系数评估聚类质量
• 业务专家访谈确认合理性

去年分析医疗诊断数据时，这种方法成功将200多个症状代码组织成了有临床意义的12个症状群。

3.2 文本挖掘辅助法

对于包含文本描述的分类数据，可以结合NLP技术：

1. 词嵌入可视化：

from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.manifold import TSNE tfidf = TfidfVectorizer() X = tfidf.fit_transform(df['描述']) X_embedded = TSNE().fit_transform(X) plt.scatter(X_embedded[:,0], X_embedded[:,1])

2. 主题建模：

from sklearn.decomposition import LatentDirichletAllocation lda = LatentDirichletAllocation(n_components=5) lda.fit(X)

避坑指南：主题数选择很关键，建议从业务需求出发确定大致范围，再用困惑度曲线辅助选择。我曾因盲目追求低困惑度导致主题过于碎片化。

4. 可视化技术精选

4.1 桑基图揭示流转路径

处理具有时序性的分类数据时，桑基图是展示状态转移的利器：

import plotly.express as px fig = px.sankey(df, path=['阶段1','阶段2','阶段3'], values='数量') fig.update_layout(title_text='用户转化路径')

4.2 热力图展现交叉关系

对于两个分类变量的关系分析，热力图的表达力远超表格：

import seaborn as sns cross_tab = pd.crosstab(df['地区'], df['产品类型']) sns.heatmap(cross_tab, annot=True, fmt='d')

4.3 树状图呈现层次结构

当明确存在层次关系时，树状图是最直观的选择：

import squarify counts = df['类别'].value_counts() squarify.plot(sizes=counts, label=counts.index) plt.axis('off')

5. 实战案例：电商评论分析

最近完成的电商评论分析项目中，完整应用了上述方法：

1. 数据准备：

• 原始数据：50万条商品评论
• 字段：评论ID、商品类目、评论内容、评分

2. 关键发现过程：

• 通过评论文本聚类发现"物流速度"是低评分的主因
• 桑基图显示大家电的差评主要产生在配送环节
• 热力图揭示某类商品在特定地区的满意度异常

3. 业务影响：

• 调整了大家电的配送合作伙伴
• 针对问题地区改进了包装方式
• 整体满意度提升15%

这个案例中最有价值的经验是：不要孤立地看待分类数据。将商品类目、地区、评分等多个分类变量交叉分析，才能发现真正的业务洞见。

6. 常见问题解决方案

6.1 高基数分类变量处理

当遇到像城市、邮编这样的高基数分类变量时，我的处理策略：

1. 基于业务逻辑分组（如按行政区划合并）
2. 使用目标编码（Target Encoding）
3. 应用嵌入层（深度学习场景）

# Target Encoding示例 from category_encoders import TargetEncoder encoder = TargetEncoder() df['城市编码'] = encoder.fit_transform(df['城市'], df['目标变量'])

6.2 缺失值智能填补

分类变量的缺失值处理需要更多技巧：

1. 单独作为一类（当缺失本身有意义时）
2. 基于其他特征的预测填补
3. 业务规则填补（如默认值）

# 随机森林填补示例 from sklearn.ensemble import RandomForestClassifier model = RandomForestClassifier() known = df[df['类别'].notnull()] unknown = df[df['类别'].isnull()] model.fit(known.drop('类别',axis=1), known['类别']) df.loc[df['类别'].isnull(), '类别'] = model.predict(unknown.drop('类别',axis=1))

6.3 类别不平衡修正

处理极端不平衡的分类数据时：

1. 过采样技巧（SMOTE-NC适用于分类变量）
2. 欠采样策略（Cluster Centroids）
3. 损失函数加权

from imblearn.over_sampling import SMOTENC smote_nc = SMOTENC(categorical_features=[0,2], random_state=0) X_res, y_res = smote_nc.fit_resample(X, y)

7. 工具链与性能优化

7.1 高效处理大型分类数据集

当数据量超过内存限制时，我的解决方案：

1. 使用Dask处理超大数据

import dask.dataframe as dd ddf = dd.from_pandas(df, npartitions=10) ddf['类别'].value_counts().compute()

2. 优化category类型使用

# 转换前确保类别数远小于行数 df['类别'] = df['类别'].astype('category')

3. 使用Polars加速操作

import polars as pl df_pl = pl.DataFrame(df) df_pl.groupby('类别').agg(pl.count())

7.2 自动化EDA工具推荐

虽然手动分析更灵活，但这些工具能提升效率：

1. Pandas Profiling（基础EDA）
2. Sweetviz（对比分析）
3. AutoViz（自动化可视化）

from pandas_profiling import ProfileReport profile = ProfileReport(df, title='分类数据报告') profile.to_file("report.html")

在最近的一个客户项目中，我们先用自动化工具快速定位问题区域，再针对性地深入分析，效率提升了3倍。