简介：这份资源面向希望系统掌握数据挖掘实战的Python学习者与数据科学从业者，通过六个完整项目覆盖员工流失预警、电信客户流失、药物数据挖掘、世界幸福报告分析、英雄联盟比赛胜负预测及保险业交叉销售等真实业务场景，帮助读者打通从数据预处理、特征工程到模型选择与评估的全流程。压缩包共14个文件，包含6个Jupyter Notebook、6个CSV数据集与2个Python脚本，整体约9.04MB，其中Notebook承载各项目的代码、分析与结果，CSV提供原始数据，脚本则聚焦特征选择与探索性数据分析两个关键环节。目前已有776人学习下载。读者可借助可直接运行的代码、丰富注释与结果解释，理解逻辑回归、随机森林、决策树、XGBoost等算法的落地方式，并掌握缺失值处理、异常值检测、聚类与关联规则等实用技能，适合初学者入门与有经验者查漏补缺。
1. 六个数据挖掘实战项目，为什么“跑通”比“看懂”值钱
很多人学 python 数据挖掘，卡在同一个地方：教程里的代码一行行看下来都懂，自己拿到一份新数据集就不知道从哪下手。这个标题里的“六个完整学习项目（代码+分析+结果+数据集）”，本质上解决的就是这个断层——它把数据挖掘拆成六个能独立跑通的闭环，每个闭环都包含数据加载、清洗、建模、评估、结果解读五步。适合谁？适合已经会 python 基础语法、装过 pandas 和 sklearn、但没完整做过一个项目的人。也适合工作里偶尔要处理表格数据、想系统补一遍流程的工程师。六个项目不是随便凑的，通常覆盖分类、回归、聚类、关联规则、时间序列、文本挖掘六个方向，每个方向对应一类真实业务问题。你不需要六个都做，但至少完整跑通两个，才能体会到“数据挖掘”和“调库”之间的差距。下面按我自己的实操顺序，把这条路径拆开讲。
2. 六个项目怎么选：从数据集反推学习顺序
2.1 先看数据集规模，再决定从哪个项目切入
六个项目对应的数据集，规模差异很大。我一般建议先打开每个项目的数据集目录，看三个数：行数、列数、缺失值比例。行数低于 1000、列数低于 20 的，适合第一个做；行数过万、列数过百的，放到后面。原因很简单：小数据集能让你在几分钟内看到完整结果，快速建立“我改一个参数，结果怎么变”的直觉。大数据集跑一次要等几分钟甚至更久，新手容易在等待中失去耐心。
常见做法是先用pandas读一遍所有数据集，输出形状和缺失情况：
import pandas as pd import os data_dir = "./datasets" for f in os.listdir(data_dir): if f.endswith(".csv"): df = pd.read_csv(os.path.join(data_dir, f)) print(f"{f}: shape={df.shape}, missing={df.isnull().mean().mean():.2%}")这段代码的作用是快速摸底。shape告诉你数据量级，isnull().mean().mean()给出整体缺失比例。如果某个数据集缺失超过 30%，先别急着建模，清洗会占掉大半时间。参数上，read_csv遇到中文路径或编码问题，加encoding="gbk"或encoding="utf-8-sig"试一次。这一步不做，后面选错项目顺序，很容易在第一个项目就翻车。
2.2 按“业务问题类型”匹配项目，而不是按算法难度
六个项目通常对应六类问题：二分类、多分类、回归、聚类、关联规则、文本分类。我的建议是第一个项目选二分类，因为评估指标最直观——准确率、精确率、召回率、AUC，四个数一出来就知道模型好坏。第二个选回归，因为损失函数从交叉熵变成 MSE，你会被迫理解“连续值预测”和“类别预测”的差别。第三个再选聚类，因为没有标签，评估要靠轮廓系数和业务解释，这一步能帮你戒掉“只看准确率”的习惯。
关联规则和时间序列放第四、第五，文本挖掘放最后。文本挖掘涉及分词、向量化、词权重，链路最长，放在最后做，前面积累的评估经验都能复用。这个顺序不是固定的，但如果你完全没做过完整项目，按这个顺序走，踩坑最少。
2.3 每个项目必须产出的四样东西
跑通一个项目，不是把代码运行完就结束。我要求自己每个项目必须留下四样东西：一份清洗后的数据文件、一份模型评估报告、一张结果可视化图、一段不超过 200 字的结论。清洗后的数据存成csv或parquet，下次直接加载，不用重跑清洗。评估报告用classification_report或mean_squared_error输出到文本文件。可视化图至少一张，分类问题画混淆矩阵，回归问题画预测值 vs 真实值散点图。结论必须用业务语言写，比如“这个模型能识别出 80% 的流失用户，但误报率偏高，适合做初筛”。
这四样东西看起来简单，但能逼你把“跑通”变成“跑明白”。很多人代码跑完，问他模型效果怎么样，他说“准确率挺高的”，再问具体多少、哪个类别差，就答不上来。四样产出就是防止这种情况。
3. 数据清洗与特征工程：六个项目里最耗时的 60%
3.1 缺失值处理的三种策略和选择依据
六个项目里，几乎每个数据集都有缺失值。处理方式无非三种：删除、填充、保留。删除适合缺失比例低于 5% 且缺失随机的列；填充适合数值列用中位数、类别列用众数；保留适合树模型，因为 XGBoost 和 LightGBM 能自己处理缺失。我一般先看缺失比例，再决定策略：
missing_ratio = df.isnull().mean() drop_cols = missing_ratio[missing_ratio > 0.5].index df = df.drop(columns=drop_cols) num_cols = df.select_dtypes(include=["float64", "int64"]).columns df[num_cols] = df[num_cols].fillna(df[num_cols].median()) cat_cols = df.select_dtypes(include=["object"]).columns for c in cat_cols: df[c] = df[c].fillna(df[c].mode()[0])逻辑说明：先删掉缺失超过一半的列，这些列信息量太低；数值列用中位数填充，因为中位数对异常值不敏感；类别列用众数填充。参数上，0.5这个阈值可以调，但不要低于 0.3，否则会删掉太多可能有用的列。注意，填充前一定要把训练集和测试集分开，用训练集的统计量去填测试集，否则会数据泄露。这个坑我在第一个项目就踩过，测试集准确率虚高，后来发现是填充时用了全量数据的中位数。
3.2 类别编码：独热编码和标签编码的适用边界
类别特征编码，常见做法是独热编码和标签编码。独热编码适合类别数少于 15 的列，标签编码适合树模型里的高基数类别。我一般这样处理：
from sklearn.preprocessing import OneHotEncoder, LabelEncoder low_card_cols = [c for c in cat_cols if df[c].nunique() < 15] high_card_cols = [c for c in cat_cols if df[c].nunique() >= 15] df = pd.get_dummies(df, columns=low_card_cols, drop_first=True) for c in high_card_cols: le = LabelEncoder() df[c] = le.fit_transform(df[c].astype(str))drop_first=True是为了避免独热编码后的多重共线性，在线性模型里尤其重要。高基数类别用标签编码，是因为独热编码会让特征维度爆炸，比如一个 1000 个类别的列，独热后多出 999 列，训练慢且容易过拟合。但标签编码引入了一个问题：类别之间有了大小关系，线性模型会误以为 2 比 1 大。所以标签编码只建议给树模型用，线性模型还是老老实实做目标编码或嵌入。
3.3 特征缩放：标准化和归一化的选择
特征缩放经常被忽略，但六个项目里至少有三个对缩放敏感。KNN、SVM、逻辑回归、神经网络必须缩放；决策树、随机森林、XGBoost 不需要。标准化是减均值除标准差，归一化是减最小值除极差。我一般用标准化，因为对异常值更稳健：
from sklearn.preprocessing import StandardScaler scaler = StandardScaler() num_cols = df.select_dtypes(include=["float64", "int64"]).columns df[num_cols] = scaler.fit_transform(df[num_cols])注意，fit_transform只能用在训练集，测试集要用transform，否则测试集的均值和标准差会泄露到训练过程。这个细节在 sklearn 的 pipeline 里会自动处理，但手写代码时很容易忘。我见过有人把全量数据缩放后再切分，结果交叉验证分数高得离谱，实际部署时效果差一大截。
4. 建模与评估：六个项目里最容易“自欺欺人”的环节
4.1 训练集测试集切分：别小看 random_state
切分数据集，常见做法是train_test_split，但random_state不固定，每次跑的结果都不一样，没法复现。我一般固定random_state=42，并且分层抽样：
from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42, stratify=y )stratify=y保证训练集和测试集的类别比例一致，分类问题必加。回归问题不需要分层，但random_state还是要固定。这个参数看起来小，但如果你要对比两个模型，切分不一致，对比结果就没意义。我一般把切分后的数据存成文件，后面所有模型都用同一份切分，避免“这次切分好，这次切分差”的玄学。
4.2 交叉验证：比单次切分更稳的评估方式
单次切分评估波动大，尤其是小数据集。我一般用 5 折交叉验证，取平均分和标准差：
from sklearn.model_selection import cross_val_score from sklearn.ensemble import RandomForestClassifier model = RandomForestClassifier(n_estimators=100, random_state=42) scores = cross_val_score(model, X_train, y_train, cv=5, scoring="f1_weighted") print(f"F1: {scores.mean():.4f} ± {scores.std():.4f}")cv=5是折数，数据量小可以调到 10，数据量大调到 3。scoring根据问题选，分类用f1_weighted或roc_auc，回归用neg_mean_squared_error。标准差很重要，如果标准差超过 0.05，说明模型不稳定，换模型或加数据。这个指标比单次准确率更能反映真实水平。
4.3 分类评估：准确率之外必须看的三个指标
分类问题只看准确率，在类别不平衡时会翻车。比如 95% 负样本、5% 正样本，全预测负样本也有 95% 准确率，但模型没用。我一般同时看精确率、召回率、F1：
from sklearn.metrics import classification_report, confusion_matrix y_pred = model.predict(X_test) print(classification_report(y_test, y_pred)) print(confusion_matrix(y_test, y_pred))classification_report输出每个类别的精确率、召回率、F1 和支持度。精确率高召回率低，说明模型保守，漏报多；召回率高精确率低，说明模型激进，误报多。根据业务选：流失预测宁可误报，别漏报，所以召回率优先；垃圾邮件识别宁可漏报，别误报，所以精确率优先。混淆矩阵能看出具体哪两类容易混，有时候比指标更有信息量。
4.4 回归评估：MSE、RMSE、MAE 的区别和选择
回归问题常用 MSE、RMSE、MAE。MSE 对大误差惩罚重，RMSE 和原始值同量纲，MAE 对异常值稳健。我一般三个都算，重点看 RMSE 和 MAE 的差距：
from sklearn.metrics import mean_squared_error, mean_absolute_error import numpy as np y_pred = model.predict(X_test) mse = mean_squared_error(y_test, y_pred) rmse = np.sqrt(mse) mae = mean_absolute_error(y_test, y_pred) print(f"MSE={mse:.2f}, RMSE={rmse:.2f}, MAE={mae:.2f}")如果 RMSE 远大于 MAE，说明存在大误差样本，需要检查异常值或模型是否欠拟合。如果两者接近，说明误差分布均匀。这个判断方法比单看一个指标有用。另外，回归问题一定要画预测值 vs 真实值散点图，理想情况是点分布在对角线附近，如果出现系统性偏移，说明模型有偏。
5. 避坑与排查：六个项目里我踩过的五个坑
5.1 数据泄露：测试集准确率虚高
现象：训练集准确率 0.85，测试集准确率 0.84，看起来很正常，但部署后效果只有 0.6。原因：特征工程用了全量数据，比如填充缺失值时用了全量中位数，或者缩放时用了全量均值和标准差。解决：所有统计量必须从训练集计算，再应用到测试集。用 sklearn 的 pipeline 可以自动避免这个问题，手写代码时一定要先切分再处理。
5.2 类别不平衡：模型全预测多数类
现象：准确率 0.95，但混淆矩阵显示少数类一个都没预测对。原因：类别比例悬殊，模型倾向于预测多数类以降低整体损失。解决：用class_weight="balanced"，或者对少数类过采样、多数类欠采样。我一般先试class_weight，不行再用 SMOTE。注意 SMOTE 只能在训练集上做，测试集保持原始分布。
5.3 过拟合：训练集完美，测试集崩盘
现象：训练集 F1 0.99，测试集 F1 0.65。原因：模型太复杂，或者特征太多，或者训练轮数太多。解决：先减特征，用SelectKBest或基于树模型的特征重要性筛选；再减模型复杂度，比如降低树深度、减少树数量；最后加正则化，L1 或 L2。我一般按这个顺序调，先特征后模型，因为特征问题比模型问题更常见。
5.4 中文编码：读文件报 UnicodeDecodeError
现象：pd.read_csv报UnicodeDecodeError: 'utf-8' codec can't decode byte。原因：文件是 GBK 编码，不是 UTF-8。解决：加encoding="gbk"或encoding="utf-8-sig"。如果还不确定，用chardet检测：
import chardet with open("data.csv", "rb") as f: print(chardet.detect(f.read(10000)))这个坑在中文数据集里非常常见，尤其是从 Excel 导出的 CSV。我一般先检测编码，再读文件，省得反复试。
5.5 随机种子：结果无法复现
现象：同样的代码，两次运行结果不一样。原因：random_state没固定，或者用了多线程。解决：所有涉及随机的步骤都固定random_state，包括切分、模型初始化、交叉验证。如果用了 XGBoost 或 LightGBM，还要设n_jobs=1排除多线程影响。这个坑不致命，但会让你的实验记录失去意义。
6. 把六个项目串成一条可复用的流水线
六个项目做完，如果每个都是独立脚本，下次遇到新数据集还是要重写。我的习惯是把清洗、特征工程、建模、评估四步封装成函数，用配置文件控制参数。这样新项目只需要改配置，不用改代码。下面是一个最小可用的流水线骨架：
import yaml import pandas as pd from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report def load_config(path): with open(path, "r", encoding="utf-8") as f: return yaml.safe_load(f) def clean_data(df, config): df = df.drop(columns=config["drop_cols"], errors="ignore") for c in config["num_cols"]: df[c] = df[c].fillna(df[c].median()) for c in config["cat_cols"]: df[c] = df[c].fillna(df[c].mode()[0]) return df def build_model(config): return RandomForestClassifier( n_estimators=config["n_estimators"], max_depth=config["max_depth"], random_state=42 ) def run_pipeline(config_path): config = load_config(config_path) df = pd.read_csv(config["data_path"], encoding=config.get("encoding", "utf-8")) df = clean_data(df, config) X = df.drop(columns=[config["target"]]) y = df[config["target"]] X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42, stratify=y ) scaler = StandardScaler() X_train = scaler.fit_transform(X_train) X_test = scaler.transform(X_test) model = build_model(config) model.fit(X_train, y_train) y_pred = model.predict(X_test) print(classification_report(y_test, y_pred)) if __name__ == "__main__": run_pipeline("config.yaml")这个骨架的价值在于：把“每次都要重写”变成“每次只改配置”。config.yaml里放数据路径、目标列、数值列、类别列、模型参数。换数据集时，只改配置，代码不动。参数上，n_estimators从 100 起步，max_depth从 10 起步，跑完看交叉验证分数再调。注意，StandardScaler在树模型里可以去掉，但保留着不影响，方便换模型时不用改代码。
进阶用法是加一层模型对比：同一个数据集，跑逻辑回归、随机森林、XGBoost 三个模型，用交叉验证分数选最优。这一步能帮你理解“没有最好的模型，只有最适合当前数据的模型”。我一般用cross_val_score循环三个模型，输出平均分和标准差，选平均分高且标准差小的。这个习惯坚持下来，新项目上手时间能从半天缩到一小时。
最后说一个我自己的教训：六个项目里，我第一个项目跑了三遍才跑通，前两遍都卡在数据清洗。后来我强迫自己每做一个项目，先把清洗后的数据存下来，再开始建模。这个习惯让我后面五个项目顺利很多。数据挖掘没有捷径，但把清洗做扎实，后面的路会好走很多。希望帮到你。
本文还有配套的精品资源，点击获取
