决策树分类实验全流程：特征选择、剪枝与调参实战

1. 实验设计思路与方案选型

先把话挑明：决策树分类实验，是所有做机器学习的人绕不开的一道坎。不管你是刚入门的学生，还是已经投入实际项目的开发者，决策树往往是你接触到的第一个真正意义上"能看懂"的分类模型。为什么这么说？因为它的逻辑太直观了：像做菜一样，先看食材新不新鲜，再决定清蒸还是红烧，每一步都是条件判断，层层递进，最后落到一个结果上。这种思维方式不需要你懂微积分，也不需要你背矩阵公式，只要你平时做过任何带条件的选择决策，你就能理解决策树在干什么。

但"能看懂"和"能做对"完全是两码事。我见过不少同学，调几个参数跑通了示例代码，就觉得自己掌握了决策树分类实验，结果换一个数据集、换一批特征，模型的表现就拉胯得不行。问题出在哪里？出在他们没有真正理解决策树背后的那套机制——信息增益怎么算？特征选择为什么选这个不选那个？剪枝到底剪的是什么？这些细节不啃透，你做的每一个实验都只是盲人摸象。

所以这篇博文，我打算从一个完整的实验视角来拆解决策树分类实验的全过程，不仅仅给代码，更重要的是讲清楚每一步的"为什么"。实验本身我选用的是一个带标签的表格型数据集（比如经典的鸢尾花数据或者信贷风险数据，实际选哪个不重要，重要的是流程），从数据预处理、特征理解、模型训练、剪枝调参、性能评估一路走下来，带你把整个流程捋顺。适合谁看？两类人：第一类是正在学习机器学习基础、需要完成课程实验的在校生；第二类是已经在业务中使用分类模型、但想彻底搞懂决策树细节的初级算法工程师。无论你是哪一类，看完这篇文章，你至少能独立完成一个规范的决策树分类实验，并且能跟别人讲清楚每个步骤背后的道理。

另外说一句，现在很多教程一上来就是XGBoost、LightGBM，恨不得把整个集成学习塞给你，但根基没打牢，后面全是空中楼阁。决策树实验的意义，恰恰在于它把"从数据到模型"这一整套流水线完整地暴露在你面前，让你看清楚每一个环节到底是干什么的。这个底子打好了，后面无论上什么高级模型，你的思路都会非常清晰。

2. 核心原理详解：决策树到底在做什么

2.1 从"做决策"到"构造一棵树"

决策树的核心思想，说白了就是把一大堆样本，通过一系列的条件判断，逐步划分成越来越纯净的子集。所谓"纯净"，就是每个子集里的样本尽可能属于同一个类别。这个过程你在现实中天天都在做：周末出门吃饭，先问"人均预算有没有超过100？"——超过的进A组，没超过的进B组；接着B组再问"排队时间能不能接受半小时？"——能接受的进B1，不能接受的进B2；然后B1再根据"是不是想吃火锅？"分下去……每一次提问、每一个分支，就是在构造一棵树。

机器学习里的决策树，做的是同一件事，只不过"提问"的选择不再是拍脑袋定的，而是通过数学计算从所有特征中挑出"信息量最大"的那个。什么叫做信息量大？简单说，就是这个特征能把数据划分得最干净。比如上面的例子，如果"预算"这个条件能把两类彻底分开——吃火锅的都集中在高预算组，吃简餐的都集中在低预算组——那预算就是一个好特征。反之，如果"是否下雨"跟吃什么完全没关系，那这个特征就是垃圾，选它没用。

这就是决策树分类实验最核心的机制：通过评估每个特征的划分能力，选最优特征作为当前节点的分裂依据，然后递归地在子节点上重复这个过程，直到满足停止条件。所有的决策树变体——ID3、C4.5、CART——本质上都是在这个框架下，换了一套度量"信息量"的公式而已。

2.2 信息熵、信息增益与基尼系数：三个你必须搞懂的度量

度量"划分能力"的公式有很多，但最常用的就三个：信息增益、信息增益率、基尼系数。我先用最朴素的语言解释它们分别是什么，再告诉你怎么选。

信息熵（Entropy）衡量的是数据集的混乱程度。如果数据集里所有样本都是同一个类别，那它非常"纯"，熵就是0；如果正负样本各占一半，那它最"混乱"，熵达到最大值。公式是：

[ Entropy(D) = -\sum_{k=1}^{m} p_k \log_2 p_k ]

其中 (p_k) 是第k类样本占总体样本的比例。这个公式你不用死记，你只需要理解它的直觉：样本越混杂，熵越大；越统一，熵越小。

信息增益（Information Gain）则是选择特征的依据。它衡量的是"使用某个特征进行划分之后，混乱程度下降了多少"。具体做法是：先算划分前父节点的熵，再按特征的不同取值把数据集切开，计算每个子节点的熵，加权求和得到划分后的总熵，两者相减就是信息增益。增益越大，说明这个特征让数据变得越纯净。ID3决策树用的就是这个指标。

但信息增益有一个臭名昭著的偏置：它总是偏爱那些取值很多的离散特征。举个例子，如果数据集里有一列"样本ID"，每个ID只对应一条样本，那按这个特征划分，每个子节点只有一个样本，熵直接降到0，信息增益瞬间拉满。显然这不是一个好的分裂依据，因为它毫无泛化能力。这就是C4.5改用信息增益率（Gain Ratio）的原因——它在信息增益的基础上除以特征自身的固有值，惩罚那些取值过多的特征。

基尼系数（Gini Index）是CART决策树的默认指标，它比信息熵算起来更快（不用算对数），公式是：

[ Gini(D) = 1 - \sum_{k=1}^{m} p_k^2 ]

直观理解就是：从数据集里随机抽两个样本，它们的类别不一致的概率。类别越混杂，这个概率越大，基尼系数越高；数据集越纯，基尼系数越低。所以CART在选特征时，就是在找能让基尼系数下降最多的那个特征。

你可能会问：那我做实验时到底用哪个？我的建议是：如果数据里有很多取值特别离散的特征（比如身份证号、ID），用C4.5的信息增益率更稳；如果在乎计算速度和大规模数据，用CART的基尼系数就行。实际工程里，几乎所有框架（比如scikit-learn）默认用的都是CART的基尼系数，因为它既快又不容易踩中ID3的坑。但作为实验，我建议你把三种指标都试一遍，做一个对比表格，这会是你实验报告里最有说服力的一部分。

2.3 剪枝：为什么树不是越深越好

如果不加限制地让决策树一直长下去，它会达到什么状态？把每一条训练样本都分对，训练集上准确率100%，但到了新数据上一塌糊涂。这就是过拟合——模型把训练数据中的噪声和个别极端样本也当成了规律记下来，失去了泛化能力。用行话说，就是"模型太复杂了"。

解决过拟合的核心手段就是剪枝，分两种：预剪枝和后剪枝。

预剪枝是在树生长的过程中提前停止，常见的停止条件有三种：一是限制树的最大深度（max_depth），比如到了第5层就不再分裂；二是限制节点分裂所需的最少样本数（min_samples_split），样本太少就不允许再分；三是限制叶子节点的最少样本数（min_samples_leaf），如果划分后某个叶子里的样本数过少，就放弃这次分裂。预剪枝的好处是效率高，边建树边停，不用额外开销；坏处是"目光短浅"，有时候看似当前无用的分裂，再往下分两层却能带来很大的提升，可你已经在上面停住了，成了一个次优解。

后剪枝是先让树完整长出来，然后再从底部往上，逐层评估"修剪掉某个子树"是否值得。常用的做法是代价复杂度剪枝（Cost Complexity Pruning），它给树定义一个综合指标：总损失 = 误分类率 + α × 叶子节点数。α越大，惩罚越重，树就被剪得越矮。scikit-learn里的ccp_alpha参数就是干这个用的。后剪枝的缺点是开销大，因为你要先长出一棵完整的树，但它的效果通常比预剪枝好，因为它是"全局视角"做的决策。

我个人的实验经验是：优先用预剪枝控制模型的复杂度基准，再用后剪枝做精细调优。你可以先用一组不同的 max_depth 值跑一遍，观察训练集和验证集准确率的变化曲线，找到过拟合的临界点，然后在这个点附近用 ccp_alpha 做微调。这个方法我想在后面实操部分详细演示。

3. 实验环境与数据准备

3.1 工具选型：为什么用 Python + scikit-learn

做决策树分类实验，工具选什么？如果你只是为了快速出结果，那Python + scikit-learn是绕不开的标配。为什么？三个理由：

第一，scikit-learn的决策树接口极其干净，DecisionTreeClassifier几行代码就能训练出模型，而且它内部已经帮你处理了离散特征、缺失值等常规操作，让你能集中精力理解算法本身。

第二，它和pandas、numpy自然衔接。做数据预处理、特征分析、结果评估，整个流水线都是通的。你不需要在多个工具之间来回切换。

第三，生态成熟，网上几乎所有关于决策树学习的资料都是基于scikit-learn写的，你遇到问题随手一搜就有解决方案，学习成本几乎为零。

当然，如果你想深入底层看看决策树是怎么一步步分裂的，我建议你熟悉一下graphviz和matplotlib，把树可视化出来。这一步看着不起眼，但对你理解决策树的分裂逻辑帮助极大——你能直观地看到每个节点选了哪个特征、阈值是多少、划分后每个类的样本数是多少。这种"看得见"的反馈，比任何教科书都管用。

依赖的安装我就不赘述了，桌面端直接用pip装就行，核心就是scikit-learn、pandas、numpy、matplotlib这几个包。如果你用的是国内源，建议指定-i https://pypi.tuna.tsinghua.edu.cn/simple之类的镜像加速。装好之后，用import sklearn; print(sklearn.__version__)验证一下有没有装成功。

3.2 数据集理解与预处理：实验成败的第一道关

数据集的选取我建议用公开的标准数据集来做，比如经典的鸢尾花（三分类）、乳腺癌（二分类）或者信贷预测数据。用标准数据集有一个非常大的好处：你不用花太多精力去纠结数据清洗，可以把重心完全放在理解算法流程上。但你要明白，真实项目里数据预处理往往比建模本身更耗时，这个实验最重要的目标之一，就是让你建立起"先看数据再动手"的习惯。

拿到数据后的第一件事，不是急着跑模型，而是做三件事：

• 看形状：df.shape看一眼样本量和特征数，心里有个数。
• 看分布：用df.describe()看每个特征的均值、方差、分位数，感受一下数值范围；再看一下标签列的分布，确认数据是不是平整的。
• 查缺失和异常：用df.isnull().sum()查缺失值，用箱线图或者describe里的min/max初步排查异常值。

我做实验时有一句话反复对自己说：脏数据喂进任何模型，出来的都是垃圾。模型不会自己去判断数据的合理性，它只是忠实地把数据里的统计规律学出来。如果数据本身有缺失、有异常、有量纲不一致的问题，这些噪声都会被决策树当成规律来学。所以在预处理阶段，常用的操作包括：处理缺失值（删除或填充）、对类别型特征做编码（如one-hot或序号编码）、对数值型特征做归一化或标准化（虽然决策树对量纲不敏感，但仍需检查是否有极端值影响分裂点）。

这里有一个决策树特有的坑，我必须提前告诉你：决策树在选择分裂点时，天然偏向取值较多的数值特征。如果某个特征有100个不同的数值，它可能被选中作为分裂节点的概率就比只有2个取值的特征大——因为数值越多，越容易找到一个细分的位置把数据切开。这个问题没有完美的解法，但通常的做法是谨慎处理高基数特征，或者用特征重要性去评估每个特征的真实贡献。

我一般还会画一个相关性热力图和特征分布图，目的不是做EDA展示，而是让我自己对数据"有感觉"。很多时候你做特征筛选的时候，那些看起来"很合理"的特征组合，其实在前期的分布图里早就露出了端倪。看得多了，你自然而然会培养出"数据直觉"。

4. 决策树分类实验的完整实操过程

4.1 划分训练集与测试集：别忘了设置随机种子

数据准备好之后，第一步就是划分训练集和测试集。这一步看起来简单，但有一个很多人都会犯的错误：不设随机种子或者随机种子设得不对，导致每次实验的结果都不一样，复现性差，后面的调参完全无法进行。

在scikit-learn里，划分方法如下：

from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.3, random_state=42, stratify=y )

这里最有价值的一个参数是stratify=y，它做的是分层采样——确保训练集和测试集中各类别的比例大致与原数据集一致。如果你忽略这一步，假设数据集中类别分布是90%和10%，一次随机划分后测试集里可能全部是多数类，模型看似准确率很高，但实际上对少数类完全没有预测能力。分层采样在分类实验里是必须养成的习惯。

random_state=42是固定随机数种子。你也许看到很多教程都用42这个数字，其实它没有特殊含义，只是大家约定俗成的一个固定值。重要的是：你写实验报告时必须固定这个值，才能保证实验可以复现。如果有人问"为什么是42"，你可以笑笑说：这是从某本科幻小说里来的梗，但关键是它让随机过程变得可复现。

4.2 训练第一个基线的决策树模型

第一版模型不需要任何复杂的调参，我们先用scikit-learn的默认参数跑一个基线模型出来。

from sklearn.tree import DecisionTreeClassifier clf = DecisionTreeClassifier(random_state=42) clf.fit(X_train, y_train)

这里需要注意，scikit-learn的DecisionTreeClassifier默认使用的是CART算法，也就是基尼系数作为特征选择标准，并且默认不做剪枝——也就是说，它默认会把树长到把所有训练样本都正确分类为止。这个基线模型是故意"过拟合"的，它是为了给你一个参照系：后面我们做的所有剪枝操作，效果好不好，都要跟这个基线去对比。

训练完之后看分数：

train_score = clf.score(X_train, y_train) test_score = clf.score(X_test, y_test) print(f"训练集准确率: {train_score:.4f}") print(f"测试集准确率: {test_score:.4f}")

我几乎可以预判你的结果：训练集准确率接近1.0，测试集准确率明显更低。这就是教科书级别的过拟合演示。你不需要慌，这个差距就是我们要通过剪枝去缩小的。

与此同时，建议你把决策树画出来看一眼：

from sklearn.tree import plot_tree import matplotlib.pyplot as plt plt.figure(figsize=(20, 10)) plot_tree(clf, filled=True, feature_names=feature_names, class_names=class_names, rounded=True) plt.show()

第一眼看到这棵又深又密的树时，你会有一种直观的冲击感——原来模型是这么复杂地在做判断。画树这个动作，我建议你在每次调整参数后都重复做一次，它比任何指标都更能让你直观理解"剪枝到底让模型变简单了多少"。

4.3 用网格搜索调参：剪枝参数的组合优化

基线模型跑通之后，正式进入调参环节。决策树的核心可调参数有这么几个：

• max_depth：树的最大深度，控制树的层数。
• min_samples_split：节点分裂所需的最少样本数，调高它可以让树更早停止分裂。
• min_samples_leaf：叶子节点所需的最少样本数，调高可以让叶子更"胖"、更鲁棒。
• max_features：每次分裂时考虑的特征数量，限制为sqrt或log2可以降低过拟合，也可以增加随机性。
• ccp_alpha：代价复杂度剪枝的剪枝系数。

调参最直接的方式是网格搜索（GridSearchCV）。在scikit-learn里，GridSearchCV会帮你遍历你给定的所有参数组合，并自动做交叉验证评估每组参数的效果。

from sklearn.model_selection import GridSearchCV param_grid = { 'max_depth': [3, 5, 7, 10, None], 'min_samples_split': [2, 5, 10], 'min_samples_leaf': [1, 2, 4], 'criterion': ['gini', 'entropy'] } grid_search = GridSearchCV( DecisionTreeClassifier(random_state=42), param_grid, cv=5, scoring='accuracy', n_jobs=-1 ) grid_search.fit(X_train, y_train) print("最优参数:", grid_search.best_params_) print("最优交叉验证得分:", grid_search.best_score_)

网格搜索的逻辑就是"暴力枚举"——你把参数范围都丢给它，它从头到尾试一遍，然后告诉你哪一组参数最好。这个方法有两个注意点：第一，参数组合数量是乘法关系，你给的候选越多，搜索越慢，所以一开始我建议你采用小范围粗搜索，找到趋势后再做细搜索；第二，交叉验证的折数（cv）不要设太高，一般5折或10折就够，太高了训练时间会显著增加。

还有一个技巧：GridSearchCV默认只用准确率作为评分依据，但在类别不平衡的场景下，你最好把scoring参数改成更合理的指标，比如'f1_macro'或者'roc_auc_ovr'。否则你搜索到的"最优"参数可能只是对多数类友好，而对少数类的预测能力很差。

网格搜索后，用最优参数重建模型，同时画出"深度→误差"的曲线图，这是一个几乎所有实验报告里都应该有的图：

import numpy as np depths = range(1, 15) train_scores = [] test_scores = [] for depth in depths: model = DecisionTreeClassifier(max_depth=depth, random_state=42) model.fit(X_train, y_train) train_scores.append(model.score(X_train, y_train)) test_scores.append(model.score(X_test, y_test)) plt.plot(depths, train_scores, label='训练集') plt.plot(depths, test_scores, label='测试集') plt.xlabel('max_depth') plt.ylabel('准确率') plt.legend() plt.show()

看到那两条曲线了吗？训练集准确率随深度上升几乎单调递增，而测试集准确率先上升后下降——两条曲线之间的"剪刀差"就是过拟合的直接证据。这张图你放论文里也好，放实验报告里也好，都是非常直观且有说服力的。

4.4 特征重要性分析：看懂模型在依赖什么

决策树有一个极大的优点：它可以告诉你各个特征在分类中的重要性。在scikit-learn里，训练好的模型有一个feature_importances_属性，直接就能拿到每个特征的权重。

importances = grid_search.best_estimator_.feature_importances_ feature_names = X_train.columns # 假设X_train是DataFrame for name, imp in sorted(zip(feature_names, importances), key=lambda x: x[1], reverse=True): print(f"{name}: {imp:.4f}")

特征重要性的原理是基于不纯度的减少量——每次用某特征分裂时计算出它带来的纯度提升，把所有节点上的提升量累加起来，就是该特征的重要性。它帮你看清楚：模型认为哪些特征在决定分类结果时最有用，哪些特征基本是多余的。

这里有一个非常关键的经验：当你发现某个业务上明明是重要指标的特征（比如风控里的收入、医疗里的年龄），模型给出的重要性却接近于0时，不要急着相信模型——先回去检查这个特征的数据是不是有问题。在我的经验里，这往往是特征本身缺失率过高、或者编码方式不合理导致的。决策树不会说谎，它只是如实反映了数据里的信息量，如果你期望它学出某个规律，前提是数据里真的有这个规律。

同样地，如果某个特征重要性排名极高，但在实际业务场景里成本极高（比如需要额外系统才能获取的数据），你就要认真评估一下"用这个特征"的投入产出比。有些实验，模型精度差别不大，但换掉一个难获取的特征后，落地的性价比大幅提升——这种决策才是工程师价值的体现。

4.5 评估指标的选择：别死盯准确率

评估决策树分类器的表现，最基础的是准确率，但准确率在类不平衡数据上是会骗人的。假设一个数据集里95%是负类、5%是正类，一个"全都预测为负类"的模型，准确率也能到95%——你说它好？可它在现实场景里是个废物。

所以，多分类和类别不平衡实验里，建议至少看三组指标：

• 精确率（Precision）：所有被预测为正类的样本中，真正是正类的比例。它衡量"预测为正类的可信度"。在垃圾邮件检测里，宁可漏掉也不误伤用户，所以更关注精确率。
• 召回率（Recall）：所有真正的正类样本中，被模型正确找出来的比例。它衡量"正类样本的覆盖度"。在疾病筛查里，宁可误报也不漏诊，所以更关注召回率。
• F1分数（F1-score）：精确率和召回率的调和平均数，综合两个指标，在二者之间取得平衡。

scikit-learn里一行代码全部算出来：

from sklearn.metrics import classification_report, confusion_matrix y_pred = grid_search.predict(X_test) print(classification_report(y_test, y_pred)) print(confusion_matrix(y_test, y_pred))

混淆矩阵也是一个很有用的可视化工具，它把"真实类别"和"预测类别"的交叉情况列成一个矩阵。矩阵的对角线就是分类正确的数量，非对角线就是互相混淆的样本。看混淆矩阵可以快速定位模型在哪些类之间容易搞混，这种信息对业务改进非常有指导意义。

做实验时，我的建议是：报告里把所有指标都列出来，但结论部分只围绕你最关心的那个指标展开。比如，如果是风控场景，你说"模型在50%的截断点下，把80%的高风险客户识别出来了，误伤率只有10%"，这就比单纯说一句"准确率90%"有价值得多。

5. 常见问题与排查技巧实录

5.1 过拟合严重，测试集分数远低于训练集

这是决策树实验遇到最普遍的问题。很多人一看到测试集分数低，就急着换模型，其实大可不必。正确排查流程是：

1. 先画"深度 vs 准确率"曲线，找出测试集分数开始下滑的临界深度。如果这个深度很小（比如3或5），说明数据本身模式比较简单，参数量一多就容易过拟合。
2. 然后在临界深度附近设置max_depth，再把min_samples_leaf适当调高一点（比如4或5），迫使每个叶子至少覆盖足够多的样本，降低对个别样本的敏感度。
3. 最后用后剪枝ccp_alpha做二次精简。你可以先用一个较大的ccp_alpha范围提前跑一个路径，画出"有效α vs 测试集分数"的曲线，选择测试集分数达到峰值区间的最小α值。这样剪出来的树，往往比单纯限制深度更稳健。

我用一个表格帮大家总结一下常用调试策略的预期效果：

5.2 特征全是数值，但DecisionTreeClassifier报错

很多人用混合类型数据时容易踩这个坑。scikit-learn的DecisionTreeClassifier不接受字符串型特征，它只能处理数值型。解决方法有两个：

一是对类别特征做数值编码。比如"颜色"这个特征，用LabelEncoder转成0、1、2；但对无序类别用 ordinal 编码有时会引入"大小关系"误导模型，所以更稳妥的是OneHotEncoder，把每个取值变成独立的0/1特征。二是如果类别特征确实太多、编码后维度过高，可以先做简单的频次编码（把每个类别用它在样本中出现的频率替代），虽然会丢失一部分信息，但至少决策树能吃下去。

这里有一个进阶点：决策树处理数值特征时，不需要做归一化或标准化。因为树的每一个分裂点都是在原始数值范围内找一个阈值，归一化不会改变阈值对应的相对位置，模型输出完全不受影响。但如果你用决策树提取特征之后再去喂给神经网络或SVM，那归一化又变得很重要了。这种"什么时候需要预处理，取决于后续接什么模型"的思路，是你在实际操作中必须建立起来的。

5.3 随机种子导致的"结果不稳定"

有些同学做实验时会遇到一个奇怪现象：代码一模一样，连续运行两次，结果却不一样。这意味着你忘了设random_state，或者在你的train_test_split和DecisionTreeClassifier两个地方都没固定随机种子。

此外，GridSearchCV的交叉验证分割本身也带有随机性，所以建议在GridSearchCV里也传入cv对应的随机状态参数。最省心的方法：在脚本开头就全局固定随机数，把np.random.seed(42)、random.seed(42)都写上，所有实例化模型时全部传random_state=42。一套流程下来，整个实验时间线上的任何环节都是可复现的。写实验报告时，这也是一句必需有的描述："所有实验均固定随机种子以保证可重复性。"

5.4 类别维度很多，模型变成"四不像"

多分类决策树实验（比如识别10种不同动物）中，如果你发现混淆矩阵里很多类互相搞混，通常不是模型的问题，而是类别之间的特征重叠实在太大。这时我会建议：先用PCA或t-SNE做一个二维可视化，看看类别在特征空间的分布情况。如果发现有某些类几乎完全重叠在一起，那你首先要做的不是调参，而是重新审视特征工程——多提取一些具有区分度的特征，或者用特征选择删除那些噪声大、区分度低的特征。

另外一个实用的技巧是：分析每个叶子节点上的类别分布。有些决策树的叶子节点虽然预测为A类，但里面其实混杂了不少B类样本，这说明在那个特征空间区域内，A和B本来就很难分开。如果你把这个信息反哺给业务方，可能会得到一个意想不到的洞察：不是模型能力不足，而是这个区域的数据本身标错了——毕竟很多实际标签标注本身就有大量的主观性和噪声。

5.5 决策树可视化乱成一团，看不清楚

默认的plot_tree画出来的图，一旦树深超过5，就会变成一堆密密麻麻的方框和线条，基本没法看。解决方式有两个：

一是直接把max_depth限制到一个适合可视化的范围（比如3~5），然后在参数为这个范围内进行可视化和解释。这在写报告时非常好用，因为你的读者能一眼看懂树的规则路径。

二是用export_text输出文本形式的规则：

from sklearn.tree import export_text tree_rules = export_text(grid_search.best_estimator_, feature_names=list(X_train.columns)) print(tree_rules)

这种方法生成的是层级缩进的文字版规则，打印出来可以直接塞进实验报告里，也可以用代码里的字面意思逐行解析成业务规则。对于决策树的"解释性"这个卖点来说，这是最有说服力的一种呈现方式。

6. 补充实验思路：把决策树玩出深度

做完基础实验，如果你想在报告里再出彩一点，我建议加两组对比实验。

第一组：对比不同的特征选择算法。比如你先用决策树自带的feature_importances_选Top-K特征，再用卡方检验（SelectKBest）选Top-K特征，最后把两批特征分别喂进同一个模型里，对比结果。这道实验能让你直观感受到"特征选择方法不同，最终模型的效果也不同"，而且工作量不大，收益却很高。

第二组：对比不同剪枝策略的组合效果。设三组对照：只用预剪枝、只用后剪枝、以及预剪枝+后剪枝联合使用。这三组模型的测试集分数、树深度、叶子数量、训练时间全记录下来。你大概率会看到：联合使用不是简单叠加，而是互补——预剪枝先把树粗剪到一个合理区间，后剪枝再在细节上微调，整体效果通常是最好的。这组实验做出来，对你的认知提升远大于单纯把准确率从93%调到94%。

还有一个我可以透露的小心得：在做树的可视化时，把叶子节点里各类样本的数量标注出来，这一步对实验报告的说服力提升非常大。因为它直接向读者展示了"这个决策边界到底建立在多少样本上"。如果某个叶子只有两个样本，它的分类置信度自然低；如果某个叶子有两百个样本，那这条规则的置信度就高得多。这种细节往往被视为"实验做得踏实"的标志。

从我个人实际操作的体会来说，决策树分类实验最大的价值，不在于你最后拿到了多高的准确率，而在于整个过程反复逼你去思考"数据、特征、模型"三者之间的关系。我做过很多次决策树实验，每一次做完，都会对业务数据有一些新的理解——有些是意外发现，有些是原有认知被推翻。这种"模型训练完，对数据的理解也升级了"的感觉，才是做实验真正上瘾的地方。如果你能把这一整套流程完整做下来，记录下每一步的思考和踩坑，这份实验经验比任何网上下载的Template都有价值得多。下一篇如果你感兴趣，我可以接着写随机森林实验——本质上它就是"很多棵决策树投票"，但一旦你理解了单棵决策树的全部细节，理解森林往往只需要五分钟。