决策树：划分规则、剪枝方法与适用场景
- 决策树（Decision Tree）算法详细介绍
- 一、 决策树的基本结构
- 二、 决策树的核心问题：如何选择划分特征？
- 1. 信息增益（ID3算法）
- （1） 前置概念：信息熵
- （2） 信息增益的定义
- （3） 缺点
- 2. 信息增益率（C4.5算法）
- 3. 基尼系数（CART算法）
- （1） 基尼系数的定义
- （2） 特征的基尼指数
- 三、 决策树的训练与剪枝
- 1. 决策树的生成过程
- 2. 决策树的剪枝：解决过拟合问题
- （1） 预剪枝（Pre-pruning）
- （2） 后剪枝（Post-pruning）
- 四、 决策树的优缺点与适用场景
- 优点
- 缺点
- 适用场景
- 五、 决策树与逻辑回归的核心区别
决策树（Decision Tree）算法详细介绍
决策树是机器学习中经典的分类与回归算法，它的核心思想是模拟人类的决策过程——通过对数据特征的层层判断，最终得到分类或回归结果。决策树的结构直观易懂，就像一棵“判断树”，自上而下包含根节点、内部节点、叶节点，无需复杂的数学推导就能解释预测逻辑。
一、 决策树的基本结构
一棵完整的决策树由三类节点组成：
- 根节点：树的最顶端，是整个决策过程的起点，包含全部训练数据，并基于某个特征进行第一次划分。
例：预测“是否购买电脑”，根节点可以是“年龄”。 - 内部节点：树的中间节点，代表一次特征判断，每个内部节点都会将数据划分为多个子集。
例：根节点“年龄”划分为“青年、中年、老年”三个分支，每个分支对应一个内部节点，可继续用“收入”“信用等级”等特征划分。 - 叶节点：树的最底端，代表最终的决策结果（分类任务是类别，回归任务是连续值），叶节点不再划分数据。
例：“购买电脑=是”“购买电脑=否”就是叶节点。
核心逻辑：从根节点出发，每一步根据特征的判断结果走不同分支，最终落到叶节点，得到预测结论。
二、 决策树的核心问题：如何选择划分特征？
决策树的训练过程，本质是选择最优特征对数据进行划分——让划分后的子集尽可能“纯净”（即子集内的数据属于同一类别）。衡量“纯净度”的指标有三种，对应不同的决策树算法。
1. 信息增益（ID3算法）
（1） 前置概念：信息熵
信息熵是衡量数据混乱程度的指标，熵越高，数据越混乱；熵越低，数据越纯净。
对于数据集D DD，假设包含K KK个类别，第k kk类样本占比为p k p_kpk，则信息熵公式为：
E n t ( D ) = − ∑ k = 1 K p k log 2 p k Ent(D) = -\sum_{k=1}^K p_k \log_2 p_kEnt(D)=−k=1∑Kpklog2pk
- 若D DD中所有样本都是同一类别（完全纯净），E n t ( D ) = 0 Ent(D)=0Ent(D)=0；
- 若D DD中样本均匀分布在所有类别（最混乱），E n t ( D ) Ent(D)Ent(D)最大。
（2） 信息增益的定义
信息增益表示通过某个特征划分数据后，信息熵的减少量。减少量越大，说明这个特征的划分效果越好。
假设特征A AA将数据集D DD
