XGBoost调参：树深与树数联调及早停实践

调 XGBoost 的人多半遇到过这种场景：max_depth从 6 改成 10，训练集 AUC 直接冲到 0.99，验证集却纹丝不动甚至掉了两个点；把n_estimators从 100 加到 2000，前三百轮验证分数确实在涨，后面一千七百轮纯粹在给训练集抛光。这两个参数——树的深度（很多资料里直接叫 size）和树的数量——几乎是 XGBoost 调参里最容易凭手感乱拧、也最容易互相拖累的一对。它们单独看都只是两个整数，凑在一起却决定了整个加法模型的容量预算：深度决定单棵树能表达多复杂的规则，数量决定这些规则叠加多少层。下面我按自己实际的调参顺序，把这两个参数拆开讲，再讲它们怎么联调，最后把踩过的坑摊开说。

1. max_depth 和 n_estimators 为什么绕不开彼此

1.1 加法模型里两个参数的分工

XGBoost 的预测结果是把 K 棵树的输出加起来（再加上 base_score），形式上是y_hat = sum(f_k(x))。这里的 K 就是n_estimators，而每棵f_k的复杂度上限由max_depth控制。这个结构决定了两个参数不是正交的：模型总容量约等于「单棵树的容量 × 树的棵数」，你把一边调大、另一边不动，等于悄悄把整体容量放大了一档。

很多人调参时习惯先固定一个参数扫另一个，扫完 max_depth 发现最优是 8，再扫 n_estimators 发现最优是 600，于是把 8 和 600 直接组合起来，结果反而不如原来的 6 和 300。原因很直接：在深度为 6 时扫出来的最优树数，是配合深度 6 的分裂能力标定的；深度换成 8 之后，每棵树的拟合能力更强，同样的 600 棵就过头了。参数之间存在耦合，独立扫描再拼装的做法只在耦合很弱时才成立。

1.2 学习率是把两者绑在一起的黏合剂

learning_rate（原生接口里叫eta）是理解这个耦合关系的关键。每棵树的输出在加到最终结果前会乘上学习率做收缩，于是「实际有效步长 ≈ learning_rate × n_estimators」。想让模型收敛到同样的拟合程度，学习率减半，树的数量大致要翻倍；这是最常见的一条经验换算。

深度也参与这个换算。深树单棵就能拟合一大块残差，浅树每棵只啃一小口。所以「lr=0.1 + depth=8 + 300 棵」和「lr=0.1 + depth=4 + 900 棵」在验证集上经常打出接近的分数——它们的总容量相近，只是容量的组织方式不同。但两者并不等价：深树擅长捕捉高阶特征交互，浅树多轮更接近加性拟合。数据里真实存在强交互时，深树少树的组合往往更省事；数据近似加性时，浅树多树反而更稳、更不容易过拟合。

1.3 复杂度预算：叶子数、样本量、噪声水平

判断这两个参数该往哪边走，本质上是在做一次复杂度预算。预算的收入端是样本量和有效特征数，支出端是叶子节点数。深度 d 在 level-wise 生长下最多产生 2^d 个叶子，depth=6 是 64 片，depth=10 是 1024 片。如果训练集只有 3000 行，1024 片叶子意味着平均每片叶子不到 3 个样本，模型几乎必然在记噪声。

这张表只是起点，不能当结论用。噪声水平的影响同样大：标签噪声重、特征含大量无关列时，深度的边际收益会迅速转负；反过来，特征工程做得干净、交互结构明确的场景，depth=8 也可能稳稳泛化。

1.4 关于「size」这个词的一点澄清

有些教材和博客把树的规模统称为 size，这个词在不同框架里指向的东西不一样。XGBoost 默认是 level-wise 生长，深度是硬约束，叶子数自然被 2^d 卡住，所以你直接调max_depth就够了。另一些 leaf-wise 生长的实现里，用户直接指定num_leaves这个「size」，深度反而只是辅助约束。看到别人写「调 size」时先确认他说的是深度还是叶子数，否则照抄参数会得到完全不同的模型。在 XGBoost 里如果你想精细控制叶子数，可以设max_depth=0（不限制）再配合max_leaves，但那属于进阶用法，日常调参用深度就够。

2. max_depth 到底在限制什么

2.1 深度不是「树有多高」，是「能切几刀」

把决策树想成在特征空间里反复切蛋糕：每次分裂沿着某个特征的一个阈值切一刀，把当前区域的样本分成两拨。深度 d 意味着从根到叶最多切 d 刀，也就是最多用 d 个条件的合取来描述一条规则。

这解释了一件事：深度限制了规则的最大复杂度，而不是样本被分成多少块。depth=3 时每条规则最多三个条件，形如「年龄>35 且 收入<8k 且 城市等级=2」。真实业务里能写清楚、能跟人解释的规则，通常也就三到五个条件。这也是为什么在很多风控、营销场景里 depth=3~5 的小树模型反而更受青睐——不是因为分数高，而是因为规则能被业务方看懂并落地。

2.2 偏差和方差在深度上的走向

深度增加时，模型的偏差单调下降、方差单调上升，验证集误差是一条 U 形曲线。这条曲线的最低点位置取决于信噪比。

我做过一个对比实验，同一个二分类数据集（两万行、三十个特征、其中十二个有效），只改深度、学习率固定 0.05、用早停决定树数：

注意两个细节。第一，深度从 3 涨到 6 时验证分在涨，6 之后开始掉，说明这个数据集的交互阶数大致在 5~6 层。第二，训练集和验证集的差距随深度迅速拉开，depth=10 时差了整整 10 个百分点，这就是典型的记住噪声。

还有一条规律值得记住：最优树数随深度增加而下降。深度翻倍，需要的树数大概是原来的 0.6 倍左右。这不是精确公式，但方向上足够稳定，可以拿来给网格搜索缩小范围。

2.3 min_child_weight 和 gamma 必须跟着深度一起动

这是最容易忽略的一点。min_child_weight是叶子节点所需的最小样本权重和（分类任务里近似等于 Hessian 之和），它是一道防止树无限分裂的闸门。depth 调大而min_child_weight保持默认的 1，等于把闸门完全打开，树会一路分裂到每个叶子只剩一两个样本。

我的习惯是把两者绑定调整：depth 每加 2，min_child_weight大致放大 2~4 倍。depth=6 时用 1~3，depth=8 时用 5~10，depth=10 时用 10~30。这个关系不是理论推导出来的，是从多次实验里摸出来的经验区间，具体数值还是要靠验证集确认。

gamma（原生接口）控制的是「分裂带来的损失下降至少要达到多少才允许分裂」，它和深度是两种不同的限制方式：深度限制的是层数，gamma 限制的是每次分裂的收益门槛。两者叠加使用时，实际长出来的树常常比 max_depth 允许的浅——这时候你看trees_to_dataframe()里每棵树的实际深度会发现普遍只有 5~6 层，说明深度上限根本没被触到，真正的约束是 gamma 或 min_child_weight。

2.4 稀疏特征和高维 one-hot 下的深度陷阱

做文本或者类别特征 one-hot 之后，特征矩阵会变得又宽又稀疏。这种情况下深度调大有个隐蔽的问题：每次分裂都可能在大量近乎全零的列里挑一个只对极少数样本非零的特征，切出来的子节点样本量极小，模型在这部分样本上完全过拟合，而这部分样本在验证集里可能只占几个。

高维稀疏场景我的默认起点是 depth=3~4，配合colsample_bytree=0.3~0.5强制每棵树只看一部分列。把深度压小、树数加上去，往往比深树少树稳得多。

3. n_estimators 的收敛行为和早停的正确姿势

3.1 树的数量有一条陡峭的边际收益递减曲线

加法模型的训练误差随树数单调下降，但下降速度是递减的。前几十轮在拟合主要的结构性信号，分数涨得飞快；中间几百轮在拟合细节；再往后就是在拟合噪声。验证集误差则是先降后升，升的那一段就是过拟合区间。

关键是这个拐点的位置极不稳定。同一份数据换个随机种子、换个验证集切分，拐点可能从 300 挪到 450。所以「调出一个最优树数然后写死」这件事本身就有点脆，更稳的做法是把早停留在流程里，让模型自己决定停在哪。

3.2 early_stopping_rounds 的三个参数陷阱

第一个陷阱是轮数设太小。early_stopping_rounds=10在验证曲线有抖动时会被噪声骗停，尤其是样本量小、正负样本不平衡的时候。我的经验值是 50，样本极少（几千行以下）时甚至放到 100。代价是训练时间变长，但换来的稳定性值得。

第二个陷阱是best_iteration 的索引基准。best_iteration是从 0 开始计数的，如果你手动拿它回去设n_estimators重新训练，要加 1。这个 off-by-one 很难通过看分数发现，因为差一棵树的分数变化通常在千分位，但重训练和早停模型的预测会有细微差别，做模型对比时会让人困惑。

第三个陷阱是版本差异。sklearn 接口里early_stopping_rounds的位置在版本之间变过：早期写在fit()的参数里，较新版本移到了构造器。如果你的代码在某个环境跑得通、换个环境就报错或者被静默忽略，先查这个。

from xgboost import XGBClassifier model = XGBClassifier( n_estimators=3000, # 给一个足够大的上限，让早停去截断 learning_rate=0.05, max_depth=6, min_child_weight=2, subsample=0.8, colsample_bytree=0.8, reg_lambda=1.0, tree_method="hist", eval_metric="auc", early_stopping_rounds=50, # 新版本写在构造器；老版本挪到 fit() 里 random_state=42, n_jobs=-1, ) model.fit(X_tr, y_tr, eval_set=[(X_va, y_va)], verbose=False) print(model.best_iteration, model.best_score)

提示：n_estimators=3000配早停不会真跑 3000 轮，早停触发后训练就停了，所以上限给大一些没有额外代价，只是记得别让学习率小到根本跑不完。

3.3 eval_set 和最终评估集必须分开

这是我认为最常见也最伤人的一个操作失误：把验证集同时当作早停的监控集和最终汇报分数的数据集。早停本身就是用这份数据在做模型选择，再拿它的分数当作泛化估计，结果是系统性偏高。

正确切法是三份：训练集、早停监控集、最终测试集。测试集在整个调参周期里一次都不碰，只在参数定稿后跑一次。如果数据量实在不够切三份，用交叉验证里的「早停集在折内、评估在折外」的方式，或者干脆接受汇报分数偏乐观的事实并在文档里注明。

3.4 用学习率换树数的换算不是线性的

「学习率减半、树数翻倍」这条经验在 lr 处于 0.01~0.2 区间时大致成立，但两头都会失效。lr 极小（比如 0.005）时，树数需要涨到几千甚至上万，训练时间和内存开销变得不可接受，而且收益往往只有千分位；lr 极大（0.3 以上）时，模型收敛很快但容易在最优解附近震荡，验证曲线抖得早停都没法用。

我一般的做法是把 lr 固定在 0.05 或 0.1 做参数搜索，搜索结束后如果还想榨一点分数，再把 lr 降到 0.02~0.03、配合早停重跑一次。这一步通常能带来 0.1~0.3 个点的提升，性价比不高但确实有效，适合比赛末期或者对精度极敏感的场景。

4. 联调的实操顺序和一段能直接跑的代码

4.1 先定深度还是先定树数

我的顺序是：固定 lr → 对每个候选深度跑一次早停 → 比较各深度的最优分数 → 在最优深度附近细化 → 最后微调正则。

为什么先扫深度而不是先扫树数？因为早停会自动为每个深度找到合适的树数，一次训练同时得到两个参数的信息。反过来先固定树数扫深度，你得为每个深度手动试好几档树数，计算量翻几倍。

下面这段代码就是干这件事的，六档深度各跑一次早停，输出对应最优树数和验证分数：

import numpy as np import pandas as pd from xgboost import XGBClassifier def scan_depth(X_tr, y_tr, X_va, y_va, depths, lr=0.05, seed=42): rows = [] for d in depths: m = XGBClassifier( n_estimators=5000, learning_rate=lr, max_depth=d, min_child_weight=max(1, d // 2), subsample=0.8, colsample_bytree=0.8, reg_lambda=1.0, tree_method="hist", eval_metric="auc", early_stopping_rounds=50, random_state=seed, n_jobs=-1, ) m.fit(X_tr, y_tr, eval_set=[(X_va, y_va)], verbose=False) rows.append({ "max_depth": d, "best_iters": m.best_iteration + 1, "val_auc": round(m.best_score, 5), }) print(f"depth={d:>2} best_iters={m.best_iteration + 1:>5} val_auc={m.best_score:.5f}") return pd.DataFrame(rows) res = scan_depth(X_tr, y_tr, X_va, y_va, depths=[3, 4, 5, 6, 7, 8, 10])

跑完你会得到一张表，通常呈现「分数先升后降、最优树数单调下降」的形态。挑出分数最高的那一两档深度，再在它们之间做更细的扫描（比如最优是 6，就再试 5、6、7 并调整 min_child_weight）。

4.2 把两个参数放一起看：二维网格的意义

如果算力允许，直接做 max_depth × n_estimators 的二维网格更直观。这里有个技巧：不要对每个格子都重新训练，而是对每个深度训练一次跑到 5000 轮，然后从evals_result里取出每一轮对应的验证分数，想截取多少棵树就截取多少。

m = XGBClassifier( n_estimators=1500, learning_rate=0.05, max_depth=6, subsample=0.8, colsample_bytree=0.8, tree_method="hist", eval_metric="auc", random_state=42, n_jobs=-1, ) m.fit(X_tr, y_tr, eval_set=[(X_tr, "train"), (X_va, "valid")], verbose=False) hist = m.evals_result() valid_curve = hist["validation_0"]["auc"] # 注意顺序：eval_set 的第一个是 train

拿到曲线之后，你可以直接回答「300 棵和 800 棵差多少」这类问题，而不用真跑两遍。我通常会把几个深度的曲线画在同一张图上，看它们的交叉点——交叉点往往说明浅树多轮在某个树数之后反超了深树少轮，这个位置对理解数据结构很有帮助。

4.3 结果怎么解读：三种典型形态

扫完之后的结果大致分三种。

第一种是单峰明显：某一档深度显著优于其他，两侧快速下降。这说明数据的交互阶数很明确，深度就定在峰值附近，比较省心。

第二种是平台很宽：depth 从 4 到 8 分数只差千分之几。这种情况说明模型的瓶颈不在树结构上，继续在这两个参数上磨收益极小，应该转去做特征工程或者检查标签质量。我在实际项目里遇到平台宽的情况，八成是特征信息量不够，而不是参数没调好。

第三种是分数随深度单调下降。这通常不是深度的问题，而是数据量太小或者噪声太大，模型连 depth=3 都嫌复杂。这时候该做的是减特征、加正则、检查标签是否有系统性错误，而不是继续调参。

4.4 不同场景下的参数起点表

下面这张表是我给自己留的起点，拿到新数据先照着跑一版基线，再往上调：

表里的树数是「早停大概会停在哪」的量级预估，实际还是让早停自己决定。给上限的时候留 2~3 倍余量就行。

5. 我在实际项目里踩过的几个坑

5.1 早停跑完，最终模型却没用 best_iteration

这个坑的形态是：训练时明明早停在 340 轮，验证分数 0.902，但交付的模型预测出来分数只有 0.89。查了半天发现，最终保存模型时用了一个新的XGBClassifier(n_estimators=340)重新在全量数据上训练，没有带早停，也没有用原来的参数——重新训练时因为数据变了，340 轮并不是最优，而且min_child_weight之类也跟着默认值跑了。

正确的做法只有两个：要么直接用早停训练出来的那个模型对象做预测（较新版本的 sklearn 接口在早停后默认使用 best_iteration 做预测）；要么在确认best_iteration之后，把n_estimators设成best_iteration + 1、其他参数原封不动，再在全量训练集上重训一次，并且这次不再传 eval_set。两条路都行，但不能混着来。

提示：模型的best_iteration语义在不同接口和版本下有过调整，交付前用一小份数据对比「早停模型」和「重训模型」的预测是否一致，比读文档靠谱。

5.2 深度调大之后，模型里出现了大量空树

有一次把 depth 从 6 提到 10，训练正常结束，但用trees_to_dataframe()一看，几百棵树里有相当一部分只有根节点、没有分裂。原因是那份数据的特征里有一批方差极小的列，加上min_child_weight设得偏大，分裂的收益达不到gamma的默认门槛，树就长不出来。

这类空树不报错，但会浪费树数名额——你以为有 800 棵树在干活，实际只有 500 棵有效。排查方法是看trees_to_dataframe()里每棵树的节点数分布，如果大量树的节点数是 1，说明分裂条件过严。处理方式是降min_child_weight、把gamma显式设成 0 试试，或者干脆把那批低方差特征删掉。

5.3 树数加到五千，训练时间翻五倍，分数涨了 0.0003

这是典型的收益陷阱。当时为了追一个千分位，把 n_estimators 从 800 拉到 5000、lr 从 0.05 降到 0.02，训练时间从四分钟变成二十多分钟，验证分数从 0.9012 变成 0.9015。这个提升在交叉验证的波动范围内，基本等于没有。

我的判断标准是：提升幅度要大于交叉验证的标准差才有意义。跑五折交叉验证，看各折分数的标准差，如果提升小于这个数，就别费这个算力了。旁边那个改动特征构造的尝试，同样的时间投入能带来一个点的提升，性价比差了几十倍。

5.4 类别极不平衡时，深度和树数同时放大等于灾难

在一个正样本只占 1.5% 的数据集上，我照着小样本表格的经验给了 depth=8、树数上限 3000，结果早停的验证曲线抖得完全没法看，同一次训练换两个随机种子，best_iteration 能从 180 跳到 900。

原因有两个。一是 AUC 在极端不平衡时对少数样本的排序变化非常敏感，验证集里的正样本只有几百个，随便几个样本的预测顺序变化就能让 AUC 跳动千分位。二是深树在小样本地区域过拟合严重，每棵树的行为差异很大，累积起来就是曲线剧烈震荡。

处理方式：把eval_metric换成aucpr（PR 曲线下的面积，对少数类更敏感）、深度压到 4~5、min_child_weight调小、给scale_pos_weight或sample_weight做补偿，早停轮数放到 100。这套组合下来曲线会平顺很多，best_iteration 也稳定了。

5.5 交叉验证里每折的 best_iteration 差异很大

最后补一个容易被忽略的细节。做 K 折交叉验证时，如果每折都跑早停，你会得到 K 个不同的 best_iteration。这时候最终模型的树数该取多少？取平均、取中位数、还是取最小值？

我的做法是取各折 best_iteration 的中位数，然后加一点点余量。取最小值太保守，模型在多数折上欠拟合；取最大值则过拟合风险高。更重要的是看这些值的离散程度——如果五折分别是 320、315、330、2900、310，那说明折 4 出问题了，通常是那一折的验证集切分正好把某个关键特征切偏了，值得单独去看一眼混淆矩阵，而不是简单取平均把问题抹平。

调这两个参数调到最后会发现，真正决定上限的不是参数本身，而是你对数据里交互结构的理解程度。深度是「模型能看多深」，树数是「模型愿意看多少遍」，两者都得跟数据的实际复杂度对上，硬堆参数只会让训练集分数好看。我现在的习惯是每次调完都回头看一眼训练集和验证集的分数差，差值超过五个百分点，基本上就是这两个参数里有一个过了——这算是我自己给自己设的一道闸。