CatBoost类别特征实战：告别One-Hot，高基数分类建模更高效

去年做客户流失预测，我上来就对那个高基数“城市”字段打了一串pd.get_dummies()。三十万行数据，一千多个城市，memory usage直接从几百 MB 干到几个 GB，Notebook 卡到 Kernel 崩溃。后来换成 CatBoost，把类别列原地声明成 categorical，不编码、不预处理，跑下来 AUC 反而高了两个点。那之后我就一直想把这个“类别特征为什么不用 One-Hot”的道理讲透。这篇以 Python 实战为主线，讲 CatBoost 处理类别特征的核心机制、完整训练管线，以及我实际踩过的 5 个坑。适合两类人：一类是被稀疏矩阵和高基数类别折磨的新手；另一类是已经会用 XGBoost、LightGBM，但想让分类特征建模更省心的朋友。

1. 为什么 One-Hot 在树模型里经常“不灵”

1.1 高基数类别带来的维数灾难是实打实的

先说个最简单的账。你有一个城市字段，一千万个类别，One-Hot 之后特征矩阵变成 1000 万列。哪怕数据只有 50 万行，这个矩阵也是 50 万乘 1000 万的稀疏结构，Card 拿出来可以做，但训练速度、内存占用、调参迭代的成本全被放大。

更麻烦的是，树模型在稀疏高维空间里找分裂点时，大部分特征被选中的概率极低。想象一个 1000 万列的特征空间，一个类别只在几千行里出现，模型要在一个极度稀疏的维度上找到有效的分裂阈值，信噪比非常差。实际项目里我见过特征维度从 30 直接炸到 8000 多，LightGBM 还能硬扛，XGBoost 就已经很吃力，而换 CatBoost 之后维度几乎没变。

1.2 决策树在 One-Hot 空间里只能做“单特征 0/1 切分”

One-Hot 的每个维度只有 0 和 1 两种取值。决策树在某个特征上分裂时，本质是找一个阈值把样本分成两组。对 One-Hot 列来说，这个阈值只有两个选择：该列等于 1，或者该列等于 0。

换句话说，树在每个 One-Hot 列上只能回答“是不是这个类别”，没办法像连续特征那样在不同阈值之间滑动。如果某个类别占总样本的比例很小，比如“城市-鄂尔多斯”只占 0.1%，那这列在绝大多数节点上都是 0，分裂出来的子节点几乎都是空集或者极小的样本量，统计意义很弱。

这还没提另一个问题：当类别基数很高时，模型天然倾向优先切那些出现频率高的类别列，稀疏类别直接沦为摆设。所以并不是 One-Hot 本身有错，而是它和树模型“贪心找最优分裂”的机制不匹配。

1.3 One-Hot 切断了类别之间的语义关联

业务里的类别通常不是彼此孤立的。比如“华东区”“华南区”“华北区”，它们之间有地域邻近、消费习惯相似的关系；再比如商品类目“手机”和“耳机”，用户群高度重叠。One-Hot 把这些关系全部抹平成一个正交的 0/1 向量，模型学不到“华东和华南可能行为相似，可以相互借用样本”这类信息。

当训练样本不足时，这种信息尤为关键。一个类别只有 50 个样本，One-Hot 下它就只能用这 50 个样本学自己的规则；但如果用目标编码的思路，它可以从同类别的相似样本里借力。CatBoost 的 Ordered Target Statistics 做的事情，本质上就是把这种“相似类别共享统计信息”的能力内置进模型。

2. CatBoost 的 Ordered Target Statistics 到底做了什么

2.1 直接目标编码是泄漏的重灾区

你一定听说过更简单的替代方案：直接把每个类别的目标均值算出来当特征。比如某个城市的流失率是 0.9，那就把城市字段替换成 0.9。这就是最朴素的目标编码（Target Encoding）。

但它有致命问题：目标均值是用全部样本的标签算出来的，训练过程中模型“偷看”了当前样本的标签信息。训练集上效果很好，一到测试集，那些极端类别（比如某城市总共只有 3 个客户，流失率要么 0 要么 1）的编码值会剧烈波动，模型直接过拟合。

有人会加 smoothing，有人会在 K 折里做 out-of-fold 编码——这些都能缓解，但只要编码过程使用了当前样本的 label，泄漏的根子就还在。CatBoost 的思路更彻底：让每个样本的编码只依赖它“前面”的样本。

2.2 Ordered TS：只用“前面”的样本来算均值

CatBoost 对每个类别特征做 Ordered Target Statistics（简称 Ordered TS），核心步骤是：

1. 对训练样本做一次随机排列，得到一个顺序；
2. 对每一行样本，计算该类别下“排在该行之前”的所有样本的目标均值；
3. 再加上一个先验值做平滑，公式大致是：TS = (prior * a + count_so_far * avg_so_far) / (count_so_far + a)其中a是平滑系数，prior一般取全局目标均值；
4. 这个过程用多个随机排列重复几次，最后取平均，降低随机性带来的波动。

翻译成人话：训练集第 i 行的类别编码，只能用第 1 到第 i-1 行的信息来算，当前行的标签严格不参与。这样从机制上切断了标签泄漏的路径，同时保留了“相似类别共享统计信息”的好处。

而这个随机排列会在模型训练的每次迭代（或每个 boosting 轮次）重新生成，所以同一列在不同深度会被编码成略有差异的数值特征，相当于人为制造了扰动，反而提升了模型的泛化能力。这一点我第一次读论文时也觉得反直觉，但实测确实有效。

2.3 对称树 Oblivious Tree 的隐性收益

CatBoost 默认用对称树（Oblivious Tree），即每一层所有节点用同一个特征、同一个分裂阈值。表面上这是个限制，实际上它带来了一个好处：模型被迫用多个弱规则组合成强判断，天然地捕捉特征交互。

举个例子：对称树的第一层可能按“合同类型是否月付”分裂，第二层又按“是否新用户”分裂。因为每层全局共享分裂规则，整个树结构实际上就是一个可解释的规则集合，而不像普通树那样每个分支各走各的。配合 Ordered TS 编码后的数值特征，这种结构在小数据集上表现特别稳，不太容易过拟合。

所以 CatBoost 并不只是“换了个编码方式”，而是把“类别编码、树结构、防泄漏”三件事打包在一起，才敢说类别特征可以不 One-Hot。

3. Python 实战：一份可以直接改的入门管线

3.1 安装与版本选择

安装没什么新意，直接：

pip install catboost

建议优先用最新稳定版，因为我踩过旧版本里cat_features传参方式不一致的坑。如果你还有 scikit-learn 依赖，注意 CatBoost 支持 sklearn 风格的fit/predict接口，所以凡是会GridSearchCV的人可以直接用CatBoostClassifier()对象。

3.2 类别特征是怎么声明进去的

直接看代码，这是最常见也最容易出错的环节：

import pandas as pd from catboost import CatBoostClassifier, Pool # 示例数据：客户信息 + 是否流失 df = pd.read_csv("telco_churn.csv") cat_cols = ["gender", "contract_type", "payment_method", "city"] X = df.drop("churn", axis=1) y = df["churn"] model = CatBoostClassifier( iterations=500, learning_rate=0.05, depth=6, eval_metric="AUC", random_seed=42, verbose=100, ) model.fit( X, y, cat_features=cat_cols, eval_set=(X_val, y_val), early_stopping_rounds=50, )

这里有两个关键细节：

• cat_features传的是列名的 list。如果你传的是 numpy 数组，那它只认索引（整数），不认列名。这是最容易踩的暗坑之一。
• 如果 X 是 DataFrame，且某列是object或category类型，CatBoost 会自动把它当类别特征；但如果某列是int，哪怕它的取值只有 0/1/2 三个，CatBoost 也不会自动识别成类别。所以最稳妥的做法永远是手动传cat_features。

也可以一次性封装成 Pool 对象，后续预测、交叉验证都复用：

train_pool = Pool(X_train, y_train, cat_features=cat_cols) val_pool = Pool(X_val, y_val, cat_features=cat_cols)

3.3 参数初版配置与早停

对新手而言，一开始不需要追求极限调参，稳定优于快速。下面是我默认会开的配置：

另外，网格搜索别一上来就是全参数组合，会爆炸。我习惯先用 100 轮迭代看学习曲线，确定learning_rate的量级；再固定depth，把l2_leaf_reg粗扫一遍；最后才考虑border_count和采样比例。真实项目里 80% 的提升靠的是特征质量和早停，不是参数捻来捻去。

提示：early_stopping_rounds必须配合eval_set才生效，否则它只会静默地跑满iterations。

4. 实战中踩过的 5 个坑（附带排查思路）

4.1 坑一：整数编码的类别列被当成数值特征

现象：训练完看特征重要性，有一个“客户编号”或者“地区代码”排第一，重要度远超其他特征，验证集却不涨。原因是这类字段本质是类别，但 dtype 是 int，你没声明cat_features，CatBoost 把它们全当数值连续特征处理了。数值特征可以参与各种比大小分裂，模型把 10086、10087、10088 当大小序列来用，自然强行编造出规律。

排查办法：看df.dtypes和df[col].nunique()。如果一列是整型，但取值数很少且没有顺序含义，比如地区代码 1-34，那它十有八九是类别。

正确做法：要么放进cat_features，要么先改成astype(str)再丢进去。记住一个原则：模型不会读心，它只会按数据类型理解特征。

4.2 坑二：验证集出现训练集没见过的类别

现象：训练一切正常，一到predict直接抛错，类似CatBoostError: There are missing features或者“unseen category”相关的报错信息。

原因：训练时模型为每个类别建立了统计映射表，验证集出现一个新城市，映射表里查不到，CatBoost 没有办法生成对应的 Ordered TS 编码，只能报错。这个和 One-Hot 不同，One-Hot 遇到新类别只会全零，静默失败；CatBoost 是显式报错，反而更安全。

解决办法：

1. 训练前先把训练集和验证集的类别集合统一，做交集，把只在某一侧出现的值归并为"OTHER"；
2. 或者直接改 dtype 为pd.CategoricalDtype(categories=union_categories)，这样训练和预测两边的取值空间就固定了；
3. 线上环境更要提前约定类别字典，新值一律映射到"OTHER"。

我见过太多人在这里栽跟头，都是因为“训练好好的，上线就崩”。

4.3 坑三：模型保存后再预测，特征顺序悄悄变了

现象：训练、验证都正常，保存模型后用新数据预测，出来的结果明显错乱，但一个报错都没有。这是最阴的坑。

根因：如果你训练时传的是 DataFrame，预测时图省事传了 numpy 数组，或者反过来，CatBoost 会按特征位置来理解输入。只要列顺序和训练时不一致，模型就把“年龄”当成“收入”来算，结果自然不会对。

我的习惯是训练和预测一律用 DataFrame，并且在保存时把特征名列一起存档：

model.save_model("churn_model.cbm")

预测时加载：

from catboost import CatBoostClassifier model = CatBoostClassifier() model.load_model("churn_model.cbm") # 特征顺序要和训练一致 columns = ["age", "gender", "contract_type", "payment_method", "city"] pred = model.predict_proba(X_new[columns])[:, 1]

如果非要用 numpy，那就老老实实保证列顺序与训练时完全相同。这个坑我不只踩过一次，几乎每个做过模型上线的朋友都有一段黑历史。

4.4 坑四：cat_features 用索引，中途 DataFrame 列序变了

现象：训练代码用的是cat_features=[1, 3, 5]（索引），一切正常。后来 pipeline 里加了一列、删了一列，你忘了改索引，模型照常训练，不出错，但性别、城市、支付方式全被错位声明。

原因：索引方式逐位置解释特征，DataFrame 列一变化，索引含义就变。最难受的是它不报错，结果错误会潜伏到模型效果变差甚至上线翻车。

解决办法：统一用列名字符串列表。好处有三：可读性高、顺序无关、加列删列不容易错位。如果代码里已经到处用了索引，建议重构时顺手改成列名，这个 10 分钟的改动可能帮你省掉一整天的排查时间。

4.5 坑五：手工做了目标编码，又喂给 CatBoost

现象：有些同学习惯了 LightGBM 的做法，先拿category_encoders.TargetEncoder把类别列编码成一个数值列，再丢给 CatBoost，还同时保留原始类别列。结果模型效果没变好，反而验证集方差变大，特征重要性图上一列“猫腻”特征高得离谱。

原因：你手工做的目标编码已经用了标签信息，里面可能带了泄漏；CatBoost 拿到这个数值特征后会正常建模，并且很可能把它当成高强度信号。等于你把“已经偷看过答案的人”放进考场，它还帮你答题，分数自然失真。

正确做法：直接用 CatBoost 的原生类别支持，原始类别列放进cat_features，手工编码列直接不要。如果你做的是 baseline 对比实验，那就在一个单独的验证集上评估手工目标编码，别让它混进主模型。我在项目里反复验证过：凡是手工目标编码 + CatBoost 原生类别同时存在的情况，最后几乎都会翻车。

5. 一组实测对比与调参心得

5.1 同一份数据：One-Hot + XGBoost vs CatBoost 原生类别

拿一份公开的客户流失数据集做对比，特征里包含城市、合同类型、支付方式等 15 个类别特征，基数为 5 到 1200 不等。两组实验都做 5 折交叉验证，结果如下：

印象最深的不是 AUC，而是特征维度从 3245 掉到 15，内存缩到七分之一。训练时不用再为稀疏矩阵焦头烂额，调参迭代也快得多。当然这只是一个数据集的结果，但我在多个场景（推荐、风控、营销响应）里都观察到了类似趋势：高基数类别多的时候，CatBoost 原生类别基本是性价比最高的选择。

5.2 我最后固定下来的配置与习惯

说几个“默认习惯”供参考，都是实战里调出来的：

• 先跑默认参数，看学习曲线。默认参数下如果用 300 轮还没收敛，优先改learning_rate，而不是直接加iterations。
• 类别基数太大时适当调大l2_leaf_reg。我有一次把 2000 多个类别的城市列直接丢进去，不调正则，验证集 AUC 掉了 1.5 个点，加上l2_leaf_reg=10之后立刻回来。
• 缺失值不用太纠结。CatBoost 原生支持 NaN 处理，数值列和类别列的缺失值都可以直接保留，省掉大量填充逻辑。
• 小数据集务必降低iterations并配合早停。10 万样本以下，500 轮基本到顶，加轮次只是过拟合。
• 预测时永远用 DataFrame + 列名。这是整篇里最想说的一句话，没有之一。

另外补充一个不是技巧但很重要的点：不要等到所有特征都处理好了再考虑编码方式。建特征之前就想清楚每列的语义，类别就按类别处理，数值就按数值处理，不要让工具替你猜。CatBoost 的“不用 One-Hot”从来不是偷懒，而是把目标编码的正确形式内置进了模型，告诉你：类别特征本质上有结构，值得被更严肃地对待。

我在几个项目里反复体会到一件事：建模的第一步不是调参，也不是选模型，而是搞清楚每一列特征在业务里到底代表什么。One-Hot 会把类别打散成彼此无关的哑变量，CatBoost 则会替你把类别之间的统计关系压缩进特征里。理解了这一点，你拿到任何带高基数分类字段的数据，都不会再条件反射地get_dummies，而是会先问一句：这些类别真的彼此独立吗？这个习惯，比任何参数都值钱。