SVM三分类实战：一对一策略、核函数与参数调优

简介：这份资源面向机器学习初学者与需要完成模式识别作业的开发者，聚焦如何用支持向量机（SVM）实现数据的三分类任务，并给出可运行的MATLAB实现方案。压缩包共6个文件，以5个m脚本和1个data数据文件为主，脚本分别承担训练、核函数、分类器构建与结果可视化等职责，数据文件用于直接加载实验样本，整体约4KB，轻量易读。资源已有6349人学习下载，说明其在SVM多分类入门场景中具备一定参考价值。内容围绕一对一策略展开，将三分类拆解为多个二分类SVM，并演示fitcsvm与predict的调用方式，读者可据此理解核函数选择、正则化参数设置及预测标签归并的完整流程，适合作为课程实验、算法复现与二次开发的起点。

1. 到底什么是 SVM 三分类：从“画一条线”说起

如果你第一次听到“支持向量机”和“三分类”这两个词凑在一起，大概率会有点懵。其实可以这样理解：SVM 最初是用来做“二选一”判断的，比如判断一封邮件是垃圾邮件还是正常邮件，它做的事就是在两类数据之间画一条最宽的分界线。这条线不是随便画的，它要尽可能远离两边的数据点，就像在两拨人之间修一堵墙，墙离谁太近都容易吵架。

那“三分类”又是什么？就是要把数据分成三个类别，而不是两个。比如根据花瓣长度和宽度，把花分成三个品种。这时候一条直线就不够用了，需要更巧妙的策略。SVM 处理三分类的核心思路，是把“三选一”拆成多个“二选一”的组合，再通过投票决定最终归属。搞懂这个思路，你就能明白为什么 SVM 在小样本、高维数据上依然能打，也能避开“它只能做二分类”这个常见误解。

2. 为什么 SVM 要拆着做三分类：一对多与一对一的底层逻辑

2.1 从“二分类器”到“多分类器”的鸿沟

SVM 的数学底子是一个二分类器。它的目标是在特征空间里找到一个超平面，让两类数据之间的间隔最大化。这个“间隔最大化”是 SVM 的灵魂——间隔越大，模型对未知数据的容忍度就越高，泛化能力越强。但问题来了：当你面对三个类别时，一个超平面只能把空间切成两半，没法直接切成三块。

打个比方，你有一把只能切一刀的刀，要把一块蛋糕分成三份，怎么办？答案是：切多刀，然后组合。SVM 处理三分类也是这个思路，它不指望一个超平面解决所有问题，而是训练多个二分类器，再让它们“投票”。

具体来说，有两种主流拆法：一对多和一对一。一对多是“一个类别对其余所有类别”，比如三个类别 A、B、C，就训练三个分类器：A 对 B+C、B 对 A+C、C 对 A+B。一对一则是“每两个类别之间训练一个分类器”，三个类别需要训练三个分类器：A 对 B、A 对 C、B 对 C。

2.2 一对多和一对一到底怎么选

一对多的优点是分类器数量少，三个类别只需要三个模型，训练速度快。但它的缺点是每个分类器的正负样本极度不均衡——比如 A 类只有 100 个样本，B+C 有 900 个，训练时模型会偏向多数类。而且当类别数量增加时，这种不均衡会越来越严重。

一对一的优点是每个分类器只用到两个类别的数据，样本相对均衡，训练更稳定。缺点是分类器数量随类别数平方增长——三个类别是 3 个，十个类别就是 45 个。不过对于三分类来说，3 个分类器完全在可接受范围内，所以实际项目中一对一更常用。

下面用一段简化的 Python 代码展示一对一投票的逻辑，基于 scikit-learn 的 SVC 默认就是一对一策略：

from sklearn import svm from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split # 生成一个三分类数据集，每个类别 50 个样本，共 150 个 X, y = make_classification(n_samples=150, n_features=2, n_informative=2, n_redundant=0, n_classes=3, n_clusters_per_class=1, random_state=42) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # 使用线性核 SVM，decision_function_shape='ovr' 表示输出一对多形式的决策值 # 但底层训练仍然是一对一，只是决策值聚合方式不同 clf = svm.SVC(kernel='linear', decision_function_shape='ovr') clf.fit(X_train, y_train) # 查看预测结果和决策值 print("预测类别:", clf.predict(X_test)) print("决策值形状:", clf.decision_function(X_test).shape)

这段代码里，decision_function_shape='ovr'控制的是输出决策值的形状，而不是训练策略。scikit-learn 的 SVC 底层始终用一对一训练，但你可以选择输出一对多的决策值方便解释。decision_function返回的数组形状是(样本数, 类别数)，每一列代表该样本属于对应类别的置信度，取最大值那一列就是最终预测类别。

2.3 投票时平票了怎么办

一对一投票有一个经典问题：如果三个分类器投出来 A 得 1 票、B 得 1 票、C 得 1 票，怎么办？这种情况在理论上存在，实际中也有小概率发生。scikit-learn 的处理方式是看决策值的总和——每个分类器不仅投票，还会给出一个置信度分数，平票时比较各类别的置信度总和，谁高谁赢。

这个细节说明一件事：SVM 三分类不是简单的“少数服从多数”，而是带权重的投票。理解这一点，你在调参时就能明白为什么decision_function_shape参数会影响输出，但不会改变底层模型。

3. 核函数在三分类里扮演什么角色：把“切不开”变成“切得开”

3.1 线性不可分时，核函数就是救场英雄

SVM 最强大的地方在于核函数。如果数据在原始空间里线性不可分——也就是画不出一个超平面把三类分开——核函数可以把数据映射到更高维的空间，在那里线性可分。这就像你在桌面上没法把红蓝绿三堆豆子用直线分开，但把豆子抛到空中，用一个平面去切，可能就分开了。

常用的核函数有线性核、多项式核、径向基核（RBF）和 Sigmoid 核。对于三分类任务，RBF 核通常是首选，因为它能处理非线性边界，而且参数不多，主要调一个gamma和一个C。线性核适合特征维度已经很高、样本量大的场景，训练速度快。多项式核适合有明确多项式关系的数据，但参数多，调起来容易翻车。

3.2 参数 C 和 gamma 到底在调什么

C是惩罚系数，控制模型对误分类的容忍度。C 越大，模型越不能容忍错分，容易过拟合；C 越小，模型越宽容，容易欠拟合。打个比方，C 就像老师判卷的严格程度——C 大是“错一题就扣十分”，C 小是“差不多就行”。

gamma是 RBF 核的宽度参数，控制单个样本的影响范围。gamma 越大，影响范围越小，模型越关注局部，容易过拟合；gamma 越小，影响范围越大，模型越平滑，容易欠拟合。这两个参数需要配合调，常用的方法是网格搜索交叉验证。

下面是一个带参数调优的示例：

from sklearn.model_selection import GridSearchCV # 定义参数网格 param_grid = { 'C': [0.1, 1, 10, 100], 'gamma': [1, 0.1, 0.01, 0.001], 'kernel': ['rbf'] } # 网格搜索，5 折交叉验证 grid = GridSearchCV(svm.SVC(), param_grid, refit=True, verbose=0, cv=5) grid.fit(X_train, y_train) # 输出最佳参数和最佳得分 print("最佳参数:", grid.best_params_) print("最佳交叉验证得分:", grid.best_score_) print("测试集准确率:", grid.score(X_test, y_test))

这段代码会遍历 16 种参数组合，每种做 5 折交叉验证，总共训练 80 次模型。对于 150 个样本的小数据集，几秒钟就能跑完。refit=True表示用最佳参数在整个训练集上重新训练一次，方便后续直接预测。best_score_是交叉验证的平均准确率，score是测试集准确率，两者差距大说明可能过拟合。

3.3 多分类时核函数的选择有区别吗

核函数的选择和三分类没有直接关系，它只和数据分布有关。但有一个细节值得注意：一对一策略下，每个分类器只用到两个类别的数据，如果某个类别的样本在原始空间里和其他两类都线性不可分，那么用 RBF 核是必要的。如果三个类别两两之间都线性可分，线性核就够用，而且训练快得多。

实际项目中，建议先用线性核跑一遍看效果，如果准确率明显低于预期，再换 RBF 核。这样能避免一上来就调复杂模型，浪费时间。

4. 易混概念辨析：SVM 三分类里最容易搞错的几件事

4.1 易混点一：多分类策略和核函数是一回事吗

为什么混：两者都涉及“怎么处理复杂情况”，而且经常在同一个段落里出现，初学者容易把它们当成同一层面的东西。

怎么区分：多分类策略解决的是“如何用二分类器组合出多分类器”的问题，属于架构层面；核函数解决的是“数据在当前维度下能不能分开”的问题，属于特征映射层面。一对一、一对多是策略，线性核、RBF 核是工具。策略决定训练几个模型，核函数决定每个模型怎么画边界。

4.2 易混点二：SVM 只能做二分类

为什么混：很多入门教程只讲二分类，导致很多人以为 SVM 天生只能分两类。

怎么区分：SVM 的原生形式确实是二分类，但通过一对一或一对多组合，完全可以做三分类甚至更多分类。scikit-learn 的 SVC 默认就支持多分类，你只需要把标签设成 0、1、2 就行，底层自动处理。所以“SVM 只能二分类”是历史印象，不是技术限制。

4.3 易混点三：三分类的准确率一定比二分类低

为什么混：直觉上类别越多越难分，准确率应该下降。

怎么区分：准确率取决于数据本身的可分性，而不是类别数量。如果三个类别在特征空间里分得很开，三分类准确率可以接近 100%。如果两个类别重叠严重，二分类准确率也可能只有 60%。随机猜测的基线不同——二分类是 50%，三分类是 33%，所以看准确率时要和基线对比，不能直接跨类别数比较。

4.4 易混点四：决策函数输出的数值就是概率

为什么混：decision_function返回的数值有正有负，看起来像概率的变体。

怎么区分：SVM 的决策值不是概率，它只表示样本到超平面的距离和方向，绝对值大小受 C 和 gamma 影响，没有概率意义。如果要概率输出，需要额外用 Platt 缩放（probability=True），但这会增加训练时间，而且在小数据集上概率估计可能不稳定。做三分类时，如果只需要类别标签，直接用predict就行，不必开概率。

4.5 易混点五：样本量越大 SVM 效果越好

为什么混：很多算法都是数据越多越好，容易套用到 SVM 上。

怎么区分：SVM 在小样本上表现优秀，因为它的核心是支持向量——只有少数靠近边界的样本决定超平面。样本量增大到一定程度后，支持向量数量也会增加，训练时间呈超线性增长，而准确率提升可能非常有限。对于三分类任务，如果每类有几百个样本，SVM 通常够用；如果每类有几十万个样本，SVM 的训练时间会变得难以接受，这时候换线性模型或树模型更划算。

5. 什么时候该用 SVM 做三分类，什么时候该换路子

5.1 适合上 SVM 三分类的场景

第一种场景是样本量不大但特征维度高。比如某实验室做图像处理 Demo，每张图片提取了 200 个特征，但只有 300 张标注图片，分成三个类别。这种“宽而浅”的数据，SVM 的间隔最大化机制能有效防止过拟合，RBF 核还能捕捉非线性关系。

第二种场景是类别边界清晰但形状复杂。比如三个类别的数据在二维平面上呈同心圆分布，线性模型完全没法分，但 RBF 核 SVM 能轻松搞定。这时候用 SVM 比用神经网络更省事，因为不需要设计网络结构，调两个参数就行。

第三种场景是需要可解释的决策边界。SVM 的支持向量有明确的几何意义，你可以可视化决策边界，看到哪些样本在“撑”着边界。这对教学演示或需要解释模型行为的场景很有价值。

5.2 不适合 SVM 三分类的场景

如果样本量极大，比如每类有十万条记录，SVM 的训练时间会让人崩溃。这时候逻辑回归或随机森林更合适，它们对大规模数据的扩展性更好。

如果数据噪声极大，类别重叠严重，SVM 的间隔最大化反而会放大噪声的影响。这时候基于树的集成方法更鲁棒，因为它们对异常值不敏感。

如果需要概率输出且样本量小，SVM 的 Platt 缩放可能给出不可靠的概率。这时候朴素贝叶斯或逻辑回归是更自然的选择，它们直接输出概率。

5.3 一个具体例子：三分类的完整判断流程

假设你手头有一个模拟项目的数据集，150 个样本，2 个特征，3 个类别。你可以按下面的流程判断：

这个流程的核心逻辑是：先简单后复杂，先线性后非线性，先小参数网格后大网格。不要一上来就上 RBF 核加复杂调参，那样容易在无关方向上浪费大量时间。

我自己的习惯是，每次拿到三分类任务，先跑一个线性核 SVM 作为基线，记录准确率和混淆矩阵。如果基线已经满足需求，就不折腾了。如果基线明显不行，再换 RBF 核，并且只调 C 和 gamma 两个参数，每个参数取四个值，16 种组合跑一遍交叉验证。这样一轮下来，基本能判断 SVM 适不适合这个任务。从那以后我每次遇到分类问题都强制走一遍这个流程，省下了不少盲目调参的时间。希望帮到你。

本文还有配套的精品资源，点击获取