简介：面向需要使用最小二乘支持向量机（LSSVM）的MATLAB用户，这是一份集理论讲解、完整工具箱与实战示例于一体的资源包。资源围绕MATLAB环境下的LSSVM建模展开，涵盖svmtrain、fitcsvm等核心函数用法、线性核/多项式核/RBF核选择、参数调优与交叉验证等内容，适合机器学习初学者及工程研究人员快速上手分类与回归任务。包内共72个文件，以70个.m源代码文件为主，另有1个PDF教程和1个.mat示例数据，压缩包仅1.91MB，代码结构清晰，便于按需调用。已有572人学习下载。通过学习可获得LSSVM模型训练、预测、可视化与性能评估的一站式方案，包括网格搜索、贝叶斯优化、稀疏化等进阶实现，并可直接复用工具箱内置的演示脚本与核函数代码，显著降低算法落地门槛。 最近后台总有人问 MATLAB 里 LSSVM 程序怎么写，问的人里做系统辨识、软测量建模的居多，也有做故障诊断的。大家普遍反馈是：标准 SVM 用起来有点繁琐，惩罚参数、核函数参数、不敏感系数要调一堆，而且训练速度在小样本下虽然还能接受，但一旦数据量上来就明显吃力。后来听说 LSSVM 把不等式约束换成了等式约束，求解问题从二次规划变成了线性方程组，训练速度快了一个量级，就都想试试。但真上手打开 MATLAB 敲代码，发现网上资料要么是理论推导一大堆、没有能直接跑的程序，要么是零散的代码片段跑不通。
这篇文章我就以自己在 MATLAB 里实际编写和使用 LSSVM 程序的完整经历为主线，从原理差异讲到工具箱选择，给出可直接复现的回归和分类代码，再把我踩过的坑、调参的套路一次说清楚。无论你是刚接触 LSSVM 的新手，还是已经跑通过基础程序、想进一步优化模型的老手，这篇文章都能给你一些参考。
1. LSSVM 到底比 SVM 省了什么，又付出了什么代价
1.1 等式约束带来的计算简化
LSSVM（Least Squares Support Vector Machine，最小二乘支持向量机）最早是 Suykens 等人提出的。它和标准 SVM 最核心的区别，是把标准 SVM 中的不等式约束替换成了等式约束。这个改动看起来只是数学形式上的变化，但求解方式完全变了——标准 SVM 需要对偶问题转化为二次规划（QP）求解，而 LSSVM 最后只需要解一组线性方程组。
用大白话说就是：标准 SVM 是在一堆样本点里精挑细选支持向量，像个严格挑剔的面试官；LSSVM 则把误差的平方和放进目标函数里，让所有样本都参与建模，最后求解一个线性方程组就完事。数学上 LSSVM 的优化问题可以写成：
[ \min_{w,b,e} J(w,e)=\frac{1}{2}w^T w+\frac{\gamma}{2}\sum_{i=1}^{N} e_i^2 ]
约束条件是：
[ y_i=w^T \varphi(x_i)+b+e_i,\quad i=1,2,\dots,N ]
其中 (\gamma) 是正则化参数，(e_i) 是误差变量。通过拉格朗日乘子法转换后，最终只需要求解一个 ((N+1)\times(N+1)) 阶的线性方程组。这个线性方程组的规模只和样本数 (N) 有关，和特征维度无关，这是它训练速度快的关键。
1.2 稀疏性的代价与适用边界
不过天下没有免费的午餐。LSSVM 的代价是损失了 SVM 的稀疏性——标准 SVM 的解只依赖少数支持向量，而 LSSVM 几乎每个样本的拉格朗日乘子都不为零。这意味着预测阶段 LSSVM 要把所有训练样本都参与计算，模型存储开销和预测耗时都比标准 SVM 大。
所以 LSSVM 最适合的场景是：中等规模样本（几千条以内）、以回归预测为主、训练速度要求高、模型可解释性要求不苛刻的工程问题。我自己主要拿它做软测量建模和系统辨识中的非线性映射拟合。如果你的数据量到了几万条，LSSVM 构造的核矩阵会吃掉大量内存，这时候要么用稀疏化方法，要么直接考虑其他算法。
2. 动手前先把 LSSVMlab 工具箱和环境理清楚
2.1 最常用的工具箱是 LSSVMlab
MATLAB 里做 LSSVM 几乎绕不开 LSSVMlab 工具箱。这是一个由 Suykens 团队维护的工具箱，提供了trainlssvm、simlssvm、initlssvm、tunelssvm、crossvalidatelssvm等一整套函数。你在网上搜到的绝大多数 matlab-lssvm 程序，底层调用的都是这套函数。
工具箱的安装比较简单：把下载好的压缩包解压后，在 MATLAB 里把解压目录添加到路径即可。我习惯用以下命令：
addpath(genpath('D:\Toolbox\LSSVMlab')); savepath;注意保存路径这一步，否则下次启动 MATLAB 要重新添加。genpath会把子目录也加进去，避免漏掉工具箱自带的子函数目录。从工具箱的兼容性看，老版本代码在 MATLAB 新版本上运行时，偶尔会遇到gauss、quadprog等函数被工具箱自带版本遮蔽的问题，后文我会专门讲这个坑。
2.2 数据归一化不是可选项
LSSVM 对数据尺度非常敏感。核函数计算的是样本之间的距离或者内积，如果某个特征的数值范围远大于其他特征，这个特征会主导核函数的值，其他特征的作用就被稀释了。我在实际使用中，除非数据本身就是同一物理单位且量级一致，否则都会做归一化。
LSSVMlab 提供了一套很实用的处理函数：prelssvm用于训练前归一化，postlssvm用于预测后反归一化。官方的推荐做法是用prelssvm处理样本数据，但这些函数的使用有点绕——它们不是简单地把数据映射到 [0,1] 或 [-1,1]，而是会在内部记录归一化参数并传给模型对象。更省心的方式是直接在initlssvm里用'preprocess'选项，传'preprocess'表示启用内置归一化，传'original'表示不做归一化。我通常的做法是：
model = initlssvm(X, Y, 'f', gam, sig2, 'RBF_kernel', 'preprocess');这样训练之前工具箱会自动归一化，预测时simlssvm输出的结果会自动反归一化回原始尺度，省去手工映射的麻烦。
3. 跑通第一个回归程序：sinc 函数拟合的完整示例
3.1 生成带噪声的演示数据
我觉得最好的入门示例不是波士顿房价之类的外部数据集，而是一个自己生成、自己知道真实规律的数据集，这样能直观地看到 LSSVM 拟合效果的好坏。经典的 sinc 函数就是很好的选择，它非线性特征明显，自带轻微的振荡，很适合检验回归器的逼近能力。
% 生成输入样本 X = (-3:0.1:3)'; % 真实函数值并添加噪声 Y = sinc(X) + 0.1 * randn(length(X), 1);这里X是一个 61×1 的列向量，Y是对应的目标值。关于数据格式要特别强调：LSSVMlab 要求输入矩阵X的每一行是一个样本，每一列是一个特征；Y必须是列向量，行数要和X一致。很多新手第一次跑报维度错误，就是因为Y传成了行向量。
3.2 训练与预测的核心代码
完整的训练和预测流程如下：
% 设定超参数 gam = 10; sig2 = 0.5; % 初始化模型结构 model = initlssvm(X, Y, 'f', gam, sig2, 'RBF_kernel', 'preprocess'); % 训练 model = trainlssvm(model); % 在训练集上预测并反归一化 Y_pred = simlssvm(model, X); % 计算均方误差 mse_value = mean((Y - Y_pred).^2); fprintf('MSE = %.4f\n', mse_value); % 绘制对比图 plot(X, Y, 'k.', 'MarkerSize', 10); hold on; plot(X, Y_pred, 'r-', 'LineWidth', 1.5); xlabel('x'); ylabel('y'); legend('真实值（含噪声）', 'LSSVM预测值'); grid on;这段代码里：
initlssvm的参数依次是输入、输出、任务类型（'f'表示回归 function fitting，'c'表示分类 classification）、正则化参数 gam、核参数 sig2、核函数类型、是否归一化。这里我把归一化选项使用了'preprocess'。trainlssvm执行实际的训练过程，本质上是在解那个线性方程组。simlssvm对新的输入做预测。注意第二个参数传的是模型，第三个参数是待预测的输入。
跑完这段代码，你会看到预测曲线基本贴着真实点走，在拐弯处会有轻微偏差，这是噪声和模型平滑性折中的正常结果。把 gam 调大、sig2 调小，曲线会更贴合训练点，但泛化能力需要交叉验证来评估。
3.3 用图像直观理解训练效果
拟合效果好不好，不能只看训练集误差。我每次训练完都会把模型在更密集的采样点上的预测值画出来，看看曲线是否平滑、是否过拟合：
X_test = (-3:0.01:3)'; Y_test_true = sinc(X_test); Y_test_pred = simlssvm(model, X_test); figure; plot(X_test, Y_test_true, 'b--', 'LineWidth', 1.2); hold on; plot(X_test, Y_test_pred, 'r-', 'LineWidth', 1.2); legend('真实sinc', 'LSSVM预测'); title('LSSVM 泛化效果检验');这一步很关键，因为训练集上的 MSE 只能反映拟合能力，而测试集的曲线才是泛化能力的真实体现。如果测试曲线出现剧烈振荡，说明 sig2 太小了，模型被噪声带着走；如果测试曲线过于平缓、连 sinc 的主峰都被削平了，则说明 sig2 太大，模型过于平滑。
4. 超参数 gam 与 sig2 的调参逻辑和自动寻优
4.1 两个参数各自管什么
LSSVM 在 RBF 核下有两个核心超参数：gam（(\gamma)）和 sig2（(\sigma^2)）。
- gam是正则化参数，控制模型复杂度和经验误差之间的权衡。gam 越大，误差项惩罚越重，模型越倾向拟合每一个训练样本，容易过拟合；gam 越小，模型越平滑，但可能出现欠拟合。
- sig2是 RBF 核函数的宽度参数，它控制了样本在高维空间中的分布范围。sig2 越小，核函数衰减越快，模型能捕捉更细微的局部变化，但也更容易过拟合；sig2 越大，模型越平滑。
放在一起理解，可以把这个组合想象成钓鱼：gam 是鱼线的拉力，sig2 是鱼线的灵敏度。拉力太大，鱼钩会把水底淤泥都带起来；太灵敏，一点小动静就疯狂抖动。两者必须配合着调。
4.2 tunelssvm 自动寻优的实际操作
人工调参凭经验可以，但效率低且不系统。LSSVMlab 提供tunelssvm函数，支持网格搜索和交叉验证，能自动找出一组相对最优的 (gam, sig2)。
% 使用 initlssvm 时把 gam 和 sig2 先留空 model = initlssvm(X, Y, 'f', [], [], 'RBF_kernel', 'preprocess'); % 网格搜索 + 10折交叉验证，优化目标为 MSE model = tunelssvm(model, 'gridsearch', 'crossvalidatelssvm', {10, 'mse'}); % 查看自动寻优得到的参数 fprintf('最优 gam = %.4f\n', model.gam); fprintf('最优 sig2 = %.4f\n', model.kernel_pars);这里我把gam和sig2初始化为空数组，tunelssvm会在默认范围内进行网格搜索。crossvalidatelssvm的{10, 'mse'}表示用 10 折交叉验证来评估每组参数，优化指标是均方误差。你还可以换成'mae'、'maxabs'等指标，根据实际问题需要来定。
网格搜索的原理很简单，就是把 gam 和 sig2 各自划分成离散网格点，遍历所有组合，逐组做交叉验证，选平均误差最小的一组。默认的搜索范围是logspace(-3, 3, 10)这类划分，如果默认范围落在边缘附近，可以在tunelssvm的选项中手动调整'gams'和'sigs2s'范围。
4.3 交叉验证的意义与常见误区
有人可能会问：为什么要用交叉验证而不是直接比较训练集误差？因为训练集误差可以靠增大 gam、减小 sig2 压到很小，但这可能只是把噪声学进去了。交叉验证的核心思想是把数据分成多份，轮流拿一份做验证、其余做训练，最终指标是对多个折外预测的综合评估，更接近模型在未知数据上的表现。
实际使用中我一般这样操作：先用tunelssvm网格搜索得到一组初值，然后在初值附近手动微调。网格搜索的粒度是有限的，默认可能只搜了 10×10=100 个组合。如果时间允许，可以在初值附近用更精细的范围再搜一次。比如第一次搜到 gam=118.4、sig2=0.73，我可以把范围设为：
model = tunelssvm(model, 'gridsearch', 'crossvalidatelssvm', ... {10, 'mse'}, 'gams', logspace(1, 3, 10), 'sigs2s', logspace(-1, 0.5, 10));这种做法比一次超大范围网格搜索快得多，也聪明得多。
5. 从回归切到分类：工具箱核心函数的再认识
5.1 类型参数改一下就变成分类器
LSSVM 不仅能做回归，做分类同样方便。分类时只需把initlssvm的任务类型参数从'f'改成'c'，优化目标从误差平方和变成分类误差。一个典型的二分类示例：
% 生成两类数据 rng(1); X1 = randn(50, 2) * 0.5 + [1.5, 1.5]; X2 = randn(50, 2) * 0.5 + [-1.5, -1.5]; X = [X1; X2]; Y = [ones(50, 1); -ones(50, 1)]; % 类别标签用 1 和 -1 % 训练分类模型 gam = 10; sig2 = 1; model = initlssvm(X, Y, 'c', gam, sig2, 'RBF_kernel', 'preprocess'); model = trainlssvm(model); % 预测 Y_pred = simlssvm(model, X); % 输出的是连续值，分类时以 0 为阈值 Y_class = sign(Y_pred); accuracy = mean(Y_class == Y); fprintf('训练集准确率 = %.2f%%\n', accuracy * 100);分类时，LSSVM 的输出其实是连续的决策值，判断类别时用 0 作为阈值即可，大于 0 判为第一类，小于 0 判为第二类。类别标签习惯上用1和-1编码，如果想用0/1编码，工具箱内部也会自动处理，但为了和sign函数配合，我建议直接用正负 1。
5.2 多分类的处理方式
LSSVM 原生是二分类器，多分类需要进一步封装。常见做法是一对多（One-vs-All）或一对一（One-vs-One）。LSSVMlab 虽然没有一个叫做multiclasslssvm的开箱即用函数（旧版本有一个，但新版本改名了），但我个人经验是直接写循环更可控：
function model_cell = train_multiclass(X, Y, gam, sig2) classes = unique(Y); nClass = length(classes); model_cell = cell(nClass, 1); for i = 1:nClass % 当前类为正类，其他类为负类 Y_bin = ones(size(Y)); Y_bin(Y ~= classes(i)) = -1; model_cell{i} = initlssvm(X, Y_bin, 'c', gam, sig2, 'RBF_kernel', 'preprocess'); model_cell{i} = trainlssvm(model_cell{i}); end end预测时对每个二分类模型分别预测，取决策值最大的类别作为最终预测结果。这种方式实现简单，训练的多个模型也可以并行计算，实际效果在类别数不多（比如 3~6 类）时足够用。
5.3 核函数的选择策略
到目前为止我用的都是 RBF 核。RBF 核是实际使用中的默认首选，因为它只有一个参数 sig2 要调，而且能逼近任意连续函数。工具箱里还有线性核'lin_kernel'、多项式核'poly_kernel'、Sigmoid 核'MLP_kernel'等可选。
我的建议是：
- 如果你不确定用什么核，优先 RBF，先用网格搜索确定 gam 和 sig2。
- 如果数据维度很高、样本量很大，线性核训练速度更快，可以先试线性核做一个 baseline。
- 多项式核对数据的全局趋势拟合有优势，但参数多一个 degree，调参更复杂。
核函数类型在initlssvm的第六个参数中指定，每换一种核可以重新跑tunelssvm去优化对应参数。RBF 核对应的参数名是kernel_pars，线性核没有额外参数，多项式核会多一个 degree 参数。
6. 训练中的典型坑：内存、收敛与工具箱版本兼容问题
6.1 核矩阵的内存膨胀问题
LSSVM 必须显式构造核矩阵，这个矩阵的大小是 (N\times N)，其中 (N) 是样本数。当 (N=5000) 时，如果存储 double 类型，核矩阵占用的内存是 (5000\times5000\times8) 字节，约 190MB；当 (N=10000) 时，这个数值接近 800MB。很多实验室的普通办公电脑到这里就扛不住了，MATLAB 会报“内存不足”错误。
解决思路有三个方向：
- 精简训练集：用聚类或随机抽样的方式先减少样本量，在精度损失可接受的前提下换取训练速度。
- 使用稀疏化算法：LSSVM 的稀疏化方法会把原模型的解近似表示为少量支撑点的线性组合，LSSVMlab 里的
sparselssvm函数就能做这件事。但注意，稀疏化之后模型性能会有一定损失，需要在实际效果和资源占用之间做权衡。 - 换非线性算法：如果数据量真的很大，直接上 GPU 版本支持向量机库或改用随机森林、XGBoost 等树模型，可能更务实。
6.2 老工具箱函数在新版 MATLAB 上的兼容坑
我在 MATLAB R2021b 之后的版本上使用老版本 LSSVMlab 时，遇到过两个比较典型的兼容问题。
第一个问题是tunelssvm在较老版本（如 v1.7）上有时会调用gauss函数，而新版本 MATLAB 的信号处理工具箱中也有同名函数，路径遮蔽会导致 MATLAB 调用了错误的版本，报出荒谬的错误。解决办法一是升级工具箱到 v1.8 或更新版本，二是把 LSSVMlab 的路径强制放在 MATLAB 路径列表最前面：
addpath(genpath('D:\Toolbox\LSSVMlab'), '-begin');第二个问题是新版 MATLAB 对table类型支持得更好了，但 LSSVMlab 的函数接收的是普通数组，不会自动从table中取值。如果你用readtable读了 Excel 数据，记得取出数值列再传给 LSSVMlab：
data = readtable('data.xlsx'); X = data{:, 1:end-1}; Y = data{:, end};6.3 一个值得养成的验证习惯
最后分享一个我自己的习惯。每次训练完成，我不仅会算 MSE 或者准确率，还会画出误差分布直方图和残差序列图。残差如果呈现明显的模式（比如随着某个变量增大而系统性增大），说明模型还有未捕捉的结构，可能需要增加特征或更换核函数。如果残差随机分布在零线附近，那这个模型就基本可信了。这个习惯帮助我拦截了很多表面指标看起来不错、实际适用范围很窄的模型。
LSSVM 在中小规模数据集上的性价比实在太高了，尤其是从标准 SVM 切过来之后，训练时间从几分钟缩短到几秒，这种体验是很直观的。希望这篇文章能帮你把 matlab-lssvm 程序跑起来，少走我当初走过的弯路。
本文还有配套的精品资源，点击获取
