粒子群算法优化SVR超参数：从手动调参到自动寻优的完整实战

简介：一套基于粒子群优化支持向量机（PSO-SVR）的回归拟合实验资源包，面向机器学习初学者与需要调参实战的算法工程师，专注于解决SVR惩罚因子C与核参数γ难确定、易陷入局部最优的问题，可应用于非线性数据预测、时序回归等场景。资源共64个文件，压缩包约941KB，覆盖MATLAB主程序、Python脚本、C/C++源码、可执行文件及libsvm相关组件，从算法实现、模型训练到与标准SVR的对比验证均有完整呈现。当前已有218人学习或浏览，交互简单，适合直接运行或二次开发。包内包含PSO寻优核心脚本、SVR回归基准流程、heart_scale/data1.mat等样例数据，并附多语言环境配置与可执行文件，读者可快速复现实验，直观对比PSO-SVR与普通SVR在拟合精度和泛化能力上的差异。

1. PSOCR-SVR 回归拟合：把网格搜索几十步的活压缩到几十轮粒子群迭代

做回归预测的人大概都经历过这种场景：拿到一份数据，跑了个 SVR，R² 停在 0.75 上不去，然后开始手动改 C、epsilon、gamma，改一版跑一版，纯靠感觉调参，运气好调出来了，运气不好一个下午就耗进去了。PSO-SVR 就是拿粒子群算法（Particle Swarm Optimization）去替代这种人工试探，让粒子在 SVR 的超参数空间里自己飞、自己比较、自己收敛，最终返回一组适合当前数据集的回归拟合参数，再和默认 SVR 做指标对比，确认优化确实有效。它解决的痛点很明确：SVR 的核参数和惩罚系数没有解析解，网格搜索随着参数维度增加成本指数上涨，而粒子群优化算法结构简单、收敛速度快，适合像 SVR 这种参数范围跨度大、评价函数计算一次成本不高的场景。这篇文章按「为什么选 PSO → 手写代码 → 重训对比 → 避坑 → 进阶验证」的顺序，把这套方案完整落地。

2. 为什么是粒子群算法：SVR 的三个超参数到底卡在哪

2.1 SVR 回归拟合的核心是 C、epsilon、gamma，这三个值决定拟合的上限

SVR 和普通最小二乘回归最大的区别在于它不是让回归线尽量穿过所有点，而是构造一个宽度为 epsilon 的间隔带，落在带内的样本点不计算损失，只有落在带外的点才贡献误差项。这个设计让 SVR 对异常值具备天然的鲁棒性，但代价是超参数变得极度敏感。

第一个参数是惩罚系数 C，它控制间隔带外的点对损失函数的贡献权重。C 太小，模型对误差视而不见，拟合曲线过于平滑，欠拟合；C 太大，模型为了压住任何一个带外点可以牺牲间隔带的宽度，最后曲线扭曲，过拟合。第二个参数是 epsilon，也就是不敏感带的半宽。epsilon 设得大，带子宽，模型忽略掉很多小幅波动，拟合曲线光滑但可能丢掉真实趋势；epsilon 设得小，带子窄，模型跟着每个点走，噪声也被当成了信号。第三个参数是 gamma，只在使用 RBF 核时出现，它决定了单个训练样本的影响力半径。gamma 小，核函数作用范围大，曲线平滑偏向线性；gamma 大，每个样本只影响自己周围很小的区域，拟合曲线剧烈波动。

这三个参数的量纲完全不一样：C 常见取值范围从 0.01 到 1000，epsilon 的合理范围在 0.0001 到 1 之间，gamma 从 0.001 到 10。手动调参之所以玄学，就是因为这三个量在一个跨了几个数量级的空间里互相牵制，经验值只能给起点，给不了终点。

2.2 粒子群算法原理：一群瞎鸟怎么找到全局最优的位置

粒子群算法原理并不复杂，你可以想象一群鸟在一片完全陌生的地域里找食物最多的地方。每只鸟不知道食物在哪，但它知道自己当前去过的最好位置，也知道整个鸟群目前发现的最好位置。下一次飞行时，它既倾向于朝自己见过的最好位置飞，又倾向于朝鸟群的最好位置飞，同时保留一点自己的惯性。反复迭代之后，整个鸟群就会聚集到一片相对好的区域，这个「相对好」在参数寻优里就是一组让 SVR 交叉验证误差最小的超参数。

用数学表达就是两个更新公式。速度更新：v(i,t+1) = w·v(i,t) + c1·r1·(pbest(i)-x(i,t)) + c2·r2·(gbest-x(i,t))，位置更新：x(i,t+1) = x(i,t) + v(i,t+1)。

这里 w 是惯性权重，控制上一轮速度对当前的影响，w 大偏向全局搜索，w 小偏向局部精细搜索。c1 是自我认知系数，控制粒子向自己历史最优位置靠拢的程度。c2 是群体认知系数，控制粒子向全局最优位置靠拢的程度。r1 和 r2 是 [0,1] 之间的随机数，用来保证搜索的随机性。

把粒子群优化算法套到 SVR 上，每个粒子的位置就是一个三维向量：第 1 维是 C，第 2 维是 epsilon，第 3 维是 gamma。粒子的适应度就是这组参数在训练集上做 k 折交叉验证得到的负均方误差。PSO-SVR 整个流程走下来就是初始化一群随机参数 → 算适应度 → 更新 pbest 和 gbest → 更新速度和位置 → 再算适应度，循环直到收敛。

2.3 为什么不用网格搜索、随机搜索或贝叶斯优化

网格搜索是最直觉的做法：把每个参数等距切 10 格，三层嵌套就是 1000 组训练。问题是 C 和 gamma 的有效范围横跨几个数量级，等距切分意味着 C=2 和 C=100 之间被平均分配，真正有区分度的 C=1、C=10、C=100 反而很难被覆盖。如果改成对数网格，又需要人工判断每段范围内取多少格，格数一多，计算量立刻膨胀。随机搜索比网格好一些，不用枚举全空间，但它的短板是每次采样之间互相独立，没有信息积累，前一轮发现的最优区域，后一轮完全不会优先在那里多采几个点。

贝叶斯优化在理论上是更强的方案，它会对目标函数先假设一个替代概率模型，再用采样结果逐步更新模型，在采样效率和收敛精度上都优于 PSO。但在实际处理 SVR 超参数时有一个矛盾：贝叶斯优化需要为高维空间拟合代理模型，当参数范围跨多个数量级且交叉验证噪声明显时，代理模型本身拟合不好，很容易在早期就把搜索引向错误区域。而且贝叶斯优化库（比如 scikit-optimize）的 API 封装层次比较多，出了问题不好排查内部逻辑。

粒子群算法原理简单到可以 50 行代码手写，中间每一步迭代都能打印出来观察：每一轮 gbest 对应的交叉验证误差，粒子群体的位置分布，收敛到了什么区域。这些中间结果对判断调参是否有效是极其重要的，而封装良好的优化库恰恰把这些过程都藏起来了。所以在 SVR 这种评价函数本身计算很快、参数空间不超过三维的任务上，我推荐先自己写一遍 PSO，跑通了再考虑要不要换高级优化器。

下表是三种常见搜索方式在 SVR 超参数寻优上的行为差异，网格和随机每轮计算相互独立，PSO 每轮都有信息反馈，这是它在小规模参数空间里实际表现优于前两者的核心原因。

3. 在 Python 里手写 PSO 优化 SVR：完整代码与参数说明

3.1 环境准备：只用 numpy 和 scikit-learn，不引入额外黑匣子

手写 PSO-SVR 只需要两个核心依赖：numpy 负责数组运算，scikit-learn 提供 SVR 模型和交叉验证工具。不需要额外安装优化库，也不需要用 pyswarm 这种第三方粒子群库，因为手写版能让每一步都暴露在你面前，出了问题可以直接定位。数据方面，示例用 sklearn 自带的糖尿病数据集，特征是 10 个生理指标，目标是量化病情进展，直接拿来测试回归拟合足够了。实际项目里把这一行换成自己的数据就可以。

在进入 PSO 之前，先做一个全局的数据标准化。SVR 的 RBF 核依赖样本点之间的距离计算，如果特征尺度差异过大，数值大的特征会主导距离，gamma 参数直接失真。这里先用 StandardScaler 做标准化，严格的做法是把它放进交叉验证管线里，第 5 章会单独展开讲为什么。

import numpy as np from sklearn.svm import SVR from sklearn.model_selection import cross_val_score from sklearn.datasets import load_diabetes from sklearn.preprocessing import StandardScaler X, y = load_diabetes(return_X_y=True) scaler = StandardScaler() X = scaler.fit_transform(X)

这里先把标准化作用于全量数据，代码上是为了让 PSO 寻优阶段和后续测试阶段的坐标一致；如果你追求严格的评估无偏性，应该用 Pipeline 把 StandardScaler 和 SVR 一起包进交叉验证，这一点的代价和影响在第 5 章细说。

3.2 PSO 寻优核心代码：从粒子初始化到 gbest 收敛

下面这段是完整的粒子群算法实现。粒子数先取 20，迭代 30 轮，速度更新公式里的三个关键参数 w、c1、c2 分别设为 0.7、1.5、1.5，这是 PSO 里公认比较稳妥的一组默认值，跑大多数回归数据集都不会出现发散问题。

# 参数搜索范围，顺序为 C, epsilon, gamma param_bounds = [ (1e-2, 1e3), # C：惩罚系数，横跨5个数量级 (1e-4, 1.0), # epsilon：不敏感带宽度 (1e-3, 1e1), # gamma：RBF核宽度参数 ] n_particles = 20 n_iter = 30 w = 0.7 # 惯性权重，越大越偏向全局搜索 c1, c2 = 1.5, 1.5 # 自我认知系数 / 群体认知系数 # 在log空间初始化粒子位置，避免线性随机导致小数值区域采不到点 particles_pos = np.random.rand(n_particles, 3) particles_pos[:, 0] = 10 ** (-2 + 5 * particles_pos[:, 0]) # C: 1e-2 ~ 1e3 particles_pos[:, 1] = 10 ** (-4 + 4 * particles_pos[:, 1]) # epsilon: 1e-4 ~ 1 particles_pos[:, 2] = 10 ** (-3 + 4 * particles_pos[:, 2]) # gamma: 1e-3 ~ 1e1 vel = np.zeros_like(particles_pos) pbest_pos = particles_pos.copy() pbest_score = np.full(n_particles, -np.inf) gbest_pos = particles_pos[0].copy() gbest_score = -np.inf def fitness(pos): """输入一组参数，返回5折交叉验证的负均方误差，数值越大越好""" svr = SVR(C=pos[0], epsilon=pos[1], gamma=pos[2]) scores = cross_val_score(svr, X, y, cv=5, scoring='neg_mean_squared_error') return scores.mean() for t in range(n_iter): for i in range(n_particles): # 速度更新：惯性 + 个体记忆 + 群体记忆 r1, r2 = np.random.rand(2) vel[i] = (w * vel[i] + c1 * r1 * (pbest_pos[i] - particles_pos[i]) + c2 * r2 * (gbest_pos - particles_pos[i])) particles_pos[i] += vel[i] # 边界处理：越界参数拉回边界并反向衰减速度，防止粒子堆积 for d in range(3): if particles_pos[i, d] < param_bounds[d][0] or particles_pos[i, d] > param_bounds[d][1]: particles_pos[i, d] = np.clip(particles_pos[i, d], param_bounds[d][0], param_bounds[d][1]) vel[i, d] *= -0.5 # 计算当前粒子的适应度，更新个体最优和全局最优 sc = fitness(particles_pos[i]) if sc > pbest_score[i]: pbest_score[i] = sc pbest_pos[i] = particles_pos[i].copy() if sc > gbest_score: gbest_score = sc gbest_pos = particles_pos[i].copy() print(f"iter {t+1}: best CV MSE = {-gbest_score:.4f}")

这段代码里有一个关键设计：粒子位置用对数空间初始化，而不是在参数范围内做均匀随机采样。假设 C 的范围是 0.01 到 1000，线性随机采样时，大部分粒子会落在 500 附近的中间区域，而 0.01 到 10 这一段真正高频有效的区间几乎没人探索。取对数再映射，粒子在四个数量级上均匀分布，这个问题直接解决。经验是：凡是你感觉参数搜索范围横跨两个数量级以上，初始化一律做 log 均匀。

适应度函数返回的是负均方误差，因为 cross_val_score 的 scoring 参数遵循「数值越大越好」的约定，neg_mean_squared_error 就是负的均方误差，越接近 0 说明误差越小。直接返回 mean_squared_error 也可以，但需要在外面对结果取负，新手常常在这里把比较符号写反，导致粒子全往误差最大的方向飞，所以统一用负值比较省心。

边界处理单独说明一下。当粒子飞出了参数边界，做法不是粗暴地把位置设到边界上然后不管速度，而是把位置截断到边界的同时让该维度的速度反向衰减为原来的一半。如果不做速度反向，粒子会一次次撞到同一边界并停在边界上，下一轮又继续撞，大量粒子在边界堆积，搜索后期浪费在无效位置。反向衰减让粒子在被弹回的同时还保留一点反向冲量，有机会重新进入参数空间内部。

3.3 必调参数：w、c1、c2、粒子数和迭代次数的经验取值

PSO 本身还有一组超参数需要设置，这部分新手容易照抄别人的值然后抱怨不收敛。惯性权重 w 是最关键的一个。w=0.9 左右时粒子速度快，探索范围大，适合前期；w=0.4 左右时粒子步伐小，适合后期精细搜索。一种常见做法是让 w 从 0.9 线性递减到 0.4，前 60% 的迭代做全局撒网，后 40% 做局部收敛，这个策略在大多数场景下比固定 w 更稳。

c1 和 c2 一般取 1.5 左右，两者相等是常见做法。如果 c1 明显大于 c2，粒子倾向于在自己的历史最优附近反复转圈，群体信息发挥不了作用；反过来 c2 太大则粒子过早向当前 gbest 集中，丧失了探索其他区域的机会。粒子数 20 到 50 是一个经济区间，粒子数再多，每轮迭代的交叉验证计算量线性上升，性价比下降。迭代次数先设 30 轮观察收敛曲线，如果最后 10 轮 gbest 分数还在持续下降，说明还没收敛，加到 60 轮；如果第 15 轮开始分数就平了，后面都是空转，浪费计算资源。

下表是我常用的初始参数组合，适用于大部分回归数据量在万行以内的场景，大可以直接用，再根据打印出来的迭代曲线微调。

4. 用 PSO 找到的最优参数重训 SVR，和默认 SVR 做回归拟合对比

4.1 从 gbest 取出最优参数：先打印看合不合理，再拿去训练

PSO 迭代结束时，gbest_pos 保存的就是算法认为最优的 C、epsilon、gamma。这一步不要直接拿去训练，先打印出来看一眼，C 是不是落在 0.1 到 100 的常规区间，epsilon 是不是小到了夸张的 1e-4，gamma 有没有顶在搜索边界上。如果有参数正好顶在边界，说明搜索范围设窄了，把边界向外扩一圈再跑一轮，否则真实最优可能就在边界外。

best_C, best_eps, best_gamma = gbest_pos print(f"最优参数: C={best_C:.3f}, epsilon={best_eps:.4f}, gamma={best_gamma:.4f}") # 划分训练测试集，注意PSO寻优阶段已用过全量数据； # 这里为了对比默认SVR，固定random_state保证可复现 from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42 )

注意一个问题：PSO 寻优阶段用的是全量数据做交叉验证，这相当于变相看过测试集的信息，所以后面评估 PSO-SVR 的绝对性能会有轻微乐观偏差。严格做法是把数据集先划分出单独的测试集，PSO 只在训练集内部跑交叉验证，测试集完全隔离。本文为对比逻辑清晰，先这样做，第 5 章会给出严格方案的写法。

4.2 重训 SVR 并对比：R²、RMSE、MAE 三个指标一起看

拿到最优参数后，分别训练 PSO-SVR 和默认 SVR。默认 SVR 在 sklearn 里的参数是 C=1.0、epsilon=0.1、gamma='scale'，这也是很多人在不知道调什么参数时直接 fit 出来的结果，适合作为对比基线。

# PSO选出的参数重训 pso_svr = SVR(C=best_C, epsilon=best_eps, gamma=best_gamma) pso_svr.fit(X_train, y_train) y_pred_pso = pso_svr.predict(X_test) # 默认参数SVR default_svr = SVR() default_svr.fit(X_train, y_train) y_pred_default = default_svr.predict(X_test) # 计算三个回归指标 from sklearn.metrics import r2_score, mean_squared_error, mean_absolute_error r2_pso = r2_score(y_test, y_pred_pso) r2_def = r2_score(y_test, y_pred_default) rmse_pso = np.sqrt(mean_squared_error(y_test, y_pred_pso)) rmse_def = np.sqrt(mean_squared_error(y_test, y_pred_default)) mae_pso = mean_absolute_error(y_test, y_pred_pso) mae_def = mean_absolute_error(y_test, y_pred_default) print(f"{'model':<10}{'R2':<10}{'RMSE':<10}{'MAE':<10}") print(f"{'PSO-SVR':<10}{r2_pso:<10.4f}{rmse_pso:<10.4f}{mae_pso:<10.4f}") print(f"{'default':<10}{r2_def:<10.4f}{rmse_def:<10.4f}{mae_def:<10.4f}")

输出的一张对比表里需要重点关注三件事。第一，R² 提升了多少，如果提升只有 0.01 到 0.02，说明默认参数本身已经逼近局部最优，PSO 只是帮你确认了这一点，不代表它的价值有限，至少省掉了人工验证的时间。第二，RMSE 和 MAE 是否同步下降，如果 R² 大幅上升而 RMSE 反而变大，说明模型把预测值往均值方向缩了，拉高 R² 的同时牺牲了对极端样本的预测能力。第三，两个模型的预测值方差，如果 PSO-SVR 的预测值几乎全部落在训练集均值附近，那说明 C 搜索到了极端大的值，模型过度平滑，此时要回头检查 epsilon 是不是设太小了。

4.3 别只跑一次对比：多次随机划分看均值和标准差

单次 train_test_split 的结果受数据划分影响非常大，可能这组随机种子恰好把难样本全分到了测试集，PSO-SVR 优势被夸大，换一组种子优势缩小甚至反转。因此严谨的对比要把划分过程循环多次，每次记录指标，最后输出均值和标准差。

from sklearn.model_selection import ShuffleSplit rs = ShuffleSplit(n_splits=5, test_size=0.2, random_state=42) r2_list, rmse_list = [], [] for train_idx, test_idx in rs.split(X): X_tr, X_te = X[train_idx], X[test_idx] y_tr, y_te = y[train_idx], y[test_idx] model = SVR(C=best_C, epsilon=best_eps, gamma=best_gamma) model.fit(X_tr, y_tr) pred = model.predict(X_te) r2_list.append(r2_score(y_te, pred)) rmse_list.append(np.sqrt(mean_squared_error(y_te, pred))) print(f"PSO-SVR R2: {np.mean(r2_list):.4f} ± {np.std(r2_list):.4f}") print(f"PSO-SVR RMSE: {np.mean(rmse_list):.4f} ± {np.std(rmse_list):.4f}")

对默认 SVR 做同样的循环，然后对比均值差和标准差重叠程度。如果 PSO-SVR 的提升大于两组标准差之和，这个提升才算真的可靠；如果均值高了但标准差很大，说明改进不稳定，换了数据划分可能就没了。这一步虽然简单，但能避免你在汇报结果时被一句「你这就是运气好」问住。

5. 避坑：PSO-SVR 实战里最容易翻车的 5 个地方

5.1 特征不归一化，gamma 和 epsilon 全失真

现象：PSO 跑出来的最优参数每次都偏向搜索范围的同一端，CV 分数忽高忽低，换了随机种子结果天差地别。

原因：SVR 的 RBF 核计算的是样本点之间的欧氏距离，特征本身量纲差异大时，数值大的特征完全主导了距离计算。比如特征 A 范围是 1000 到 10000，特征 B 范围是 0 到 1，距离几乎只由 A 决定，B 的任何信息都被淹没，gamma 这个控制核半径的参数也就失去了对 B 的调节能力。epsilon 同理，它定义的是拟合误差的容忍带，特征尺度不一致会让这个带宽对不同特征的含义完全不同。

解决：在进入 PSO 和 SVR 之前做标准化。简单做法是 sklearn 的 StandardScaler 或 MinMaxScaler，但要注意 fit 的时机：先用训练集 fit 再 transform 测试集，绝对不要用全量数据 fit 之后再划分，那会造成测试集信息泄露。严谨的做法是使用 sklearn 的 Pipeline，把缩放器和 SVR 一起放进交叉验证里，PSO 的每一轮适应度计算都重新在训练折内做 fit，这样得到的 CV 分数才是无偏估计。

5.2 直接拿训练集拟合分数当适应度，PSO 变成过拟合加速器

现象：PSO 运行时每一轮打印的适应度很高，R² 到 0.98 以上，但换到测试集上一预测，R² 直接掉到 0.5 附近。

原因：适应度函数里写的是 svr.fit(X_train, y_train) 之后直接在同一个 X_train 上打分。SVR 是带强拟合能力的模型，完全可以在训练集上做到极高的表现，粒子群优化算法会精准找到那组让训练集表现最好但泛化极差的参数。你在拿优化器做「过拟合最大化」。

解决：适应度函数必须改为交叉验证，交叉验证折数取 5 或 10。5 折意味着每个粒子每轮迭代要训练 5 次 SVR，20 个粒子跑 30 轮就是 3000 次 SVR 拟合，看起来数量大，但 SVR 对万行以内的数据拟合很快，实测用不了几秒。如果数据集到达十万行量级，要用更省时间的做法，比如先随机抽样 5000 行作为寻优数据集，或者把粒子数降到 15、迭代降到 20 轮，而不是牺牲交叉验证的严谨性。

5.3 epsilon 搜索下界太接近 0，过拟合噪声

现象：PSO 给出的 epsilon 始终贴着搜索下界（比如 1e-5），适应度确实在提升，但训练集和测试集的误差差得离谱。

原因：epsilon 的意义是容忍带半宽，epsilon 越小，模型越严格地去拟合每一个样本点。当数据本身带有噪声，这种严格拟合会把噪声当成规律记住，泛化能力反而恶化。PSO 只认识交叉验证分数，不会区分「这组参数拟合得好」和「这组参数是侥幸碰上噪声」。

解决：给 epsilon 设置合理下界，我一般取 0.001 或 0.01。如果业务场景本身要求低误差，数据噪声又小，可以适当放宽到下界 1e-4，但不建议低于这个值。另一个补救是观察训练集和验证集的分数差距：差距明显偏大时，直接把 epsilon 的下界调高一档，重跑 PSO。

5.4 参数搜索范围太宽或太窄，PSO 在空转

现象：迭代曲线显示 gbest 分数在前 5 轮快速下降，之后 20 多轮基本不变，而最终参数恰好落在搜索范围边界上。换一个边界范围重新跑，参数又顶着新边界。

原因：搜索范围覆盖不合理。范围太宽时，粒子前期大量时间花在完全无用的区域，后期收敛到有效区域后剩余迭代不足以精细搜索；范围太窄时，最优参数在边界外，粒子只能挤在边界上，算法显示收敛了，实际那个收敛点是硬截断出来的。

解决：做两轮 PSO。第一轮用粗范围探索，目的是找到最优参数大概落在哪个数量级；第二轮把第一轮得到的最优参数作为范围中心，缩小范围再搜索。收敛后检查 gbest 参数是否接近边界，如果与边界的距离小于该维度范围的 10%，扩宽边界重跑。这个两轮策略基本每次都能让结果明显改善。

5.5 PSO 本身有随机性，一次运行结果不能直接用于决策

现象：完全相同的代码，连续跑三次，三次拿到的 gbest 参数差别很大，CV 分数也有差距，到底选哪组成了问题。

原因：粒子初始位置是随机生成的，速度更新里的 r1、r2 也是随机数，PSO 不保证每次收敛到同一个全局最优点，尤其当参数空间里有多个相似的局部最优点时，不同的初始分布会落入不同盆地。

解决：固定随机种子只是让结果可复现，并不能提高优化质量。更有效的做法是跑 3 到 5 次 PSO，记录每次的 gbest 参数和对应 CV 分数，选择 CV 分数最高的那一组，或者取多次参数在各维度上的中位数，作为最终使用值。选择后在第 4 章的多折随机划分验证里评估这组参数，而不是直接用寻优阶段那份 CV 分数作为最终指标，否则你会把寻优阶段的乐观偏差当作模型真实表现。

6. 进阶验证：把 PSO 的收敛轨迹画出来，确认参数没有白调

验证 PSO-SVR 到底有没有用，最直接的方法是记录每轮迭代的 gbest 分数，画一条收敛曲线。一个健康的曲线应该是前期快速下降，中后期逐渐走平，走平后曲线不再有明显波动。如果曲线到最后一轮还在明显下探，说明迭代次数不足，调出来的参数仍不是当前搜索范围内的最优；如果曲线在中间出现反复弹跳，说明粒子搜索步长偏大或 c2 偏大，粒子在最优区域附近震荡，此时可以尝试把 w 调低一些。

# 在PSO循环外提前初始化一个列表记录每轮gbest history = [] # 在每轮迭代末尾追加 history.append(-gbest_score) # 迭代结束后绘制收敛曲线 import matplotlib.pyplot as plt plt.plot(range(1, len(history) + 1), history, marker='o') plt.xlabel('iteration') plt.ylabel('best CV MSE') plt.title('PSO convergence curve') plt.grid(True) plt.show()

画完收敛曲线后再做一件事：固定最优参数中的 C 和 gamma，只让 epsilon 在扩大两倍的范围内取 20 个值，计算每个值下的交叉验证 MSE，画一条「epsilon 敏感性曲线」。如果最优 epsilon 落在敏感性曲线的低洼处，说明 PSO 的收敛位置是合理的；如果最优 epsilon 位于曲线边缘，说明搜索边界和收敛条件都有问题，回到第 5 章 5.4 的两轮搜索策略重跑一遍。

最后说个我自己的教训：早期做 PSO-SVR 的时候完全不记录中间轨迹，跑完只拿最优参数去训练，CV 分数确实比默认 SVR 好，但换一组数据就不灵了，当时还以为是数据的问题。后来把每轮 gbest 分数存下来画出来才发现，迭代曲线在 20 轮之后还在剧烈跳动，所谓的「最优」其实是粒子震荡过程中偶然碰到的一个高分点，根本没有收敛。从那之后我养成了两个习惯：第一是收敛曲线必画，不看到走平不拿结果；第二是多随机种子跑三遍取最优，不拿单次结果说话。这两个习惯放进任何调参流程里都适用，希望帮到你。

本文还有配套的精品资源，点击获取