强化灰狼优化算法SGWO设计与AutoML落地实践全解析

1. 项目概述与核心思路拆解

2025年一开年，我给自己定了一个目标：把强化灰狼优化算法SGWO从论文里的一个名字，变成我自己能复现、能落地、能讲清楚的东西。这个算法既要跑标准的数值优化任务，验证它在不同函数形态上的搜索能力，还要落到自动机器学习里解决超参数搜索和特征筛选问题，最终整理成一篇能投SEVC这类SCI二区期刊的完整工作。这篇博客就把我整个过程中的设计思路、实验细节、工程落地经验以及踩过的坑一次讲清楚。不管你是想复现算法做学术研究，还是想在AutoML项目里换一种搜索策略，这篇内容都可以直接参考。

1.1 这个项目到底在解决什么问题

先拆解一下标题里的三个核心词：数值优化任务、自动机器学习、强化灰狼优化算法。

数值优化任务指的是优化一个没有显式梯度、不可求导、甚至可能有大量局部最优点的目标函数。典型场景包括复杂的工程参数标定、控制器系数整定，以及学术上常见的各种基准测试函数。这类问题的共同特征是：函数形式不知道，梯度算不出来，但你能给定一组参数后得到一个评价分数，然后希望在有限预算内找到最优参数。

自动机器学习要解决的是另一个层面的问题：模型选哪个、超参数怎么定、特征留哪些。它本质上也是一个黑盒优化问题，而且评价一次候选配置就要训练一次模型，成本比跑基准函数高得多。比如我要优化一棵树的深度、学习率、叶子节点数量、子采样比例，每一个参数组合都要实打实地先训练再评估。

这两类任务有一个共性：都需要在“探索”和“利用”之间找平衡。探索是去没搜过的区域碰运气，利用是在已知好区域的附近精细搜索。传统网格搜索等于纯探索，肯定是笨办法；贝叶斯优化这类基于代理模型的方法有小聪明，但在高维、混合参数类型、评估噪声大的场景里容易失效。这也是我选择元启发式算法作为基础的原因——不依赖梯度，不假设目标函数形态，天然支持并行评估多个候选解。

1.2 为什么选择灰狼优化算法来“强化”

灰狼优化算法GWO在元启发式领域算是结构简单、参数少、上手快的代表。它模拟灰狼群体的等级制度和捕猎行为，用当前种群中最好的三个解来引导其余解更新位置。相比粒子群算法PSO和差分进化DE，GWO的控制参数更少，不需要额外的变异率、交叉率调来调去，适合作为二次开发的基础。

但经典GWO有一个绕不开的短板：收敛速度前期偏慢，后期又容易因为种群多样性不足而陷入局部最优。它的收敛因子a是从2线性减到0的，前期探索时间不够，后期又缺少跳出局部谷的机制。在多峰函数和维数较高的现实问题上，跑几次就能看到种群快速抱团，适应度曲线早早变成一条平线。

所以这篇标题里的“强化”不是包装词，而是实实在在要解决这些缺陷。SGWO的设计思路是保留GWO的框架，在初始化、位置更新、变异、精英保留四个环节做增强。选择这条路而不是从头设计新算法的原因也很实际：从成熟基线上做改进，每个改进点都可以通过消融实验单独验证，论文逻辑更完整，复现也更可控。做科研不是越新奇越好，而是每一步改动都要能解释清楚为什么有效。

2. 强化灰狼优化算法的关键改进与原理剖析

2.1 原始GWO的机制快速回顾

在进入SGWO之前，有必要把原始GWO的数学框架理一遍。整个算法模拟四个等级：最优个体称为α，次优个体称为β，第三优个体称为δ，其余所有个体统称为ω。每次迭代中，ω个体不仅受α引导，还会参考β和δ，这么做的好处是防止单个最优解把整个种群带偏。

位置更新分两步：先算距离向量，再算位移。距离向量的公式是D = |C · Xp(t) − X(t)|，其中Xp是引导个体α、β、δ中的某一个，X(t)是当前个体，C = 2·r2是一个随机扰动系数，r2是[0,1]之间的随机数。接着位置更新公式为X(t+1) = Xp(t) − A · D，其中A = 2a·r1 − a，r1同样是随机数，而a是从2线性递减到0的收敛因子。

关键机制在A。当|A| > 1时，狼群倾向于大范围移动，作用等价于全局探索；当|A| < 1时，个体向引导位置收缩，作用等价于局部利用。C则可以理解为随机权重，它让搜索路径带有一定的随机波动，不至于太机械。理想的GWO应该前期频繁触发|A| > 1，后期频繁触发|A| < 1，但线性递减的a很难做到这一点，因为前期探索时间被压缩，后期又收不住步长。这个问题是SGWO第一个强化点要解决的。

2.2 SGWO的四个强化点拆解

SGWO的改进不是拍脑袋加的，每一个都针对原始GWO的具体缺陷。我在这里把设计逻辑展开讲。

强化点一是非线性收敛因子配合自适应惯性权重。先把a从“线性递减”改成“非线性递减”，我用的形式是a(t) = 2 − 2·(t/T)^2，其中t是当前已消耗的评估次数，T是总预算。这个曲线让a在前中期保持较高数值，把全局探索时间拉长；后期a迅速跌向0，保证局部精搜。同时引入惯性权重w(t)，取值范围从0.9逐渐降到0.4，具体是w(t) = 0.4 + 0.5·(1 − t/T)。位置更新变成X(t+1) = w(t)·X(t) + 引导项。惯性权重的意义在于保留个体上一轮的移动趋势，避免搜索方向反复横跳，这让收敛曲线更平稳，也能缓解后期震荡。

强化点二是反向学习初始化。标准GWO随机撒点，如果初始种群恰好聚在一个角落，后续搜索要花很多代才能铺开。反向学习的做法是先随机生成N个个体，再为每个个体生成一个对称位置，计算公式是X' = lb + ub − X，其中lb和ub是搜索下界和上界。这样就得到了2N个候选解，算出适应度后选出最好的N个作为初始种群。它对收敛精度的影响非常直接，尤其是球函数这类单峰问题，一个好的初始分布能让后续优化省掉大量迭代。

强化点三是柯西变异扰动。原始GWO到后期所有个体都向α靠拢，种群的解之间距离越来越小，一旦α落在局部最优，整个群体就没机会逃出去。柯西分布的特点是尾部比较厚，相比高斯分布更容易产生远离中心的大步长扰动。我对每个个体按概率p_m触发变异，每个维度加上柯西随机量，变异幅度锚定到搜索空间跨度上，具体可以写成X_m = X + scale · Cauchy(0,1)，其中scale通常取搜索空间宽度的0.05到0.1倍。这个机制的用途很明确：给种群一个“重启”的机会。但变异概率不能一直恒定，我试过固定0.5，结果后期收敛不稳定，最优解附近反复被破坏。更合理的做法是先大后小，比如p_m从0.4线性降到0.1。

强化点四是精英保留与停滞重启。每次迭代生成候选位置后，不是无脑接受，而是把新解和当前个体的适应度做比较，只有更优才替换，这种精英保留策略保证了种群整体性能不会倒退。另一个细节是检测全局最优连续若干代没有变化时，将除α、β、δ以外的部分个体重新初始化到α附近并叠加小扰动，让搜索焦点重新聚焦。

这四个强化点的关系可以简单概括：反向学习初始化解决起步问题，非线性收敛因子和惯性权重解决探索利用平衡问题，柯西变异解决早熟收敛问题，精英保留和停滞重启解决后期收敛停滞问题。它们组合在一起，才配叫“强化”而不是“修补”。

2.3 SGWO算法流程与代码骨架

下面是一个去掉工程细节的SGWO伪代码骨架，我习惯用Python风格来表达。这个骨架在标准GWO上逐步添加强化点，也是最容易复现的方式。

# SGWO 骨架代码（Python 风格） def sgwo(objective, dim, lb, ub, N=30, max_fes=300000, p_m_start=0.4, p_m_end=0.1): # 1. 反向学习初始化 pop = np.random.uniform(lb, ub, (N, dim)) opp_pop = lb + ub - pop all_pop = np.vstack([pop, opp_pop]) all_fit = [objective(x) for x in all_pop] idx = np.argsort(all_fit)[:N] pop = all_pop[idx] fitness = [all_fit[i] for i in idx] fes = N alpha_pos, alpha_fit = pop[0], fitness[0] beta_pos, beta_fit = pop[1], fitness[1] delta_pos, delta_fit = pop[2], fitness[2] while fes < max_fes: t = fes / max_fes a = 2 - 2 * (t ** 2) w = 0.4 + 0.5 * (1 - t) p_m = p_m_start + (p_m_end - p_m_start) * t for i in range(N): # 2. 由 alpha/beta/delta 引导的位置更新 new_pos = np.zeros(dim) for leader_pos in (alpha_pos, beta_pos, delta_pos): A = 2 * a * np.random.rand() - a C = 2 * np.random.rand() D = np.abs(C * leader_pos - pop[i]) new_pos += leader_pos - A * D new_pos /= 3 new_pos = w * pop[i] + new_pos # 3. 柯西变异 if np.random.rand() < p_m: new_pos = new_pos + 0.05 * np.tan( np.pi * (np.random.rand(dim) - 0.5)) # 4. 边界处理与精英替换 new_pos = np.clip(new_pos, lb, ub) new_fit = objective(new_pos) fes += 1 if new_fit < fitness[i]: pop[i], fitness[i] = new_pos, new_fit # 重新确定三种等级 order = np.argsort(fitness) alpha_pos, alpha_fit = pop[order[0]], fitness[order[0]] beta_pos, beta_fit = pop[order[1]], fitness[order[1]] delta_pos, delta_fit = pop[order[2]], fitness[order[2]] # 5. 停滞重启 if no_improve_steps > threshold: restart_around_alpha(pop, fitness, lb, ub, N) return alpha_pos, alpha_fit

注意这个骨架里我用了NumPy风格的伪代码，实际工程实现还需要加随机种子管理和评估计数。我的建议是先用少量测试函数验证每一步改动是否正确，再一次性组装完整SGWO。组装前也一定要把原始GWO跑通，否则后面出了问题根本分不清是哪个环节引入的。

3. 数值优化任务：实验设计与复现要点

3.1 测试函数库选择与维度设置

数值优化实验最忌讳只挑几个好跑的函数证明算法厉害。我的做法是覆盖几种典型函数形态。单峰类函数选球函数Sphere和病态二次函数，前者测收敛速度，后者测路径追踪能力；多峰类函数选栅格型函数、指数多峰函数、周期多峰函数、正弦多峰函数，这类函数布满局部最优点，主要测算法会不会早熟。不同函数的取值范围不同，我统一使用各自的经典推荐区间。

维度设置上，我跑了30维和100维两组。30维是元启发式文献里最常见的配置，便于和其他算法对比；100维测试了SGWO在更高维空间的稳定性，很多算法在30维表现优秀，升到100维直接失效，这类结果对判断算法是否值得在AutoML里使用很有参考价值。

3.2 公平比较的参数配置框架

跨算法比较的公平性主要体现在“评估次数相同”。跑多少代、种群多大都可以变，但一次优化的总评估次数必须一致，这样所有算法花在目标函数上的预算相等。我的配置是：种群规模N=30，最大评估次数max_fes=300000，每个算法独立运行30次。对SGWO的额外超参数，柯西变异概率从0.4衰减到0.1，惯性权重从0.9降到0.4，停滞重启阈值为连续500次评估无改善。

为什么选30次独立运行？因为元启发式算法带有随机性，单次结果没有意义。30次可以得到均值和标准差，标准差直接反映算法的稳定性。光看均值可能被一次极端好结果带偏，标准差过大说明算法对初始种群和随机数种子很敏感。

评价指标除了均值和标准差，还需要做非参数符号秩检验。元启发式算法的结果通常不满足正态分布，直接用t检验不合适。非参数检验不假设数据分布，只看两组结果的排名关系，显著性水平的p值设置为0.05。判断标准很简单：如果SGWO对比原始GWO在多数函数上都显著更优，那么改进才具有统计意义。

3.3 典型结果表与性能解读

下面展示我在自己的实验环境下得到的一组代表性结果，数据只做示例参考，不同机器、不同随机种子会有波动，但相对趋势可以作为判断依据。

从这张表能看出两个规律。第一，SGWO在单峰函数上的收敛精度提升了好几个数量级，这个贡献主要来自反向学习初始化和惯性权重配合的精细后期搜索。第二，在多峰函数上，SGWO靠柯西变异多数情况下能把最优值压到0或者接近理论最优，而原始GWO在周期多峰函数上容易停在较小数值附近。

必须说明的是，这类结果和具体实现紧密相关。我之前见过有人把GWO的边界处理写成直接把越界维度设成边界值，结果球函数上表现很好，但在多峰函数上反而因为大量个体堆在边界导致多样性骤降。边界处理方式属于实现细节却直接影响结果，论文里不写清，复现出来就是另一套数据。

3.4 消融实验：每个强化点是否真的有效

消融实验是这类算法研究的灵魂。只展示最终结果，不证明每个改进都有用，审稿人一定会追问。我把SGWO拆成四个变体：去掉反向学习初始化的版本、去掉柯西变异的版本、去掉精英保留的版本、完整SGWO。下面是我在栅格型多峰函数上的示例对比。

去掉反向学习反而让多峰结果出现恶化，这是因为初始种群如果不做反向学习，在某些随机种子下容易整体落入同一个局部吸引域。去掉柯西变异后，算法能到10的负二次方量级，但距离全局最优还有距离。完整SGWO的均值标准差都为0，说明在30次独立实验中每次都稳定收敛到了理论最优。这个例子说明：不是每一个强化点都能单独带来红利，但组合起来确实产生了协同效应。

3.5 收敛曲线与稳定性分析

收敛曲线不要只画一次运行的结果，那只是随机抽一条路径。我的做法是画30次独立运行的“中位数曲线”，并对纵轴做对数刻度，否则精度差异根本看不出来。横轴的单位建议用评估次数而不是代数，方便不同种群规模之间对比。

稳定性分析看标准差还不够，我习惯同时看四分位箱线图。箱子高度越矮，说明多次运行之间的波动越小。箱线图还能直观暴露异常值，如果某一次运行结果特别差，背后往往对应种群陷入了某个不常见的局部区域。分析这类异常值比看均值更有价值，因为它指出算法的哪个环节对随机种子敏感。

4. SGWO在自动机器学习中的落地实践

4.1 为什么AutoML适合用元启发式搜索

AutoML的核心难点在于超参数空间是混合类型的：有连续参数，有整数参数，还有类别参数，参数之间还存在相互作用。典型的贝叶斯优化方法需要维护一个代理模型，在高维混合空间里代理模型的拟合误差会变大，而且每轮都要重新拟合代理模型，开销不小。元启发式算法完全不需要代理模型，每个个体对应一组参数配置，种群就是一组待验证的候选方案。

SGWO在AutoML里还有一个额外优势：种群并行。一次迭代同时评估30个配置，如果机器有多核，可以把30个训练任务丢到多个进程里并行跑完。贝叶斯优化每轮只能提一个或者少数几个候选，并行能力天然受限。对训练时间常以分钟计的模型来说，这个差距直接体现在墙钟时间上。

4.2 超参数空间编码与约束处理

编码是AutoML落地里最容易被低估的环节。连续参数可以直接用实数编码，但需要做尺度变换。比如学习率在0.0001到0.1之间，直接用线性编码会导致最优区域只占搜索空间的极小比例，搜索效率很低。我通常把连续参数变换到对数空间，让优化算法在对数刻度上搜索，搜索步长对应的是参数倍数的变化而不是绝对差值。

整数参数的处理方式是搜索后取整，再把越界的部分用夹紧处理。类别参数如果本身有顺序关系，比如“树的最大深度”，可以映射到整数后用顺序影响；如果是无序类别，比如不同的分裂准则，直接映射成整数容易让算法误以为相邻整数更相似。这种情况下我建议改用二进制位编码，每一类别对应一个0/1维度，本质上把类别问题转化成特征开关问题。代价是维度增加，但避免了误导性的距离关系。

特征筛选在SGWO里可以作为额外维度嵌入。可以把每个特征是否保留编码成0到1之间的实数，决策时用0.5作为阈值。这么做的好处是SGWO在更新过程中可以理解为“保留倾向”，而不是每一次都做离散的翻转，搜索更平滑。

4.3 适应度评估与预算控制

在AutoML里，每评估一组超参数就要训练一次模型，GPU或CPU时间会快速消耗。我的经验是：搜索阶段的适应度评估要刻意降低精度，但必须在论文里说清楚。具体手段有三种。

第一种是早停法。训练时监控验证集指标，连续若干轮不提升就直接终止，不训练满额定巡次数。这样既能让次优配置快速出局，也能让优秀配置展现出潜力。第二种是子采样。训练数据很大时，搜索阶段只取其中一部分样本，缩小模型即使性能偏低，不同配置之间的相对好坏通常仍然保持。第三种是缓存。由于整数超参数取整后会有大量重复配置出现，必须用参数签名做缓存，同一个配置只训练一次，后续直接按签名读取结果。

在并行层面，我使用进程池按种群划分任务。需要注意单次评估时间不能太短，否则进程通信和调度开销占比过大；单次评估时间也不能太长，否则主进程的停滞重启和变异策略响应不及时。我通常把单次训练时间控制在5到30秒之间，这样既能并行高效，又不会让单点故障拖死整体流程。

4.4 一个AutoML实例的效果

用一个公开的二分类数据集做演示，大约两万条样本、18个特征，基学习器选择梯度提升树模型。需要优化的参数包括学习率、树深度、叶子节点数量、子采样比例、正则化系数，再加上特征筛选掩码，总优化维度大约12维。搜索预算是120次训练评估，三种方案作对比：随机搜索、贝叶斯优化风格搜索、SGWO搜索。

这里最值得关注的是“达到最优所需评估数”。SGWO不是每个阶段都领先，前30次评估里它还经常落在随机搜索后面，因为种群初始化阶段会浪费一部分预算探索。但一旦柯西变异和精英保留机制开始起作用，中期之后优势就体现出来了。贝叶斯优化风格在小预算下稳定，但在这个混合参数空间里上限不如SGWO。

这类结果在论文中呈现时，需要加上多次重复实验的区间，否则读者会怀疑是碰运气。我上面的数据是示例，实际跑的时候我通常重复10次求中位数和四分位区间，并在论文里注明随机种子范围。

4.5 让AutoML优化结果可复现

AutoML可复现性比数值实验更难保证，因为训练过程的随机性来自多个层面：模型初始化随机性、数据采样随机性、优化算法本身的随机性。我的做法是把全局随机种子固定，在目标函数入口处重新设置种子，确保每个配置的训练过程在多次重复实验中一致。还要把每次评估的参数配置、适应度、时间戳一次性写入实验日志，后续做折线图或分析失败案例都有据可查。

另外有一个容易被忽视的细节：不要在搜索阶段和最终评估阶段混用数据。搜索阶段用验证集评估适应度，最终选出参数后另用测试集评估一次，否则优化器会在验证集上过拟合，得到虚高结果。这个逻辑和超参数搜索的泛化问题是一回事。

5. 常见问题与排查实录

5.1 早熟收敛与种群多样性丢失

这个现象几乎是所有元启发式算法在使用中都会遇到的头号问题。症状是适应度曲线在前中期快速下降后陷入水平，种群内所有个体的坐标几乎重叠。我刚开始调试SGWO时把柯西变异概率固定成0.5，结果所有独立运行都收敛到同一个次优点，因为每代变异足够强，但强到把已经接近最优邻域的个体反复推开。

排查思路是这样：先看种群坐标的标准差。如果标准差趋近于零，说明多样性已经耗尽，这时候该触发停滞重启。再看变异概率是否随迭代衰减，固定大变异会让算法永远处于“雷区边缘”。我最终的配置是变异概率从0.4线性降到0.1，并且只在部分维度上触发变异，而不是每个维度都加。这里要特别注意：维度级别的变异比个体级别的变异更容易保留已有收敛成果。

我的处理手法是：当连续500次评估全局最优没有改善，将种群中非前三名的个体重新初始化到α附近，扰动半径取搜索空间的1%。这样做既保住了已探索到的优质区域，又给了算法跳出当前吸引域的机会。

5.2 高维情况下效果明显退化

SGWO在30维和50维表现稳定，升到100维后部分多峰函数的收敛精度出现下降。根本原因是高维空间的“距离集中效应”：随着维度增加，任意两点之间的距离差异越来越小，引导位置和当前个体之间的向量长度变得不敏感，位置更新也就失去了方向信息。

实用解法是分块优化。对于数值优化任务，可以把维度拆成若干子块，每个子块用SGWO独立优化一轮，再把结果拼接回全量向量。这种方法牺牲了一定的参数关联性，但换来的是每个子块内部的搜索效率提升。对于AutoML任务，维度上升主要来自类别参数展开成二进制位，这时候我更推荐先粗筛再细调：用随机搜索筛掉明显无用的特征和参数范围，再用SGWO在收缩后的空间里精搜。这比直接让算法挑战20维以上的混合空间可靠得多。

5.3 AutoML训练评估太慢

AutoML里最痛苦的不是算法不收敛，而是等不起。全量数据训练一次可能几分钟，一次实验跑300次评估就是十个小时。我踩过最深的坑是：没有加超时上限，导致优化器把预算集中在那些训练极慢但验证集精度微高的配置上。这类配置在实际部署场景中根本不可用。

解决方案是三层限时措施。第一层是单次模型训练设置最大分钟数，到点强制终止；第二层是搜索总墙钟时间预算，比如整个SGWO跑30分钟，时间到就返回当前全局最优；第三层是早停策略，验证集指标连续一定轮数不提升就提前截断。三层措施配合起来，评估次数、训练时间、优化质量都能得到约束。

并行评估也是一个关键优化点。SGWO种群内个体相互独立，非常适合多进程并行。需要留意的是，目标函数内部如果自己管理了随机种子，并行后的重复实验结果会和串行不同，所以必须在每个worker进程内部按worker编号和实验序号生成子种子，保证可重复性。

5.4 统计结果不显著或复现结果不一致

跑完30次实验拿到结果，非参数符号秩检验却显示SGWO和原始GWO没有显著差异，这种情况在低难度函数上很常见。比如球函数，原始GWO已经能收敛到1e-28，再改进到1e-62，数量的巨大提升在非参数检验中可能并不显著，因为两者的结果在很多次运行里都被记录为零或者极小阈值以下。遇到这类情况，要么降低函数精度门槛，比如把收敛阈值调到1e-8以下才算成功，比较成功率；要么换更难的旋转或平移版本函数。

复现结果不一致则要先怀疑实现细节。不同人写的GWO在边界处理、引导个体选择、随机数生成方式上都有差异。我的建议是写一份只依赖标准库和目标函数实现的项目文档，把位置更新公式、边界截断规则、停滞判断条件全部写明。加上固定随机种子，至少保证自己在一台机器上可以逐位复现。

5.5 问题速查表

6. 实操心得与后续扩展

6.1 从零复现SGWO的三个阶段

第一阶段是复现标准GWO，不要带任何改进，先在球函数和栅格型函数上验证框架本身正确。这个阶段通常能暴露边界处理、距离计算公式、种群排序等基础bug。第二阶段是逐一添加强化点，每加一个就做一次消融对比。我强烈建议不要一次性加所有改进，否则你永远不知道哪个改动真正起到作用。第三个阶段是把SGWO整合进AutoML流程，先在小数据集上用较小预算验证，再放宽到正式规模。

整个过程中我得到的一个核心体会是：算法超参数本身也需要调，但不要用所有测试函数的综合结果去调。正确做法是留出两个函数做“算法超参数开发集”，其余函数做“评估集”，避免对测试集产生隐式过拟合。这个方法本质上和机器学习里的训练测试集划分是一样的。

6.2 关于学术成果整理的几点建议

投SEVC这类SCI二区期刊，评审最看重的通常不是算法多炫，而是实验是否充分、改进是否有依据、结果是否可复现。数值优化部分要包含最终结果表、消融实验表、收敛曲线、箱线图；AutoML部分要有真实任务的对比，最好再补一个参数敏感性分析，比如不同种群规模N下SGWO的表现变化。公式推导可以简但实验不能少，图和表的信息要能支撑每一个结论。

论文里的超参数配置必须写成表格，公开发布实验代码时把随机种子列表也放进去。很多文献只说“运行30次”，却不给随机范围，别人复现时只能各种猜。代码整干净，文档写清楚，这比在摘要里堆漂亮话有用得多。

6.3 这个方向还能怎么扩展

SGWO目前的版本还有几个值得扩展的方向。第一个是多目标版本，把单目标位置更新改成基于多目标占优关系的引导机制，用于需要同时优化精度和复杂度的AutoML场景。第二个是约束处理，加入罚函数或者约束修复算子，解决工程优化里常见的可行域问题。第三个是代理模型辅助，在评估特别昂贵的时候，用近似模型预筛掉明显不好的候选解，只对少数有潜力的配置做真实训练。

我个人后期的实践体会是：算法改进一定要服务于任务本身。在公开测试函数上把一个结果从1e-20优化到1e-60，论文里看着好看，但实际业务里用户更关心你的方法能不能在20分钟之内找到比手调更好的模型参数。能让AutoML任务里的目标指标提升三到五个点，比在几十个测试函数上把精度提升几个数量级更有说服力。这也是我把数值优化和自动机器学习放在同一个项目里做验证的根本原因。