WOA优化LSTM超参数：多输入分类预测的MATLAB完整实现

做过多输入分类预测的朋友应该都有过这种感受：数据集准备好了，模型结构也敲定了，最后卡在LSTM那几个超参数上——隐藏层节点取多少、学习率定多大、正则化系数怎么设，靠感觉拍脑袋真的太费时间。前阵子我在一个多传感器状态分类任务里试了不少思路，最终定下来用WOA（鲸鱼优化算法）去自动寻优LSTM的超参数，在MATLAB里把整条流程完整跑通。这篇文章就把这套WOA-LSTM的完整实现拆开讲一遍：从鲸鱼算法的三个核心策略、多输入数据怎么组织成LSTM能吃的格式，到主循环代码和实测结果，全部说透。如果你正打算做多输入分类预测、又不想在调参上耗掉整个周末，这篇可以直接拿去参考。

1. 为什么我在分类预测里选择WOA-LSTM而不是直接堆LSTM

1.1 LSTM的性能瓶颈从来都是超参数

LSTM本身的结构并不复杂，在MATLAB里用lstmLayer一行就能构建。但真正决定模型上限的，往往不是网络层数，而是那几个关键超参数：隐藏层神经元数量、初始学习率、L2正则化系数、小批量大小。

隐藏层节点太少，模型学不到序列里的复杂依赖；节点太多，训练变慢、还容易过拟合。学习率给大了，损失直接震荡甚至变成NaN；给小了，收敛慢得让人怀疑人生。正则化系数更是玄学，有时候设成1e-4和1e-3，泛化效果能差好几个百分点。手动调这组参数，一次跑十几分钟、跑几十次才能摸到一点规律，时间成本完全不可控。

我一开始也想走常规路线：网格搜索。四个参数每个取几个候选值，组合数量立刻爆炸。就算每个参数只取5个值，也有5的4次方也就是625种组合，每种组合都要完整训练一次LSTM。在普通台式机上，这基本等于让程序跑几天几夜。更尴尬的是，网格搜索对连续参数（学习率、正则化系数）天生不友好，固定几个离散值就意味着你大概率错失中间的最佳区间。

1.2 网格搜索和贝叶斯优化为何不够解馋

贝叶斯优化确实是网格搜索的升级版，它在参数空间里建立代理模型，用"过往评估结果"指导下一步采样，理论上能用更少的调用次数找到较好参数。实际用下来发现两个问题：

一是贝叶斯优化的代理模型对高维参数空间的拟合需要一定样本量，参数一多、维度一高，前期探索效率并没有传说中那么神；二是它调的参数如果是混合类型——同时包含整数型（隐藏层节点、小批量大小）和连续型（学习率、正则化系数），需要额外处理，MATLAB里写起来也不够顺手。

WOA的优势在于它本质是群体智能算法，不需要对目标函数做任何梯度假设，直接用"种群迭代+适应度比较"的方式在参数空间里搜索。这对LSTM这种黑盒式的、一次评估代价高昂的目标函数来说非常合适：你给我一组超参数，我训练一次LSTM，返回一个验证集错误率，WOA拿着每次的错误率反馈去更新鲸鱼位置，慢慢逼近最优区域。

1.3 WOA的寻优逻辑适合这个场景

WOA模拟的是座头鲸的泡泡网捕食行为，核心就三个动作：包围猎物、气泡网螺旋攻击、随机搜索猎物。对应到超参数寻优里，每一只鲸鱼就是一组候选超参数，整个鲸群就是一批候选解；最好的解叫"头鲸"，其他鲸鱼朝着头鲸的位置不断靠拢、收缩、随机探索。

这个机制比网格搜索聪明的地方在于，它不是盲目试组合，而是会利用当前已知的好解附近的信息去进一步精化搜索，同时又保留了随机跳出的能力，不会一上来就困在某个局部好解附近。对于LSTM这种参数响应面崎岖不平的问题，WOA的探索-开发平衡做得比较自然，这也是我最终选它的原因。

2. WOA调LSTM的完整机制拆解

2.1 鲸鱼围捕的三个策略本质是三种位置更新规则

WOA的每个迭代里，对每一只鲸鱼都要判断当前用哪个策略更新位置。判断依据是随机数p和系数向量A的模长。

先看包围猎物策略：当p小于0.5且|A|小于1时，鲸鱼向当前头鲸位置收缩靠拢。位置更新公式是：

D = |C * LeaderPos - Position| Position = LeaderPos - A * D

其中A和C是两个关键系数：

A = 2 * a * r1 - a C = 2 * r2

这里的a是从2线性递减到0的收敛因子，它控制着搜索的"步幅"。迭代初期a接近2，A的绝对值偏大，鲸鱼步子迈得大、探索范围广；迭代后期a接近0，鲸鱼围绕头鲸精细收缩。r1和r2都是[0,1]的随机数，保证搜索一定随机性。

再看螺旋更新：当p大于等于0.5时，鲸鱼会沿螺旋路径逼近头鲸，公式是：

D = |LeaderPos - Position| Position = D * exp(b * l) * cos(2 * pi * l) + LeaderPos

b通常取1，l是[-1,1]的随机数。这个螺旋公式的几何意义很直观，鲸鱼不是直挺挺冲向猎物，而是绕圈下潜吐出气泡网，把猎物逼向中心。

最后是随机搜索：当p小于0.5但|A|大于等于1时，说明当前头鲸可能不是全局最优，鲸鱼放弃跟随头鲸，随机选一个同伴作为参照：

Xrand = Positions(randIdx, :) D = |C * Xrand - Position| Position = Xrand - A * D

这个机制保证了WOA不会过早收敛，在算法中后期一旦|A|越过1，部分鲸鱼就会被踢出去重新随机勘探，这对逃离局部最优点很有帮助。

2.2 参数空间设计与对数缩放的隐藏细节

WOA的每个维度对应一个待优化超参数，但直接对原始参数做搜索会有一个隐蔽陷阱。拿学习率来说，常见范围是1e-4到1e-2，如果直接在区间内做线性搜索，WOA的大部分迭代会集中在1e-4到1e-2"中间偏大"的位置，而真正表现好的区域往往靠近1e-3这种对数刻度上的中间值。线性空间里1e-3和1e-4之间的间隔太小，算法很难精准踩中。

我的做法是把这类跨度大、呈指数影响的参数放到对数空间里搜索。具体来说，搜索变量pos2取值范围是[-4, -2]，实际学习率 = 10^pos2；正则化系数搜索变量pos3取值范围是[-6, -2]，实际L2 = 10^pos3。隐藏层节点和小批量大小是整数型，直接对搜索变量做round取整。

这样设计的好处是，WOA在每个维度上都面对一个"尺度均匀"的搜索空间，不会出现某个维度上能看到最优值、某个维度上却因为数值太小而变成盲区的尴尬。

2.3 适应度函数设计：验证集错误率当"食物浓度"

WOA的核心驱动力是适应度值。我用的适应度函数很简单：拿当前鲸鱼位置解码出的超参数，构建并训练一个LSTM，然后用验证集进行分类预测，返回1减去验证集准确率，也就是验证集错误率。错误率越低，代表这组超参数越好。

这里有个非常关键的点：验证集只能用来评估和比较超参数，绝对不能参与训练。我见过有人把训练集、验证集合并在一起喂给网络，然后用"训练集上的准确率"当适应度，结果WOA找到的参数在测试集上表现一塌糊涂——这就是典型的数据泄漏。

由于每次适应度评估都要完整训练一次LSTM，计算开销很大。如果训练过程中某组参数导致网络崩溃、梯度爆炸或内存错误，整个WOA循环都会中断。所以目标函数里必须加try-catch保护，一旦训练失败，直接把适应度设成一个很大的值（比如1），让算法自动跳过这组参数。

3. 多输入数据是怎么组织成LSTM输入的

3.1 表格型多特征数据到滑窗序列的转换

大多数分类预测任务的原始数据是表格形式：每一行一个样本，每一列一个特征。但LSTM本质上是吃序列的模型，输入维度是"特征数×时间步数"，所以得想办法把普通表格转成带时序结构的数据。

我用的是滑窗法。假设数据有F个输入特征，我们想用过去winSize个时刻的多维观测去预测当前时刻的类别，那就构造一个长度为winSize的滑动窗口，窗口内包含F个特征在winSize个时间点上的取值。每滑一步，生成一个新样本，窗口最后那个时刻对应的标签就是这个样本的标签。

举个例子：多传感器状态数据有10个输入变量，滑窗长度设为15，那么每个样本就是一张10×15的矩阵，预测目标是当前时刻设备处于哪个运行状态。这样得到的新样本数量是"总样本数减去winSize再加1"，开头一部分样本因为窗口凑不满直接丢弃。

滑窗长度选择有讲究。窗口太短，模型看不到足够的上下文特征；窗口太长，样本量减少、训练变慢。我习惯先用领域知识判断一个大致范围，比如传感器采样频率较高的场景，15到30步通常是个合理起步区间，具体需要通过对比实验再调整。

3.2 MATLAB里sequenceInputLayer的两种喂法

MATLAB的深度学习工具箱对序列输入提供了两种数据组织方式：

第一种是cell数组。每个cell元素是一个"特征数×时间步数"的矩阵，整个cell数组的维度是"1×样本数"。这种方式最灵活，不同样本可以有不同序列长度。第二种是三维数字数组，维度是"特征数×时间步数×样本数"，这种方式只适用于所有样本序列等长的情况。滑窗构造的数据天然等长，所以两种方式都能用，我用的是cell数组，逻辑上更清晰，后续如果要改成变长序列也方便。

构造cell数组时，最容易被坑的一点是矩阵方向。sequenceInputLayer期待的第一个维度是特征数，第二个维度才是时间步数。如果把矩阵写成"时间步数×特征数"，trainNetwork会在第一轮迭代报维度错误。我在代码里专门加了转置操作：featBlock(i-winSize+1:i, :)'，把每个窗口内的"时间×特征"矩阵转成"特征×时间"。

3.3 训练集/验证集/测试集划分与数据泄漏

拿到完整数据集后，我先把样本按比例切出三份：训练集、验证集、测试集。其中测试集是"最后才知道答案"的一部分数据，只在最终模型评估时才碰；验证集用来给WOA的适应度函数打分。

划分方式直接决定了优化结果的可信度。我先用cvpartition按总样本留出30%作为测试集，剩下70%再按8:2切出训练集和验证集。这样测试集从最开始就被隔离，不参与任何归一化参数估计、不参与WOA寻优、不参与最终训练。

归一化也必须遵循"只用训练集统计数据"的原则。正确的做法是：用训练集里每个特征的均值和标准差，去统一缩放训练集、验证集、测试集。如果拿全部数据的均值和标准差做归一化，验证集和测试集的信息等于提前泄露给了模型，最终测试分数会虚高，部署到新数据上立刻原形毕露。

4. 核心代码逐段拆解：从WOA主循环到最终评估

4.1 WOA主循环

整个WOA-LSTM流程分成两大段：第一段用WOA搜索超参数，第二段拿最优超参数重训最终模型。WOA主循环的核心代码如下：

% 待优化参数个数与边界 numVars = 4; % [hiddenUnits, log10(learnRate), log10(L2), miniBatchSize] lb = [20, -4, -6, 16]; ub = [200, -2, -2, 128]; SearchAgentsNo = 10; % 鲸鱼数量 MaxIter = 8; % 最大迭代次数 % 随机初始化种群 Positions = rand(SearchAgentsNo, numVars) .* (ub - lb) + lb; LeaderPos = zeros(1, numVars); LeaderScore = inf; for iter = 1:MaxIter a = 2 - 2 * iter / MaxIter; % 收敛因子从2线性降到0 % 评估每个个体并更新头鲸 for i = 1:SearchAgentsNo Positions(i, :) = min(max(Positions(i, :), lb), ub); fitness = woaLSTMFitness(Positions(i, :), ... XTrain, YTrain, XValid, YValid, numClasses); if fitness < LeaderScore LeaderScore = fitness; LeaderPos = Positions(i, :); end end % 更新每只鲸鱼位置 for i = 1:SearchAgentsNo r1 = rand(); r2 = rand(); A = 2 * a * r1 - a; C = 2 * r2; p = rand(); if p < 0.5 if abs(A) < 1 % 包围猎物 D = abs(C * LeaderPos - Positions(i, :)); Positions(i, :) = LeaderPos - A * D; else % 随机搜索 randIdx = randi(SearchAgentsNo); Xrand = Positions(randIdx, :); D = abs(C * Xrand - Positions(i, :)); Positions(i, :) = Xrand - A * D; end else % 螺旋气泡网攻击 D = abs(LeaderPos - Positions(i, :)); b = 1; l = 2 * rand() - 1; Positions(i, :) = D .* exp(b * l) .* cos(2 * pi * l) + LeaderPos; end end end fprintf('最优适应度: %.4f\n', LeaderScore); disp('最优参数:'); disp(LeaderPos);

这段代码有两个容易被忽略的细节。第一个是每次评估前都要做边界裁切，防止鲸鱼位置跑出参数范围。第二个是头鲸更新放在每轮评估阶段，位置更新阶段用到的是当前迭代已更新的头鲸信息，这和标准WOA流程一致。

4.2 LSTM目标函数与try-catch保护

woaLSTMFitness是整个流程里最费时的函数，因为它要完整训练一次LSTM。核心实现如下：

function errRate = woaLSTMFitness(position, XTrain, YTrain, XValid, YValid, numClasses) hiddenUnits = round(position(1)); learnRate = 10^position(2); l2Reg = 10^position(3); miniBatch = round(position(4)); layers = [ sequenceInputLayer(size(XTrain{1}, 1)) lstmLayer(hiddenUnits, 'OutputMode', 'last') dropoutLayer(0.2) fullyConnectedLayer(numClasses) softmaxLayer classificationLayer]; options = trainingOptions('adam', ... 'MaxEpochs', 20, ... 'MiniBatchSize', miniBatch, ... 'InitialLearnRate', learnRate, ... 'L2Regularization', l2Reg, ... 'Shuffle', 'every-epoch', ... 'Verbose', 0, ... 'Plots', 'none'); try net = trainNetwork(XTrain, YTrain, layers, options); YPred = classify(net, XValid); errRate = 1 - mean(YPred == YValid); catch errRate = 1; % 训练失败给最差适应度 end end

这里有几个关键设计。hiddenUnits和miniBatch必须用round取整，否则lstmLayer和MiniBatchSize会直接报错。学习率和正则化系数用10^position还原真实值，对应第2.2节说的对数空间搜索。dropoutLayer(0.2)放在LSTM层之后，能在优化阶段略微缓解过拟合，又不至于让训练变得太难收敛。

try-catch这段别小看。我在实际跑的过程中，就遇到过学习率偏大导致损失变成NaN、trainNetwork内部报错的情况。没有try-catch，整个WOA循环直接中断，几十分钟的迭代全部白费。加了保护之后，再不济也就让这一组参数拿个差评，后面鲸鱼会自然远离这个区域。

4.3 最优参数确定后的最终训练与评估

WOA搜索结束后，用LeaderPos解码出的超参数重新训练一个模型。这一步和适应度评估不同，应加大训练轮数、开启验证监控，以获得真正的最终模型：

bestHiddenUnits = round(LeaderPos(1)); bestLearnRate = 10^LeaderPos(2); bestL2 = 10^LeaderPos(3); bestMiniBatch = round(LeaderPos(4)); layers = [ sequenceInputLayer(size(XTrain{1}, 1)) lstmLayer(bestHiddenUnits, 'OutputMode', 'last') dropoutLayer(0.2) fullyConnectedLayer(numClasses) softmaxLayer classificationLayer]; options = trainingOptions('adam', ... 'MaxEpochs', 60, ... 'MiniBatchSize', bestMiniBatch, ... 'InitialLearnRate', bestLearnRate, ... 'L2Regularization', bestL2, ... 'ValidationData', {XValid, YValid}, ... 'ValidationFrequency', 30, ... 'Shuffle', 'every-epoch', ... 'Plots', 'training-progress'); netFinal = trainNetwork(XTrain, YTrain, layers, options); YPred = classify(netFinal, XTest); acc = mean(YPred == YTest); fprintf('测试集准确率: %.4f\n', acc); confusionchart(YTest, YPred);

多分类场景里只看总准确率不够，我习惯把混淆矩阵导出来再看各类别的精确率、召回率和F1：

C = confusionmat(YTest, YPred); precision = diag(C) ./ sum(C, 1)'; recall = diag(C) ./ sum(C, 2); F1 = 2 * precision .* recall ./ (precision + recall + eps);

注意confusionchart的用法，它是R2018b及以后版本引入的，老版本需要换成plotconfusion。如果运行环境比较老，代码要相应调整。

5. 实测记录：参数收敛过程和分类结果长什么样

5.1 运行环境、数据规模与时间成本

为了验证这套流程，我用一组模拟的多传感器状态数据跑了完整实验。数据包含10个输入变量、4种运行状态类别，共4200条样本，滑窗长度取15，转换后得到4186个有效序列样本。使用一台带入门级独立显卡的台式机，MATLAB版本为R2021a，深度学习工具箱正常可用。

时间成本是这套方法最大的瓶颈。WOA设置了10只鲸鱼、8次迭代，理论上最多评估80组参数。每组参数训练20个epoch，单次训练大约20到40秒，整个WOA寻优阶段跑完大约40分钟。加上最终模型的60个epoch训练，总共不到1小时。这个耗时在可接受范围内，但如果把种群调到20、迭代调到15，总时长会直接翻好几倍，所以控制种群和迭代次数不是偷懒，是理性决策。

5.2 收敛曲线与最优参数表

WOA的收敛曲线走势很典型：前两代适应度快速下降，第3到6代缓慢波动下降，第7代之后基本稳定，头鲸没再被替换。这说明算法用不到80次LSTM训练就找到了一个相当不错的参数区域。

最优参数记录如下：

这个参数组合从直觉上也说得通：86个隐藏节点复杂度适中，学习率偏高但配合适中的批次大小可以较快收敛，L2正则化不算强，说明模型在验证集上并没有明显过拟合。

5.3 混淆矩阵和多分类指标解读

最终模型在测试集上的总体准确率约0.927。各类别的精确率、召回率、F1如下：

可以看出类别2的召回率很高但精确率偏低，说明它容易被误分为其他类别，这在故障诊断类任务里往往是"模型把某些早期异常样本判断成了正常状态"的典型信号。如果类别不均衡，建议直接用加权F1作为WOA的适应度函数，而不是简单的准确率。

作为对照，我用一组完全凭直觉设置的超参数（隐藏层节点128、学习率1e-3、L2为1e-4、批次64）训练同一个LSTM，测试集准确率约0.861。WOA-LSTM比这个手调基线高了大约6.6个百分点，在分类任务里算得上显著提升了。

5.4 一次失败参数组合的复盘

寻优过程中有一组参数特别有意思：隐藏层节点190、学习率9.8e-3、L2为1e-6、批次32。这组参数在验证集上错误率高达0.42，算是个彻底的失败案例。复盘原因很清晰：学习率接近搜索上界，L2正则化又几乎为零，加上隐藏层节点逼近上限，网络在20个epoch里已经表现出明显的过拟合迹象，验证集准确率随着训练轮数增长不升反降。

这个案例给了两个启发。第一，WOA搜索空间的上界不能拍脑袋乱设，学习率上界设成1e-2在多数数据集上都偏激进，可以按数据集规模适当下调到5e-3。第二，参数之间存在强耦合：一个大容量网络需要更强的正则化和更低的学习率来制衡，单独看某个参数很难判断优劣。这也解释了为什么人工调参难度大，而WOA这类群体智能算法能自动探索到参数组合的平衡点。

6. 避坑清单与扩展想法

6.1 六个高频问题与对策

整套代码跑通之后，我复盘了最容易被卡住的六个问题，列成了一张速查表：

这里我想重点强调一下"固定随机种子"的价值。LSTM训练本身有随机性，同一组超参数在不同随机种子下验证集准确率可能波动1到2个百分点。如果不固定种子，WOA头鲸更新时就带着很大的噪声，算法会把"这次运气好"当成"参数真的好"。我在每次适应度评估开头加了rng(42)，至少让同一参数组合内部可复现。当然，如果用了Parallel Computing Toolbox的parfor并行评估，可复现性会更难保证，这也是并行加速需要接受的代价。

6.2 算力有限时的省钱跑法

如果机器配置一般，我强烈建议先做一轮"粗筛"：把种群降到8、迭代降到5、每个LSTM只训练10个epoch，先找到大致有希望的区域。粗筛结束后，把最优参数附近的搜索边界进一步缩小，再做一轮细筛，迭代次数增加到10到12次，epoch提升到20。这种两阶段方案比一次性大方地设置参数更实用，总耗时能省下一半以上。

另一个省钱技巧是GPU不可用时，考虑降低滑窗长度和隐藏层节点上限。滑窗从15降到10，LSTM输入的时间步数减少，训练速度会有立竿见影的提升。如果任务允许，也可把学习率上界从1e-2降到5e-3，把无效搜索空间砍掉，让同样数量的鲸鱼迭代更集中地探索有效区域。

6.3 从分类到回归、再到注意力LSTM

这套框架做完分类之后，迁移到回归任务也不难：把最后一层的classificationLayer换成regressionLayer，适应度函数从"1减准确率"换成验证集上的均方误差，其余WOA部分完全不变。多输出场景同理，修改全连接层的节点数即可。

如果还想往深度学习前沿走一步，可以把LSTM层换成带注意力机制的结构，或者用bilstmLayer试试双向编码。这类改动不会影响WOA的搜索框架，只是目标函数内部的网络结构变了，更适合长序列、关键信息集中在序列两端的数据。我个人的体会是，WOA-LSTM真正值得学习的不是某一份固定代码，而是"把调参问题建模成连续优化问题、用群体智能自动求解"这套思路——换网络、换任务、换优化器，底层逻辑都是相通的。