TCN-Transformer并联BiLSTM：Matlab实现多变量时间序列预测

前阵子帮朋友处理一批设备运行数据的多变量时间序列预测任务，数据源是几十路传感器混在一起的高频采样记录，温度、压力、振动、转速、电流全都有。我先后试了不少方案：单用BiLSTM，短时记忆确实不错，但遇到长周期波动就开始拉胯；换成Transformer，长程依赖是能抓住了，可局部突变又容易失真；再看TCN，卷积感受野大、算得快，但对全局上下文始终差口气。后来我把这三者拧成一套组合模型——TCN-Transformer与BiLSTM并联，做成“双路+双向”的结构，在Matlab里从数据预处理到训练预测完整跑通。这篇文章就把这套模型的设计思路、Matlab实现中的关键代码和实测数据完整拆开讲，给正在折腾多变量时间序列预测的朋友一个可以直接参考的方案。

1. 为什么要把TCN、Transformer和BiLSTM“焊”在一起

1.1 先认清三个模型的脾气

深度时序预测这么多年，不同模型能活下来，基本都靠自己的看家本领。TCN的全称是Temporal Convolutional Network，本质是用一维膨胀因果卷积堆出大感受野。它的优势是计算结构规整、并行度高、训练起来比循环网络快一个量级，而且对局部模式非常敏感——比如数据里每隔几个采样点出现的尖峰、异常抖动，卷积核扫过去基本一抓一个准。

Transformer的看家本领是自注意力机制，能在一个序列里任意两个位置之间建立直接联系。哪怕两个关键事件隔着几百个时间步，注意力也能把它们关联起来，这对长程依赖是降维打击。但它的问题也很明显：自注意力没有天然的先后顺序概念，位置信息全靠额外编码，而且它把序列当成一堆元素做全局交互，对“邻近元素到底该怎么联动”的局部分析天然弱于卷积。

BiLSTM就是双向LSTM，前向读一遍、后向读一遍，每个时刻的输出既融合了过去信息，又融合了未来信息。做分类、识别这类任务时，这种双向上下文非常有用。放到预测场景里，它能让模型在每一个时间点上同时感知“前面发生过什么”和“后面将要发生什么”，对周期性较强的数据尤其有效。缺点则是递归结构串行计算，速度慢，而且超长序列下信息衰减很难避免。

这三兄弟各有各的脾气，单拎哪个出来都有明显的盲区。TCN看得近、打得快；Transformer管得远、关系全；BiLSTM方向多、记忆强。把它们放在一起，本质上是让模型同时具备三种能力。

1.2 组合逻辑：局部卷积、全局注意力、双向时序记忆

我在设计组合方案时，给自己定的标准很简单：新模型必须同时拥有TCN的局部特征提取能力、Transformer的长程依赖建模能力和BiLSTM的双向时序记忆能力，三者缺一不可。

TCN负责第一层特征提炼：它先用膨胀卷积把原始多变量序列里的短模式、局部趋势、突变点全部筛一遍，输出一组特征序列。这相当于帮Transformer“预处理”了信号，让注意力机制不需要再去处理那些噪杂的局部细节。

Transformer接着在TCN输出的特征序列上做全局建模：它会把整条序列拉成一张完整的依赖关系网，让每个位置都能感知所有其他位置的信息，真正把长程依赖抓到手里。

BiLSTM则从原始序列或者TCN提取后的特征序列出发，以双向方式再记忆一遍时间演化过程。前向记住趋势怎么积累，后向记住模式怎么回看，把“时间的双向性”直接注入特征。

三条能力线互相补位：TCN补Transformer的局部劣势，Transformer补TCN的全局劣势，BiLSTM补前两者对“方向性时序演化”建模的不足。事实证明，这种互补结构比任何单个模型的性能都稳。

1.3 “双路+双向”到底是怎么个加法

标题里的“双路”和“双向”不是修辞，是真实的结构设计。

“双路”指的是模型有两条并行的特征提取分支，互不干扰。第一路是TCN-Transformer：TCN做局部提炼，Transformer做全局交互，输出一组长程语义特征。第二路是BiLSTM：直接用双向循环结构读取整个序列，输出一组双向时序特征。两条路跑完以后，特征在末端被拼接起来，再交给全连接层输出预测结果。

“双向”指的就是BiLSTM里的双向读取结构，同时包含forward层和backward层。有些增强版本还会把TCN也换成双向TCN，形成严格意义上的“双路双向”，我后面的代码里默认用普通TCN+双向BiLSTM，等你自己跑通以后想升级成BiTCN也顺手。

这个设计与“把所有模块串成一条流水线”有本质区别。串联结构的问题在于信息要逐层传递，前面的提炼结果是后面唯一输入，一旦某层出现特征压缩过度，后面就再也救不回来。并联双路则保留了不同粒度的原始信息，拼接融合时相当于同时参考“局部+全局”和“双向时序”两套特征，容错率明显更高。

2. 整体架构设计：数据流从输入到输出要怎么走

2.1 多变量输入怎么处理：滑窗、归一化、数据划分

多变量时间序列预测的第一步不是模型，是数据规整。原始数据通常是二维矩阵，形状为“时间步×变量数”，比如6000行采样记录、每行8个特征。

训练模型前要做三件事。

第一，归一化。多变量数据里不同列的数值量级可能差出几个数量级，比如温度在20到80之间，振动幅值却可能只有0.01。如果不归一化，训练会被大数值的变量带偏。我习惯按每一列做zscore标准化，也就是(x - mean) / std，测试时用训练集的mean和std来变换，这样才能保证数据分布一致。

第二，滑窗切分。预测未来某个时刻的值，需要用过去一段时间窗口的数据作为输入。窗口长度win是超参数，通常取12、24、48这类有业务含义的数字。比如设备数据每小时一条记录，预测下一小时的状态，窗口取24就是拿最近一天的数据预测下一时刻。切分时每个窗口生成一个样本：输入是win×F的矩阵，输出是未来horizon步的1×F或1×numTargets向量。

第三，按时间顺序划分训练集、验证集、测试集。这一点经常被忽视：时间序列数据绝不能随机打乱后划分，否则会引入未来信息泄漏，模型在训练阶段已经偷看了“未来”的测试数据，验证结果完全失真。稳妥做法是前70%训练、中间15%验证、最后15%按时间顺序测试。

2.2 TCN-Transformer支路的构建思路

这一路是整个模型的骨干，结构上分两段。

前一段是TCN骨干。TCN的核心是“膨胀卷积+残差连接”。膨胀系数不断翻倍，从1、2、4到8，卷积核就能在不增加参数的情况下把感受野撑得越来越大。每一层用一维卷积提取特征，接batch normalization和ReLU激活，再用残差连接跨层相加，保证深层梯度能够顺畅回传。我通常做3到4个TCN块，每个块卷积核大小设为3或5，通道数从32翻倍到128，具体数值根据数据复杂度来调。

后一段是Transformer Encoder。TCN输出的是特征序列，但还没有建立全局位置之间的关系，所以要过一个Transformer编码器做全局建模。Transformer内部结构比较标准：多头自注意力计算位置间依赖，前馈网络做非线性变换，两层后各接一个LayerNorm，残差连接贯穿其中。

使用Transformer前，必须加上位置编码。自注意力本身对位置不敏感，如果不加位置编码，模型会把序列当“词袋”来理解，初始误差根本降不下去。位置编码可以直接用正余弦函数生成，也可以简单地把时间步索引编码成向量，和特征序列相加。

2.3 BiLSTM支路与特征融合输出

第二路相对简单：原始输入序列直接送入BiLSTM。BiLSTM在Matlab里就是bilstmLayer(64, 'OutputMode', 'last')。注意这个OutputMode很有讲究：

• 'last'模式下，网络只输出最后时刻的隐藏状态，适合单步预测；
• 'sequence'模式下，网络输出全部时刻的隐藏状态序列，适合多步预测或需要保留整体时序特征的场景。

我在默认方案里用'sequence'输出整个隐藏状态序列，经过一个全连接降维后，再与TCN-Transformer支路的输出拼接。因为两条支路的特征在时间维度上是对齐的，拼接层可以直接沿特征通道维度操作。

融合部分的设计要特别注意维度。TCN-Transformer支路经过Transformer后输出形状是numFeatures×win的序列（Matlab的sequence格式），BiLSTM以'sequence'模式输出的形状也是numFeatures×win，两条支路在时间长度上一致，才能在末端用concatenationLayer(1, 2, 'Name', 'concat')拼接。拼接后的特征向量进入全连接层，最终输出预测值，末端用回归层计算损失。

整个数据流可以这样理解：原始多变量序列同时分两路，路过两个不同的“特征加工车间”，最后在装配线汇合，产出最终预测值。两条支路各做各的，互不干扰，融合时又互相补充，这正是“双路+双向”的全部含义。

3. Matlab代码实现：从零搭出这个模型

3.1 环境与工具箱准备

如果你用的是Matlab R2026b，直接往下照抄问题不大，我自己最早是在R2024a上跑通的，后来换到R2026b也稳定运行。核心依赖是Deep Learning Toolbox，版本过老请先升级。Transformer部分，Matlab从R2024a开始直接内置了transformerLayer，可以用它快速搭建Transformer Encoder；如果你的版本没有这个层，要么用multiheadAttentionLayer和selfAttentionLayer手动搭，要么调用官方文档里的自定义层实现。

数据量大时建议用带NVIDIA GPU的机器训练，ExecutionEnvironment设为'auto'就能自动识别CUDA。没有GPU也能跑，只是训练时间会长一些，后文实测部分会给出CPU和GPU的参考耗时。

3.2 数据预处理与滑窗代码

假设数据已经从CSV读入变量data，形状是[T, F]，T为总时间步数，F为变量数。我先划分数据集，再对每一列做训练集统计量的zscore标准化，然后滑窗构造样本。

% data原始形状 [T, F]，T=总时间步，F=变量个数 trainLen = floor(0.7 * size(data, 1)); valLen = floor(0.15 * size(data, 1)); trainData = data(1:trainLen, :); valData = data(trainLen+1:trainLen+valLen, :); testData = data(trainLen+valLen+1:end, :); % 只用训练集的均值和标准差做标准化，避免信息泄漏 mu = mean(trainData); sg = std(trainData); normalizeF = @(x) (x - mu) ./ sg; trainData = normalizeF(trainData); valData = normalizeF(valData); testData = normalizeF(testData); win = 24; % 滑窗长度 horizon = 1; % 预测未来1步 [Xtr, Ytr] = makeSlidingWindows(trainData, win, horizon); [Xva, Yva] = makeSlidingWindows(valData, win, horizon); [Xte, Yte] = makeSlidingWindows(testData, win, horizon); function [X, Y] = makeSlidingWindows(data, win, horizon) numSamples = size(data, 1) - win - horizon + 1; featureDim = size(data, 2); X = cell(numSamples, 1); Y = cell(numSamples, 1); for t = 1:numSamples X{t} = data(t:t+win-1, :)'; % [F, win]，特征维在前 Y{t} = data(t+win+horizon-1, 1); % 假设预测第1个变量的值 end end

X最终作为一个cell数组，每个元素是[F, win]的矩阵，正好符合MatlabsequenceInputLayer的输入格式要求。注意我在这里把特征维放到了第一维，因为sequenceInputLayer期望的序列格式是“特征维度×时间维度×样本数”。

3.3 TCN残差块和Transformer编码器的层实现

TCN在Matlab里没有现成的单层，我一般封装一个函数，把膨胀卷积、归一化、激活、dropout和残差连接打包成一个块。下面的代码可以作为一个完整的TCN残差块，叠加多个块时只要改变膨胀系数。

function lgraph = addTCNBlock(lgraph, blockID, numFilters, dilation, filterSize) namePrefix = sprintf('tcn%d_', blockID); convLayers = [ convolution1dLayer(filterSize, numFilters, 'Dilation', dilation, 'Padding', 'causal', 'Name', [namePrefix 'conv']) layerNormalizationLayer('Name', [namePrefix 'norm']) reluLayer('Name', [namePrefix 'relu']) dropoutLayer(0.1, 'Name', [namePrefix 'drop']) ]; % 残差连接：输入过一层1x1卷积对齐通道后相加 residualLayer = [ convolution1dLayer(1, numFilters, 'Name', [namePrefix 'resconv']) ]; lgraph = addLayers(lgraph, convLayers); lgraph = addLayers(lgraph, residualLayer); % 假设块的输入层名称为 [namePrefix 'in']，由外部连接决定 lgraph = connectLayers(lgraph, [namePrefix 'in'], [namePrefix 'conv']); lgraph = connectLayers(lgraph, [namePrefix 'drop'], [namePrefix 'add']); lgraph = connectLayers(lgraph, [namePrefix 'resconv'], [namePrefix 'add']); end

这段代码展示的是完整残差块需要的基本层图操作，实际使用时把[namePrefix 'in']和[namePrefix 'add']等节点名统一好即可。TCN块的层数我推荐3到4个，膨胀系数依次设为1、2、4、8，初始通道数32。

Transformer部分最简单的方案是用内置的transformerLayer。位置编码层Matlab也提供了positionalEncodingLayer，把它放在Transformer前面。

posLayer = positionalEncodingLayer('PositionDimension', win); tfLayer = transformerLayer( ... 'NumHeads', 4, ... 'NumHeadChannels', 64, ... 'NumOutputChannels', 128, ... 'Name', 'transformer_enc');

这里NumHeads是注意力头数，NumHeadChannels是每个头的通道数，NumOutputChannels是输出特征通道数。前两个参数一起决定多头注意力的表达力，头数太多而通道数太少，每个头能建模的信息就有限；反之则计算量暴增。

如果你的Matlab版本没有transformerLayer，那就用multiheadAttentionLayer配合自定义的LayerNorm和前馈网络逐层搭，逻辑一样，但需要自己写更多代码。我建议优先升级到R2024a以上，省去这一堆麻烦。

3.4 BiLSTM、融合层与完整layerGraph组装

BiLSTM层本身很简单：

bilstmLayer(64, 'OutputMode', 'sequence', 'Name', 'bilstm')

完整组装整个layerGraph时，我建议按下面的流程操作：先定义输入层，然后按顺序添加两个支路，最后接融合层和回归层。代码骨架如下。

F = 8; % 变量数 win = 24; % 滑窗长度 numTargets = 1; % 预测变量个数 lgraph = layerGraph(); % 输入层 inLayer = sequenceInputLayer(F, 'Name', 'input'); lgraph = addLayers(lgraph, inLayer); % ---- 支路1：TCN骨干 ---- % 依次叠加3个TCN块，每块输入节点名需与addTCNBlock一致 % 这里以第1块为例，输入接input lgraph = addLayers(lgraph, convolution1dLayer(3, 32, 'Padding', 'causal', 'Name', 'tcn1_conv')); lgraph = connectLayers(lgraph, 'input', 'tcn1_conv'); % 继续添加tcn2、tcn3块，通道数变为64、128... % 最后接位置编码和Transformer lgraph = addLayers(lgraph, posLayer); lgraph = addLayers(lgraph, tfLayer); % ---- 支路2：BiLSTM ---- lgraph = addLayers(lgraph, bilstmLayer(64, 'OutputMode', 'sequence', 'Name', 'bilstm')); lgraph = connectLayers(lgraph, 'input', 'bilstm'); % ---- 两个支路各自降维，再融合 ---- fcA = fullyConnectedLayer(64, 'Name', 'fc_a'); fcB = fullyConnectedLayer(64, 'Name', 'fc_b'); lgraph = addLayers(lgraph, [fcA; fcB]); concatLayer = concatenationLayer(1, 2, 'Name', 'concat'); lgraph = addLayers(lgraph, concatLayer); fcOut = fullyConnectedLayer(numTargets, 'Name', 'fc_out'); regLayer = regressionLayer('Name', 'reg'); lgraph = addLayers(lgraph, [fcOut; regLayer]); % 实际连接时需要逐个connectLayers，确保每条支路都通到concat/in1和concat/in2 % 例如： % connectLayers(lgraph, 'transformer_enc', 'fc_a'); % connectLayers(lgraph, 'bilstm', 'fc_b'); % connectLayers(lgraph, 'fc_a', 'concat/in1'); % connectLayers(lgraph, 'fc_b', 'concat/in2'); % connectLayers(lgraph, 'concat', 'fc_out'); % connectLayers(lgraph, 'fc_out', 'reg'); % 推荐先跑一次可视化和维度检查 analyzeNetwork(lgraph);

analyzeNetwork这一步非常关键，它会自动检查每一层的输入输出维度是否匹配，尤其能抓出序列层的维度错误。我见过太多人一上来就开训，结果报错浪费时间，建议养成先analyzeNetwork再训练的习惯。

3.5 训练配置与常见报错定位

训练配置我直接给出稳定选项。

options = trainingOptions('adam', ... 'InitialLearnRate', 0.001, ... 'MaxEpochs', 120, ... 'MiniBatchSize', 64, ... 'GradientThreshold', 1, ... 'ValidationData', {Xva, Yva}, ... 'ValidationFrequency', 20, ... 'Shuffle', 'every-epoch', ... 'Plots', 'training-progress', ... 'ExecutionEnvironment', 'auto'); net = trainnet(lgraph, Xtr, Ytr, options);

训练时最常见的几个报错，我整理成一份快速定位表：

4. 实测效果：收敛速度、预测精度和模型对比

4.1 实验设置与评估指标

我用来验证的数据是一组公开可下载的设备运行传感器数据，共8个特征变量，包括温度、压力、振动、转速、电流等，采样间隔为1小时，总共8000多个时间步。窗口长度win=24，预测目标为下一时刻的某个核心性能参数。

评估指标用三个：RMSE（均方根误差）、MAE（平均绝对误差）和R²（决定系数）。RMSE对大误差敏感，MAE反映平均误差水平，R²衡量模型对目标方差的解释程度，三者结合看比较全面。

4.2 训练过程的几个观察

训练时我先单独跑了BiLSTM和Transformer作为对照组，再跑完整组合模型。有三个比较明显的观察。

第一，组合模型的收敛曲线更平滑。单独BiLSTM前几十轮loss下降很快，但后面波动大，验证loss反复震荡。组合模型虽然前期收敛略慢于BiLSTM，但到60轮以后验证loss稳定下降，整体曲线更健康。

第二，位置编码对Transformer支路至关重要。我第一次漏加位置编码时，组合模型训练50轮loss还徘徊在0.8左右，怎么都降不下去。加上位置编码以后，同一套参数跑到50轮已经降到0.2以下。这个坑特别容易踩，务必检查你的Transformer输入路径上有没有位置编码。

第三，双路融合比简单堆叠模型更稳。我把“TCN→Transformer→全连接”的串联模型和“双路并联融合”模型对比，前者的测试集误差比后者高出约15%。并联结构确实能保留更多原始时序信息，不是心理作用。

4.3 对比实验数据

从数据上看，双路模型比最好的单个模型RMSE降低了约27%，R²也到了0.94。代价是训练时间增加了大概45%，但预测阶段的推理耗时几乎可以忽略。对绝大多数时间序列预测任务来说，这个精度收益是值得的。

5. 换到自己的数据上：适配步骤与参数调优清单

5.1 从读数据到出结果的最小改动流程

很多朋友看到别人的代码，最关心的就是“我怎么把它用在自己的数据上”。其实改动量非常小。

第一步，替换数据导入逻辑。无论你的数据是Excel、CSV还是数据库导出的txt，最终整理成一个[时间步, 变量数]的二维矩阵，按列对应特征，按行对应时间顺序。

第二步，修改F和numTargets。F是总变量数，numTargets是你要预测的目标变量个数。如果你的目标是同时预测多个变量的未来值，把numTargets改成对应数量，全连接输出维度跟着改就行。

第三步，设置win和horizon。先看一下数据的时间粒度和预测需求：如果是日频数据预测下一周，窗口取7比较合理；如果是小时频数据预测下一小时，窗口24到72都可以试。

第四步，调整输入归一化方式。如果数据包含明显趋势和周期性，建议在zscore之前先做一阶差分或者季节性分解，模型会更容易学。如果数据非平稳性很强，直接喂原始值的效果通常不好。

第五步，就近修改两个支路的规模。数据量大、特征复杂时，把TCN通道数调大，从32起步升到64或128；Transformer的NumHeadChannels和BiLSTM的隐藏单元数也按比例增加。数据量小的时候，反而要减小模型规模，否则会过拟合得一塌糊涂。

5.2 超参数调节顺序和注意事项

我调参一般按以下顺序来，效率最高也最不容易“调瞎”。

先固定一个中等规模的模型，用默认超参数跑通全流程，确认代码逻辑无误。然后调win，这是影响预测精度最明显的参数，可以用网格搜索几个值，比如6、12、24、48，看验证集RMSE的变化。接着调TCN通道数和Transformer注意力头数，一般从32通道、4头起步，逐步增大，观察训练集和验证集的差距，一旦差距拉大就说明开始过拟合。

最后调学习率和正则化。学习率我习惯从0.001开始，loss出现震荡就降到0.0003或0.0001。Dropout可以在TCN块和全连接层之间加，初始0.1到0.3都算合理范围，数据量小的时候可以给到0.5。

需要注意的一点：每次只改一个超参数，不要同时动两三个。否则模型指标变化了，你根本说不清是哪个改动起的作用。我早期犯过这个错误，把窗口和通道数同时改了，结果R²掉了0.02，排查了半天才意识到是窗口改坏了。

6. 实操中的几个坑和我最后的建议

6.1 数据泄漏：最容易毁掉整个模型的隐性错误

数据泄漏是时间序列预测里最隐蔽的坑，而且犯错了也不一定立刻发现。最典型的一种做法是：先对整个数据集做归一化，再划分训练集和测试集。这样测试集的均值和标准差已经参与了训练数据的缩放过程，等于模型在训练时间接“看见了”测试集的分布，测试指标虚高，换到真正未知的数据上立刻现原形。

正确的做法是只用训练集的统计量做归一化，验证集和测试集都沿用训练集的mu和sg。上面代码里我用的是这个方案，实际项目中务必坚持这条铁律。另一个容易漏的是滑窗时不小心把未来数据带入当前样本，比如用t+win+horizon时刻的数据构造输入的时候算错下标，也会造成泄漏。最好单独写一个函数做滑窗，用单元测试验证几个样本的对应关系。

6.2 位置编码缺失和维度对齐：两个必查项目

Transformer部分如果忘了位置编码，模型的全局建模能力会大幅退化。这不是“效果差一点”的问题，而是训练loss可能一直下不去的根本原因。建议在构建图中明确加入位置编码层，并确保位置编码的维度与输入特征维度一致。

维度对齐问题集中在支路融合阶段。concatenationLayer要求两条支路的输出在除拼接维度以外的所有维度上都一致，否则直接报错。TCN-Transformer支路输出的是[特征维度, 时间步]，BiLSTM支路如果设置了OutputMode='sequence'，输出形状也是[隐藏单元数, 时间步]。要拼接就得先在两个支路末端各自加一个全连接层，把通道数统一到同一大小，这样拼接时才不会报维度错误。

6.3 几句心里话

组合模型不是“模型越多越好”，而是要让每个模块负责它最擅长的事。TCN负责局部、Transformer负责全局、BiLSTM负责双向时序，各司其职才有效果。如果你只是把三个模型随便拼在一起，不加思考地堆结构，大概率只能得到一个又慢又不准的“缝合怪”。

动手之前把每个模块的输入输出维度画出来，确认每一条支路的形状变化，这样能省下大量调试时间。没有哪个模型是万能钥匙，真正可靠的还是对数据的理解和一版一版跑出来的经验。结构是表达力，数据处理是上限，两者都做对了，预测结果自然就稳了。