简介：这份资源面向具备一定深度学习基础、希望上手时间序列预测实战的开发者与学习者，聚焦LSTM与Transformer混合模型的构建与落地。内容围绕如何将LSTM的局部序列建模能力与Transformer自注意力机制的全局依赖捕捉相结合，用于处理金融、气象、销量等场景中的非线性时序数据，并配套数据读取、预处理、模型训练与结果评估的完整流程。压缩包共13个文件，约1.74MB，以py脚本、csv数据集、xml配置、txt需求文档和png结果图为主，脚本承载模型实现与数据读取逻辑，csv提供训练与测试数据，png直观对比真实值与预测值，txt说明项目目标与数据结构。目前已有1099人学习下载。读者可借此掌握混合模型的搭建思路、数据清洗与归一化等预处理方法，以及通过预测曲线评估模型性能的实践路径，适合作为时序预测入门到进阶的练手项目。
1. 混合模型时间序列预测实战：从 LSTM 到 Transformer 的融合路径
单靠 LSTM 做时间序列预测，很多人在真实数据上跑到第三轮就会遇到瓶颈：长周期依赖记不住，突发波动跟不上，验证集 loss 卡在一个值上反复横跳。Transformer 倒是擅长捕捉全局关联，但直接拿来跑时序，位置编码和注意力窗口的配置又容易翻车。混合模型时间序列预测实战的核心思路，就是把 LSTM 的局部时序建模能力和 Transformer 的全局注意力机制拼在一起，让两条路径各管一段，最后融合输出。这个方向适合已经跑通过单模型 baseline、想进一步压误差的从业者，也适合手里有设备寿命预测、负荷预测、传感器回归这类任务、需要一套可复现融合方案的人。下面从架构选型讲到代码落地，再到参数调优和踩坑记录，全部按能直接抄作业的粒度展开。
2. 混合模型架构选型：LSTM 和 Transformer 到底怎么拼
2.1 串联式与并联式两种融合路径的取舍
混合模型不是把两个网络叠在一起就完事。常见做法分两条路：串联式和并联式。串联式是先把序列送进 LSTM 做局部特征提取，再把 LSTM 每个时间步的隐状态拼成新序列，喂给 Transformer 编码器。这种结构适合序列较短、局部模式明显的场景，比如传感器采样频率高但预测窗口只有几十步。并联式则是同一份输入同时送进 LSTM 分支和 Transformer 分支，各自输出一个预测向量，最后用加权求和或门控融合。并联式对长周期依赖和突发波动的兼容性更好，但参数量翻倍，训练时容易过拟合。
我一般会先看数据周期长度。如果单条样本序列长度在 200 步以内，串联式足够；超过 500 步，并联式更稳。另一个判断依据是预测目标：如果目标只依赖最近几十步的局部变化，串联式优先；如果目标受整段序列的全局趋势影响，并联式更合适。
2.2 位置编码在混合结构里的正确接入方式
Transformer 本身没有时序概念，位置编码必须显式注入。在串联式结构里，LSTM 输出的隐状态已经隐含了顺序信息，但 Transformer 的自注意力机制会把这个顺序打散，所以位置编码不能省。常见做法是用可学习的位置嵌入，维度与 LSTM 隐状态维度对齐，直接相加。在并联式结构里，Transformer 分支需要独立的位置编码，LSTM 分支不需要额外处理。
参数上，位置编码的最大长度要覆盖实际序列长度，留 10% 余量。如果序列长度是 168，最大长度设 192 比较稳妥。位置编码的初始化用正态分布，标准差设 0.02，这是 Transformer 原论文的默认值，实测在时序任务里也够用。
2.3 融合层的三种实现：加权求和、门控融合与注意力融合
融合层决定了两条分支的信息怎么合并。加权求和最简单，两个分支输出各乘一个可学习的标量权重再相加，参数量最少，适合数据量小的场景。门控融合用一个 sigmoid 门控网络动态调整两条分支的贡献比例，输入是两条分支的拼接向量，输出是 0 到 1 之间的门控值。注意力融合把两条分支的输出当作 key 和 value，用一个小型注意力层做加权，参数量最大，但在复杂波动数据上表现最好。
我一般先用加权求和跑通 baseline，如果验证集误差比单模型还差，再换门控融合。注意力融合放在最后尝试，因为它的训练不稳定，学习率需要单独调。
2.4 用 PyTorch 搭一个串联式混合模型的最小可跑代码
下面这段代码实现串联式混合模型：LSTM 先提取局部特征，Transformer 编码器再捕捉全局依赖，最后接全连接层输出预测值。输入形状是 (batch, seq_len, features)，输出形状是 (batch, pred_len)。
import torch import torch.nn as nn class LSTMTTransformer(nn.Module): def __init__(self, input_dim, d_model=64, nhead=4, num_layers=2, pred_len=1, dropout=0.1): super().__init__() # LSTM 分支：提取局部时序特征 self.lstm = nn.LSTM(input_dim, d_model, batch_first=True, bidirectional=False) # 位置编码：可学习参数，最大长度 512 self.pos_embed = nn.Parameter(torch.randn(1, 512, d_model) * 0.02) # Transformer 编码器：捕捉全局依赖 encoder_layer = nn.TransformerEncoderLayer(d_model=d_model, nhead=nhead, dropout=dropout, batch_first=True) self.transformer = nn.TransformerEncoder(encoder_layer, num_layers=num_layers) # 输出层：把序列最后一步映射到预测长度 self.fc = nn.Linear(d_model, pred_len) def forward(self, x): # x: (batch, seq_len, input_dim) lstm_out, _ = self.lstm(x) # (batch, seq_len, d_model) seq_len = lstm_out.size(1) # 注入位置编码，截取对应长度 lstm_out = lstm_out + self.pos_embed[:, :seq_len, :] trans_out = self.transformer(lstm_out) # (batch, seq_len, d_model) # 取最后一个时间步的输出做预测 out = self.fc(trans_out[:, -1, :]) # (batch, pred_len) return out逻辑说明：LSTM 层把原始输入映射到 d_model 维的隐状态序列，这一步保留了局部时序模式。位置编码用可学习参数，直接与 LSTM 输出相加，让 Transformer 能感知顺序。Transformer 编码器对整段序列做自注意力，捕捉跨时间步的全局关联。最后取最后一个时间步的输出，经过全连接层映射到预测长度。
参数说明：d_model 控制隐状态维度，64 是时序任务的常用起点，数据量大可以加到 128。nhead 是注意力头数，必须能整除 d_model，4 头配 64 维是稳妥组合。num_layers 是 Transformer 编码器层数，2 层起步，超过 4 层在小数据集上容易过拟合。dropout 设 0.1 到 0.3，数据量越小取值越大。pred_len 根据任务设定，单步预测设 1，多步预测设对应步数。
3. 数据管道与训练配置：让混合模型真正跑起来
3.1 时序数据的窗口切分与归一化策略
混合模型对输入尺度敏感，归一化没做好，LSTM 和 Transformer 的梯度会打架。常见做法是对每个特征单独做 z-score 归一化，均值和标准差只用训练集计算，验证集和测试集复用训练集的统计量。窗口切分用滑动窗口，窗口长度覆盖至少两个完整周期。如果数据有日周期，采样间隔是小时，窗口长度至少设 48。
切分比例按时间顺序划分，不能随机打乱。训练集占 70%，验证集占 15%，测试集占 15%。如果数据量少于 5000 条，验证集比例可以降到 10%，把更多数据留给训练。
import numpy as np def sliding_window(data, window_size, pred_len): """data: (total_len, features) 归一化后的数组""" xs, ys = [], [] for i in range(len(data) - window_size - pred_len + 1): x = data[i:i+window_size] y = data[i+window_size:i+window_size+pred_len, 0] # 假设预测第 0 列 xs.append(x) ys.append(y) return np.array(xs), np.array(ys) # 归一化：只用训练集统计量 train_mean = train_data.mean(axis=0) train_std = train_data.std(axis=0) + 1e-8 train_norm = (train_data - train_mean) / train_std val_norm = (val_data - train_mean) / train_std test_norm = (test_data - train_mean) / train_std X_train, y_train = sliding_window(train_norm, window_size=48, pred_len=1) X_val, y_val = sliding_window(val_norm, window_size=48, pred_len=1) X_test, y_test = sliding_window(test_norm, window_size=48, pred_len=1)逻辑说明：归一化统计量只从训练集计算，避免验证集和测试集的信息泄漏。滑动窗口按时间顺序生成样本对，每个样本的输入是连续 window_size 步，输出是后续 pred_len 步的目标值。
参数说明：window_size 根据数据周期设定，至少覆盖两个完整周期。pred_len 是预测步数，单步预测设 1，多步预测按需设 3 到 24。归一化分母加 1e-8 防止除零。
3.2 学习率、批次大小与早停的联动设置
混合模型的训练稳定性比单模型差，学习率设大了 loss 直接飞，设小了收敛慢。我一般用 AdamW 优化器，初始学习率设 1e-3，配合余弦退火调度，最小学习率设 1e-5。批次大小设 32 或 64，数据量超过 10 万条可以加到 128。早停耐心值设 10 到 15 轮，验证集 loss 连续这么多轮不下降就停。
如果训练 loss 下降但验证 loss 上升，说明过拟合，优先加 dropout 或减 Transformer 层数。如果两个 loss 都不降，检查学习率是否太小，或者归一化是否出错。
from torch.optim import AdamW from torch.optim.lr_scheduler import CosineAnnealingLR model = LSTMTTransformer(input_dim=features, d_model=64, nhead=4, num_layers=2, pred_len=1) optimizer = AdamW(model.parameters(), lr=1e-3, weight_decay=1e-4) scheduler = CosineAnnealingLR(optimizer, T_max=50, eta_min=1e-5) criterion = nn.MSELoss() best_val_loss = float('inf') patience = 12 counter = 0 for epoch in range(100): model.train() for xb, yb in train_loader: optimizer.zero_grad() pred = model(xb) loss = criterion(pred, yb) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) optimizer.step() scheduler.step() # 验证 model.eval() val_loss = 0 with torch.no_grad(): for xb, yb in val_loader: val_loss += criterion(model(xb), yb).item() val_loss /= len(val_loader) if val_loss < best_val_loss: best_val_loss = val_loss torch.save(model.state_dict(), 'best_model.pth') counter = 0 else: counter += 1 if counter >= patience: break逻辑说明：AdamW 带权重衰减，防止参数过大。余弦退火让学习率从 1e-3 平滑降到 1e-5，避免后期震荡。梯度裁剪设 max_norm=1.0，防止梯度爆炸。早停机制在验证 loss 不再下降时终止训练，保存最佳模型。
参数说明：weight_decay 设 1e-4 到 1e-2，数据量小取大值。T_max 是余弦周期，设总 epoch 数的一半到全部。clip_grad_norm 的 max_norm 设 0.5 到 2.0，混合模型建议从 1.0 开始试。
3.3 用验证集曲线判断混合模型是否真的优于单模型
跑完训练后，把 LSTM 单模型、Transformer 单模型和混合模型的验证集 loss 曲线画在同一张图上。如果混合模型的曲线在训练早期就低于两个单模型，说明融合有效。如果混合模型曲线和单模型中较好的那个几乎重合，说明另一条分支没起作用，需要检查融合层权重或调整分支输出维度。
另一个判断指标是预测残差的自相关性。混合模型的残差如果接近白噪声，说明模型已经把可提取的模式都学到了。如果残差还有明显周期，说明窗口长度或模型容量不够。
4. 避坑与排查：混合模型训练中最容易翻车的五个地方
4.1 位置编码长度不够导致长序列预测直接报错
现象：序列长度超过位置编码的最大长度时，前向传播报维度不匹配错误。原因：位置编码用可学习参数时，最大长度是固定的，超出范围无法索引。解决：把位置编码的最大长度设得比实际序列长度大 20% 以上，或者在 forward 里做动态截断和填充。
4.2 LSTM 和 Transformer 学习率不匹配导致一条分支不收敛
现象：训练 loss 下降但验证 loss 震荡，检查梯度发现 LSTM 分支的梯度范数远小于 Transformer 分支。原因：两个分支对学习率的敏感度不同，统一学习率下 LSTM 更新太慢。解决：给两个分支设置不同的参数组，LSTM 分支学习率设 1e-3，Transformer 分支设 5e-4，用 optimizer 的 param_groups 分别配置。
4.3 批次大小设太大导致验证集 loss 卡住不降
现象：批次大小设 256 时，训练 loss 平滑下降，但验证 loss 从第 5 轮开始就不动了。原因：大批次下梯度估计方差小，模型容易陷入尖锐极小值，泛化差。解决：把批次大小降到 32 或 64，配合梯度累积模拟大批次效果。梯度累积步数设 4，等效批次大小 128。
4.4 归一化统计量用全量数据计算导致验证指标虚高
现象：验证集 MSE 看起来很低，但测试集 MSE 翻倍。原因：归一化时用了全量数据的均值和标准差，验证集信息泄漏到训练过程。解决：严格只用训练集计算归一化统计量，验证集和测试集复用同一组参数。检查方法是把归一化后的验证集反归一化，看数值范围是否合理。
4.5 融合层权重初始化不当导致训练初期震荡
现象：训练前几轮 loss 剧烈震荡，甚至出现 NaN。原因：融合层的可学习权重初始化值太大，两条分支输出相加后数值范围失控。解决：融合层权重用 0.5 初始化，或者用门控融合时把门控网络的偏置设成 0，让初始门控值接近 0.5。同时在前向传播里对融合输出做层归一化。
5. 进阶技巧：用多步预测和残差连接把混合模型压到极限
多步预测是混合模型真正拉开差距的地方。单步预测时 LSTM 和 Transformer 的差异不大，但预测步数增加到 6 步以上，混合模型的优势就出来了。我一般用两种策略：直接多步输出和滚动预测。直接多步输出是把全连接层的输出维度设成 pred_len，一次预测所有步。滚动预测是每次只预测一步，把预测值拼回输入序列，再预测下一步。直接多步输出训练更稳，滚动预测在长周期任务上误差累积更小。
残差连接是另一个提点。在串联式结构里，把原始输入经过一个线性映射后，直接加到 Transformer 输出上，让模型只需要学习残差部分。这样训练初期 loss 下降更快，最终误差也能低 5% 到 10%。
class ResidualLSTMTTransformer(nn.Module): def __init__(self, input_dim, d_model=64, nhead=4, num_layers=2, pred_len=6, dropout=0.1): super().__init__() self.lstm = nn.LSTM(input_dim, d_model, batch_first=True) self.pos_embed = nn.Parameter(torch.randn(1, 512, d_model) * 0.02) encoder_layer = nn.TransformerEncoderLayer(d_model=d_model, nhead=nhead, dropout=dropout, batch_first=True) self.transformer = nn.TransformerEncoder(encoder_layer, num_layers=num_layers) # 残差映射：把原始输入映射到 d_model 维 self.residual_proj = nn.Linear(input_dim, d_model) self.fc = nn.Linear(d_model, pred_len) def forward(self, x): lstm_out, _ = self.lstm(x) seq_len = lstm_out.size(1) lstm_out = lstm_out + self.pos_embed[:, :seq_len, :] trans_out = self.transformer(lstm_out) # 残差连接：原始输入映射后加到 Transformer 输出 residual = self.residual_proj(x) out = trans_out + residual # 取最后一步做多步预测 return self.fc(out[:, -1, :])逻辑说明：残差映射把原始输入直接投影到 d_model 维，与 Transformer 输出相加，让模型学习残差。这样即使 Transformer 分支初始输出接近零，模型也能通过残差路径传递信息。多步预测通过全连接层一次输出 pred_len 个值。
参数说明：pred_len 设 6 到 24，根据任务需求调整。残差映射用线性层，不加激活函数，保持恒等映射的稳定性。如果输入维度远大于 d_model，残差映射可以先降维再升维，减少参数量。
验证多步预测效果时，我习惯用分步 MSE 和整体 MSE 两个指标。分步 MSE 看每一步的误差分布，如果后面几步误差明显大于前面，说明误差累积严重，需要加长窗口或改用滚动预测。整体 MSE 看平均表现，和单模型对比时用这个指标。
最后说一个我踩过的坑：混合模型不是越复杂越好。我试过把 LSTM 换成双向 LSTM，再加两层 Transformer，参数量翻了三倍，验证集误差反而涨了 15%。后来把双向改回单向，Transformer 层数降到 2 层，误差才降回去。混合模型的价值在于两条分支的互补，不在于堆叠层数。先把串联式跑通，再试并联式，最后考虑残差和多步预测，这个顺序最稳。希望帮到你。
本文还有配套的精品资源，点击获取
