深度强化学习时序预测：从预测误差到决策收益的实战指南

简介：深度强化学习与时间序列预测方向的学习者常面临理论多、可运行实例少的问题，此压缩包正好提供一个DRL预测项目。项目以DQN等经典算法为基础，结合正弦函数等模拟数据展示智能体如何通过与环境交互学习预测未来序列值，覆盖环境搭建、智能体实现、训练循环及结果可视化等完整流程。资源共35个文件，以Python脚本和预编译pyc为主，辅以JSON配置、pickle数据及环境配置文件env.yml，其中src目录存放核心代码，data目录提供训练与测试数据集，README和LICENSE便于快速上手与合规使用。整个压缩包约760KB，轻量易部署。已有525人下载学习，适合希望通过实际代码理解强化学习在时间序列预测中应用的开发者，可据此快速搭建实验、修改超参数并观察不同策略效果，深入掌握DRL模型设计中的关键环节。

1. 为什么时序预测要转向深度强化学习：预测误差最小化，不等于决策收益最大化

如果你做过 LSTM 或者 Transformer 做股票价格预测、销量预测这类任务，大概率遇到过同一个尴尬局面：测试集上的 MSE 已经压得很低，画出来的预测曲线和真实值几乎贴在一起，但你把这个预测结果拿去做交易回测，账户曲线却难看得很。问题不出在模型，出在目标函数。你训练模型的时候用的是「预测误差最小化」，而真正关心的是「决策收益最大化」，这两件事在数学上不是一回事。深度强化学习换了个思路：不再要求模型把未来数值猜准，而是让模型直接输出动作——买、卖、持有、仓位多少——然后按动作产生的收益给奖励。这套路线在金融时序预测、能源负荷预测这类「预测完了还要做决策」的场景里，比单纯的序列预测算法更贴合真实诉求。本文按我实际落地的路径，把环境设计、算法选型、数据工程、训练调参和踩坑点完整讲一遍，适合已经会跑 LSTM 时序预测、想往上走一层做决策优化的从业者。

2. 深度强化学习做时序预测的原理：状态、动作、奖励设计与算法选型

2.1 为什么监督学习在时序决策上吃亏：目标函数和真实目标错位

先做一个思想实验。你用 LSTM 预测明天的收盘价，预测值是 10.2，真值是 10.0，MSE 是 0.04，看起来很好。但如果你按这个预测去交易，系统告诉你「明天会涨 2%」，于是你满仓买入，结果真值显示只涨了 0.1%，甚至跌了 0.5%。MSE 角度这只是个小误差，从收益角度这是致命的误判。问题就在于：误差分布和收益分布不是线性对应的，预测偏一点点，决策结果可能差很远。

第二个问题是单点预测丢失了序列决策的连续性。交易不是一次性赌大小，今天的仓位决定明天的浮盈，明天的动作又基于今天的持仓状态。这种带状态转移的决策链条，监督学习很难显式建模。你当然可以把未来 5 天的预测结果拼起来做成信号，但那本质上还是「先预测、后决策」的两段式，预测误差会在第二阶段被放大。

深度强化学习把整个问题重新表述成一个马尔可夫决策过程：状态是当前能观测到的市场特征窗口，动作是仓位或买卖指令，奖励是执行动作后的收益扣除成本。模型不再关心「明天价格是多少」，只关心「现在这个动作能不能让账户曲线变好」。这也是为什么金融时序预测、超短期光伏功率预测这类场景里，深度强化学习算法的讨论热度逐年上升——因为它们的最终目标本来就是决策，而不是数值预测本身。

2.2 动作空间与奖励设计：连续仓位还是离散三态，收益怎么给

动作空间的选择直接决定了环境怎么搭。常见做法是两种：

离散动作空间，一个三维向量：买入、持有、卖出。优点是实现简单、和交易指令天然对齐、便于和传统策略对比；缺点是仓位粒度太粗，没法表达「半仓」这类中间状态，而且离散动作会让策略在边界动作附近学得不够平滑。

连续动作空间，一个 [-1, 1] 之间的实数代表仓位比例，1 代表满仓做多，-1 代表满仓做空。优点是表达能力强，能精细控制敞口；缺点是训练难度更高，动作的微小变化对奖励的影响是非线性的，而且实盘执行时还要把连续仓位映射到实际委托量。

我一般建议：交易成本高的标的、流动性差的标的、或者你只需要方向性信号时，选离散；做指数、流动性好的品种，或者你的目标本身就是动态仓位管理，选连续。

奖励设计是整个环境里最容易被低估的部分。最朴素的奖励是单步收益：r_t = ret_t * position_{t-1} - cost_t，其中cost_t是换手成本。这里有一个必须注意的细节：reward 里不扣手续费，模型一定会学会高频换手，因为它发现来回折腾能拿到更多「账面收益」，而手续费在它看来不存在。另一个细节是收益的分布问题。金融时序里的单步收益是尖峰厚尾的，直接拿原始收益当奖励，少数大波动样本会主导梯度。常见解法是给奖励做变换，比如用符号函数乘以收益的平方根，或者对收益做 rank 归一化，降低极端值的影响。

2.3 算法家族对比：DDPG / TD3 / SAC / PPO 谁更耐金融数据的性子

深度强化学习算法在时序预测上真正常用的就四个：DDPG、TD3、SAC 和 PPO。它们之间的区别决定了你调参时候血泪经验的方向。

金融数据的特点是信噪比极低、非平稳、分布随时在变。在这种数据上，算法的稳定性比样本效率重要得多。PPO 的 clipped surrogate objective 限制了每次更新的步长，不容易出现 DDPG 那种训练到一半 reward 突然崩掉的情况，所以我的建议是：第一次搭环境、验证流程能不能通，用 PPO；流程稳定之后，再换上 SAC 去试天花板。如果你看到网上各种深度强化学习算法列表对比的帖子纠结选型，记住一句话——金融场景先求稳，再求好，PPO 是下限最高的那个。

3. 时序数据工程与特征构造：标准化、滚动窗口与不泄漏的切分方式

3.1 特征怎么选：收益率、波动率与技术指标的组合

时序预测的数据工程比模型结构更决定上限。直接用原始价格作为输入是新手最常见的错误，价格序列非平稳，均值随时间漂移，模型学到的大多是「昨天的价格大概等于今天」这种无聊的恒等映射。正确的起点是把它转成平稳性更好的衍生特征。

我通常是这么构造特征集：

import pandas as pd import numpy as np df = pd.read_csv("price.csv", parse_dates=["date"]).set_index("date") # 对数收益：消除绝对价格水平的影响 df["log_ret"] = np.log(df["close"] / df["close"].shift(1)) # 滚动波动率：市场状态的直接度量 df["vol_20"] = df["log_ret"].rolling(20).std() # 动量因子：过去 N 日的累计涨幅 df["mom_5"] = df["close"] / df["close"].shift(5) - 1 # RSI：超买超卖区间识别 delta = df["close"].diff() gain = delta.clip(lower=0).rolling(14).mean() loss = (-delta.clip(upper=0)).rolling(14).mean() rs = gain / loss df["rsi_14"] = 100 - 100 / (1 + rs) # 删除有 NaN 的行，按时间顺序保留 feature_cols = ["log_ret", "vol_20", "mom_5", "rsi_14"] clean_df = df.dropna(subset=feature_cols) features = clean_df[feature_cols].values.astype(np.float32) close = clean_df["close"].values.astype(np.float32)

代码逻辑：先用对数收益率替代原始价格，解决非平稳问题；再加滚动波动率表达市场当前的风险状态；动量因子捕捉中短期趋势；RSI 提供超买超卖的位置信息。这套特征组合对股票价格预测、销量预测、电力负荷预测都适用，区别在于波动率和动量的窗口长度要按数据频率调整。

参数说明：rolling(20)是 20 个交易日，对应自然月长度；rolling(14)是 RSI 的经典周期。日线数据用这两个值起步是合理的，如果是小时级数据，周期要放大到 40～60 根 K 线才有统计意义。数据中的缺失值在时间序列里只能用前向填充或直接删除，不能用均值填充，否则会引入未来信息。

3.2 训练 / 验证 / 测试切分：按时间轴切，不是随机打乱

这一点对做过结构化数据建模的人来说反直觉。分类任务里随机打乱数据是标准操作，但时序预测里一旦打乱，模型就能从未来样本里学到本不该看到的信息，验证集和测试集全部失真。更隐蔽的错误是：有人不打乱数据，但仍然用 KFold 交叉验证，KFold 默认也是随机切分，这在时序场景里同样是泄漏。

正确的做法是按时间轴切分：

# 按时间顺序切分，前 60% 训练，接下来 20% 验证，最后 20% 测试 n = len(clean_df) train_end = int(n * 0.6) val_end = int(n * 0.8) train_df = clean_df.iloc[:train_end] val_df = clean_df.iloc[train_end:val_end] test_df = clean_df.iloc[val_end:]

逻辑说明：训练集只覆盖最早的时间段，验证集次之，测试集最后。模型在训练过程中永远看不到验证集和测试集的数据，这才能保证评估指标真实反映模型的泛化能力。

更严格的做法是 walk-forward 验证：先把数据切成 K 段，第一轮用第 1 段训练、第 2 段验证；第二轮用第 1、2 段训练、第 3 段验证；以此类推。这种做法模拟了实盘里「模型滚动更新」的节奏，代价是训练次数成倍增加。初学阶段先做一次静态切分就够了，等方案基本成型再上 walk-forward。

3.3 归一化的隐藏陷阱：全局统计量是未来信息

归一化在深度学习里是标配操作，但时序预测里的归一化和普通场景有本质区别。假设你用 sklearn 的 MinMaxScaler 对全量数据做 fit_transform，scaler 计算最小值最大值时用到了测试段的数据——这相当于模型在训练阶段就知道了未来的价格区间。训练集表现还行，测试集一换就全面崩盘，你排查半天还以为模型结构有问题。

解决方案是滚动窗口归一化：每个时间点的特征值，只用该时间点之前的数据计算统计量。

# 滚动 z-score：用过去 120 天的均值标准差做归一化，不偷看未来 def rolling_zscore(series: pd.Series, window: int = 120) -> pd.Series: mean = series.rolling(window).mean() std = series.rolling(window).std() return (series - mean) / std for col in ["log_ret", "vol_20", "mom_5", "rsi_14"]: clean_df[col + "_z"] = rolling_zscore(clean_df[col])

参数说明：window 取 120 天，因为 120 天大约是半年交易时间，能覆盖一个中周期的市场状态；窗口太短会跟着短期波动乱跳，窗口太长又反应迟钝。注意第一段 120 天内的数据会变成 NaN，需要 dropna 丢掉。

训练环境使用的特征就是这些_z列。实现里还有一个细节：验证集和测试集的归一化不能用测试段数据重新计算均值，应该直接用训练段最后 120 天的统计量继续滚动下去。换句话说，整个归一化过程应该发生在切分之前，按时间顺序一路滚动到底，这样任何一步都不存在「用未来算过去」的问题。

4. 可运行的强化学习时序预测基线：用 PPO 在本地训练一版最小实现

4.1 用 gymnasium 封装交易环境：状态、动作与收益的计算

深度强化学习的训练过程依赖环境提供「状态 → 动作 → 奖励 → 新状态」的闭环。时序预测场景里，这个环境就是历史数据集本身。我习惯用 gymnasium 写环境，因为它和 Stable-Baselines3 的兼容性最好。

import numpy as np import gymnasium as gym from gymnasium import spaces class TimeSeriesTradingEnv(gym.Env): def __init__(self, features, close, window=30, fee=0.001): super().__init__() self.features = features # (T, F) 归一化后的特征矩阵 self.close = close # (T,) 原始收盘价，用于计算收益 self.window = window # 观测窗口长度 self.fee = fee # 单边交易成本 # 动作：[-1, 1] 连续仓位，正数做多，负数做空 self.action_space = spaces.Box(low=-1.0, high=1.0, shape=(1,), dtype=np.float32) # 观测：最近 window 天的特征序列 self.observation_space = spaces.Box( low=-np.inf, high=np.inf, shape=(window, features.shape[1]), dtype=np.float32 ) self.t = window self.position = 0.0 # 当前持仓仓位，初始为空仓 def reset(self, seed=None, options=None): super().reset(seed=seed) self.t = self.window self.position = 0.0 obs = self.features[self.t - self.window:self.t] return obs.astype(np.float32), {} def step(self, action): action = np.clip(action, -1.0, 1.0)[0] t = self.t # 当前持仓仓位持有 t-1 到 t 这一周期产生的收益 ret = self.close[t] / self.close[t - 1] - 1.0 # 换手成本只在仓位改变时产生 cost = self.fee * abs(action - self.position) reward = ret * self.position - cost self.position = action self.t += 1 terminated = self.t >= len(self.close) - 1 truncated = False obs = self.features[self.t - self.window:self.t] return obs.astype(np.float32), reward, terminated, truncated, {}

逻辑说明：环境的状态是最近 30 天的特征窗口，动作是模型输出的目标仓位。奖励分两部分——上一周期持仓产生的浮动收益，以及调仓产生的交易成本。terminated设为数据尾部，保证训练到最后一个时间点自然结束。

参数说明：window=30意味着模型每次做决策时能看到的是一根 30 天的特征窗口，这个值和特征的记忆长度配套。fee=0.001代表单边 0.1% 的成本，做股票短线交易够用，如果对标期货或者加密货币，这个值要按实际费率调整。

4.2 用 Stable-Baselines3 训练 PPO：关键参数与收敛信号

环境写好后，训练部分比想象中短。Stable-Baselines3 把 PPO 实现封装得很完整，需要你操心的只剩参数。

from stable_baselines3 import PPO from stable_baselines3.common.vec_env import DummyVecEnv # 训练环境（只用训练段数据） train_env = DummyVecEnv([lambda: TimeSeriesTradingEnv(train_features, train_close)]) model = PPO( "MlpPolicy", train_env, learning_rate=3e-4, n_steps=2048, batch_size=64, gamma=0.99, gae_lambda=0.95, ent_coef=0.01, verbose=1, seed=42, ) model.learn(total_timesteps=100_000) model.save("ppo_ts_model")

逻辑说明：DummyVecEnv把单环境包装成向量环境，这是 Stable-Baselines3 训练的标准入口。MlpPolicy代表策略网络和价值网络都是全连接网络，特征窗口进入网络前会被自动展平成一维向量。

参数说明：learning_rate=3e-4是 Adam 优化器在 PPO 里的保守默认值，在这个值附近上下浮动三倍都算正常区间；n_steps=2048表示每轮更新前收集 2048 步的经验，数据量小的时候要降到 512 或 1024，否则一个 epoch 都填不满；gamma=0.99是折扣因子，代表模型对未来奖励的看重程度，金融场景建议 0.98～0.995 之间；ent_coef=0.01给熵奖励加了一个小权重，防止策略过早收敛到「永远空仓」的懒惰解；seed=42固定随机种子，保证实验可复现。

训练时的收敛信号和普通深度学习不一样，不要盯着 loss 看，要看ep_rew_mean这个指标。它在 verbose 输出里会打印，表示平均每轮累积奖励。正常的训练过程是：前期有一段波动，然后ep_rew_mean缓慢爬升并稳定在一个正区间。如果这个值一直不涨，先别急着调网络结构，检查 reward 的计算逻辑有没有问题。

4.3 回测与评估：夏普比率、最大回撤与换手率

训练结束只是第一步，模型好不好要看在测试段上的表现。回测代码我一般单独写一个脚本，避免和训练逻辑混在一起：

def evaluate_model(model, features, close, window=30, fee=0.001, deterministic=True): env = TimeSeriesTradingEnv(features, close, window=window, fee=fee) obs, _ = env.reset() done = False returns = [] while not done: action, _ = model.predict(obs, deterministic=deterministic) obs, reward, terminated, truncated, _ = env.step(action) returns.append(reward) done = terminated or truncated returns = np.array(returns) # 夏普比率（年化）：衡量单位风险的超额收益 sharpe = returns.mean() / (returns.std() + 1e-8) * np.sqrt(252) # 累计收益 cum_return = float(np.prod(1 + returns) - 1) # 最大回撤 equity = np.cumprod(1 + returns) peak = np.maximum.accumulate(equity) drawdown = float(np.max(1 - equity / peak)) # 换手率：动作变化的平均幅度，反映交易频率 actions = [] obs, _ = env.reset() done = False while not done: action, _ = model.predict(obs, deterministic=deterministic) actions.append(action[0] if hasattr(action, "__len__") else action) obs, _, terminated, truncated, _ = env.step(action) done = terminated or truncated actions = np.array(actions) turnover = float(np.mean(np.abs(np.diff(actions.squeeze())))) return { "sharpe": sharpe, "cum_return": cum_return, "max_drawdown": drawdown, "turnover": turnover, }

逻辑说明：回测循环让模型在测试段的特征数据上重新走一遍，每个时间点输出动作、环境计算奖励，最后汇总成四个指标。deterministic=True让 PPO 输出策略均值而不是采样值，回测结果更稳定。

参数说明：np.sqrt(252)是年化系数，因为用的是日线数据，一年大约 252 个交易日。如果你的数据是小时级，这个系数要换成np.sqrt(252 * 交易小时数)。

看回测结果时，四个指标要一起看。夏普比率高但最大回撤大的策略，实盘体验很差；累计收益好但换手率极高的策略，对成本的敏感度太高，成本略微上浮就不赚钱了。我给自己设的及格线是：夏普大于 1、最大回撤小于 20%、日均换手率低于 0.3。达不到就继续调特征和参数，而不是急着换算法。

5. 强化学习时序预测的 5 个高频翻车点：从数据泄漏到实盘偏差

5.1 全样本归一化：验证集和测试集一起泄漏

现象：训练集和验证集上策略收益都很漂亮，夏普能到 2 以上，一到测试集就变成负收益，模型就像换了一个人。

原因：归一化时用了全量数据的均值和标准差，测试段的统计信息在训练阶段已经暴露给模型。模型学到的不是「规律」，而是「对测试段范围的记忆」。

解决：按时间顺序做滚动归一化，每个时间点的特征只依赖它过去 120 天的数据。验证这个坑有没有踩平的方法很简单——把测试段单独拎出来，只用训练段末尾的统计量做标准化，对比两组预测分布是否一致。

5.2 reward 不含手续费：模型学会高频换手

现象：回测里的交易次数极其频繁，平均持仓时间不到一天，收益曲线看起来很丰满，一算扣掉手续费后的净收益直接变负。

原因：训练环境的 reward 只算了价格收益，没扣换手成本。在模型看来，反复调仓没有惩罚，它自然愿意通过高频交易去捕捉每一个小波动。

解决：在环境的 step 函数里加上成本项cost = fee * abs(new_position - old_position)，并且把 fee 设成略高于实际值。这是一个反直觉但很实用的技巧——训练时用 0.0015 的实际费率，实盘按 0.001 计算，多出的 0.0005 是在给模型留安全边际。

5.3 gamma 设成 0.999：智能体只看远期不看当下

现象：训练过程中 reward 一直上升，但回测策略表现很差，经常出现「该止盈不止盈、该止损不止损」的决策。

原因：gamma=0.999意味着模型几乎不区分即时奖励和远期奖励，金融数据本身信噪比低，远期奖励的预测误差极大，模型等于在追逐一个充满噪声的远期目标。

解决：按决策周期反推 gamma。一天调一次仓的场景，gamma 取 0.98～0.99；一周调一次仓，取 0.95～0.98。如果换仓频率本身不固定，就把 gamma 视为超参数参与搜索。

5.4 随机种子没固定：模型预测股票涨跌每次结果不一样

现象：完全相同的代码、相同的数据，跑两次训练得到的策略收益曲线完全不同，甚至一次正收益一次负收益。

原因：深度强化学习的训练过程本身就包含大量随机性——网络权重初始化、经验采样顺序、探索噪声。不固定随机种子，每一次训练都是从不同起点出发的随机过程。

解决：训练前固定三个种子——Python 的random.seed、NumPy 的np.random.seed、PyTorch 的torch.manual_seed。但这还不够，同一套超参数应该用 5 个不同的种子各训练一次，报告指标时取中位数而不是某一次的最好结果。只看一次训练结果就下结论，是深度强化学习项目里最昂贵的乐观偏差。

5.5 回测环境与真实交易规则不一致：连续仓位到实盘不可用

现象：回测曲线平滑向上，实盘小资金跑了一周，成交价总是比模型假设的差，收益明显缩水。

原因：回测环境假设可以持有任意连续仓位，比如 0.37 手、-0.82 手。真实交易里有最小交易单位、有涨跌停、有盘口深度，连续仓位映射到实际委托时必然产生偏差，滑点还会进一步侵蚀收益。

解决：在环境中加两个修正——第一，把动作离散成几个固定档位，比如空仓、半仓、满仓三档，贴近真实可执行的粒度；第二，在成交价上加入滑点模型，买入价加一档、卖出价减一档，用保守的成交假设过滤那些「回测美如画、实盘就翻车」的策略。

6. 进阶验证：让强化学习时序预测结果可信的最后一公里

6.1 多段 walk-forward 验证：把回测的偶然性摊开

一次静态回测只能证明模型在某个特定时间段有不错的赚钱能力，证明不了它在变化的市场里依然有效。更可信的做法是 walk-forward 验证，把数据按时间切成多段，每段都重复「训练 → 验证 → 测试」的流程。

实际操作分四步：第一，把数据按季度切成 8 段；第二，第一轮用前 4 段训练、第 5 段测试；第三，第二轮用前 5 段训练、第 6 段测试，以此类推；第四，汇总每一轮的夏普比率，如果大多数轮次都能稳定跑赢买入持有基线，这个策略才算初步过关。如果 8 段里只有两段赚钱，剩下的全亏，那说明模型学到的是某段特定行情的路径依赖，而不是可复用的决策规律。

6.2 与强基线对比：先跑赢 LSTM 和买入持有，再谈强化学习的价值

深度强化学习不是银弹，它比 LSTM 复杂得多，对数据量和工程能力的要求也更高。所以在宣布「强化学习方案有效」之前，先按复杂度从低到高对齐三个基线：买入持有、LSTM 预测 + 规则交易、PPO。

买入持有是最低的及格线，如果策略连「躺着不动」都跑不赢，说明模型学到的东西没有价值。LSTM 预测 + 规则交易是目前金融时序预测领域的主流实践，用 LSTM 预测未来收益方向，收益为正就持仓、为负就空仓。如果强化学习方案跑不赢这个基线，那背后的原因大概率不是算法问题，而是环境建模和特征构造还没做到位。

只有强化学习方案在费用扣除后稳定跑赢 LSTM 基线，你才有底气说「强化学习在这个场景里有价值」。这是个很朴素的标准，但能过滤掉大量自我感动的实验。

6.3 滚动重训：从静态模型到持续适应的时间表

时序数据的非平稳性决定了模型会随着时间推移而衰减。把模型训练一次就永久部署，三个月后收益衰减到零几乎是必然的。业界常见做法是设定固定重训节奏：每周五收盘后，把最新一周的数据并入训练集，重新训练一次模型，然后在下周一开盘前完成模型替换。

重训逻辑本身不复杂，但有两个必须监控的指标：策略收益与买入持有基线的滚动差值，以及换手率的滚动均值。如果连续四周策略跑输基线，或者换手率突然放大到正常水准的三倍，触发预警，强制检查特征分布和训练日志。用定时任务触发重训脚本，配合日志监控，每天扫一眼结果，这套流程跑起来后，强化学习在时序预测里的价值才算是真正落地了。

我在这类项目上吃过最大的亏是过于信任单次回测结果，眼看着回测曲线一路向上，实盘却连续回撤。后来才明白，深度强化学习的每一个环节——特征、环境、奖励、超参数、随机种子——都在微妙地影响最终结果，任何一步的侥幸都会在真实数据上被加倍放大。从那以后，我养成一个习惯：每调整一个参数，就跑完整套 walk-forward 验证，把结果记下来再动下一个。这个习惯让我少走了很多弯路，也希望帮到你。

本文还有配套的精品资源，点击获取