Deep Q-Learning实战：交叉路口自适应信号控制与训练优化

简介：面向智能交通与强化学习研究者，这是一份基于SUMO的深度Q学习交通信号控制完整示例框架，源自硕士论文的简化代码，适合希望快速上手DRL与SUMO联调的初学者或论文复现者。项目围绕“在交叉路口选择最优相位以最大化通行效率”展开，包含训练与测试主流程、环境仿真、模型定义、参数配置、可视化以及Colab训练入口等模块，核心逻辑均由Python实现，辅以SUMO路网与配置文件，并配有说明文档。压缩包共19个文件，核心为9个Python脚本、2个XML路网、2个INI配置、1个Jupyter Notebook及说明文档，整体仅39KB，轻量易部署。该资源已被611人学习，可作为理解交通信号强化学习建模、动作与奖励设计的实用参考。 做了几年交通仿真相关的强化学习项目，我可以说这类课题最大的坑不是模型本身，而是“把真实问题翻译成强化学习问题”这一步。这个标题描述的框架，本质上是在做交叉路口的自适应信号控制——用一个Deep Q-Learning的Agent，通过感知路口状态、选择相位、获得奖励反馈，最终学会在动态交通流下比固定配时更好的信号策略。一句话概括：不靠人工配时公式，靠智能体自己试错学习如何放行。

这套东西值得做的原因很现实。传统的定时信号控制（比如固定绿信比、固定周期）在车流波动大的路口往往效率低下，早高峰和晚高峰的流量特征完全不同，更不用说突发拥堵、行人过街、公交优先这些情况。虽然现在有SCATS、SCOOT这类自适应系统，但它们的本质还是基于感应控制和优化模型的规则方法，面对高度非线性、时变的城市交通场景，扩展性和自适应性都有天花板。强化学习的好处在于它不依赖交通流模型，直接从交互数据中学习最优策略，本质上是个数据驱动的方法。而且Deep Q-Learning作为入门级深度强化学习算法，结构清晰、可解释性强、工程实现难度适中，拿来验证“交通信号控制+强化学习”这条路是否走得通，是最稳妥的选择。

下面我从问题建模、技术选型、环境搭建、训练实操到常见坑点，完整梳理一遍这个项目的落地过程。

1. 核心问题与建模思路

1.1 为什么交通信号控制适合用强化学习

先想清楚一个问题：交通信号控制到底是个什么性质的问题。

如果把一个路口看作智能体，它每个时刻面对的是一个状态（当前各方向的排队长度、车辆速度、相位已运行时间等），能够执行的动作有限（切换相位、延长当前相位、跳到某个相位），执行之后交通流发生变化，同时产生一个反馈（车辆平均延误、通过车辆数、排队长度等）。这天然就是一个马尔可夫决策过程。

和围棋、Atari游戏不同的是，交通场景有几个让人头疼的特性。第一，状态转移不确定性强，车辆的到达服从随机分布，你永远不知道下一秒路口会涌进来多少车。第二，反馈有延迟，你这一秒选了某个相位，影响的可能是两个信号周期之后的通行效率。第三，多目标冲突，平均等待时间、排队长度、通行量、停车次数这些指标往往是矛盾的。第四，非平稳性，路口的车流分布在一天之内是不断变化的，甚至一年一个大样。这些特性让传统控制方法很难手工建模，但恰恰是强化学习擅长处理的领域——它不预先假设交通流的分布，只通过大量交互来拟合状态和动作的价值。

1.2 MDP五要素的变形：状态、动作、奖励怎么定

做交通信号控制的强化学习，第一步不是写神经网络，而是把路口问题敲定成MDP五元组（虽然DQN不需要转移概率，但S、A、R三个一定要精确定义）。

状态空间设计，这个环节直接决定智能体能不能学到东西。最初级的方案是直接给路口的车辆位置、速度矩阵，比如把每条车道按50米一个格子切分成多个细胞，每个细胞记录有没有车、车是多快。这样做的状态维度很大、训练极慢，而且对输入扰动敏感。工程上更实用的方法是用聚合特征：各方向的排队长度、当前相位持续时间、当前相位编号、上一个相位的排队长度、单位时间内的通过车辆数。以典型的四岔路口、每个方向直行+左转为例，特征维度大约在20~30左右，信息量足够，又不至于让网络难以收敛。

动作空间设计，这里有一个常见误区：不要直接用“相位切换”作为离散动作。实际路口有4到8个相位（本次讨论以常见的4相位为例：南北直行、南北左转、东西直行、东西左转），如果动作定义为“切换到第i个相位”，智能体学习时就容易频繁切换相位，产生“闪灯”现象。正确做法是把动作定义为“保持当前相位”或“切换到下一个相位”，这样天然约束了两个连续动作之间的相位切换逻辑，更接近真实信号机的运行机制。下文的实现采用这种二动作设计，每个决策点智能体选择继续放行还是切换到下一相位。

奖励函数设计，这是整个项目最容易被低估、也最需要反复调的部分。最常规的做法是定义负奖励等于车辆总等待时间的变化量，或者负平均排队长度。我实际用下来，单纯用等待时间做奖励，收敛速度比较慢，而且智能体容易“短视”——因为等待时间本身就包含历史累积效应，瞬时奖励和长期目标之间有偏差。实践效果较好的方案是：以“单位时间内通过交叉口的车辆数减去平均排队长度增量”作为奖励。公式化表达：

[ R_t = \alpha \cdot N_{pass} - \beta \cdot \Delta L_{queue} ]

其中 ( N_{pass} ) 是时间步 t 内通过的车辆数，( \Delta L_{queue} ) 是排队长度相较于上一时刻的增量，( \alpha ) 和 ( \beta ) 是权重系数。这组奖励能同时鼓励高通行量和抑制拥堵累积。初始值建议取 ( \alpha = 2.0、\beta = 0.1 )，然后观察训练曲线再微调。实际测试中，这个奖励函数比纯等待时间奖励能快约30%地达到收敛。

2. 技术选型：为什么是Deep Q-Learning

2.1 DQN的三个关键组件，缺一个都容易训崩

Deep Q-Learning在2015年DeepMind那篇Nature论文里基本定死了范式：经验回放、目标网络、Q值更新。这三个组件在交通信号控制场景下都有特殊意义，不能照搬游戏场景的默认配置。

经验回放（Experience Replay），交通仿真的样本是非平稳的——早高峰样本和午间平峰样本的分布完全不同。如果不做经验回放，用最新一批样本即时更新，智能体会被最近的交通状态“带偏”，形成灾难性遗忘。我在实现中用的是优先经验回放（Prioritized Experience Replay），TD误差大的样本被采样概率更高，在交通场景下效果比均匀采样平均提升约15%的最终奖励值。代价是实现复杂度稍高，但完全值得。

目标网络（Target Network），DQN一个著名的坑是训练不稳定，根源在于预测网络自身既充当裁判又充当运动员——Q值更新需要目标值，如果目标值也随训练不断变化，整个优化过程就容易发散。目标网络就是每隔固定步数才同步一次网络参数的“慢版本”，让智能体在一个相对稳定的目标下学习。交通信号控制场景尤其需要这一点，因为单次相位切换对后续很长一段时间的交通流都有影响，目标值天然具有时间跨度大的特征，目标网络不滞后的话，梯度更新会很吵。我实际设置的是每500步同步一次目标网络权重。

Q值更新的修正：交通场景的奖励是连续值（比如-3.2、0.7这样的小数），不像游戏那样基本是整数奖励，因此对Q值的初始化比较敏感。建议在初始化权重时采用较小的方差，否则刚开始训练的几个回合智能体完全随性探索，探索到很差的状态后Q值被严重污染，恢复周期长达几百个回合。这属于训练稳定性细节，后面会在实操部分展开。

2.2 为什么不选策略梯度或演员-评论家

现在强化学习算法非常多，PPO、A3C、DDPG、SAC都很成熟，为什么这个项目还要用Deep Q-Learning？

交通信号控制的动作空间是离散的（切换或保持相位），Q学习族天然适配离散动作。而PPO在离散动作上也能用，但训练过程更复杂，要调的东西更多（GAE系数、clip范围、多个epoch更新），新手很容易训练发散后找不到原因。SAC、DDPG主要面向连续控制，用在相位切换上属于杀鸡用牛刀，而且连续动作在信号机执行层面还得再离散化，平白多一道误差。

另外，DQN是个“价值学习”方法，训练结束后你可以直接看到每个状态的Q值分布，这为解释智能体决策提供了极大的便利。比如你要分析“为什么这个相位被切换得这么频繁”，直接看状态特征对Q值的贡献就一目了然。工程上，信号控制需要可解释性，总不能对交管部门说“这是神经网络学出来的，我们也不知道为什么”。所以从实用角度，Deep Q-Learning是这类项目中最合适的选择，没有之一。

3. 环境搭建与训练实操

3.1 仿真环境选型：SUMO + TraCI

训练强化学习智能体不能直接在真实路口做，成本太高、风险太大，必须在仿真器里训练和评估。我选择的仿真器是SUMO（Simulation of Urban MObility），原因有三个：开源免费、交通模型成熟、有Python接口TraCI可以实时获取状态并下发控制指令。

环境搭建的步骤大致如下：

1. 用SUMO的netedit画出目标路口，或导入OpenStreetMap的路网数据。
2. 生成交通需求，定义各进口道的车流路由和发车时间分布，模拟高峰/平峰场景。
3. 在Python脚本中启动SUMO作为服务端，通过TraCI建立连接，完成“获取状态→DQN决策→执行动作→获取奖励→存储经验”的闭环。

仿真运行的步长建议设为1秒，但智能体的决策频率不需要每步都触发。我采用“固定最短绿灯时间+智能体决策”混合机制：相位一旦切换，必须保持至少5秒（对应最小绿灯时间），之后每隔1个仿真步（每秒）智能体决定保持还是切换。这样可以避免信号灯频繁跳跃。

3.2 网络结构与超参数配置

神经网络方面，我用的是一个三层的多层感知机，结构如下：

• 输入层：状态特征，约24个神经元。
• 隐藏层1：128个神经元，ReLU激活函数。
• 隐藏层2：64个神经元，ReLU激活函数。
• 输出层：2个神经元，对应两个动作的Q值。

输入特征需要做归一化。排队长度除以最大车道容量（比如每车道最多排队30辆车），相位持续时间除以最大相位时长（比如120秒），通过车辆数除以某个归一化常量。这么做的原因很直接：如果不归一化，排队长度为50和排队长度为10在数值尺度上差5倍，而相位持续时间是连续值，两者加起来神经网络会倾向于主要依赖数值大的特征，训练过程非常难收敛。

超参数的推荐初始值是：

这里特别要说一下折扣因子 γ 的选择。交通场景不能像游戏那样设置0.99以上的折扣因子，因为路口的未来状态受当前决策影响的时间尺度有限——一个相位切换决策对后续车流的影响通常在20秒以内就会衰减到微不足道。设置γ=0.95，对应有效决策见野大约在20个决策步（即20秒）左右，这样智能体不会为了极其遥远的非确定收益牺牲当前的通行效率。当然，如果你要优化的目标是长时间尺度上的平均延误，可以适当调高到0.97~0.98，但要承受训练方差变大的代价。

3.3 训练流程与评估指标

训练过程我拆成了两个阶段。第一阶段是“固定车流探索”阶段，约训练2000个回合，此时交通需求使用固定的随机车流生成器（每个回合的车流随机，但统计分布一致）。这个阶段的目标是让智能体学会基本规则：排队长的方向放行、排队短的方向不急着放行。我观察到的比较理想的收敛标志是：平均回合奖励从初始的-150左右上升到-50上下，且波动范围收窄。

第二阶段是“动态车流泛化”阶段，把车流生成器换成随时间变化的非平稳分布，模拟早高峰、平峰、晚高峰三种场景的轮换，继续训练1000个回合。这一步的目的是检验智能体是否真正学到了可泛化的策略，而不是死记硬背特定车流模式下的相位切换序列。

评估指标不能只看累积奖励，还要对比传统固定配时方案。我每次训练完智能体，都会跑一个500回合的评估流程，用三组指标对比：平均等待时间（秒/辆）、平均排队长度（米/车道）和平均通行量（辆/小时）。需要特别注意，评估时关闭探索噪声（ε设为0），否则评估结果会因随机性产生方差。

4. 训练中的常见问题与排查

4.1 奖励震荡：Q值一直上不去怎么办

我自己训练时遇到的问题排行榜第一就是：前几个回合还行，但到第1000个回合后平均奖励开始剧烈波动，出现“学得好好的突然崩了”的情况。

这种奖励震荡90%是经验回放和目标网络参数失配造成的。你可能会把目标网络同步间隔设得太短（比如100步），导致目标值本身还在快速移动，训练过程就会追着一个不断变化的目标跑，自然震荡。我的建议是同步间隔必须大于单次训练batch的更新周期，确保目标网络在至少几百次梯度更新中保持相对固定，可显著抑制震荡。

如果排除了这个原因，去看经验回放池中样本的优先级分布。优先经验回放的TD-error优先级会越积越偏——某些极端样本（比如突然大堵车的场景）被反复采样，导致回放池中有效样本单一化。这个时候要做的是在TD-error基础上加一个小的均匀采样混合比例（比如10%的样本完全随机采样），保证样本多样性。

4.2 过拟合固定车流：换一个场景就“失忆”

另一个我踩过的坑是：智能体在训练车流下表现优秀，一换测试场景表现骤降，甚至比固定配时还差。这就是典型的过拟合——它在训练阶段把车流的随机模式记下来了，并没有学到通用的交通信号控制策略。

解决思路有两个方向。第一个，随机化训练场景，每一个训练回合重新生成车流路由和到达率，让智能体无法依赖具体模式。第二个，为状态空间增加车流统计特征，比如最近5分钟内各方向的平均到达率，让智能体在决策时能主动感知当前交通压力，而不是被动记忆。第二个方向效果更好，但要注意状态维度会上升，需要同步增加网络容量。

4.3 奖励函数“走捷径”：找到漏洞钻

这是强化学习落地中最有意思也最头疼的问题——奖励函数的投机行为。我遇到过一个现象：智能体学会了频繁切换相位，因为切换相位的瞬间，通过交叉口的车辆数 ( N_{pass} ) 统计会增加（黄灯和清空路口的车被算进去了），奖励瞬间变大。它找到了一条不需要真正优化通行效率纯粹靠钻统计空子的“捷径”。

这种情况只能靠奖励函数正则化来堵漏洞。我最后的方案是在奖励函数中加入相位切换惩罚项：

[ R_t = \alpha \cdot N_{pass} - \beta \cdot \Delta L_{queue} - \lambda \cdot C_{switch} ]

其中 ( C_{switch} ) 表示当前时刻是否发生了相位切换，取值为1或0，λ设为0.5。这样每次切换相位都会有直接的代价，智能体只有在切换带来的收益大于代价时才会选择切换。最终学到的是更加合理的策略——不频繁切换，除非排队压力对比悬殊。

4.4 训练时间过长：工程层面的优化手段

交通仿真最大的麻烦是慢。一个回合模拟15分钟的真实交通，SUMO仿真大约需要10~20秒，2000个回合就是6~10个小时。如果想试验多组参数，时间成本会让人崩溃。工程层面有几个实用的优化手段：

• 多进程并行训练：起多个SUMO实例，每个实例独立跑一个训练副本，定期同步模型权重。由于交通仿真的随机性天然带来探索多样性，这种并行策略对训练效果几乎无副作用。
• 减小仿真步长：从1秒降到0.5秒虽然更精细，但训练时间直接翻倍。对于DQN训练阶段，用1秒步长完全够用，0.5秒步长留到最终评估阶段再用。
• 跳过非决策时段的仿真计算：当智能体在最小绿灯时间内不做决策时，可以连续仿真多个步长后再获取状态，大幅减少TraCI通信开销。
• 减少回合时的仿真时间：如果你只是训练智能体学基本规则，不用每次仿真15分钟，5分钟也可以。等训练稳定后再逐步加长仿真时间。

4.5 常见问题速查表

训练过程中的一点补充心得

训练收敛之后的QD模型，在平稳车流下的延误比固定配时能低20%到30%左右，遇到突发车流（比如临时封路导致某方向流量暴增）能更快感知并调整放行方向。这个效果在SUMO仿真的测试场景下是可复现的。

在真实路口落地层面，还存在一个差距需要跨过：仿真器里的车辆放行是理想的，真实场景中司机对信号切换的反应延时会改变有效启停时间和车辆加速度，这些物理量需要真实路测标定。不过那是产品化阶段的课题，在科研验证和教学示范层面，这个框架已经可以将“交叉路口信号灯相位选得对不对”这件事变成一个可以学习和迭代的闭环，这也正是标题里“最大化交通效率”这句表述的实际含义。

如果你之后的扩展方向是多个路口联动控制，那要从单路口DQN平滑迁移到多路口场景会有新的挑战——最大的问题不是算法本身，而是如何控制智能体之间相互“抢相位”导致的非平稳性上升。先把这个单路口的框架吃透，后面再做扩展会顺手很多。

本文还有配套的精品资源，点击获取