强化学习落地智能交通：从红绿灯到自动驾驶的实战指南

要说8月21日IJCAI 2021智能交通强化学习研讨会，我最大的感受是，强化学习终于不再是论文里的花架子，而是实打实地落在红绿灯、自动驾驶、网约车调度这些场景里。IJCAI本身就是人工智能领域的顶级综合性会议，能在它的workshop里专门聊智能交通和强化学习的交叉，说明这个方向的学术价值和工业价值都到了被主流认可的地步。

这篇文章我会从几个层面来拆：一是这场研讨会的背景和为什么值得关注，二是研讨会上最值得盯的技术方向，三是把强化学习底子快速补起来的思路，四是结合我自己落地实验时踩过的坑（包括仿真环境、机器人摩擦、Origin画结果曲线、追捕交替训练这些细节），最后是给准备参会或自学的朋友一份可操作的清单。不管你是做算法研究、搞交通系统，还是刚想入门强化学习，都能找到对得上号的内容。

1. 这场研讨会的含金量在哪

1.1 IJCAI在AI圈子里是什么分量

先聊IJCAI。全称是International Joint Conference on Artificial Intelligence，是人工智能领域历史最悠久的顶级会议之一，从1969年开始举办，见证了AI从符号主义到深度学习、再到今天大模型和决策智能的整个演变过程。和NeurIPS、ICML、AAAI这些顶会并列，IJCAI在学术界和工业界都有非常高的认可度，每年收到的投稿量巨大，录用率常年维持在一个很低的水平。

能在IJCAI主会议之外办一个专门讲智能交通+强化学习的workshop，本身就是一个很强的信号。Workshop的性质不同于主会议，它更偏主题集中、交流自由、话题前沿，很多新鲜方向和实验复盘都是在这种场合先被拿出来讨论的。我个人的习惯是：主会议看大趋势，workshop挖细节。大论文解决"能不能做"，workshop里的报告往往告诉你"实际做的时候有哪些坑"。

这个研讨会的主题也很有意思。智能交通并不是新话题，最优化、运筹学、控制理论在这个领域深耕了几十年；强化学习也不是新话题，但把两者放在一起，并且以workshop的形式集中探讨，说明研究者们已经意识到：交通系统里大量决策问题，传统建模方法越来越难处理，而强化学习恰好是那种可以从交互数据里直接学策略的框架。

1.2 智能交通为什么需要强化学习

要理解这场研讨会为什么值得关注，得先想清楚一个问题：交通场景到底哪里难，难到必须请强化学习出场。

以红绿灯控制为例。传统方法有定时控制，就是根据历史车流统计一套固定配时，简单可靠，但遇到突发车流就抓瞎；进阶一点的有感应控制，靠地面线圈或摄像头检测车流，按阈值切换相位，但规则是人写的，写规则的人再聪明也覆盖不了所有路口形态和天气状况。再往上还有基于交通流理论建模做优化的方法，问题是城市交通是个高动态、强耦合、带随机性的系统，一个路口的车流会被相邻路口的决策影响，精确建模几乎不可能。

强化学习的思路完全不同。它不要求你先写出一个精确的交通流模型，而是把一个路口、一片区域甚至整个路网看成智能体与环境交互的过程。智能体观察当前状态（排队长度、车速、相位、天气），做出动作（是否延长绿灯、切换相位），然后从环境拿到奖励（平均延误下降、通行量上升）。通过大量试错，策略网络自己就能学会在什么情况下该给哪条路放行。

这个过程很像一个老交警带新人：新人一开始手忙脚乱，但每做完一次调度，师傅告诉他这次延误多少，他慢慢就总结出了经验。强化学习就是把这种"试错+反馈+改进"的过程自动化、规模化。研讨会上大量工作基本都是沿着这条思路展开的，差别在于状态怎么设计、动作怎么定义、奖励怎么给、算法怎么选。

2. 研讨会里最值得盯的几个技术方向

2.1 多路口信号灯协同：强化学习的练武场

单路口信号灯控制这几年的工作已经很多了，各家用DQN、DDPG、PPO都能在SUMO仿真里取得不错的效果。研讨会里更有意思的是多路口协同。

多路口协同难在哪儿？你管一个路口的时候，动作空间就是那几个相位；管一片路网的时候，每个路口的动作会互相影响，一个路口放行会导致下一个路口车流激增。如果把每个路口都当成一个独立智能体，整个训练过程会陷入非平稳问题：对智能体A来说，环境在变，不是因为它自己的动作，而是因为智能体B也在变。这种"自己跟自己赛跑"的博弈状态，会让Q值估计和策略收敛都极不稳定。

研讨会上讨论比较多的解法是两种。一种是集中训练分布式执行，训练的时候有个中央大脑掌握全局信息，帮每个路口的智能体协调动作，部署的时候每个路口只用局部观测做决策。另一种是把多路口问题建模成通信协作问题，让智能体之间显式交换排队长度、平均等待时间这类信息。

这里我想提醒一点：仿真成绩好不代表实地能上。SUMO里车辆按跟驰模型走，严格遵守规则，真实路况里还有行人乱穿、非机动车抢道、交警人工干预。所以研讨会报告里提到的"仿真延误降低百分之多少"，我一般都打个五折看，重点看他们有没有做鲁棒性分析，比如流量扰动、通信延迟下算法会不会崩。

2.2 自动驾驶决策与仿真到现实的迁移

自动驾驶是智能交通里另一个主力场景。研讨会上关于自动驾驶的讨论主要不在感知层，而是决策规划层：变道、超车、汇入匝道、无保护左转这类行为决策。这些场景天生适合强化学习，因为动作是连续的、奖励是延迟的——你这次变道对不对，可能要等几秒后才知道有没有逼停后车。

最热闹的议题是sim-to-real，就是从仿真到现实的迁移。自动驾驶算法如果全部在真实道路上试错，成本高、风险大，所以先在仿真环境里训练几乎是唯一选择。问题在于仿真和现实之间有差距：渲染画面不够真实、车辆动力学模型有误差、传感器噪声模式不一样，在仿真里学到的策略迁移到真车上经常失效。

研讨会上大家提得比较多的应对手段是域随机化。训练的时候给仿真环境随机加扰动：摩擦系数、车重、延迟、光照、传感器噪声，让策略网络见过足够多样的"世界"，到了真车上反而更容易适应。还有一种思路是多阶段训练：先在低精度仿真里快速试错，再放到高保真仿真里微调，最后再上实车。

同样的思路也适用于无人机。当时有个平台叫Flightmare，就是专门为无人机强化学习设计的仿真环境，支持渲染、动力学仿真和传感器模拟，无人机避障、自主导航这类任务可以在里面安全地跑大量实验，最后再移植到真机。这类平台的共同点是：先让你在虚拟世界里把脑洞试完，再考虑物理世界。

2.3 共享出行、车队调度与物流配送

交通不只有红绿灯和自动驾驶，还有一大块是运营调度。你打开打车软件看到的派单、出租车空驶调度、外卖配送路径规划、公交发车间隔优化，本质都是决策问题，纳入强化学习的框架之后，被研讨会上不少报告当作重点案例来分析。

这类问题的共同特点是动作空间巨大且组合复杂。一个城市上千辆网约车，每个司机在什么位置、往哪儿走、接不接单，是一个大规模组合优化问题，传统动态规划直接算到天荒地老。强化学习的处理方式是：训练一个策略网络，输入当前订单分布和车辆分布，输出每个车的派单决策。

奖励函数的设计在这类场景里是关键中的关键。直接设成"成交订单数"，容易导致模型只顾眼前，把司机都派到热门区域，反而让偏远地区的订单永远没人接。我在自己的实验里吃过这个亏，后来把奖励改成"订单完成率+乘客等待时间惩罚+司机空驶率惩罚"的加权组合，行为才正常起来。会场报告里也多次提到reward shaping，怎么把业务目标翻译成强化学习能优化的标量信号，这里面全是工程细节。

2.4 离线强化学习与IQL：为什么突然成了顶流

研讨会上还有一个绕不开的热词：离线强化学习。尤其是IQL，Implicit Q-Learning，2021年前后关于它的讨论几乎每隔一场报告就会出现一次。

先解释概念。传统强化学习是智能体边跟环境交互边学习，靠不断试错积累数据，这套流程在游戏里没问题，因为环境是免费的。但交通场景不行：你不可能为了让红绿灯学习就让真实路口随便试错，也不可能让网约车平台拿真实乘客做实验。真实世界的数据是已经发生过的一堆历史轨迹，里面包含状态、动作、奖励，但采集这些数据的策略未必是最优的。

离线强化学习就是解决"只用历史数据，不跟环境交互，能不能学出一个好的策略"这个问题。很多交通公司其实不缺数据，缺的是从数据里提取决策能力的算法。IQL的思路很巧妙：它不需要显式估计所有动作的价值，而是用一种带期望回归的方式，只关注数据里出现过的动作的价值更新，避免了对分布外动作的过度估计，学出来的策略更稳定。

我当时听到这个思路的第一反应是：这才是工业界真正需要的强化学习。在线试错成本高昂的场景一大堆，智能交通尤其明显。所以研讨会上IQL相关的讨论多，不是学术圈自嗨，而是因为它真的贴近落地。

3. 先把算法底子补上

3.1 强化学习的核心概念与数学原理

如果你不是专门做强化学习的，对着一堆报告可能会听得云里雾里。我建议先花一个下午把几个核心概念弄明白，比硬啃论文收获大得多。

强化学习的底层框架叫马尔可夫决策过程，英文缩写MDP，核心五要素是状态、动作、状态转移概率、奖励、折扣因子。状态是智能体看到的当前世界，动作是它做出的决策，状态转移概率是环境对动作的响应规则，奖励是每一步的即时反馈，折扣因子决定了未来奖励相对于当前奖励的权重。策略就是"看到什么状态就做什么动作"的规则，强化学习的全部目标就是找到策略，让累积奖励最大化。

价值函数是这个领域最核心的概念之一，它回答的问题是"我在当前状态下，按照某个策略走下去，未来总共能拿多少奖励"。有了价值函数，选择动作就变成选价值更高的那条路。贝尔曼方程就是刻画这个"走着走着，价值和奖励怎么互相转化"的递归关系，几乎所有强化学习算法都绕不过它。

想补数学原理的话，我比较推荐David Silver在UCL的强化学习公开课，当年是很多人入门的首选。另外《强化学习的数学原理》这类系统性教材也可以读，重点把贝尔曼方程、策略迭代、价值迭代这几个模块吃透，后面看算法论文会顺畅很多。

3.2 主流深度强化学习算法速览

研讨会上提到的算法名字会很多，但核心就几个流派，我列一个速查表，方便你对照着看：

DQN是第一个把深度神经网络和高维强化学习结合起来的代表作，引入了经验回放和目标网络两个技巧，适合动作空间离散的场景。红绿灯控制就是典型的离散动作问题，所以研讨会上很多信号灯工作都是DQN起家。

连续动作场景需要的是另一个流派。DDPG拿神经网络直接输出连续动作值，但是训练不稳定，TD3通过截断Q值更新和延迟策略更新做了改进，稳定性好很多。PPO用裁剪的置信域方式限制每次策略更新的幅度，不会让策略一步迈得太远导致崩溃，训练稳，调参少，工程上最受欢迎。SAC在PPO稳定性的基础上加入了熵最大化目标，鼓励策略保持探索性，在机器人控制这类任务里样本效率更高。

不用每个算法都精读，但至少要能判断：一个任务该用离散还是连续动作建模，该优先试试哪个算法。研讨会报告里如果出现了你完全没见过的算法名，大概率是这几个主流算法的变体，先认祖归宗，再看它改了哪里。

3.3 进阶：基于模型的强化学习与离线强化学习

入门之后要关注两个进阶方向，都是这次研讨会上频繁出现的话题。

第一个是基于模型的强化学习。前面提到的DQN、PPO、SAC统称为无模型强化学习，它们不显式建模环境，直接靠交互试错学策略。问题在于交互次数太多，样本效率低。基于模型的思路是先学一个环境动力学模型，也就是"当前状态+动作=下一个状态+奖励"这个映射关系，然后让智能体在学出来的这个模型里规划试错。因为模型是拿真实数据拟合的，用模型生成数据比真实交互便宜得多，样本效率能提升一大截。

但代价是模型会有误差，误差又会随着规划路径累积。研讨会上关于这个方向的讨论几乎都集中在"怎么让模型误差不坑死策略"上。

第二个就是前面重点说过的离线强化学习。两者其实有一个共同出发点：降低对真实环境交互的依赖。一个靠学模型减少交互，一个靠历史数据省去交互，殊途同归。IQL技术细节不算浅，但我建议你把思路记住：价值观更新只信任数据里出现过的动作，不要脑补没见过的状态动作对的价值。这几句话理解到位，后面自己看代码都会轻松很多。

4. 从会议到实战：工具链与踩坑记录

4.1 仿真环境选型与机器人摩擦问题

研讨会听完了，手痒想复现，第一步是选仿真环境。不同交通子场景对应的工具不一样：

• 城市交通流：SUM O，最经典的路网仿真器，自带信号灯控制接口，Python可以方便地接入强化学习算法
• 自动驾驶：CARLA，开源的高保真自动驾驶仿真平台，有传感器模拟和复杂路况，适合决策规划算法验证
• 无人机：Flightmare，轻量级无人机仿真，支持快速渲染和动力学仿真，适合无人机导航、避障训练
• 机器人：MuJoCo、Isaac Gym、PyBullet，各有侧重，Isaac Gym支持GPU并行，能一次性跑几千个环境

选环境的时候容易忽略一个工程问题：仿真步长和数据接口。有些仿真器控制频率是10Hz，有些是50Hz，而强化学习训练每个step都要收发数据，接口封装不好就会疯狂拖时间。我建议在动手写算法之前，先把环境自带的随机策略跑通，确认状态、动作、奖励每个维度都正常，再上复杂算法。

做机器人方向的朋友要特别注意摩擦问题。真实机器人强化学习不像仿真里那么理想，摩擦系数会随温度、磨损、接触面状态变化。你训练出来的策略如果在仿真里没考虑摩擦变化，真机上一旦地面湿滑或者关节阻尼变大，动作就会变形。解决办法一个是域随机化，把摩擦系数作为随机变量在每个episode里重新采样；另一个是在真机上做系统辨识，把真实摩擦参数估算出来再回填到仿真环境里做校准。研讨会现场有人在机械臂抓取任务里反复翻车，最后发现不是算法不行，是没把摩擦建模写进仿真。这种坑，论文里不会写，只有亲手做过了才懂。

4.2 机械臂强化学习实战的几条经验

很多人看完研讨会转头就去练机械臂强化学习，这个方向确实很适合作为实战项目。但机械臂跟游戏环境完全是两个世界，最核心的区别是：物理世界不允许你随便乱试。

第一，安全护栏必须最先做。给动作加上位置限位、速度限位、力矩限位，不能把策略网络的输出直接丢给机械臂。比如SAC算法在探索初期会输出不稳定的动作，可能直接撞到限位开关或者关节卡死，轻则报警重启，重则损坏硬件。我在实验时会在动作输出层完之后再包一层阻尼滤波，把高频抖动滤掉。

第二，奖励稀疏是大概率会遇到的问题。机械臂抓取任务里，如果奖励只在成功抓取时才给1，训练过程会非常痛苦，智能体玩几万步都收不到正反馈。这时候需要做奖励塑形，比如手离目标越近给一个小的正向距离奖励，但要小心奖励塑形过度导致学到钻空子的行为。研讨会里讨论比较多的技巧是课程学习，先让机械臂从目标就在正前方的简单工况学起，学得差不多了再随机化目标位置。

第三，训练稳定性比算法新颖性重要。我个人的选择是优先用SAC和TD3这种带熵正则或者截断机制的方法，它们对超参数不那么敏感，一次能稳住跑完几百万步。DQN系列在机械臂这种连续控制场景里表现一般，不建议新手一开始就死磕。

4.3 用Origin画强化学习置信区间曲线

实验跑完，怎么把结果展示得让人信服，是个容易被忽视但很重要的问题。你应该见过很多论文里的训练曲线：横轴是训练步数或episode，纵轴是平均奖励，中间一条粗线，周围一团淡淡的阴影。那个阴影就是置信区间，它比只画一条单独曲线诚实得多，因为强化学习训练有很强的随机性，同一套参数换一个随机种子，结果可能差出一大截。

我自己常用的工具组合是Python加Matplotlib做数据分析，Origin做最终出版级出图。用Origin画置信区间曲线有几种方法，我习惯这样操作：

第一，把实验结果整理成三列：横轴变量（比如episode序号）、奖励均值、置信区间宽度。置信区间宽度可以用标准误SE，计算公式是标准差除以样本量的平方根，也可以用95%置信区间。展示训练稳定性用标准误更直观，展示结果分散程度用标准差。

第二，在Origin里选中这三列，点击Plot菜单下的Area，选择Fill Area with Bands，然后绑定上边界为"均值+标准误"、下边界为"均值-标准误"，就能得到带阴影带的曲线。如果想要更简洁的展示，可以画两条边界线，再给中间填充半透明颜色。

第三，多个算法对比的时候，给每条曲线选一个区分度高的颜色，阴影区域透明度设置在20%到30%之间比较合适。太浓会盖住曲线本身，太淡又看不清楚。

如果你前期数据处理想用Python来做，一个简单的思路是先按episode分组统计每轮实验的奖励均值，然后计算所有随机种子下的均值和标准误，最后把结果导出成CSV，拖进Origin画图。示例代码骨架大概是这样的：

import numpy as np import pandas as pd # results: shape = [num_seeds, num_episodes] mean = results.mean(axis=0) se = results.std(axis=0) / np.sqrt(results.shape[0]) ci = 1.96 * se # 95% confidence interval out = pd.DataFrame({ "episode": np.arange(results.shape[1]), "mean": mean, "ci_low": mean - ci, "ci_high": mean + ci }) out.to_csv("rl_results_ci.csv", index=False)

导出之后放到Origin里，用Band填充功能做阴影线，最终展示效果能达到论文标准。

4.4 追捕交替训练：一个值得手搓的多智能体案例

研讨会之外，我自己复现过一个小实验，就是追捕-逃跑问题，对应的热词是"追捕强化学习交替训练"，很有意思，也很有学习价值。

场景很简单：几个追捕者要抓一个逃跑者，初始位置随机，追捕者共享观测信息，但跑得快或者控制策略未知。朴素的做法是让所有智能体同时训练，但这会导致追捕者和逃跑者一起进化，双方学到的东西互相干扰，训练曲线非常不稳定。交替训练就是解决这个问题的手段：固定追捕者策略，只训练逃跑者若干轮，让逃跑者适应当前的追捕策略；然后再固定逃跑者策略，训练追捕者若干轮。两方交替提升，像是两个拳手轮流喂招，整体难度可控，退化风险小得多。

我在复现过程中的几个感受：

第一，交替轮次的选择很关键。如果追捕者一次训练太多轮，逃跑者完全跟不上，后续追捕者学到的策略就建立在错误假设上；如果切换太频繁，双方都学不深。我最后用的是追捕者训练5轮、逃跑者训练3轮的节奏，曲线收敛明显比同步训练平滑。

第二，奖励尺度要匹配。追捕者抓到逃跑者得正奖励，逃跑者被抓住得负奖励，两边的奖励幅度差异过大会导致某一方梯度爆炸。我会把两方的奖励归一化到同一量级再训练。

第三，这个框架稍加改造就能迁移到很多任务里：无人机攻防对抗、网络攻防博弈、游戏AI陪练，都是在"交替训练+课程学习"的思路下运转的。

5. 参会与自学建议：准备好再去，收获翻倍

5.1 会前准备清单

如果你未来计划参加类似的workshop，我建议提前做三件事。

第一，把workshop的议程和论文列表全部下载下来，通读一遍摘要。不用全文精读，但至少要标记出跟你研究方向相关的三到五篇，会前把这几篇的introduction和实验部分细看一遍，想清楚如果是你来做这个实验，你会怎么设计。这样听报告的时候就不是被动接收，而是带着自己的方案去跟讲者对话，收获完全不一样。

第二，查一下所有speaker的背景。Workshop的讲者往往来自学术界和工业界两个群体，学术背景的讲者更关注算法创新和理论分析，工业背景的讲者更关注部署经验和系统约束。你不知道这个信息，可能整场报告听完都不知道问题重点在哪。

第三，把报告里出现的高频术语提前扫一遍。比如这次研讨会上大家反复提的IQL、MDP、sim-to-real、domain randomization，你至少要能听懂它们的定义，不然会被大量缩写淹没。我自己会在文档里开一页"术语速查表"，边听边补。

5.2 会上高效获取干货的几个技巧

Workshop时间有限，内容密度很高，高效听法的核心是取舍。不用每场报告都从头听到尾。我的习惯是分三类：跟自己方向强相关的，全程记录，连QA环节都录下来（有授权的前提下）；相关但非核心的，听前十分钟和后五分钟，抓motivation和conclusion；纯扩展视野的，只扫一眼标题和图表。

提问环节是workshop最值钱的部分。很多干货都不在前20分钟的pitch里，而在后面的问答攻防里。比如"你这个方法在真实道路测试过吗""奖励函数里某个权重是怎么调的""训练的时候用了多少个随机种子"，这些问题一出来，往往能逼出讲者很多论文里删掉的细节。我在会上听到最有价值的一段，是讲者透露他们用了几十个随机种子才让置信区间看起来漂亮——这种信息你自己不看代码根本猜不到。

另外，散会之后一定要去扒代码。Workshop报告里的论文不一定都开源，但很多讲者会挂在GitHub上。我的固定动作是：每听一篇有价值的报告，立刻搜索这篇论文的开源代码仓库，star下来，顺手把README里的环境依赖和运行命令复制到自己的笔记里。这个习惯让我后来复现实验的效率至少提升一倍。

5.3 一条完整的自学路线图

如果你这次错过了研讨会，也没关系，按下面的路线自己补，效果不会差太多。

第一步是入门理论基础。把David Silver的强化学习公开课刷一遍，配合一些参考书把贝尔曼方程、策略梯度这些核心推导过一遍。不用钻太深，目标是建立框架感：强化学习在解决什么问题、有哪些分支、每个分支的适用边界在哪里。

第二步是动手写一个完整的DQN。不用急着上复杂度很高的算法，先从CartPole这类小环境开始，手写经验回放、目标网络、epsilon-greedy探索，把整个训练闭环跑通。这个过程中你会遇到无数看起来很奇怪的训练曲线问题，这些坑反而是最宝贵的经验。

第三步是上仿真环境。做智能交通就装SUMO，做自动驾驶就装CARLA，做无人机就研究Flightmare。把官方教程里的基础例子跑通，再看你能不能把自己的算法接进去。这一步是从"学强化学习"过渡到"做智能交通强化学习"的关键。

第四步是复现一两篇研讨会相关的论文。别只看中稿的顶级论文，workshop论文往往更有"毛边感"，问题定义可能有争议，实验对比可能不充分，但恰恰是这种不完美，逼着你去思考它哪里薄弱、你能怎么改进。

整个过程中，中文社区也有不少优质资料，知乎上关于强化学习、IQL、离线强化学习的高赞回答和专栏文章，质量很高，适合用来查漏补缺。但注意辨别硬广和软文，凡是动不动就"三分钟精通强化学习"的，直接忽略。

会议散场之后的那个星期，我又把研讨会上提到的开源项目全部按主题分好类，拿几个主流benchmark重新跑了一遍baseline。说实话，研讨会报告里那些惊艳的实验图，要自己复现出来并不容易，但每一次复现失败都逼着我把算法细节吃得更透。直到现在，我做新项目时仍然会回到当时记的笔记里翻一翻，尤其是那些关于奖励函数设计和实验稳定性排查的记录。如果你也打算走这条路线，我的建议很简单：别只看热闹，挑一个仿真环境，把算法跑起来，把曲线画出来，然后再回到论文里找答案。