多智能体强化学习路径跟随控制：Simulink工程实战与避坑指南

简介：面向 MATLAB 强化学习入门者与自动驾驶、路径跟踪方向的研究者，这套示例压缩包演示如何用多智能体强化学习训练智能体沿预设路径稳定行驶。包内共 7 个文件、约 595KB，包含 4 个 m 脚本、1 个 mat 模型数据、1 个 slx 仿真模型与 1 个 mlx 交互式脚本，分别承担智能体与控制器构建、参数配置与训练环境重置、已训练策略保存以及 Simulink 闭环仿真等职责，类型分工清晰，便于按顺序阅读和复现。目前已有 1128 人学习下载。读者可从中获得两种控制路线的智能体搭建思路，理解学习率、奖励函数与探索策略等超参数对训练效果的影响，并借助交互式脚本完整执行训练流程、观察智能体行为、加载已训练模型做对比验证，适合作为课程设计、课题预研或算法对照实验的起点。

1. 多智能体路径跟随控制：拆开这个 zip 之前先搞清楚它到底解决什么问题

S 形弯道上跑一辆车，要求横向误差压在二十厘米以内，方向盘不能画龙，油门不能抽搐。这件事用 PID 硬调也能调出来，但换一条曲率分布不同的赛道，参数基本要推倒重来。这个压缩包给的是另一条路径：把路径跟随控制当成强化学习问题，训练多个智能体各自控制自己那台被控对象，靠奖励函数把「贴着参考线跑」这件事一点点试出来。压缩包名直译过来就是「训练多个智能体完成路径跟随控制的示例」。

它适合两类人：一类是学过一点强化学习概念、想找个能跑通的闭环工程看看奖励、观测、动作怎么和仿真模型接起来的开发者；另一类是做车辆控制、机器人循迹，想评估「强化学习到底能不能替代我手调的那套参数」的工程人员。不适合只想拿现成控制器直接用的人——这东西交付的是一套训练流程和可复现的工程骨架，不是一颗调好的参数。

2. 工程结构与技术选型：解压后先看清哪几个文件在干活

拿到 zip 的第一件事不是急着点运行，而是把目录摊开看。这类示例工程的价值，一半在代码里，一半在「文件怎么组织」这件事上——它决定了你后面是想改一条赛道、换一个奖励函数，还是整套算法换掉。

2.1 目录骨架与文件职责

解压后的结构大致如下（文件名以实际解压结果为准，不同批次的示例会有细微差异）：

TrainMultipleAgentsForPathFollowingControlExample/ ├── models/ │ └── PathFollowingMultiAgent.slx % 主仿真模型：车辆/路径 + 多个 RL Agent 块 ├── scripts/ │ ├── createEnvironments.m % 构建 rlSimulinkEnv，绑定观测/动作接口 │ ├── createAgents.m % 定义 actor/critic 网络与智能体 │ ├── trainAgents.m % 训练入口：训练选项 + train() │ └── evaluateAgents.m % 关掉探索噪声后的验证脚本 ├── params/ │ └── vehicleParams.m % 车辆动力学参数、赛道参考线参数 ├── results/ │ └── (训练产生的 .mat 检查点) └── README.md

这个划分值得学。模型、参数、脚本三层是分开的：.slx里只有被控对象和接线，参数全在vehicleParams.m里，训练逻辑全在trainAgents.m里。我见过太多人把参数硬编码在 Simulink 的 Mask 里，结果想跑一组对照实验，得手点十几次对话框。

其中最关键的一个文件是主模型。打开后你能看到两类模块：一类是车辆动力学加参考路径的部分，另一类是若干个 RL Agent 块——智能体的数量就等于模型里 RL Agent 块的个数，不是靠代码里某个变量控制的。这一点在改造时非常容易踩坑，后面第 5 章会细说。

2.2 为什么是 Simulink 环境 + 强化学习工具箱，而不是纯 Python

技术选型上，这个工程走的是「Simulink 建被控对象 + 强化学习工具箱做训练」的组合。这不是随手选的，是被控对象决定的。

路径跟随的车辆模型通常是连续时间的微分方程，带轮胎侧偏、转向延迟这类非线性环节，用 Simulink 搭出来直观、可复用、和真实的控制器开发流程一致。而强化学习那套东西——经验回放、目标网络、并行采样——自己从零写一遍纯粹是浪费时间。工具箱里现成的rlSimulinkEnv把仿真模型包装成标准的强化学习环境接口，训练循环、并行、检查点保存都是现成的。

代价是这套组合的调试体验不如纯 Python 灵活：网络结构改动要重新构造layerGraph，报错信息经常只丢一句维度不匹配。所以我的习惯是先把单智能体、短回合跑通，再加智能体数量，别一上来就开多智能体并行，出错时你分不清是环境的问题还是并行的问题。

如果你确实要用 Python（比如想用 Stable-Baselines3），可行的迁移路径是把 Simulink 模型导出成 FMU 或者用 MATLAB 的 Python 引擎反向调用，但这属于另一篇文章的内容。这份资源的价值在于它给了一个能跑通的最小闭环，让你先看清楚观测、动作、奖励这三条线是怎么穿过模型边界的。

3. 环境建模拆解：观测、动作、奖励这三件套怎么定义

强化学习项目失败，八成不是算法选错，是这三件套定义得不对。这一章按数据流顺序拆：模型给智能体看什么（观测）、智能体能动什么（动作）、动完之后怎么算分（奖励）。

3.1 车辆模型与参考路径：被控对象长什么样

车辆部分常见做法是一个简化的自行车模型（bicycle model），状态包含位置、横摆角、纵向速度、横摆角速度，控制量是前轮转角（或转角变化率）和纵向加速度。参考路径一般用参数方程给出，比如一段由若干航点插值出来的曲线，或者直接用一个解析的 S 形函数。

路径跟随的核心误差量只有两个，值得单独拎出来：

% 参考路径上离车辆最近的点，以及该点处的切线方向 [refX, refY, refYaw] = nearestPointOnPath(x, y, pathX, pathY); % 横向误差：车辆位置到参考线的垂直距离，正负号表示在线的左侧还是右侧 lateralError = (y - refY) * cos(refYaw) - (x - refX) * sin(refYaw); % 航向误差：车头方向与参考切线方向的夹角，归一化到 [-pi, pi] headingError = wrapToPi(yaw - refYaw);

lateralError用旋转投影而不是简单相减，是因为参考线有朝向，直接减 y 差值在弯道处会被严重高估。headingError必须做wrapToPi，否则车头从 -179° 转到 +179° 时误差会突然跳到 358°，智能体会被这个假信号带偏。这两个量是后面奖励函数和观测向量的共同基础，改赛道时只要这两个量的计算是对的，其余基本不用动。

提示：nearestPointOnPath如果是遍历所有航点找最近点，在一千个点以上的路径上会成为仿真提速的瓶颈。常见做法是先按上一时刻的索引在邻域内搜索，把复杂度从 O(N) 降到 O(1)。

3.2 观测空间：给智能体看什么、怎么归一化

观测向量设计的原则是「够用且同量纲」。这个工程里典型的一组观测是六个量：横向误差、航向误差、纵向速度、横摆角速度、以及前方一段参考路径的曲率预览（两个点）。

% 观测构造：顺序必须与 rlNumericSpec 的维度严格一致 obs = [ ... lateralError; % 1 横向误差，米 headingError; % 2 航向误差，弧度 vx; % 3 纵向速度，米/秒 yawRate; % 4 横摆角速度，弧度/秒 curvaturePreview1; % 5 前方 5 米处的路径曲率 curvaturePreview2]; % 6 前方 15 米处的路径曲率

前四个是「当前状态」，后两个是「未来路况」。加入曲率预览是关键一步：只有当前误差的话，智能体在直道上永远学不会提前打方向，进弯必然超调，然后靠反复修正把误差拉回来——训练曲线看着能收敛，实车表现就是画龙。这就跟开车一样，你不能只盯着车头前面一米。

归一化这件事必须在这里做掉。横向误差可能是 0.01 米也可能是 3 米，曲率可能是 0.001 也可能是 0.2，量纲差两个数量级，直接喂给网络会让梯度被大数值维度主导。常见做法是在观测输出端统一映射：

% 统一映射到 [-1, 1]，边界值来自 params 里的经验上限 obs = 2 * (obs - obsMin) ./ (obsMax - obsMin) - 1; obs = min(max(obs, -1), 1); % 超界截断，防止异常值污染回放池

obsMin/obsMax不要拍脑袋，按赛道的最恶劣工况取：最大曲率、最大初始横向偏差。截断那一步别省，仿真发散的瞬间会产生巨大数值，这些样本进了经验池会污染后面几百次更新。

3.3 动作空间与奖励函数：怎么让智能体学会「贴着线跑」

动作空间用连续量，两个维度：前轮转角、纵向加速度。归一化到 [-1, 1]，在模型内部再乘以实际物理上限（比如 ±0.5 rad、±3 m/s²）。

actInfo = rlNumericSpec([2 1], ... LowerLimit = [-1; -1], ... UpperLimit = [ 1; 1]); actInfo.Name = "steerAndAccel";

奖励函数是整个工程里最需要反复打磨的部分。纯稀疏奖励（跑完给 1 分，跑出去给 -1 分）在这个任务上几乎学不出来，因为随机探索很难恰好跑完全程。用稠密奖励，把误差直接变成负分：

% 路径跟随奖励：误差越小分越高，同时惩罚动作抖动 wLateral = 10; % 横向误差权重 wHeading = 4; % 航向误差权重 wEffort = 0.1; % 动作幅度惩罚 wJerk = 0.5; % 动作变化率惩罚 reward = - wLateral * lateralError^2 ... - wHeading * headingError^2 ... - wEffort * (steer^2 + accel^2) ... - wJerk * (steer - steerPrev)^2;

权重不是随便定的，它直接决定学习出来的驾驶风格。wLateral给太大会让智能体为了减小横向误差猛打方向，wJerk就是治这个的——它惩罚相邻两步的动作差，逼着控制器输出平滑。但wJerk也不能给太大，否则智能体会学出一个「不敢动」的保守策略，弯道直接跑出去。

我一般的调参顺序是：先只留wLateral，确认智能体能把车开完全程；再加wHeading，让它学会提前对准；最后加wEffort和wJerk做平滑。一次性把所有项都开上，训练不收敛时你根本不知道是哪一项在捣乱。

单步奖励算完之后还要注意一点：如果仿真中途因为误差超限被提前终止，那一步应该给一个额外的负奖励（比如 -50）。这个终止惩罚是告诉智能体「出界是件严重的事」，没有它，智能体会倾向于选择「快速跑出去然后重开」这种在回合平均奖励上占便宜的短视策略。

4. 训练主流程：从环境实例化到多智能体并行采样

这一章是能直接抄作业的部分。按执行顺序走一遍：创建环境、构建智能体、配置训练选项、启动训练、看曲线判断收敛。

4.1 创建环境与智能体：维度对上才有一切

先在模型里确认 RL Agent 块的路径名，然后构建环境。多智能体场景下，每个智能体对应一个 Agent 块，观测和动作规格用 cell 数组传进去。

% 主模型与每个智能体对应的 Agent 块路径 mdl = "PathFollowingMultiAgent"; open_system(mdl); agentBlocks = [ ... "PathFollowingMultiAgent/Vehicle1/RL Agent", ... "PathFollowingMultiAgent/Vehicle2/RL Agent"]; % 两个智能体观测维度相同，但仍是两份独立的 spec 对象 obsInfo = rlNumericSpec([6 1], LowerLimit = -1, UpperLimit = 1); obsInfo.Name = "observations"; actInfo = rlNumericSpec([2 1], ... LowerLimit = [-1; -1], UpperLimit = [1; 1]); actInfo.Name = "action"; % 多智能体：obsInfos / actInfos 用 cell，与 agentBlocks 一一对应 env = rlSimulinkEnv(mdl, agentBlocks, ... {obsInfo, obsInfo}, {actInfo, actInfo}); % 每个回合开始前随机化初始位姿，防止智能体记住一条固定轨迹 env.ResetFcn = @(in) localResetFcn(in);

ResetFcn这一行看着不起眼，但它决定了训练出来的是「控制器」还是「记忆器」。没有随机化，智能体面对每次完全相同的初始条件，完全可以通过死记一条固定动作序列拿到高分，换个初始位置立刻崩。localResetFcn里通常随机化三个量：初始横向偏移（±0.5 米）、初始航向偏差（±10°）、参考路径的横向平移量。

智能体部分，用 DDPG 或 TD3 这类确定性策略梯度算法比较合适——动作连续、维度低、样本效率尚可。critic 网络的做法是把状态和动作分两路进来再拼接：

numObs = obsInfo.Dimension(1); numAct = actInfo.Dimension(1); % 状态分支 statePath = [ featureInputLayer(numObs, Name="obs") fullyConnectedLayer(64, Name="fcObs") reluLayer(Name="reluObs")]; % 动作分支 actionPath = [ featureInputLayer(numAct, Name="act") fullyConnectedLayer(64, Name="fcAct")]; % 汇合后的公共分支，输出 Q 值 commonPath = [ concatenateLayer(2, Name="cat") reluLayer(Name="reluCat") fullyConnectedLayer(32, Name="fcCommon") reluLayer(Name="reluCommon") fullyConnectedLayer(1, Name="qValue")]; criticNet = layerGraph(statePath); criticNet = addLayers(criticNet, actionPath); criticNet = addLayers(criticNet, commonPath); criticNet = connectLayers(criticNet, "reluObs", "cat/in1"); criticNet = connectLayers(criticNet, "fcAct", "cat/in2"); critic = rlQValueFunction(dlnetwork(criticNet), obsInfo, actInfo, ... ObservationInputNames="obs", ActionInputNames="act");

actor 网络的最后一层用tanh，输出天然落在 [-1, 1]，正好对上actInfo的范围。这一步如果偷懒用了别的激活函数，输出的动作会超出物理限幅，模型内部虽然会被 Saturaion 块截断，但梯度信息就断了——智能体学不到「我已经打到底了」这件事。

actorNet = [ featureInputLayer(numObs, Name="obs") fullyConnectedLayer(64, Name="fc1") reluLayer(Name="relu1") fullyConnectedLayer(64, Name="fc2") reluLayer(Name="relu2") fullyConnectedLayer(numAct, Name="fcOut") tanhLayer(Name="tanhOut")]; % 与 actInfo 的 [-1,1] 对齐 actor = rlContinuousDeterministicActor( ... dlnetwork(actorNet), obsInfo, actInfo);

网络规模上，64×64 对这个问题已经够用。有人喜欢堆到 256 宽，在这个任务上只会让训练变慢、过拟合到某几条路径，收益基本为零。

智能体选项里三个参数值得说：

agentOpts = rlDDPGAgentOptions( ... SampleTime = 0.1, ... % 必须与模型里 Agent 块的采样时间一致 DiscountFactor = 0.99, ... % 约等于看到未来 10 秒 ExperienceBufferLength = 1e6, ... MiniBatchSize = 128); agentOpts.NoiseOptions.StandardDeviation = 0.3; agentOpts.NoiseOptions.StandardDeviationDecayRate = 1e-4; agent = rlDDPGAgent(actor, critic, agentOpts);

SampleTime必须和 Simulink 里 Agent 块的采样周期一模一样，差一个数量级，训练出来的策略在仿真里就会像抽风一样抖动，而且报错信息不会告诉你原因。DiscountFactor取 0.99、采样 0.1 秒，等效视界大约 10 秒，对一条几十米的路径来说刚好够看到下一个弯。

4.2 训练选项：并行、回合数与停止条件

多智能体训练要用rlMultiAgentTrainingOptions，注意它的停止条件默认是按所有智能体的平均奖励判断的。

trainOpts = rlMultiAgentTrainingOptions( ... MaxEpisodes = 1000, ... MaxStepsPerEpisode = 500, ... ScoreAveragingWindowLength = 25, ... StopTrainingCriteria = "AverageReward", ... StopTrainingValue = -20, ... UseParallel = true, ... Plots = "training-progress", ... Verbose = true); % agents 是智能体数组，顺序与 agentBlocks 对应 trainingStats = train(agents, env, trainOpts);

几个参数的实际含义：MaxStepsPerEpisode = 500配合 0.1 秒采样，单回合最长 50 秒，够跑完一条中等长度的赛道还有余量。ScoreAveragingWindowLength = 25是对最近 25 个回合的奖励取平均，这个窗口太小曲线会抖得看不清趋势，太大又会让停止条件反应迟钝。

StopTrainingValue别设成理想值，设成「比当前基线略好」的值。路径跟随任务里，训练奖励的绝对值没什么物理意义，它只反映加权误差的累积，你很难事先算出「收敛时奖励应该是多少」。我的做法是先跑 200 回合看看曲线平台期落在哪，再把停止阈值设在平台期上方一点。

并行这块，UseParallel = true之后需要提前开并行池：

% worker 数不要超过物理核数，超了只会互相抢缓存 numWorkers = min(4, feature("numcores")); if isempty(gcp("nocreate")) parpool("Processes", numWorkers); end

并行采样的加速比不是线性的。四个 worker 通常只能拿到 2.5～3 倍加速，因为每个 worker 都要加载一份仿真模型，通信和序列化也有开销。如果模型里还有To Workspace块往外丢大矩阵，开销会更明显——训练时把这些记录关掉，只在验证时开。

4.3 训练曲线怎么读：三个信号判断该不该继续等

训练面板上真正要看的是三条曲线的形态，不是某个具体数值。

第一条是每回合总奖励。健康的曲线是先快速上升，然后进入缓慢爬升的平台期，中间允许有波动。如果它长时间贴着某个负值不动，八成是奖励设计有问题或观测没归一化，继续跑下去只是浪费时间。

第二条是每回合步数。这条曲线经常被忽略，但它信息量很大。步数随训练上升，说明智能体在学会「不出界、跑得久」；步数突然掉到很低然后又缓慢回升，通常是探索噪声太大导致频繁出界，把StandardDeviation调小一点。

第三条是 critic 的损失。它应该在训练初期快速下降然后稳定在一个较小值附近震荡。如果它持续上升或者剧烈震荡，往往是DiscountFactor太大、或者奖励尺度太大，可以试试把奖励整体除以一个常数。

多智能体场景下还要额外看一件事：各个智能体的奖励曲线是不是同步上升。如果一号车学得很好、二号车一直不动，那基本可以断定两个环境实例之间共享了状态，或者 reset 函数给它们喂了同样的随机种子。这个问题在第 5 章会展开。

训练中断了不要紧，检查点保存在results/下，重新加载继续训：

load("results/agentCheckpoint.mat", "savedAgents"); agents = savedAgents; % 接着上一轮的策略继续 trainingStats = train(agents, env, trainOpts);

5. 避坑与排查：多智能体路径跟随训练里最容易翻车的五件事

这一章全是踩出来的。每条按「什么现象 → 为什么会这样 → 怎么解决」写，遇到对应症状直接对号入座。

5.1 训练层面的坑：不收敛、只有一个智能体在学

现象一：奖励曲线在 0 附近抖动几百回合，完全没有上升趋势。

原因通常是观测没归一化，或者奖励尺度太大把网络的输出压死了。横向误差以米为单位可能在 0.01～3 之间，曲率在 0.001～0.2 之间，量纲差两个数量级，网络会忽略小数值维度，等于只用了一半的观测信息。解决方式是在观测输出端统一映射到 [-1, 1]，并在rlNumericSpec里把LowerLimit/UpperLimit也设成 ±1，让工具箱知道这个范围。奖励同理，把所有项加起来除以一个常数，让它落在 [-10, 10] 这个量级，别出现单步 -500 这种数值。

现象二：多个智能体一起训，最后只有一个学会了，其他的奖励曲线几乎是一条直线。

这是多智能体训练最典型的问题。原因一般是两个环境实例共享了同一份状态——比如两个智能体的模型都读写同一个 MATLAB 基础工作区变量，或者ResetFcn里两次调用拿到的是同一个随机数序列。检查方法很直接：在ResetFcn里打印每次的初始位姿，看两个智能体拿到的是不是同一组数。解决方式是每个智能体一份独立的参数结构体，随机化用rand而不是固定种子，并且确认模型里没有跨智能体共享的Data Store Memory。

现象三：训练曲线正常上升，但一到平台期就剧烈震荡，怎么都上不去。

多半是探索噪声的衰减率设置不当。StandardDeviationDecayRate = 1e-4意味着噪声衰减得很慢，训练后期智能体仍然在每次动作上叠加 0.2 左右的随机扰动，表现自然不稳。把衰减率调大，或者干脆手动分段：前 500 回合用 0.3，后 500 回合降到 0.05。另一种可能是MiniBatchSize太小（比如 32），梯度噪声本身就大，调到 128 试试。

5.2 仿真与部署层面的坑：维度、采样时间和信息泄漏

现象四：模型一编译就报端口维度不匹配，或者运行到一半 agent 输出维度对不上。

原因是actInfo的维度、actor 网络输出层的维度、以及模型里 RL Agent 块连出去的动作端口宽度，三者必须完全一致，任何一处改了另外两处没跟着改就会报错。最常见的触发场景是「想加一个控制量」，只在actInfo里把[2 1]改成[3 1]，忘了改 actor 的fullyConnectedLayer输出数和模型里的 Demux 宽度。我的做法是在createAgents.m开头统一从actInfo.Dimension(1)取维度，全篇不再出现写死的数字，改一处就够。

现象五：训练时表现很好，把探索噪声关掉一部署，车反而画龙了。

这个坑最隐蔽，通常是两个原因叠加。一是部署时忘了关探索策略，agent.UseExplorationPolicy默认仍是 true，每次推理都还在叠加噪声；二是ResetFcn里注入了部署时根本拿不到的信息——比如 reset 时直接把车辆摆到参考线正上方、航向严格对齐，而实际部署时初始误差是随机的。前者改一个属性就行：

% 部署/验证前必须关掉探索噪声 agent.UseExplorationPolicy = false; simOpts = rlSimulationOptions(MaxSteps = 500, NumSimulations = 10); experience = sim(env, agent, simOpts);

后者要回到ResetFcn里检查：让初始偏差的分布覆盖部署时的真实工况，宁可训练时难一点。另外采样时间也要对齐，训练时 0.1 秒、部署时 0.05 秒，策略看到的动态特性完全变了，这种情况在实车上表现为「反应过度」，改采样时间或者做动作保持。

6. 二次开发：换赛道、换奖励、换算法的最小改动路径

拿到这份工程之后，大多数人真正想做的是把它改成自己那条赛道、自己那台车。改造的难度从低到高排一下，按这个顺序推进最省事。

换赛道是最安全的改造。改vehicleParams.m里的路径参数，同时记得把观测归一化的obsMax里曲率那一项按新赛道的最大曲率重设。如果新赛道曲率更大而obsMax没改，那一路观测都会撞到截断边界，智能体看到的信息被削平，表现会莫名其妙地差。

换算法的改动比想象中小。DDPG 换成 TD3，actor 结构和训练循环都不用动，只需要更换智能体构造函数，并加两个 TD3 特有的参数：

% 从 DDPG 切 TD3：actor/critic 网络可原样复用 agentOpts = rlTD3AgentOptions( ... SampleTime = 0.1, ... DiscountFactor = 0.99, ... TargetPolicySmoothModel = rl.td3.TargetPolicySmoothingOptions( ... TargetPolicySmoothingNoiseStd = 0.2, ... TargetPolicySmoothingNoiseClip = 0.5)); td3Agent = rlTD3Agent(actor, critic, agentOpts);

TD3 用双 critic 取最小值来抑制 Q 值高估，在路径跟随这种奖励有噪声的任务上通常比 DDPG 稳。代价是每个回合要更新两个 critic，训练时间大约多 40%。

验证改造是否成功，别只看训练曲线。我的做法是固定一组测试工况（比如 20 组不同的初始横向偏差和航向偏差），关掉探索噪声，每组跑一次全仿真，统计横向误差的均方根和最大值，做成分布图。训练曲线好看但最大误差超标的策略，在实际场景里是不能用的——平均表现好只说明大部分时候没问题，工程上真正要命的是那几次超调。

从那以后我每次改奖励函数，都会先只改一项、跑 200 回合、看分布、再改下一项，绝不一次性调三个权重然后对着不收敛的曲线猜是哪一项的问题。这个习惯帮我省下的时间，比任何调参技巧都多。希望帮到你。

本文还有配套的精品资源，点击获取