基于MAPPO的多无人机三维编队避障实现与训练调参实战-育师

简介：MAPPO多无人机三维编队避障项目，围绕多智能体强化学习中的协同编队与动态避障问题展开，面向深度学习、人工智能方向的毕业设计、课程设计与期末大作业场景。压缩包共6个文件，含4个Python脚本、1个策略权重文件和1个Markdown说明文档，整体仅94KB，结构清晰，覆盖环境建模、MAPPO训练、模型测试与奖励分析等完整链路。核心代码基于PyTorch搭建，可对接PyBullet/AirSim等仿真接口，便于后续扩展。已有17人浏览学习。资料可直接加载Actor网络权重完成闭环控制验证，也可按README调整超参数复现训练过程；env.py支持静态与动态障碍物、多种编队队形及高维状态空间，test_reward.py可分析累积奖励曲线与避障事件，适合在此基础上继续融合视觉感知、异构无人机或真实飞控，实现从仿真到实机的项目迁移。

1. 先别急着解压跑 demo：这个 zip 到底在解决什么问题

如果你手上有一个“基于MAPPO的多无人机三维编队避障实现.zip”，先别急着解压然后双击 train.py。这类工程表面上看是个仿真项目包，本质上是一套完整的强化学习训练闭环：状态怎么定义、奖励怎么设、策略网络怎么训、训练完怎么验收。真正难的并不是让无人机飞起来，而是让五六架机器同时保持编队队形，还能躲开静态和动态障碍物。这比常见的动态避障小车路径规划多了一个维度——队友之间会互相拖后腿，你在躲障碍，队友的相对位置也在变。这篇要讲的就是沿着标题把这个方向完整做一遍的路线：算法选型、任务建模、训练踩坑到最后怎么验收。新手可以按步骤把 demo 跑通，熟手直接看参数边界和翻车点。

2. 从 PPO 到 MAPPO：算法选型与三维编队任务的对应关系

2.1 IPPO、MAPPO、QMIX 怎么选：一张表看懂 CTDE

MAPPO 的全称是 Multi-Agent Proximal Policy Optimization，也就是把单智能体的 PPO 扩展到多智能体场景，同时引入了 CTDE（中心化训练、分布式执行）的框架。训练阶段有一个能看到全局信息的 critic 网络，执行阶段每架无人机只用自己的 actor 网络做决策。这样做的好处很直观：评价“当前位置这个动作好不好”的时候，不是只看某架飞机自己那点传感器数据，而是把队友位置、整体编队误差都考虑进去，值函数估计更准，训练方差也更小。多智能体环境里最大的麻烦是“别人也在改策略，所以我的环境一直在变”，MAPPO 这套做法能把这个非平稳性压住不少。

我在实际工程里对比过几种常见选择，给你一张选型表：

算法	动作空间	协同机制	在编队避障上的短板
IPPO	连续/离散	每个智能体独立 actor + 独立 critic	只看局部观测，编队这类全局属性学得慢
MAPPO	连续/离散	actor 局部执行，critic 全局评估	需要设计好 critic 的全局观测拼接方式
QMIX	偏离散	价值分解	连续推力、角速度控制需要额外做混合动作改造

选 MAPPO 不是因为它名字新，而是三维编队避障天然适合 CTDE：编队误差是一个全局量，只有放到 critic 里才能给出准确的价值评估。十架以内、连续动作空间、强调协同，这是 MAPPO 最舒服的工作区间。

2.2 三维编队避障任务拆解：目标点、队形与避障三层

三维编队避障说白了是三个目标叠在一起：飞到目标点、保持编队、不撞障碍。它比二维小车路径规划难的地方在于，“保持编队”和“绕开障碍”经常互相打架。比如左边来了一栋楼，整队要往右绕，但右边僚机原本的位置跟编队基准冲突，无人机只能临时偏离，绕过之后再重新靠拢。如果编队项权重压得太死，避障动作会被拽回去，导致撞障碍；避障项压得太死，编队又变成散兵游勇。

我把任务拆成三层来理解。第一层是导航层，负责从起飞点移动到目标点附近，给一个势函数奖励作为引导；第二层是编队层，把每架无人机约束到期望相对位置，在离线坐标里先编好一个队形模板，比如五机箭头编队，每架飞机存一个相对位置偏置；第三层是避障层，依据雷达点云对静态障碍和动态障碍做局部调整。这种端到端强化学习路线，跟传统的领航者-跟随者加人工势场不一样，它把三层压进同一个策略网络，遇到训练时没见过的障碍形状也能做出局部反应。领航者-跟随者经典方案容易陷入局部极小值，MPC 能出平滑轨迹但多机强耦合时实时性压力大，因此这类 zip 里的实现选择 MAPPO 是合理的。

队形基准建议放在配置文件里，单位统一用米，别在代码里写死。否则换一个编队形状就要改一遍奖励计算，非常容易引入 bug。

2.3 zip 解压后先看哪几类文件：目录是第一个避坑点

拿到包以后别马上训练，我的习惯是先把解压和文件结构走一遍：

unzip 基于MAPPO的多无人机三维编队避障实现.zip -d uav_mappo cd uav_mappo find . -maxdepth 2 -type f | sort

unzip后面跟中文文件名时记得加引号，否则 shell 可能把空格或括号拆成多个参数。-d指定解压目录是为了避免直接吐一地在当前文件夹里，后面清理也麻烦。find会把两层以内的文件列出来，方便你判断这只是个实验脚本还是一个有完整工程的仓库。

一个常见的这类强化学习项目，目录里至少有四类角色：配置文件、仿真环境、算法实现、训练入口。配置文件里放num_agents、obs_dim、action_dim、学习率、PPO 裁剪率这类参数；仿真环境负责无人机运动学、传感器模拟、碰撞判定；算法实现里是网络定义、经验池和 GAE 优势估计；训练入口把两边接起来跑循环。

我拿到目录会先确认三件事：训练入口是不是用仓库自带的仿真环境；网络定义的输入维度跟 env 返回的观测维度对不对得上；奖励函数的每一项有没有在训练日志里单独打印。不确认这三条，后面遇到第 4 章那些坑时你几乎无法定位问题。

一个可供参考的基线参数配置是：gamma=0.99、gae_lambda=0.95、clip=0.2、entropy_coef=0.01、actor 学习率3e-4、critic 学习率1e-3、每次更新跑 10 个 epoch。这组参数在大多数连续控制任务里比较稳，可以当作起点，不要迷信。

3. 把编队避障写进 MAPPO 的观察、动作与奖励

3.1 状态空间：自身状态、雷达点云与邻居相对位置怎么拼

MAPPO 对状态空间的第一个要求是维度固定、信息齐全。如果每架无人机只看自己那点状态，编队任务是永远学不出来的，因为队形本质上是一个相对概念。下面这段是我常用的观测构造逻辑，可以直接放进环境返回函数里：

def get_obs(self, agent_id): me = self.uavs[agent_id] # 自身状态：位置、速度、剩余能量，全部归一化到环境量纲 ego = np.array([ me.pos[0] / self.env_size, me.pos[1] / self.env_size, me.pos[2] / self.env_height, me.vel[0] / self.max_speed, me.vel[1] / self.max_speed, me.vel[2] / self.max_speed, me.energy / self.max_energy, ]) # 激光雷达点云降采样为 36 维：水平 12 个方向、垂直 3 层 lidar = me.lidar_sample(num_rays=12, num_layers=3) # 邻居相对位置：编队规模小于等于 6 时直接拼接 neighbors = [] for j in range(self.num_agents): if j == agent_id: neighbors += [0.0, 0.0, 0.0] else: rel = self.uavs[j].pos - me.pos neighbors += [ rel[0] / self.env_size, rel[1] / self.env_size, rel[2] / self.env_height, ] obs = np.concatenate([ego, lidar, np.array(neighbors)]) return obs.astype(np.float32)

这段代码里的归一化不是可选项。位置数值可能是几十上百，速度可能只有个位数，角度类的量又是零到一，不归一化直接拼在一起，策略网络前几层梯度会被大数值特征主导。激光雷达点云就是雷达动态避障里最常说的那类感知输入，在三维环境里我一般用 36 条射线代替完整点云，水平和垂直两个方向分层降采样。邻居相对位置只给坐标不给速度，是为了控制维度；如果你的编队规模超过六架，建议改成只取最近的四五个邻居做拼接，或者用注意力机制聚合。

3.2 动作空间：连续推力与姿态角速度，不要直接输出航点

动作空间设定最容易翻车。有些从 moveit 避障工程转过来的同学，会把动作定义成“目标点”，让底层 PID 飞过去。这个思路在运动规划库里很自然，但放到 MAPPO 里通常学成抖振，因为 actor 每步都输出一个全局目标，底层跟踪误差会反馈成高频干扰信号，直接污染策略梯度。

我一般把无人机控制抽象成四个连续量：油门加三轴姿态角速度。策略网络输出之后做一次 clip，保证物理世界不会出现超限指令。

# action 来自 MAPPO 高斯策略，形状为 (..., 4) thrust = torch.clamp(action[..., 0], 0.0, 1.0) roll_rate = torch.clamp(action[..., 1], -1.0, 1.0) pitch_rate = torch.clamp(action[..., 2], -1.0, 1.0) yaw_rate = torch.clamp(action[..., 3], -1.0, 1.0)

光 clip 还不够，策略网络直接输出的连续控制量通常很毛躁，我习惯在控制量进入仿真前加一个一阶低通滤波：

# 一阶低通：alpha 越大越平滑，但反应也越迟钝 smoothed = 0.7 * prev_action + 0.3 * action

这个 0.7 不是定死的，它跟仿真步长相关。步长越短，alpha 可以调得越高。动作从离散航点改成连续控制量之后，训练初期会变难，因为探索空间变大，但迁到真实飞控时几乎不用改代码结构，这是端到端方案最大的收益。

3.3 奖励函数：前进、编队、避障三项的权重与调参顺序

奖励函数是整个项目里最“玄学”的地方。但玄学也有套路，我的顺序是：先让目标项工作，再调编队项，最后调避障项。一次只调一项，别同时改三四个系数。下面这段是通用的奖励骨架：

# 势函数奖励：靠近目标给正反馈 rew_goal = 0.5 * (prev_dist_to_goal - cur_dist_to_goal) / max_speed # 编队误差惩罚：与期望相对位置的偏差，均方误差 rew_formation = -0.02 * formation_error # 避障惩罚：只在进入威胁区之后生效 rew_collision = 0.0 if obs_dist < crash_radius: rew_collision -= 10.0 elif obs_dist < danger_radius: rew_collision -= 0.3 * (danger_radius - obs_dist) / danger_radius reward = rew_goal + rew_formation + rew_collision

三个项的系数我习惯放在配置文件里，用一张参数表管起来：

参数	基准取值	调参节奏
rew_goal 系数	0.3 ~ 0.5	先调大到总奖励曲线持续上涨
rew_formation 系数	0.02 ~ 0.1	在避障不撞之后再逐步加大
rew_collision 惩罚	-10	只在近场触发，越大越保守
danger_radius	机体尺寸的 2.5 倍	太大会让路径绕远
crash_radius	机体尺寸的 1.2 倍	低于这个距离直接判碰撞

提示：奖励系数和半径要跟随环境尺度一起缩放。如果你把环境边长从 100 米改成 1000 米，编队误差和障碍距离的数值范围会完全变掉，原来调好的系数会全部失效。换尺度之后先重跑一轮小实验，别直接用旧参数上训练。

collision 惩罚建议只在进入危险半径后生效，不要全局加，否则策略很容易学会原地悬停，因为动起来任何方向都有可能靠近障碍。

4. 训练 MAPPO 时的 5 个翻车现场：现象、原因与排查顺序

4.1 总奖励不涨或者往下掉：先查观测归一化和奖励尺度

现象：训练日志里的 episode reward 一条直线，几十万步过去没有肉眼可见的上升，或者干脆跳水到负几百。

原因：最常见的是单位没对齐。我在工程里见过距离用米、速度用厘米每秒、角度用弧度角混在一起拼观测的，数值大的特征把梯度完全吃掉。还有一个原因是奖励尺度太小，比如编队误差动辄几十米，但惩罚项只有零点几，策略网络根本感觉不到变化。

解决：所有观测量除以对应量纲的最大值，把数值压到 0~1 范围。奖励项的系数至少让 max_step 的量级在个位数，不要出现 1e-4 这种精度。如果 env 本身没有做观测归一化，可以在训练循环里自己维护一个 running mean 和 running std，把 obs 标准化之后再喂给网络。

4.2 无人机原地悬停或者绕着障碍转圈：策略找到了“安全不动”的捷径

现象：奖励在涨，但无人机几乎不动，或者只在一个安全距离上跟着障碍绕圈，永远不去目标点。这属于“奖励黑客”，策略钻了空子。

原因：目标项权重太弱、避障项全局生效，导致任何方向移动都会带来负奖励，原地悬停反而是最优策略。另一个原因是没有即时正反馈，只有到达目标才给一个大奖励，稀疏奖励下探索期太长，学不到东西。

解决：把“靠近目标”改成密集的势函数奖励，每步都根据前后距离差给奖励，就是第 3.3 节代码里的prev_dist_to_goal - cur_dist_to_goal。避障惩罚只在danger_radius以内触发，让安全区域里自由移动不被惩罚。

4.3 绕障成功但队形散架后合不拢：编队项惩罚只作用于全局

现象：单独一架飞机避障已经没问题了，但五架一起飞，过完障碍之后队形变成一条纵队，再也没回到编队基准。

原因：编队误差如果只算整队所有飞机和基准位置的 RMSE，梯度分配到每架飞机头上就非常稀薄。局部障碍扰动造成的位置偏差，要花很多步才能被这个全局量拉回来，训练效率很低。

解决：把编队误差拆细，在通信距离范围内计算邻居之间的相对位置误差，再加上速度方向误差，让每架飞机都能从它自己的观测里感知到“我离队友偏了”。我一般会把编队惩罚分成距离项和朝向项，权重四六开。绕障之后不需要强行对齐全局队形，只要把邻居间隔拉回正常范围，整队队形自然收敛回去。

4.4 动作抖动得像帕金森，轨迹全是锯齿

现象：训练收敛之后回放轨迹，无人机不是平滑转弯，而是一顿一顿地调整姿态，控制量高频变化。

原因：策略网络直接输出连续控制量，PPO 学到的策略天然不平滑，加上雷达点云这种感知输入逐帧变化快，actor 的高频输出会被放大。有些人从 moveit 避障工程转过来习惯输出航点让底层 PID 跟踪，换到端到端控制后反而更严重。

解决：第 3.2 节那个一阶低通滤波器是最快的修复方式。alpha=0.7时反应滞后有一点，但如果仿真步长足够短（比如 20Hz 以上），这个延迟可以接受。另外一个做法是把高斯分布动作改成 Beta 分布，Beta 分布自然落在 0~1 区间，边缘比高斯更平缓。最后检查一下entropy_coef，如果调太高，策略会长期保持高随机性，动作看起来也像抖振。

4.5 换随机种子结果方差极大：并行环境和评估方式都有问题

现象：同一个代码、同一组参数，换个 seed 训练，成功率从 90% 掉到 40%，曲线形态完全不一样。

原因：多智能体强化学习本身的探索方差就比单智能体大，如果并行环境数量太少，一条经验流里的样本高度相关，策略很容易被局部观察带偏。另一个原因是评估方式不严谨，拿单次 rollout 就说效果好。

解决：并行环境数量num_envs不低于 16，有条件就上 32。评估时至少跑 5 个随机种子，每个种子收敛后取 20 次 rollout 统计平均成功率和方差，不要拿一条曲线当结论。我见过太多“换 seed 就露馅”的 demo，这类 zip 工程如果没注意并行数，复现时很痛苦。

提示：如果训练过程反复出现 4.1 的 NaN loss，先别调奖励，优先检查 env 里有无除零、有无返回 inf，以及网络输入里有没有把掩码当成真实状态拼进去。NaN 大概率是数据问题，不是梯度问题。

5. 验证与进阶：怎么判断这套 MAPPO 编队避障真的能信

5.1 一张验收表：成功率、编队误差与避障成功率

训练跑完，不能说“曲线涨了”就结束了。我会用下面这张表做验收，直接决定这个方案能不能往下推。五个指标各看一个侧面，避免单一指标骗人。

指标	计算方式	我的验收阈值
任务成功率	无人机到达目标点半径范围内算一次成功	≥ 90%
编队误差 RMSE	实际位置与编队基准位置的偏差 RMS	≤ 1.5 米
避障成功率	无碰撞条件下完成任务的比例	≥ 95%
平均任务时长	与无避障直线路径对比	不超过 1.5 倍
评估碰撞次数	重复 20 次同场景 rollout 统计	0 次

队形误差的阈值跟环境尺度强相关，100 米见方的环境里 1.5 米算不错，如果环境边长 1000 米，这个值可以放宽。重点是五个指标要一起看，你会发现很多策略是“成功率很高但编队误差大”或者“避障成功但任务时长感人”的偏科选手。

5.2 最值得做的调试习惯：把奖励拆开记日志

这个习惯帮我省了至少两周的调参时间。总奖励只能告诉你训练有没有涨，不能告诉你是哪一项在起作用。我习惯在训练循环里把三项奖励单独记录：

# 每 batch 统计各部分均值，写入日志 logger.add_scalar("rew/goal", rew_goal.mean(), step) logger.add_scalar("rew/formation", rew_formation.mean(), step) logger.add_scalar("rew/collision", rew_collision.mean(), step)

你很快会发现一些规律：总奖励在涨，但rew/goal在涨、rew/formation纹丝不动，说明编队项梯度没传导过来；rew/collision长期为零，说明避障项根本没有参与决策。这时候就不要再看总奖励曲线了，直接定位是哪一项失效。这是一套纯工程的做法，不依赖花哨的可视化，只需要把三个数值记下来。