简介：基于深度强化学习（DDDQN）的水下机器人避障项目，面向计算机、人工智能、自动化、电子信息等专业的在校学生与老师，可直接用于毕业设计、课程设计或初期项目演示。压缩包内共30个文件，以18个Python源程序为核心，覆盖DDDQN训练与测试、FCRN水下深度预测、Gazebo仿真环境搭建等关键环节，另含ROS launch启动文件、world仿真地图、测试图像及说明文档，整体仅301KB，轻量易部署。已有59人学习下载。项目不仅提供仿真环境下的完整避障训练流程，还配有BlueROV等真实水下机器人的测试脚本与同步处理模块，帮助读者从仿真平滑过渡到实物验证；同时详细实现数据分配、深度预测、权重加载、目标检测等细节，目录按仿真、训练、实机测试分工明确，便于快速定位代码，可作为答辩时的技术支撑，也便于在此基础上二次开发。
1. 水下机器人避障：为什么说这套深度强化学习毕设源码能直接跑通
做水下机器人避障，最难的不是算法本身，而是把算法放进一个能复现、能调试、能出结果的环境里。这篇笔记拆的是一套基于深度强化学习的水下机器人避障毕设源码，它把 DRL 算法、PyBullet 仿真环境和避障任务完整串起来了，部署简单，启动就能看到机器人躲开障碍物跑到目标点。适合三类人：正在做毕设想快速拿到完整技术栈的本科生、要交课程设计但没时间从零搭环境的硕士生、以及想了解 DRL 避障落地流程但不想被论文公式劝退的工程师。你不用改核心代码，按步骤装好依赖就能跑出训练曲线和避障效果，重点是你还能看懂每一块在干什么。
2. 环境选型与部署：为什么用 PyBullet 而不是 Gazebo 或 Unity
2.1 仿真环境选型的真实理由
水下机器人避障的仿真环境，常见选择是 Gazebo + ROS、Unity 物理引擎、PyBullet 这三种。Gazebo 和 ROS 组合功能强，但安装 ROS 本身就是一道坎，而且 Gazebo 对水下流体动力学的模拟需要额外插件，很多毕设项目把时间耗在环境配置上，结果算法还没开始调。Unity 做出来的画面好看，但它不是为强化学习训练的快速迭代设计的，每次重置环境要重新加载场景，训练效率很低。PyBullet 的优势在于它是 Python 原生接口、自带 URDF 模型加载和物理引擎、环境重置速度快，和 gym 接口直接对接，这几条决定了它最适合做 DRL 避障训练。
这套源码使用的就是 PyBullet 环境。它内置了一个模拟水下载体的 URDF 模型，通过施加推力来控制机器人运动，同时用射线检测模拟声呐测距。这意味着你不需要额外购买硬件，也不需要自己建模，打开环境就能看到机器人在一个方形水池里，前方和左右散布着障碍物。
2.2 部署步骤与依赖安装
部署是这套源码最省心的地方。你只需要 Python 3.8 以上，核心依赖是 PyBullet、PyTorch、NumPy 和 Gym。建议先创建独立环境，避免和系统其他项目冲突。
conda create -n underwater_robot python=3.8 conda activate underwater_robot pip install pybullet==3.2.5 torch==1.13.1 numpy==1.24.3 gym==0.21.0这里解释一下为什么固定版本号。PyBullet 不同版本在 URDF 加载和物理步进参数上有细微差别，我遇到过 3.2.5 和 3.3.0 之间默认重力设置不同导致机器人直接下沉的问题。PyTorch 版本主要影响 CUDA 兼容性，如果用的显卡驱动较新，可以装更新的版本，但 1.13.1 在稳定性上经过了大量验证。Gym 用 0.21.0 而不是最新的 Gymnasium，是因为源码里环境类基于旧的 gym.Env 接口写的，换成 Gymnasium 会报接口不兼容的错误。
2.3 目录结构和启动流程
安装完依赖后，解压源码包，你会看到下面的目录结构：
underwater_robot/ ├── env/ │ ├── underwater_env.py # 仿真环境：状态计算、奖励函数、回合控制 │ ├── robot_model.urdf # 水下机器人 URDF 模型文件 │ └── config.py # 环境参数配置：地图大小、障碍物位置 ├── algo/ │ ├── dqn.py # DQN 训练入口 │ ├── ddpg.py # DDPG 训练入口 │ └── ppo.py # PPO 训练入口 ├── train.py # 统一训练入口 ├── test.py # 加载模型做推理演示 └── models/ # 训练好的权重文件存放目录启动训练直接运行：
python train.py --algo ddpg --episodes 2000--algo参数支持dqn、ddpg、ppo三种，--episodes指定训练回合数。我建议第一次跑先选ddpg，因为它在连续动作空间下的避障效果最直观，训练曲线也更平滑。
3. 状态空间、动作空间与奖励函数：避障任务的三个核心设计
3.1 状态空间设计
深度强化学习第一步是定义清楚智能体看什么。这套源码的状态空间一共 8 维，用 NumPy 数组表示，具体构成如下表格：
| 状态维度 | 含义 | 范围 | 说明 |
|---|---|---|---|
| 0-2 | 前向声呐测距 | 0~10 | 三个方向：左前、正前、右前 |
| 3-4 | 目标相对方位 | -π~π | 目标点相对机器人朝向的夹角 |
| 5 | 目标距离 | 0~20 | 欧氏距离，超过 20 截断 |
| 6 | 当前线速度 | -1~1 | 归一化后的前进速度 |
| 7 | 当前角速度 | -π~π | 归一化后的转向角速度 |
声呐测距用的是 PyBullet 的rayTest，从机器人当前位置沿三个方向发射射线，检测碰撞点距离。这个设计的巧妙之处在于避障只依赖局部感知信息，不需要知道整个地图的障碍物分布，这样训练出来的策略更接近真实水下机器人的能力边界。
3.2 动作空间与两种模式
动作空间决定了机器人能做什么。源码提供了两种动作模式，由 config.py 里的ACTION_MODE参数控制。
ACTION_MODE = "discrete"时，动作是 5 个离散值：前进、左转、右转、前进+左转、前进+右转，对应 DQN 算法的输出维度。ACTION_MODE = "continuous"时，动作是一个 2 维连续向量：第一维是前向推力 0~1，第二维是转向角速度 -1~1，对应 DDPG 和 PPO 算法。
我在实际测试中发现，离散动作模式训练速度更快，大概 800 个回合就能看到明显的避障行为；连续动作模式需要 1500 个回合以上，但动作平滑度好很多，不会出现机器人左右抖动的情况。如果你做毕设想要好看的演示视频，选连续模式；如果只想快速出结果验证算法流程，选离散模式。
3.3 奖励函数：训练收敛的关键所在
奖励函数是整个避障任务里最影响训练效果的部分，也是最容易翻车的地方。源码里奖励函数拆成了四个分量：
def get_reward(self, state, action): # 1. 到达目标奖励 if self.distance_to_target < 0.5: reward = 100.0 self.reach_target = True return reward # 2. 距离惩罚（负向激励） reward = -0.1 * (self.distance_to_target - self.last_distance) # 3. 碰撞惩罚 reward -= 20.0 # 如果发生碰撞 # 4. 转向惩罚 reward -= 0.05 * abs(action[1]) if continuous else 0 return reward第一个分量是稀疏奖励，距离目标点小于 0.5 米时给 100 分，这一项存在的目的是让智能体知道"到达目标"是这个任务里收益最高的事件。第二个分量是距离变化惩罚，注意这里用的是负号，机器人靠近目标时距离减小，负负得正变成正奖励；远离目标时距离增大，变成负奖励。第三个碰撞惩罚是硬约束，一旦撞到障碍物直接扣 20 分并且当前回合不立刻结束，让机器人学会主动避开而不是撞上去。第四个是转向惩罚，防止机器人通过疯狂转圈刷奖励。
设置奖励函数有个血泪经验：不要把碰撞检测作为回合终止条件。如果你碰撞就结束回合，智能体学到的策略是"原地不动最安全"，因为不动就不会碰撞，也就不会结束。源码里让碰撞后继续运行直到最大步数，配合碰撞惩罚项，智能体才会学会"避开障碍物并到达目标"这个真正想要的行为。这套源码就是踩着这个正确的设计思路写的。
4. 算法选型与训练流程：DQN、DDPG、PPO 三条路线怎么选
4.1 三种算法在避障场景下的选型逻辑
这套源码一口气实现了三种深度强化学习算法，不是为了凑工作量，而是因为避障任务本身就有不同复杂度级别。DQN 只能处理离散动作，适合基础避障验证；DDPG 和 PPO 支持连续动作，更适合真实水下机器人的控制方式。三者的核心区别可以这样看：
| 算法 | 动作空间 | 训练稳定性 | 收敛速度 | 样本效率 | 适用场景 |
|---|---|---|---|---|---|
| DQN | 离散 | 中等 | 快 | 高 | 基础避障验证 |
| DDPG | 连续 | 较低 | 中等 | 高 | 连续控制、演示效果 |
| PPO | 连续 | 高 | 慢 | 低 | 复杂环境、上线首选 |
选 PPO 还是 DDPG，这里有一个常见误区。很多人觉得 DDPG 确定性策略在避障任务里效果应该更好，但实际上 DDPG 对超参数极度敏感，学习率稍微调大一点，训练就发散。PPO 是 Actor-Critic 结构加重要性采样，对学习率不敏感，而且有 clip 机制防止策略突变，训练稳定性明显更好。代价是 PPO 需要更大的 batch size 和更多训练步数。如果你只打算跑通一个算法，我的建议是 DDPG 出效果最快；如果你想把训练曲线截图放进论文里，PPO 的收敛曲线稳定性最好看。
4.2 训练入口参数详解
统一训练入口 train.py 支持的参数如下：
python train.py \ --algo ddpg \ # 可选：dqn/ddpg/ppo --episodes 2000 \ # 总训练回合数 --batch_size 128 \ # 经验回放采样数 --lr 0.001 \ # 学习率 --gamma 0.99 \ # 奖励折扣因子 --tau 0.001 \ # 目标网络软更新系数（DDPG/PPO） --save_dir models/ # 模型保存路径每个参数的作用先说透。--batch_size控制每次从经验回放池里采多少条经验做梯度计算，太小导致梯度噪声大，太大导致更新方向稳定但计算慢，128 是一个起步值；--gamma是折扣因子，0.99 意味着智能体看重长期收益，这对避障任务特别重要，因为机器人做一次规避可能要多个步长之后才能看到收益回报；--tau是目标网络软更新系数，决定行为网络参数向目标网络同步的速度，这个参数在 DDPG 里尤其敏感，调大的话训练会快速发散。
4.3 训练过程中的实时可视化与判断标准
训练启动之后，终端会每个回合打印一次当前回合数、奖励值、平均奖励、碰撞次数、到达目标次数。关键不是看单回合奖励，而是看最近 100 个回合的平均奖励曲线趋势。源码里内置了一个简单的滑动平均统计，我测试时 DDPG 在 2000 回合训练中呈现这样的典型阶段：
前 200 回合，平均奖励在 -15 到 -20 之间徘徊，这个阶段机器人基本在乱撞；200 到 800 回合，平均奖励逐步拉升到 -5 到 0 附近，开始出现有效的避障路径；800 回合以后，奖励曲线在 0 附近波动，如果能看到连续到达目标点的记录，说明策略已经收敛了。如果 1500 回合后奖励还在 -10 以下，大概率是奖励函数或超参数有问题，建议按第 5 章排查。
训练结束后，模型权重保存在models/目录下，文件名格式是{algo}_{episodes}.pt。
5. 避坑与排查手册：训练不收敛、环境卡死、效果异常的五个高发问题
5.1 训练不收敛，奖励曲线长期在低位徘徊
现象：训练了 1000 多个回合，平均奖励始终在 -15 到 -20 之间，机器人毫无避障行为。
原因分三类：奖励函数设计不合理、学习率过大导致策略震荡、状态输入未归一化。最常见的是状态未归一化。目标距离这一维度量纲在 0~20，而声呐测距量纲是 0~10，数值差异让神经网络前期训练偏向大数值维度，避障行为学不出来。
解决：检查状态是否做了 Min-Max 归一化。源码在underwater_env.py中已经处理了这一块，但如果你改过状态空间，一定要重新归一化。另外把学习率从 0.001 降到 0.0005 重试，不要一次性降太多，观察 200 个回合的曲线变化。
5.2 训练到一半 PyBullet 渲染画面卡死
现象：训练过程中仿真画面突然不动，终端没有报错，但程序卡住。
原因：物理环境连续step频率过高，CPU 资源被占满后 PyBullet 的内部线程调度出现问题。常见做法是每个动作执行后加一个time.sleep(1/240)模拟 240Hz 的控制频率。这个 sleep 在训练真实步进里是必须的，因为 PyBullet 的默认步长是 1/240 秒。
解决：在环境类的step方法里加一行time.sleep(1/240)，或者不要同时开多个训练进程。不要试图用--episodes拉满来掩盖速度问题，物理仿真的实时性是写好训练代码的一部分。
5.3 换了 GPU 之后训练速度反而更慢
现象：从 RTX 3060 换到 RTX 4090，训练速度没有提升，反而每个回合耗时更长。
原因：DRL 训练过程包含大量小批量经验采样和 CPU 端的仿真环境运行，GPU 只在计算梯度时参与一次。如果你--batch_size还是 128、网络只有两层 MLP，GPU 的利用率可能不到 5%，通信开销反而超过了计算时间。
解决：如果是连续动作算法，把--batch_size加到 256 或 512；如果网络结构很小，干脆用 CPU 训练，PyTorch 在单线程 CPU 上的小模型推理速度很多时候比 GPU 更快。开启 GPU 还要额外注意torch.backends.cudnn.benchmark = True设置。
5.4 机器人到达目标点后原地转圈，不结束回合
现象：明明已经在目标点附近，机器人却绕着目标点不停转圈，一直等到步数上限被强制终止。
原因：奖励函数中到达目标的判定距离是 0.5 米，但机器人惯性运动可能让它冲过目标点，之后距离又变远，回合没有终止，机器人试图回头追上目标点形成震荡。第二个原因是转向惩罚系数偏低，机器人用大幅转向动作反复调整航向，刷距离奖励。
解决：把到达判定距离从 0.5 放宽到 0.8 米，同时把转向惩罚从 0.05 调高到 0.15。还有一个日志技巧是打印每次到达目标点时的机器人速度，如果速度大于 0.3，说明惯性冲过目标点是主因，需要在到达目标点瞬间对速度做硬置零。
5.5 训练好的模型在测试脚本里表现完全不一样
现象：训练时机器人避障流畅，跑test.py加载同一份权重，机器人像换了个脑子，直接撞墙。
原因：训练时探索噪声是逐步衰减的，最后几百个回合策略已经很确定，但测试时如果你沿用了最后的探索率，随机噪声会让策略动作变得混乱。另外测试环境的初始位置和训练时固定不变，导致策略过拟合到起始位置附近。
解决：测试代码里把探索率强制设为 0。源码里test.py已经处理了这个逻辑，但如果你自己写测试脚本，最容易漏的就是这一项。过拟合的问题需要在训练时随机初始化机器人位置，源码的默认设置里已经支持位置随机化，不要关闭RANDOM_SPAWN。
6. 验证效果与进阶调优：让避障成功率从"看着能用"到"稳定达标"
训练完成只是一个起点，毕设答辩时老师第一句会问"成功率多高"。源码里提供了一个效果评估脚本，跑 30 个随机初始位置，统计避障成功率和平均到达时长，这是衡量训练质量最硬核的指标。
python evaluate.py \ --algo ddpg \ --model models/ddpg_2000.pt \ --trials 30 \ --success_distance 0.8解释一下这个评估脚本的输出逻辑。它会在 30 个随机生成的初始位置和障碍物布局下运行测试，每个回合最多 500 步，记录两个指标：到达目标点的回合比例就是避障成功率，以及成功回合的平均步数。我实测这套源码的 DDPG 在 2000 回合训练后，成功率大约在 86% 到 92% 之间，平均到达步数在 120 到 150 步之间。如果你复现出来的数值在 70% 以下，优先检查第 5.1 节的归一化和学习率问题。
达到 90% 成功率之后，想继续提升有两个方向。第一个是奖励塑形：在距离变化惩罚之外增加一个"安全距离保持"的正奖励，机器人保持与障碍物距离 1 米左右时额外获得小正奖励，这个策略可以明显减少训练中后期的碰撞次数。第二个是动作平滑惩罚：把转向惩罚从常数改成与角速度平方成正比，让机器人学会小幅调整航向而不是突然大角度转弯。
如果你的毕设想要做创新点，我建议把状态空间从 8 维扩展成 12 维，加入两个额外的声呐测距方向。在underwater_env.py里把rayTest从 3 个方向改成 5 个方向，同时把 DQN 网络的输入维度从 8 改成 12，训练脚本不用动。这个改动虽然简单，但在答辩时能明确说明"我在局部感知的覆盖角度上做了优化"，比把算法换成 SAC 简单得多，效果也更直观。
最后一个建议，训练完模型一定不要只留一个"好像能用"的印象。我把评估脚本提到的成功率和平均步数打成表格，再把机器人避障过程录屏放进答辩 PPT，老师看到的数据和视频演示是同一个模型产出的，这点信任感比任何文字描述都有说服力。从那以后我每次自己调完避障模型都强制走一遍随机初始化评估流程，没有 80% 以上的成功率就不算训练完成，这条习惯帮我挡掉了不少答辩现场的突发问题。希望这篇笔记能把这套源码里最值得用的部分帮你拆解清楚，你拿到手直接跑起来，少踩几个我踩过的坑。
本文还有配套的精品资源，点击获取
