无人系统核心技术与Q-learning自适应PID在AUV中的实现

1. 无人系统到底在解决什么问题

第一次接触“无人系统”这个词，很多人脑子里蹦出来的可能是航拍无人机或者扫雷机器人。但真正在这个圈子里摸爬滚打过几年的人会告诉你，无人系统的核心从来不是“无人”，而是“系统”——它是一整套感知、决策、控制、执行的闭环，是把人的判断力从危险、枯燥、高重复的场景里抽离出来，交给机器去完成。

我最早接触无人系统是在一个水域测绘项目里，当时用一艘小型USV（无人水面艇）跑河道断面。那会儿觉得这东西不就是个遥控船加个GPS吗？后来才发现，从岸基控制站到艇上的推进器，中间隔着通信链路、导航算法、避障逻辑、能源管理一大堆子系统。任何一个环节掉链子，整条船就可能偏航、失联甚至翻覆。也是从那时候起，我开始系统性地研究UAV（无人机）、UGV（无人地面车辆）、USV（无人水面艇）和AUV（自主水下航行器）这四类典型平台，发现它们虽然形态差异巨大，但底层的技术骨架高度相似。

这篇文章想做的事情很直接：把无人系统这个听起来宏大的概念拆开，从平台分类、核心子系统、控制算法、实操调试到常见故障排查，一层层讲清楚。尤其是最近在AUV领域比较热的“基于Q-learning自适应强化学习PID控制器”这个方向，我会结合自己的理解，把它的原理、实现思路和实际调参中踩过的坑一并分享出来。无论你是刚入行的学生，还是已经做过几个项目的工程师，应该都能从中找到可以直接参考的东西。

2. 无人系统的四大平台分类与核心差异

2.1 UAV、UGV、USV、AUV各自的能力边界

无人系统按运行域划分，最主流的四类就是UAV、UGV、USV和AUV。它们之间的差异远不止“飞在天上”和“跑在地上”这么简单，而是涉及动力学模型、通信方式、能源约束和任务载荷的根本性不同。

UAV（无人飞行器）最大的优势是视野和机动性。多旋翼可以悬停、垂直起降，固定翼则擅长长航时大范围巡航。但它的致命短板是续航——电池技术没有突破之前，多旋翼的实用航时基本卡在30到50分钟。我做过一个电力巡线项目，用多旋翼沿输电线路飞，每飞20分钟就得换电池，一天下来有效作业时间不到4小时。所以UAV的任务规划里，航点顺序和返航逻辑必须做得非常保守。

UGV（无人地面车辆）的强项是载荷能力和地面精细作业。轮式、履带式、腿式各有适用场景。轮式在结构化道路上效率最高，履带式适合越野和废墟，腿式则在楼梯和复杂地形上有独特优势。UGV的难点在于地面环境的不可预测性——一个不起眼的坑洼或者一段松软土壤，就可能让车辆陷住。我在一个农业巡检UGV项目里，光是处理泥地打滑就花了两周时间，最后靠轮速传感器加IMU融合才勉强稳住。

USV（无人水面艇）介于水上和水下之间，主要做水文测量、水质采样、水面巡逻。它的通信条件比AUV好得多，因为天线可以露出水面，实时遥控和数传都没问题。但水面环境受风浪影响大，姿态控制是核心难题。我见过一条USV在三级风下横摇超过15度，摄像头画面完全没法用，后来加了双体船型才改善。

AUV（自主水下航行器）是四类里技术门槛最高的。水下没有GPS信号，通信只能靠水声，带宽极低，所以AUV必须高度自主。它的导航通常依赖惯性导航加多普勒测速仪，长时间航行后累积误差可能达到几百米。控制方面，水下动力学非线性强、耦合严重，传统PID往往力不从心，这也是为什么强化学习PID这类自适应方法在AUV领域特别受关注。

2.2 平台选型的决策逻辑

选哪个平台，不是拍脑袋决定的。我一般会问四个问题：任务环境是什么？需要实时通信吗？续航要求多长？载荷多重？

如果任务区域是开阔空域且需要快速覆盖，UAV是首选。如果任务区域是地面且需要接触式作业，UGV更合适。如果任务区域是湖泊、河道或近海，USV的性价比最高。如果任务区域在水下且需要隐蔽或大深度作业，那就只能上AUV。

这里有一个容易被忽略的点：很多实际项目其实是多平台协同。比如水域救援场景，UAV先空中搜索定位，USV再水面抵近，AUV最后水下确认。这种异构协同对通信协议和任务分配算法提出了更高要求，但也是无人系统未来的主要方向。

3. 无人系统的核心子系统拆解

3.1 感知与导航：无人系统的眼睛和耳朵

感知系统决定了无人平台能不能“看懂”周围环境。UAV上常见的是视觉加激光雷达，UGV上更多用深度相机加超声波，USV用毫米波雷达加视觉，AUV则依赖声呐。不同传感器的选型逻辑很简单：看环境对哪种物理量最友好。

导航方面，室外GPS加IMU是标配，但到了室内、水下或城市峡谷，GPS就废了。这时候需要SLAM（同步定位与建图）或者惯性导航加地标匹配。我在一个地下管廊UGV项目里，GPS完全没信号，最后靠激光雷达SLAM加轮式里程计才跑通。但SLAM的计算量很大，机载计算机必须够强，否则帧率掉下来定位就飘了。

注意：AUV的导航是特例。水下GPS信号衰减极快，通常只能靠惯性导航推算，每隔一段时间上浮到水面校准一次。这个校准周期的设计直接决定了任务能不能完成。

3.2 控制与执行：从指令到动作的最后一公里

控制系统是无人系统的大脑和肌肉。大脑负责算，肌肉负责动。UAV靠电机转速差实现姿态控制，UGV靠差速或阿克曼转向，USV靠舵和推进器，AUV靠舵面和推力矢量。

控制算法的核心是PID，这几乎是所有无人系统入门的必修课。但传统PID有个硬伤：参数固定。一旦负载变化、环境扰动或者模型非线性增强，固定参数就控不住了。我在AUV项目里深有体会——同一个PID参数，在静水里跑得好好的，一到有洋流的环境就震荡得厉害。这时候就需要自适应机制，而强化学习PID就是其中一种思路。

3.3 通信与能源：无人系统的生命线

通信链路的质量直接决定无人平台能跑多远。UAV用2.4G或5.8G频段，UGV用WiFi或4G/5G，USV用数传电台，AUV用水声通信。水声通信的带宽极低，通常只有几kbps，所以AUV不能传视频，只能传指令和状态。

能源方面，锂电池是主流，但能量密度已经接近瓶颈。燃料电池和太阳能补充是方向，但工程化还有距离。我的经验是，能源预算至少留30%余量，因为实际功耗往往比估算高。

4. 强化学习PID在AUV中的实现思路

4.1 为什么传统PID在AUV上不够用

AUV的水下动力学有几个特点：非线性、强耦合、时变、模型不确定。传统PID的三个参数Kp、Ki、Kd一旦定下来，就只能适应一个工作点。AUV在变深度、变速度、变负载时，动力学特性变化很大，固定参数很难兼顾。

我试过用增益调度，就是按深度和速度分几组PID参数，切换使用。这能解决一部分问题，但分组边界怎么定、切换时怎么平滑，都是麻烦事。而且分组再多，也覆盖不了所有工况。

强化学习PID的思路是：让控制器自己学。通过与环境交互，根据奖励信号调整PID参数，逐步找到当前工况下最优的组合。Q-learning是其中一种具体实现，它用Q表记录状态-动作对的价值，通过迭代更新逼近最优策略。

4.2 Q-learning自适应PID的核心机制

Q-learning的核心要素是状态、动作、奖励和Q表。在AUV控制里，状态可以设计为误差和误差变化率，动作可以设计为PID参数的增量调整，奖励可以设计为误差绝对值的负值。

具体来说，每一步控制周期，控制器观察当前误差e和误差变化率ec，根据Q表选择动作，比如Kp加0.01、Ki不变、Kd减0.005。然后计算控制量，作用于AUV，观察新的误差，计算奖励，更新Q表。这个过程不断重复，Q表逐渐收敛，PID参数也就自适应了。

这里的关键设计是状态离散化。误差和误差变化率都是连续量，必须离散成有限个区间才能建Q表。区间太粗，控制精度不够；区间太细，Q表太大，学习速度慢。我的经验是误差分7到9档，误差变化率分5到7档，比较平衡。

4.3 奖励函数设计与参数整定

奖励函数是强化学习的指挥棒。设计得好，控制器学得快、学得稳；设计得不好，要么学不动，要么学出奇怪的行为。

我一般用误差绝对值的负值作为主奖励，再加两个惩罚项：一个惩罚控制量变化过大，防止执行器频繁抖动；一个惩罚误差持续不降，防止控制器摆烂。奖励函数的形式大概是：

reward = -abs(e) - 0.1 * abs(u - u_last) - 0.05 * abs(e) if abs(e) > threshold else -abs(e)

参数整定方面，学习率alpha通常取0.1到0.3，折扣因子gamma取0.9到0.99，探索率epsilon从1.0逐步衰减到0.05。这些值不是绝对的，需要根据具体AUV模型和任务调整。

提示：Q-learning的收敛速度对状态空间大小非常敏感。如果发现学习太慢，优先检查状态离散是否过细，而不是急着调学习率。

5. 实操过程与核心环节实现

5.1 仿真环境搭建与AUV模型配置

真机调试成本太高，所以第一步一定是在仿真里跑通。我常用的是基于Python的仿真框架，AUV模型用六自由度动力学方程，水动力系数参考公开的REMUS或Slocum数据。

仿真环境需要包含几个模块：AUV动力学模型、环境扰动模型（洋流、波浪）、传感器噪声模型、控制器接口。控制器接口要能接收状态、输出控制量，这样才能把Q-learning PID嵌进去。

搭建过程中最容易出错的是坐标系定义。AUV有惯性坐标系和机体坐标系，两者之间的转换矩阵如果搞错，仿真结果会完全不对。我的做法是先用一个简单的定深控制验证模型——给定目标深度，用传统PID跑一遍，看能不能稳定。如果能，说明模型基本正确；如果不能，先查模型再查控制器。

5.2 Q-learning PID控制器的代码实现

下面是一个简化的Q-learning PID控制器实现框架，用Python写，可以直接嵌入仿真循环：

import numpy as np class QLearningPID: def __init__(self, kp_init, ki_init, kd_init): self.kp = kp_init self.ki = ki_init self.kd = kd_init self.q_table = {} self.alpha = 0.2 self.gamma = 0.95 self.epsilon = 1.0 self.epsilon_min = 0.05 self.epsilon_decay = 0.995 self.actions = [-0.01, -0.005, 0, 0.005, 0.01] self.integral = 0 self.prev_error = 0 def discretize(self, error, error_rate): e_bins = np.linspace(-2, 2, 9) ec_bins = np.linspace(-1, 1, 7) e_idx = np.digitize(error, e_bins) ec_idx = np.digitize(error_rate, ec_bins) return (e_idx, ec_idx) def choose_action(self, state): if np.random.rand() < self.epsilon: return np.random.choice(len(self.actions)) q_values = [self.q_table.get((state, a), 0) for a in range(len(self.actions))] return int(np.argmax(q_values)) def update(self, state, action, reward, next_state): current_q = self.q_table.get((state, action), 0) next_max_q = max([self.q_table.get((next_state, a), 0) for a in range(len(self.actions))]) new_q = current_q + self.alpha * (reward + self.gamma * next_max_q - current_q) self.q_table[(state, action)] = new_q self.epsilon = max(self.epsilon_min, self.epsilon * self.epsilon_decay) def compute(self, target, current, dt): error = target - current error_rate = (error - self.prev_error) / dt self.integral += error * dt state = self.discretize(error, error_rate) action = self.choose_action(state) delta = self.actions[action] self.kp += delta self.ki += delta * 0.5 self.kd += delta * 0.2 self.kp = np.clip(self.kp, 0.1, 10) self.ki = np.clip(self.ki, 0, 5) self.kd = np.clip(self.kd, 0, 5) output = self.kp * error + self.ki * self.integral + self.kd * error_rate reward = -abs(error) - 0.1 * abs(output) self.prev_error = error return output, state, action, reward

这段代码的核心逻辑是：每个控制周期，先离散化状态，再选动作，然后更新PID参数，计算控制量，最后算奖励并更新Q表。实际使用时，需要把compute的返回值接到AUV动力学模型的输入端，形成闭环。

5.3 参数调试与收敛判断

仿真跑起来之后，第一件事是看Q表有没有在收敛。我的做法是记录每100步的平均奖励，如果平均奖励在上升并逐渐平稳，说明学习有效。如果奖励一直震荡或者下降，就要检查奖励函数和状态离散。

调参顺序一般是：先调学习率alpha，再调折扣因子gamma，最后调探索率衰减。alpha太大，Q表震荡；alpha太小，学习太慢。gamma接近1，控制器更看重长期回报；gamma小，更短视。探索率衰减太快，可能没探索够就固化了；衰减太慢，收敛时间长。

我踩过的一个坑是：一开始把状态分得太细，误差分了15档，误差变化率分了11档，结果Q表有165个状态，每个状态5个动作，总共825个Q值。仿真跑了5000步还没收敛。后来改成9档和7档，2000步左右就稳了。所以状态离散粒度是第一个要调的东西。

6. 常见问题与排查技巧实录

6.1 仿真与真机的差距怎么处理

仿真里跑得再好，上真机也可能翻车。主要差距来自三个方面：水动力系数不准、传感器噪声特性不同、执行器响应延迟。

我的做法是先在仿真里加噪声和延迟，让控制器适应不完美条件。然后在真机测试时，从最简单的定深控制开始，逐步增加难度。如果真机上震荡，先降低PID增益，再检查传感器滤波是否到位。

6.2 Q-learning不收敛的典型原因

Q-learning不收敛，最常见的原因有四个：奖励函数设计不合理、状态离散过细、学习率过大、探索率衰减过快。排查顺序建议从奖励函数开始，因为奖励是学习的信号源。如果奖励一直为负且没有区分度，控制器就学不到东西。

另一个容易被忽略的点是Q表初始化。如果所有Q值初始化为0，而奖励又都是负的，控制器会倾向于选择动作索引小的动作，导致探索不均衡。我的做法是把Q表初始化为小的随机值，打破对称性。

6.3 AUV控制中的执行器饱和与抗积分饱和

AUV的舵面和推进器都有物理限幅。如果PID输出超过限幅，执行器饱和，积分项会继续累积，导致退饱和时大幅超调。这就是积分饱和。

解决方法有两种：一是积分限幅，把积分项钳制在一定范围内；二是条件积分，只在误差较小时才累积积分。我在Q-learning PID里用的是积分限幅，简单有效。但要注意，限幅值需要根据执行器能力设定，太小会影响稳态精度，太大起不到防饱和作用。

6.4 常见问题速查表

提示：这张表是我自己项目里总结的，不一定覆盖所有情况，但能解决八成以上的常见问题。遇到新问题，先按“感知-决策-控制-执行”的顺序逐环节排查，比盲目调参高效得多。

7. 无人系统后续可以怎么扩展

无人系统的技术栈很深，一篇文章不可能讲完。如果要把这个项目继续做下去，我觉得有几个方向值得投入。

一是多AUV协同。单台AUV的能力有限，多台协同可以覆盖更大区域、提高任务冗余。但协同涉及编队控制、任务分配、水声通信组网，复杂度上一个台阶。

二是感知与控制的端到端学习。现在感知和控制还是分开做的，感知输出状态，控制根据状态算指令。端到端学习直接用传感器数据输出控制量，省去中间环节，但可解释性和安全性是问题。

三是能源管理优化。AUV的续航是硬约束，如果能根据任务剖面动态调整功耗，比如在巡航时降低采样率、在关键区域提高采样率，就能延长有效作业时间。

我个人在实际操作中的体会是，无人系统这个领域，理论很重要，但动手更重要。很多问题只有真正把平台跑起来才会暴露，仿真里永远遇不到。所以如果你刚开始做，建议先找一个成熟的仿真平台把基本流程跑通，然后尽快上真机，哪怕是最简单的平台。踩过的坑越多，理解越深。