多智能体强化学习：MADDPG算法原理与实践-育师

在传统的单智能体强化学习（RL）环境中，智能体通过与固定环境互动来学习最优策略。但当多个智能体同时存在时，环境会因其他智能体的行为而动态变化，这带来了三个核心难题：

环境非平稳性：每个智能体的策略都在持续更新，导致其他智能体感知的环境状态转移概率不断变化。用数学表达，对于智能体i，其状态转移函数P(s'|s,a_i)在单智能体场景中是固定的，但在多智能体场景中变为P(s'|s,a_i,a_-i)，其中a_-i表示其他智能体的联合动作。
信用分配问题：当多个智能体共同获得团队奖励时，难以确定每个个体的贡献程度。例如在足球比赛中，虽然进球得分是团队成果，但需要区分传球者、助攻者和射门者的各自贡献。
策略收敛困难：独立学习的智能体容易陷入"策略震荡"——当一个智能体改变策略时，其他智能体需要重新适应，形成恶性循环。这类似于金融市场中交易算法之间的相互影响。

经典案例：在简单的网格世界追逐游戏中，两个独立训练的DQN智能体追捕目标时，会出现"绕圈跑"现象——因为每个智能体都试图优化自己的即时奖励，而忽略了协作堵截的最优策略。

MADDPG（Multi-Agent Deep Deterministic Policy Gradient）采用"集中训练，分散执行"的范式，其创新点主要体现在：

集中式Critic设计：每个智能体的Q函数接收全局状态s和所有智能体的联合动作(a_1,...,a_N)作为输入，但在执行时仅需要本地观察o_i。这种设计在训练时提供全局信息，而在实际部署时保持分布式执行的可行性。
策略集成训练：在训练阶段，每个智能体不仅学习自己的策略，还维护其他智能体策略的估计版本。具体实现是通过经验回放池存储元组(s,o_1,...,o_N,a_1,...,a_N,r_1,...,r_N,s')，其中包含所有智能体的观察和动作。
参数共享机制：对于同质化智能体（如无人机群），可以采用共享的Actor-Critic网络参数，大幅降低训练复杂度。此时需要为每个智能体添加可区分的ID编码作为网络输入。

对于N个智能体，MADDPG的目标函数可表示为：

J(θ_i) = 𝔼[Q_i^π(s,a_1,...,a_N)|a_i=π_i(o_i)]

其中Q_i^π是智能体i的集中式动作价值函数，π={π_1,...,π_N}是所有智能体的策略集合。对应的梯度更新为：

∇θ_i J(θ_i) ≈ 𝔼[∇θ_i π_i(a_i|o_i) ∇a_i Q_i^π(s,a_1,...,a_N)|a_i=π_i(o_i)]

Critic的更新采用TD误差最小化：

L(φ_i) = 𝔼[(Q_i^π(s,a_1,...,a_N) - y)^2] y = r_i + γ Q_i^π'(s',π'_1(o'_1),...,π'_N(o'_N))

其中π'和Q'表示目标网络参数，通过软更新（τ通常取0.01）保持训练稳定性： θ'_i ← τθ_i + (1-τ)θ'_i

典型实现包含以下组件：

Actor网络：
- 输入层：智能体局部观察o_i（如LIDAR数据）
- 隐藏层：3层全连接（256-128-64单元）
- 输出层：动作空间维度（tanh激活）
- 批归一化层：加速训练收敛
Critic网络：
- 状态输入分支：全局状态s（如地图信息）
- 动作连接层：所有智能体动作的拼接
- 特征融合层：多层感知机输出Q值

实际编码建议：使用LayerNormalization替代BatchNorm，因为多智能体场景中batch内样本差异可能很大。

针对多智能体特点的特殊处理：

优先级采样：对包含重要交互事件的transition（如碰撞、合作成功）赋予更高采样概率。采用如下优先级计算：
p_i = |δ_i| + ε + c*N_i
其中δ_i是TD误差，N_i是该transition被采样次数，c是衰减系数。
轨迹切片存储：存储连续K步的transition片段（通常K=10），便于学习时序依赖。这在追捕任务中尤为重要，因为策略往往需要多步配合。
重要性加权：对不同智能体的experience进行非均匀采样，对表现较差的智能体给予更多训练机会。

基于PyTorch实现的典型配置：

梯度裁剪：对Critic网络的梯度进行L2范数限制（通常设1.0），防止因多个智能体耦合导致的梯度爆炸。
策略延迟更新：每更新Critic网络d次（d通常取2-5）才更新一次Actor网络，这在竞争性环境中尤为重要。
探索策略：采用自适应噪声方案：
- 初始阶段：高噪声鼓励探索（σ_init=0.5）
- 中期：按指数衰减（σ_decay=0.999）
- 后期：保持基础噪声（σ_min=0.05）
多阶段课程学习：
- 阶段1：固定其他智能体，训练单个智能体基础能力
- 阶段2：逐步增加活跃智能体数量
- 阶段3：全量智能体联合训练

通信延迟补偿：在分布式执行时，若存在通信延迟Δt，需要在策略网络中加入时间序列建模（如LSTM层）来预测其他智能体的状态。
异构智能体处理：当智能体能力不同时（如速度、传感范围差异），应在Critic输入中加入智能体类型编码。
可扩展性优化：对于大规模智能体群（N>50），可采用以下技术：
- 邻居注意力机制：只关注邻近智能体
- 参数共享分组：将智能体划分为多个同质组
- 层次化Critic：局部Q函数与全局Q函数结合