PPO算法（整理）

从TRPO到PPO：更简洁高效的强化学习算法

在强化学习领域，TRPO（置信域策略优化）算法凭借其理论上的性能单调性保证，在诸多场景中取得了出色的应用效果。然而，它也存在一个明显的短板：计算过程复杂，每一步更新的运算量都非常大，这在一定程度上限制了它的广泛应用。

为了解决这一问题，TRPO的改进版——PPO（近端策略优化）算法在2017年应运而生。PPO的核心思想继承自TRPO，但在算法实现上进行了大幅简化，使其更易于工程化。大量实验结果表明，与TRPO相比，PPO不仅能学习到性能相当甚至更优的策略，而且训练速度更快。这种“性能不减、效率更高”的特性，让PPO迅速成为目前最主流、最流行的强化学习算法之一。如今，当我们想在一个新的环境中尝试强化学习算法时，PPO往往是首选的“开箱即用”方案。

核心思想：继承与简化

我们先来回顾一下TRPO的优化目标，它是PPO的理论基础：

max⁡θEs∼ρπθk,a∼πθk(s)[πθ(a∣s)πθk(a∣s)A^πθk(s,a)] \max_{\theta} \quad \mathbb{E}_{s \sim \rho_{\pi_{\theta_k}}, a \sim \pi_{\theta_k}(s)} \left[ \frac{\pi_\theta(a|s)}{\pi_{\theta_k}(a|s)} \hat{A}^{\pi_{\theta_k}}(s,a) \right]θmax​Es∼ρπθk