深度强化学习--组相对策略优化（GRPO）

1.概述

PPO 解决了强化学习中的一个关键挑战：如何在不破坏训练稳定性的情况下进行有意义的更新。GRPO 是 DeepSeek 开发，结合 PPO 的可靠性与自身的更高效率，并且用于 DeepSeek-Math 和 DeepSeek-R1 模型的训练。

2. GRPO的原理

GRPO 对 PPO的改进体现在两点：

① 将 KL 散度加入作为惩罚项。PPO 进行梯度更新的前提是建立在散度合适的基础上，所以增加这个惩罚项很容易理解。

② RPO 创造性的提出了组相对优势，简化了计算优势的方法。

3. 使用带裁剪近端策略优化进行倒立摆游戏，每次回报情况如下图。模型收敛很快，训练稳定性提高很多。

①训练过程中每条轨迹回报

②测试过程中每条轨迹回报

4. 总结：GRPO去掉了价值函数模型，减少了内存开销。GRPO直接将KL散度纳入损失函数，确保了训练稳定性。