《强化学习：原理与Python实现 》 —3.5.2　有模型策略迭代求解

3.5.2　有模型策略迭代求解

本节实现策略评估、策略提升和策略迭代。

首先来看策略评估。代码清单3-3给出了策略评估的代码。代码清单3-3首先定义了函数v2q()，这个函数可以根据状态价值函数计算含有某个状态的动作价值函数。利用这个函数，evaluate_policy() 函数迭代计算了给定策略policy的状态价值。这个函数使用theta作为精度控制的参数。代码清单3-4测试了evaluate_policy() 函数。它首先求得了随机策略的状态价值函数，然后用函数v2q() 求得动作价值函数。

代码清单3-3　策略评估的实现

代码清单3-4　对随机策略进行策略评估

接下来看看策略改进。代码清单3-5的improve_policy() 函数实现了策略改进算法。输入的策略是policy，改进后的策略直接覆盖原有的policy。该函数返回一个bool类型的值，表示输入的策略是不是最优策略。代码清单3-6测试了improve_policy() 函数，它对随机策略进行改进，得到了一个确定性策略。

代码清单3-5　策略改进的实现

代码清单3-6　对随机策略进行策略改进

实现了策略评估和策略改进后，我们就可以实现策略迭代。代码清单3-7的iterate_policy() 函数实现了策略迭代算法。代码清单3-8对iterate_policy() 进行测试。针对冰面滑行问题，该代码求得了最优策略，并进行了测试。

代码清单3-7　策略迭代的实现

代码清单3-8　利用策略迭代求解最优策略