《强化学习：原理与Python实现 》 —3.6　本章小结

3.6　本章小结

本章对动力已知的Markov决策过程进行迭代的策略评估和最优策略求解。严格意义上说，这些迭代算法都是求解Bellman方程的数值算法，而不是从数据中进行学习的机器学习算法。从下一章开始，我们将利用经验进行学习，进入机器学习的部分。

本章要点

策略评估是求解给定策略的价值。利用Banach不动点定理，可以用迭代的方法求解Bellman期望方程，得到价值估计。

对于给定的价值函数，可以进行策略改进。策略改进的一种方法是为每个状态选择动作。

策略迭代交替使用策略评估算法和策略改进算法求解给定环境的最优策略。

利用Banach不动点定理，可以用迭代的方法求解Bellman最优方程，得到最优价值估计。这就是价值迭代算法。可以用迭代得到的最优价值估计计算得到最优策略估计。

基于迭代的策略评估和最优价值估计都用到了动态规划方法和自益的思想。

传统动态规划的一次扫描需要对所有状态进行全面更新，这样会有不必要的计算。异步动态规划算法部分避免了这个缺陷。