《强化学习与最优控制》【学习笔记01】全书概览：值空间近似与策略空间近似

《强化学习与最优控制》Dimitri P. Bertsekas 著 · 前言与全书框架

这本书的作者 Bertsekas 是 MIT 麦卡菲工程教授、美国工程院院士，2018 年冯·诺依曼理论奖得主。他的动态规划教材是领域的经典，而这本书则是他将动态规划与强化学习统一起来的集大成之作。

一、这本书在讲什么？

一句话概括：用动态规划（DP）的数学框架来理解和组织强化学习（RL）中的近似方法。

书中开篇就点明了核心立场：

原则上，多阶段决策问题可以通过动态规划来求解。但对于许多实际问题，该方法进行数值求解是难以实现的。本书探讨的求解方法通过采用相关的近似，能够给出满足性能要求的次优策略。

所以这本书不是讲"精确求解"，而是讲如何近似。强化学习、近似动态规划、神经元动态规划——这三个名称在本书中指代同一件事。

二、两大近似框架

全书的所有方法都可以归入两大类，这是理解全书的主线：

1. 值空间近似（Approximation in Value Space）

核心思想：用某个近似函数 $\tilde{J}$ 来代替最优展望费用函数 $J^*$，然后基于 $\tilde{J}$ 做前瞻决策。

真实最优：  min_u [ g(x,u) + J*(f(x,u)) ]     ← J* 未知
近似最优：  min_u [ g(x,u) + J̃(f(x,u)) ]     ← 用 J̃ 代替 J*

• $\tilde{J}$ 可以通过策略前展、问题近似、参数化训练（神经网络）等方式获得
• 本书大部分内容（第 2、3、4、5、6 章的主体）都在讲值空间近似

2. 策略空间近似（Approximation in Policy Space）

核心思想：将注意力集中在某族参数化策略 $\{\mu(\cdot, r) \mid r \in \Re^m\}$ 上，通过优化参数 $r$ 来选取最佳策略。

在策略族中找最优：  min_r E[ J_{μ(·,r)}(x_0) ]

• 涵盖策略梯度方法、交叉熵方法、专家训练等
• 主要在第 3 章和第 5.7 节讨论

两者结合

学习心得：实践中，两种近似常常结合使用。先用值空间近似得到一个初始策略，再用策略空间近似微调。Bertsekas 在书中明确指出，值空间近似与值迭代/策略迭代的联系更紧密，而策略空间近似则更依赖于类梯度下降的优化机制。

三、全书的章节地图

第1章：精确动态规划（地基）
  ├── 1.1 确定性 DP：系统方程、费用函数、DP 算法
  ├── 1.2 随机 DP：随机扰动、策略、期望费用
  └── 1.3 实例：最短路径、TSP、部分可观察、自适应控制
      ↓
第2章：有限阶段强化学习（值空间近似入门）
  ├── 2.1 值空间近似：一步/多步前瞻、Q 因子
  ├── 2.2 策略前展：在线前展、MCTS、专家方法
  ├── 2.3 问题近似：确定性等价、聚集
  └── 2.5 模型预测控制（MPC）
      ↓
第3章：参数化近似（训练 $\tilde{J}$）
  ├── 3.1 近似架构：特征提取、增量梯度法
  ├── 3.2 神经网络训练：反向传播、正则化
  └── 3.5 策略空间近似
      ↓
第4章：无穷阶段动态规划（理论扩展）
  ├── 4.1 随机最短路径问题
  ├── 4.2 折扣问题：贝尔曼方程、压缩映射
  ├── 4.5 值迭代
  └── 4.6 策略迭代
      ↓
第5章：无穷阶段强化学习（核心算法）
  ├── 5.1 值空间近似的性能界
  ├── 5.2 拟合值迭代
  ├── 5.3 基于仿真的方法：SARSA、Q 学习、DQN
  ├── 5.4 投影方程方法：LSTD(λ)、LSPE(λ)、TD(λ)
  ├── 5.5 聚合方法
  └── 5.7 策略空间近似：策略梯度、交叉熵
      ↓
第6章：基于仿真的方法（实践层面）
  └── 状态聚集、特征聚集、神经网络聚集

四、本书的独特视角

与 Sutton & Barto 的《Reinforcement Learning: An Introduction》或赵世钰的《强化学习的数学原理》相比，Bertsekas 这本书有几个显著不同：

术语对应：Bertsekas 讲"费用"（cost）和"最小化"，其他书讲"奖励"（reward）和"最大化"。两者数学上完全等价（取负号即可），但视角不同。Bertsekas 来自控制论传统，控制论中天然讲"代价最小化"。

五、数学基础要求

Bertsekas 在前言中明确指出：

本书要求的数学基础相当有限：微积分、矩阵-向量代数的最基本应用，以及基本概率。

涉及大数定律和随机收敛的复杂数学论证被直观解释所取代。但作者强调：

最重要的原则是在使用自然语言时保持严谨。原因在于，由于省去了完整的数学论证和证明，精确的语言对于保持逻辑一致的叙述至关重要。

学习心得：这本书读起来比赵世钰的书更"友好"，因为它不追求严格证明，而是追求直觉理解。但不要因此低估它——Bertsekas 的直觉解释背后是几十年的研究功力，每一句话都经过精心选择。

六、一个值得深思的引言

书中引用了贝尔曼 1957 年的话：

“从目的论的角度来看，任何特定方程组的特定数值解都远不如理解解的性质重要。”
——理查德·贝尔曼

还有《纽约时报》关于 AlphaZero 的评论：

“关于机器学习令人诅形的一点是，这些算法无法阐述它们在思考什么。我们不知道它们为什么有效，所以我们不知道它们是否值得信赖。”

Bertsekas 对此的回应是：人类的洞察力只能在某种人类思维的结构中获得，而数学推理与算法模型似乎是实现这一目标的最合适的结构。

这也是这本书存在的意义——不是教你调超参数，而是帮你理解算法为什么能工作。

七、学习路线建议

下一篇笔记将从第 1 章开始，建立精确动态规划的数学框架。这是全书的地基——所有的近似方法都是对精确 DP 的某种近似。