《强化学习与最优控制》【学习笔记08】参数化近似与神经网络训练

《强化学习与最优控制》第 3 章 · 参数化近似

策略前展和问题近似都是"每次决策时计算 $\tilde{J}$"。参数化近似走了一条不同的路：预先训练一个参数化函数（如神经网络）来近似 $\tilde{J}$，运行时只需前向计算。这是现代深度强化学习的基础。

一、近似架构

基本形式

$$\tilde{J}_k(x_k, r) = \phi_k(x_k, r)$$

• $r = (r_1, \ldots, r_m)$：可调参数向量（权重）
• $\phi_k$：近似架构（approximation architecture）
• 通过调整 $r$ 来改变 $\tilde{J}$ 的形状，使其接近 $J^*$

常见架构

二、基于特征的线性架构

特征提取

将状态 $x$ 映射为特征向量 $\phi(x) = (\phi_1(x), \ldots, \phi_m(x))'$，然后：

$$\tilde{J}(x, r) = \phi(x)' r = \sum_{i=1}^{m} r_i \phi_i(x)$$

特征的选择

特征的选择至关重要——它决定了近似能力。

学习心得：线性架构虽然简单，但在很多问题上效果出奇地好。关键是选好特征。在传统 RL 中（如 TD-Gammon），人工设计的特征 + 线性架构就能达到世界冠军水平。深度学习的优势在于自动学习特征，省去了人工设计的工作。

三、训练方法——最小二乘拟合

基本思路

给定训练集 $\{(x_s, \beta_s)\}_{s=1}^{q}$（状态-费用对），最小化拟合误差：

$$r^* = \arg\min_r \sum_{s=1}^{q} (\phi(x_s)' r - \beta_s)^2$$

训练集从哪来？

• 策略前展：用基础策略模拟，收集 $(x, J_\mu(x))$ 对
• DP 迭代：用近似 DP 迭代生成 $(x, (T\tilde{J})(x))$ 对
• 采样：与环境交互，收集 $(x, \text{cost})$ 对

拟合值迭代（Fitted Value Iteration）

1. 初始化 J̃₀
2. 重复：
   a. 采样一批状态 {x_s}
   b. 对每个 x_s，计算目标值 β_s = (TJ̃_k)(x_s)  ← DP 一步
   c. 最小二乘拟合：r_{k+1} = argmin Σ (φ(x_s)'r - β_s)²
   d. J̃_{k+1}(x) = φ(x)'r_{k+1}
3. 直到收敛

关键问题：拟合值迭代的收敛性不保证！近似误差可能在迭代中累积。这是第 5 章的重要主题。

四、增量梯度法

当训练集很大时，批量最小二乘的计算成本高。增量梯度法（Incremental Gradient Method）每次只用一个样本更新：

批量梯度

$$r_{k+1} = r_k - \alpha \nabla \sum_{s=1}^{q} (\phi(x_s)' r_k - \beta_s)^2$$

增量梯度

每次随机选一个样本 $s_k$：

$$r_{k+1} = r_k - \alpha \nabla (\phi(x_{s_k})' r_k - \beta_{s_k})^2$$

$$= r_k - 2\alpha (\phi(x_{s_k})' r_k - \beta_{s_k}) \phi(x_{s_k})$$

增量方法的优势

Bertsekas 给出了一个精妙的直觉解释：

当远离最优解时，增量方法一步的进展大约是批量方法的 $1/m$，但计算量也是 $1/m$。所以单位计算量的进展大致相同。但当接近最优解时，增量方法可以更快地"扫描"所有样本，找到更好的方向。

与随机梯度下降（SGD）的关系：增量梯度法就是 SGD 的另一种称呼。当 $q$ 很大时（如深度学习中的百万级样本），增量方法是唯一可行的选择。

五、神经网络训练

架构

$$\tilde{J}(x, r) = \text{NN}(x; r)$$

其中 NN 是多层非线性变换：

$$h_1 = \sigma(W_1 x + b_1), \quad h_2 = \sigma(W_2 h_1 + b_2), \quad \ldots, \quad \tilde{J} = W_L h_{L-1} + b_L$$

• $r = (W_1, b_1, \ldots, W_L, b_L)$：所有权重和偏置
• $\sigma$：非线性激活函数（如 ReLU、tanh）

训练问题

$$r^* = \arg\min_r \sum_{s=1}^{q} (\text{NN}(x_s; r) - \beta_s)^2 + \text{正则项}$$

特殊挑战

1. 非凸：神经网络的费用函数是非凸的，只能找到局部最优
2. 梯度爆炸/消失：深层网络的梯度可能指数级增长或衰减
3. 过拟合：参数数量可能超过训练样本数

正则化

添加正则项防止过拟合：

$$\sum_{s=1}^{q} (\text{NN}(x_s; r) - \beta_s)^2 + \lambda \|r\|^2$$

学习心得：Bertsekas 特别指出，神经网络训练中添加正则函数的原因与一般优化不同——不是为了使问题更容易求解，而是为了避免过拟合。当参数数量与训练集规模相当甚至更大时，模型可以完美拟合训练数据，但对新数据泛化能力差。

六、反向传播 = 增量梯度法

Bertsekas 明确指出：

增量梯度法被广泛用于神经网络的训练中。在此情况下，它被称为反向传播法（backpropagation methods）。

反向传播本质上是链式法则 + 增量梯度：

1. 前向传播：计算网络输出和损失
2. 反向传播：用链式法则计算每个参数的梯度
3. 参数更新：用增量梯度更新参数

前向：x → h₁ → h₂ → ... → J̃ → Loss
反向：Loss → ∂Loss/∂J̃ → ∂Loss/∂W_L → ... → ∂Loss/∂W₁
更新：W_i ← W_i - α · ∂Loss/∂W_i

七、策略空间近似

参数化近似不仅可用于值空间，也可用于策略空间：

$$\tilde{\mu}(x, r) = \text{策略网络}(x; r)$$

训练方式

分类架构

对于离散控制空间，可以用分类架构：

$$P(u = u_j | x, r) = \frac{e^{z_j(x, r)}}{\sum_l e^{z_l(x, r)}}$$

网络输出每个控制的概率（softmax），训练时用交叉熵损失。

学习心得：策略空间近似与值空间近似是两种不同的哲学。值空间近似先学"好坏"（费用函数），再据此决策。策略空间近似直接学"怎么做"（策略）。前者样本效率高（off-policy 可回放），后者更灵活（支持连续控制、随机策略）。

八、本章在全书中的位置

获取 J̃ 的三种途径
├── 策略前展（第 2.2 节）     ← 每次实时模拟
├── 问题近似（第 2.3 节）     ← 求解简化问题
└── 参数化近似（第 3 章）     ← 预先训练
    ├── 线性特征架构
    ├── 神经网络
    ├── 训练方法
    │   ├── 最小二乘拟合
    │   ├── 增量梯度法（SGD）
    │   └── 反向传播
    └── 策略空间近似

下一篇将进入第 4 章——无穷阶段动态规划。有限阶段 DP 是地基，但很多实际问题（如持续控制、持续学习）需要无穷阶段模型，这会带来新的数学挑战。