《强化学习与最优控制》【学习笔记10】无穷阶段强化学习：拟合值迭代与 Q 学习

《强化学习与最优控制》第 5.1-5.3 节 · 无穷阶段强化学习

第 4 章建立了无穷阶段 DP 的精确算法（值迭代、策略迭代）。现在放松"精确"和"已知模型"两个假设，进入强化学习的核心：拟合值迭代、Q 学习、DQN。

一、值空间近似的性能界

设定

折扣问题，$\tilde{J}$ 是 $J^*$ 的近似，一步前瞻策略：

$$\tilde{\mu}(i) = \arg\min_u \sum_j p_{ij}(u) [g(i, u, j) + \alpha \tilde{J}(j)]$$

误差界

如果 $\|\tilde{J} - J^*\|_\infty \leq \delta$，则：

$$\|J_{\tilde{\mu}} - J^*\|_\infty \leq \frac{2\alpha \delta}{1 - \alpha}$$

解读：

• 近似误差 $\delta$ 被放大 $\frac{2\alpha}{1-\alpha}$ 倍
• $\alpha$ 越接近 1，放大越严重（远期影响大）
• $\alpha = 0.9$ 时放大 18 倍；$\alpha = 0.99$ 时放大 198 倍
• 这解释了为什么高折扣因子下 RL 更难

二、拟合值迭代（Fitted Value Iteration）

算法

1. 初始化 J̃₀（如零函数）
2. 重复 k = 0, 1, 2, ...
   a. 采样一批状态 {i_s}
   b. 对每个 i_s，计算目标值：
      β_s = min_u Σ_j p_{i_s j}(u) [g(i_s, u, j) + α J̃_k(j)]
      （或用采样近似：β_s ≈ g + α J̃_k(j')，j' ~ p(·|i_s, u)）
   c. 最小二乘拟合：r_{k+1} = argmin Σ (φ(i_s)'r - β_s)²
   d. J̃_{k+1}(i) = φ(i)'r_{k+1}
3. 直到收敛

收敛性问题

拟合值迭代不一定收敛！

Bertsekas 给出了一个反例（源自 [TVR96b]）：近似误差可能在迭代中累积，使 $\tilde{J}_k$ 变成无界的。

误差界（有条件）

如果每步的近似误差有界：

$$\|(T\tilde{J}_k) - \tilde{J}_{k+1}\|_\infty \leq \epsilon, \quad \forall k$$

则：

$$\limsup_{k \to \infty} \|\tilde{J}_k - J^*\|_\infty \leq \frac{\epsilon}{1 - \alpha}$$

学习心得：这个误差界很直观——每步引入误差 $\epsilon$，经过无穷步累积，总误差为 $\frac{\epsilon}{1-\alpha}$（几何级数求和）。关键问题是如何保证每步近似误差有界，这取决于近似架构和采样策略。

三、Q 学习

动机

拟合值迭代需要知道 $p_{ij}(u)$ 来计算 $\sum_j p_{ij}(u)[\cdots]$。Q 学习直接近似 Q 因子，不需要模型。

Q 因子的贝尔曼方程

$$Q^*(i, u) = \sum_j p_{ij}(u) \left[ g(i, u, j) + \alpha \min_{u'} Q^*(j, u') \right]$$

Q 学习算法

每次观察一个转移 $(i, u, j, g)$：

$$Q(i, u) \leftarrow Q(i, u) + \gamma \left[ g + \alpha \min_{u'} Q(j, u') - Q(i, u) \right]$$

• $\gamma$：学习率（步长）
• 不需要 $p_{ij}(u)$——用单次采样 $(i, u, j, g)$ 代替期望
• 目标值：$g + \alpha \min_{u'} Q(j, u')$（即时费用 + 折扣后的最优 Q）

收敛条件

Q 学习收敛需要：

1. 每个状态-控制对被访问无穷多次（充分探索）
2. 学习率 $\gamma$ 满足 Robbins-Monro 条件：$\sum \gamma_k = \infty$，$\sum \gamma_k^2 < \infty$

学习心得：Q 学习是 off-policy 方法——更新 Q 因子时用 $\min_{u'} Q(j, u')$（最优策略的 Q），而不是当前正在执行的策略的 Q。这使得 Q 学习可以从任意策略产生的数据中学习最优策略。但这也带来了"致命三要素"问题（见下文）。

四、SARSA

与 Q 学习的区别

SARSA（State-Action-Reward-State-Action）是 on-policy 版本：

$$Q(i, u) \leftarrow Q(i, u) + \gamma \left[ g + \alpha Q(j, u') - Q(i, u) \right]$$

• $u'$：实际执行的下一个控制（由当前策略选择）
• Q 学习用 $\min_{u'} Q(j, u')$（最优控制）
• SARSA 用 $Q(j, u')$（实际控制）

五、Q 因子近似 + Q 学习 = DQN

当状态空间很大时，用参数化架构近似 Q 因子：

$$\tilde{Q}(i, u, r) \approx Q^*(i, u)$$

DQN（深度 Q 网络）

DeepMind 提出的 DQN 是 Q 学习 + 神经网络近似的组合：

1. 用神经网络 Q̃(i, u; r) 近似 Q 因子
2. 与环境交互，存储转移 (i, u, j, g) 到经验回放缓冲区
3. 从缓冲区随机采样一批转移
4. 计算目标值：y = g + α min_u' Q̃(j, u'; r⁻)  ← 用目标网络 r⁻
5. 最小化损失：L = Σ (Q̃(i, u; r) - y)²
6. 用梯度下降更新 r
7. 定期更新目标网络：r⁻ ← r

两个关键技巧

1. 经验回放（Experience Replay）：存储转移到缓冲区，随机采样训练

   • 打破数据间的相关性
   • 提高数据利用率（一条转移可多次使用）

2. 目标网络（Target Network）：用延迟更新的网络计算目标值

   • 稳定训练（避免目标值随参数同步变化）
   • 定期更新（如每 1000 步）

学习心得：DQN 的两个技巧解决的是同一个问题的不同方面——神经网络函数近似 + Q 学习的 off-policy 特性 + 自举（bootstrapping）三者结合，导致训练不稳定。经验回放减少相关性，目标网络减少目标值的变化。但即使如此，DQN 的收敛性仍然没有理论保证。

六、致命三要素（Deadly Triad）

Bertsekas 在书中讨论了函数近似 + 自举 + off-policy 三者结合的危险性：

三者同时出现 → 可能不收敛

• Q 学习：自举 + off-policy → 表格型可收敛，函数近似不可保证
• SARSA：自举 + on-policy → 函数近似通常可收敛
• DQN：三者全有 → 不收敛保证，靠经验回放和目标网络缓解

这是 RL 理论中最重要的负面结果之一。它解释了为什么 DQN 训练经常不稳定，为什么 on-policy 方法（如 PPO）在实践中更稳定。

七、乐观策略迭代

Bertsekas 还讨论了乐观（optimistic）版本的策略迭代：

• 标准策略迭代：完整求解策略评价（精确解 $J_\mu$）
• 乐观策略迭代：只做几步值迭代来近似策略评价

标准：  策略评价 → 精确解 J_μ → 策略改进
乐观：  策略评价 → 几步值迭代 → 策略改进

乐观策略迭代在计算上更高效（不需要精确解方程组），且在适当条件下收敛。

八、探索-利用困境

所有无模型方法都面临探索问题：

• 利用（Exploitation）：用当前最优策略，最大化短期收益
• 探索（Exploration）：尝试非最优动作，发现可能更好的策略

常见策略

Q 学习收敛要求每个状态-控制对被访问无穷多次，这要求探索不衰减。实践中 $\epsilon$ 通常从 1.0 衰减到 0.01-0.1。

九、本节方法全景

无穷阶段 RL（值空间近似）
├── 拟合值迭代（5.2 节）
│   └── 已知模型 + 函数近似
├── Q 学习（5.3 节）
│   ├── 表格型 Q 学习（无模型 + 无近似 → 收敛）
│   └── DQN（无模型 + 神经网络 → 无收敛保证）
├── SARSA（5.3 节）
│   └── On-policy + 函数近似 → 通常稳定
├── 投影方程方法（5.4 节）← 下一篇
│   ├── LSTD(λ)
│   ├── LSPE(λ)
│   └── TD(λ)
└── 聚合方法（5.5 节）

下一篇将讨论投影方程方法——Bertsekas 对 TD(λ) 等方法的统一数学处理。