《强化学习与最优控制》【学习笔记07】问题近似与模型预测控制

《强化学习与最优控制》第 2.3-2.5 节 · 问题近似与 MPC

问题近似是值空间近似的第二种途径：不改变求解方法（仍然是 DP），而是把原问题简化为一个更容易求解的近似问题。模型预测控制（MPC）是这种方法在连续空间确定性问题上的典型应用。

一、问题近似的核心思想

不是近似 $J^*$，而是近似原问题本身。

原问题 P     →  精确 DP  →  J*（不可行，状态太大）
近似问题 P̃  →  精确 DP  →  J̃*（可行，状态小）

用近似问题的最优费用 $J^*_{\tilde{P}}$ 作为 $\tilde{J}$，然后做一步前瞻：

$$\tilde{\mu}(x) = \arg\min_u \left[ g(x, u) + J^*_{\tilde{P}}(f(x, u)) \right]$$

与策略前展的区别：策略前展用一个次优策略的费用 $J_\mu$ 作为 $\tilde{J}$；问题近似用近似问题的最优费用 $J^*_{\tilde{P}}$ 作为 $\tilde{J}$。后者通常更精确，但需要求解近似问题的 DP。

二、确定性等价近似

最简单的问题近似：用期望代替随机变量。

原问题（随机）：

$$x_{k+1} = f(x_k, u_k, w_k), \quad w_k \sim P(\cdot | x_k, u_k)$$

近似问题（确定性）：

$$x_{k+1} = f(x_k, u_k, \bar{w}_k), \quad \bar{w}_k = \mathbb{E}[w_k]$$

何时有效？

• 线性二次型问题：确定性等价精确成立（最优策略不变）
• 一般问题：近似有效当随机扰动的影响"接近"其期望值的影响
• 何时失效：当问题对扰动的非线性响应很强时（如阈值效应、不连续函数）

学习心得：确定性等价是一种"天真但有效"的近似。它假设"平均情况就是典型情况"。在很多实际问题中，这个假设大体成立，但在极端事件重要的场景（如风险管理、罕见事件仿真）中会失效。

三、聚集近似

思想

将相似的状态合并为聚集状态，在聚集状态空间上做 DP。

原状态空间：  s1, s2, s3, s4, s5, s6, s7, s8  （8 个状态）
聚集后：      [s1,s2] [s3,s4] [s5,s6] [s7,s8]  （4 个聚集状态）

数学描述

• 聚集矩阵 $\Phi$：$n \times m$ 矩阵（$n$ 原状态数，$m$ 聚集状态数，$m \ll n$）
• 聚集状态费用：$\tilde{J} = \Phi \hat{J}$，其中 $\hat{J}$ 是 $m$ 维向量
• 在聚集空间上做 DP，然后通过 $\Phi$ 映射回原空间

聚集方式

聚集方法在第 5.5 节和第 6 章会详细讨论，包括基于仿真的聚集和包含神经网络的聚集。

四、模型预测控制（MPC）

MPC 是问题近似在连续空间确定性控制问题上的典型应用，也是工业控制中广泛使用的方法。

核心思想

在每个时刻 $k$：

1. 求解一个有限时域优化问题（从当前状态往前看 $\ell$ 步）
2. 只执行最优控制序列的第一个控制 $u_k^*$
3. 在下一时刻 $k+1$ 重复上述过程（滚动优化）

数学描述

在每个时刻 $k$，求解：

$$\min_{u_k, \ldots, u_{k+\ell-1}} \sum_{i=k}^{k+\ell-1} g_i(x_i, u_i) + \tilde{J}(x_{k+\ell})$$

约束：

$$x_{i+1} = f(x_i, u_i), \quad i = k, \ldots, k+\ell-1$$

加上其他约束（如控制约束、状态约束）。

只执行 $u_k^*$，然后滚动到 $k+1$。

MPC = 多步前瞻 + 问题近似

MPC 的值空间近似视角：
  - 前瞻步数：ℓ 步
  - J̃ 的来源：终端代价函数（如二次型终端代价）
  - 问题近似：用有限时域代替无穷时域
  - 在线执行：每次决策都重新优化

学习心得：MPC 的"滚动"特性是关键——每次只执行第一步，然后重新优化。这使得 MPC 能够应对扰动和模型误差：即使计划不完全准确，下一时刻会根据新状态重新规划。这就是"反馈控制"的精髓。

五、MPC 的约束处理

MPC 的一个重要优势是能自然处理约束：

• 状态约束：$x_k \in X$（如安全区域限制）
• 控制约束：$u_k \in U$（如执行器饱和）
• 终端约束：$x_{k+\ell} \in X_f$（如终端状态需在某区域内）

这些约束直接加入优化问题中，由约束优化求解器处理。

稳定性保证

通过选择合适的终端代价 $\tilde{J}$ 和终端约束集 $X_f$，可以保证 MPC 的闭环稳定性：

• $\tilde{J}$ 是终端约束集上的 Lyapunov 函数
• $X_f$ 是不变集（在 $X_f$ 内的控制使下一状态仍在 $X_f$ 内）

与最优控制的关系：MPC 可以看作最优控制理论在现代计算框架下的实现。它将"离线设计控制律"转变为"在线求解优化问题"，大大增加了灵活性。

六、MPC 的变体

1. 零终端代价（$\tilde{J} = 0$）

最简单的 MPC：只看 $\ell$ 步费用，不考虑终端代价。

• 优点：简单
• 缺点：可能短视，稳定性无保证

2. 无穷时域近似

用足够大的 $\ell$ 和好的 $\tilde{J}$ 来近似无穷时域最优控制。

• $\ell$ 越大越精确，但计算量越大
• $\tilde{J}$ 的选择影响稳定性

3. 随机 MPC

将确定性等价与 MPC 结合：用 $\mathbb{E}[w]$ 代替随机扰动。

更高级的版本：机会约束 MPC，约束以一定概率满足：

$$P(x_k \in X) \geq 1 - \epsilon$$

七、MPC vs 策略前展

选择建议：

• 连续控制 + 有约束 → MPC
• 离散决策 + 有好的基础策略 → 策略前展
• 博弈树搜索 → MCTS

八、问题近似在全书中的位置

值空间近似
├── 策略前展（第 2.2 节）← 上一篇
├── 问题近似（第 2.3 节）← 本篇
│   ├── 确定性等价
│   ├── 聚集
│   └── MPC（第 2.5 节）
└── 参数化近似（第 3 章）← 下一篇

下一篇将进入参数化近似——用神经网络等参数化函数来近似 $\tilde{J}$，这是现代深度强化学习的基础。