《强化学习与最优控制》【学习笔记03】随机动态规划：从确定性到随机性

《强化学习与最优控制》第 1.2 节 · 随机动态规划

确定性 DP 中，给定状态和控制，下一状态完全确定。现实中，环境往往有随机性——掷骰子、天气变化、市场需求波动。引入随机扰动后，DP 框架需要做两个关键调整。

一、随机系统方程

$$x_{k+1} = f_k(x_k, u_k, w_k), \quad k = 0, 1, \ldots, N-1$$

新增要素：

• $w_k$：随机扰动，服从概率分布 $P_k(\cdot \mid x_k, u_k)$
• 该分布可能显式依赖于 $x_k$ 和 $u_k$，但不受先前扰动 $w_{k-1}, \ldots, w_0$ 的影响（马尔可夫性质）
• 阶段费用也变为随机的：$g_k(x_k, u_k, w_k)$

与确定性的关键区别：在确定性系统中，$x_{k+1}$ 由 $x_k$ 和 $u_k$ 完全决定。在随机系统中，$x_{k+1}$ 还依赖于不可预测的 $w_k$。

二、从控制序列到策略——最本质的变化

这是随机 DP 引入的最重要概念变化：

确定性问题：优化控制序列

$$\min_{u_0, u_1, \ldots, u_{N-1}} J(x_0; u_0, \ldots, u_{N-1})$$

因为系统是确定的，一旦 $x_0$ 和 $\{u_k\}$ 给定，整条轨迹就确定了。所以可以直接优化一个开环控制序列。

随机问题：优化策略（闭环控制律）

$$\min_{\mu_0, \mu_1, \ldots, \mu_{N-1}} \mathbb{E}\left\{ J(x_0; \mu_0, \ldots, \mu_{N-1}) \right\}$$

其中 $\mu_k$ 是一个函数：$\mu_k: S_k \to U_k(x_k)$，将状态映射到控制。

为什么随机问题必须用策略而非控制序列？

因为 $w_k$ 是随机的，我们无法预先知道 $x_1$ 会是什么，所以无法预先决定 $u_1$。我们必须等到观察到 $x_1$ 之后再决定 $u_1 = \mu_1(x_1)$。这就是"闭环"（closed-loop）或"反馈"（feedback）控制的含义。

学习心得：这个区别是控制论的核心洞察之一。开环控制像"按剧本演戏"——不管发生什么，都按计划走。闭环控制像"即兴表演"——根据当前情况做出反应。在随机环境中，只有闭环控制才能达到最优。

三、期望费用

给定策略 $\{\mu_0, \ldots, \mu_{N-1}\}$ 和初始状态 $x_0$，总费用是随机的：

$$J(x_0; \mu_0, \ldots, \mu_{N-1}) = g_N(x_N) + \sum_{k=0}^{N-1} g_k(x_k, \mu_k(x_k), w_k)$$

其中 $x_{k+1} = f_k(x_k, \mu_k(x_k), w_k)$。

我们优化的是期望费用：

$$J_\pi(x_0) = \mathbb{E}\left\{ g_N(x_N) + \sum_{k=0}^{N-1} g_k(x_k, \mu_k(x_k), w_k) \right\}$$

期望是关于所有随机扰动 $w_0, w_1, \ldots, w_{N-1}$ 的联合分布取的。

四、随机 DP 算法

形式与确定性 DP 非常相似，只是多了期望运算：

终止条件：

$$J_N^*(x_N) = g_N(x_N)$$

递归方程：

$$J_k^*(x_k) = \min_{u_k \in U_k(x_k)} \mathbb{E}_{w_k} \left\{ g_k(x_k, u_k, w_k) + J_{k+1}^*\big(f_k(x_k, u_k, w_k)\big) \right\}$$

对比确定性版本：

关键观察：DP 算法的结构完全相同！唯一的区别是在递归方程中多了一个期望 $\mathbb{E}_{w_k}$。这意味着所有后续的近似方法（值空间近似、策略前展等）可以统一地适用于确定性和随机两种情况。

五、Q 因子的随机版本

$$Q_k^*(x_k, u_k) = \mathbb{E}_{w_k} \left\{ g_k(x_k, u_k, w_k) + J_{k+1}^*\big(f_k(x_k, u_k, w_k)\big) \right\}$$

$$J_k^*(x_k) = \min_{u_k \in U_k(x_k)} Q_k^*(x_k, u_k)$$

Q 因子版本的递归：

$$Q_k^*(x_k, u_k) = \mathbb{E}_{w_k} \left\{ g_k(x_k, u_k, w_k) + \min_{u_{k+1}} Q_{k+1}^*\big(f_k(x_k, u_k, w_k), u_{k+1}\big) \right\}$$

学习心得：注意 Q 因子中包含了期望运算。在精确 DP 中，我们假设知道 $P_k(\cdot \mid x_k, u_k)$ 所以可以精确计算期望。但在强化学习中，我们通常不知道这个分布——这就是为什么需要基于仿真的方法（第 5、6 章），用采样来近似期望。

六、条件期望与嵌套结构

随机 DP 的费用可以写成嵌套期望的形式：

$$J^*(x_0) = \min_{\mu_0} \mathbb{E}_{w_0} \left\{ g_0 + \min_{\mu_1} \mathbb{E}_{w_1} \left\{ g_1 + \cdots \min_{\mu_{N-1}} \mathbb{E}_{w_{N-1}} \left\{ g_{N-1} + g_N \right\} \right\} \right\}$$

这种嵌套结构是 DP 的本质——每一步的最优化只涉及当前一步的期望，而不是整个轨迹的联合期望。这使得计算可以分解。

七、一个直观的例子

考虑一个简化的库存管理问题：

• $x_k$：第 $k$ 天的库存量
• $u_k$：第 $k$ 天的订购量
• $w_k$：第 $k$ 天的需求量（随机）
• 系统方程：$x_{k+1} = x_k + u_k - w_k$
• 费用：$g_k = \text{订购费} + \text{持有费} + \text{缺货费}$

DP 递归：

$$J_k^*(x_k) = \min_{u_k \geq 0} \mathbb{E}_{w_k} \left\{ c \cdot u_k + h \cdot \max(x_k + u_k - w_k, 0) + p \cdot \max(w_k - x_k - u_k, 0) + J_{k+1}^*(x_k + u_k - w_k) \right\}$$

这里 $c$ 是单位订购费，$h$ 是单位持有费，$p$ 是单位缺货费。

策略 $\mu_k^*(x_k)$ 的含义是：看到当前库存 $x_k$ 后，决定订购多少。这就是闭环控制——你不会在月初就决定每天订多少，而是每天根据实际库存来决定。

八、从随机 DP 到强化学习

随机 DP 假设我们知道 $P_k(\cdot \mid x_k, u_k)$。强化学习放松了这个假设：

强化学习通过与环境交互来收集样本 $(x_k, u_k, x_{k+1}, g_k)$，用这些样本代替对模型的精确知识。

下一篇将通过一系列实例——最短路径、TSP、部分可观察问题、自适应控制——来展示 DP 框架的普适性。