《强化学习与最优控制》【学习笔记13】部分可观察、预报与多智能体扩展

《强化学习与最优控制》第 1.4-1.5 节 & 附录 · 部分可观察与扩展主题

主体内容聚焦"完全可观察"的标准 DP/RL 框架。但现实问题往往更复杂：状态不完全可观察、需要预报未来、有多个决策者。本篇梳理这些扩展主题。

一、部分可观察问题（POMDP）

完全可观察 vs 部分可观察

信念状态

部分可观察问题的核心工具：信念状态（belief state）。

$$b_k(x) = P(x_k = x | z_0, u_0, z_1, u_1, \ldots, z_k)$$

• $b_k$：给定所有历史观测和控制后，当前状态的概率分布
• 信念状态是充分统计量：最优决策只需 $b_k$，不需要完整历史
• 信念状态的更新（贝叶斯滤波）：

$$b_{k+1}(x') = \frac{O(z_{k+1} | x') \sum_x T(x' | x, u_k) b_k(x)}{\sum_{x'} O(z_{k+1} | x') \sum_x T(x' | x, u_k) b_k(x)}$$

POMDP → MDP

有了信念状态，POMDP 转化为连续状态空间的 MDP：

• 状态：信念 $b$（连续概率分布）
• 转移：贝叶斯滤波
• 费用：$\bar{g}(b, u) = \sum_x b(x) g(x, u)$

学习心得：POMDP 的优美之处在于"降维"——把无限的历史空间压缩为有限的信念状态。但代价是信念状态是连续的（概率分布），所以 POMDP 通常需要值空间近似来处理连续信念空间。

二、预报（Forecasting）

动机

很多问题中，系统动态受外部随机过程影响（如需求、天气、市场价格）。如果能够预报这些外部过程，就能做出更好的决策。

结构

外部过程 w_k（如需求）
     ↓
系统动态 x_{k+1} = f(x_k, u_k, w_k)
     ↓
费用 g(x_k, u_k, w_k)

带预报的 DP

如果 $w_k$ 可预报，将预报信息纳入状态：

$$\hat{x}_k = (x_k, \text{forecast}_k)$$

在增广状态 $\hat{x}_k$ 上做 DP。

预报的价值

• 完美预报：等价于确定性问题（$w_k$ 已知）
• 无预报：标准随机 DP（对 $w_k$ 取期望）
• 不完美预报：预报减少不确定性，但不完全消除

实际意义：在供应链管理中，需求预报是核心。好的需求预报可以显著降低库存费用。Bertsekas 指出，预报的精度和决策的频率共同决定了预报的价值——高频决策可以更快地响应预报误差。

三、多智能体扩展

博弈论视角

当多个决策者同时优化时，问题从"优化"变为"博弈"：

多智能体 RL

自我博弈（Self-Play）

AlphaGo/AlphaZero 的核心方法：

1. 初始化策略 π₀
2. 用 π_k 与自己博弈，生成数据
3. 用数据训练 π_{k+1}（MCTS + 神经网络）
4. 重复

学习心得：自我博弈是一种巧妙的"无监督"学习方式——不需要人类专家数据，agent 通过与自己的历史版本博弈不断提升。但自我博弈可能"过拟合"到自己的弱点（利用自己的漏洞而非真正变强），需要适当的对手采样策略。

四、鲁棒动态规划

动机

当模型不确定时，最优策略可能对模型误差敏感。鲁棒 DP 考虑最坏情况：

$$J^*(x) = \min_u \max_{p \in \mathcal{P}} \mathbb{E}_p [g + \alpha J^*(x')]$$

• $\mathcal{P}$：可能的转移概率集合（不确定性集合）
• 对抗者选择最坏的 $p$，决策者选择最好的 $u$

与标准 DP 的区别

五、风险敏感控制

指数效用

$$J_\mu = \mathbb{E}\left[ \exp\left(\gamma \sum_k g_k\right) \right]$$

• $\gamma > 0$：风险敏感参数
• $\gamma \to 0$：退化为风险中性（标准期望费用）
• $\gamma > 0$：风险厌恶（高费用结果被放大）

动态规划

风险敏感问题有类似的贝尔曼方程，但费用函数通过指数变换修改。这提供了在"期望最优"和"最坏情况最优"之间的连续插值。

六、近似动态规划的实施要点

1. 特征工程

2. 采样策略

• 均匀采样：简单但可能浪费在不重要的状态上
• 按策略采样：沿着当前策略的轨迹采样，集中在常去的状态
• 探索性采样：加入随机探索，覆盖更多状态

3. 训练稳定性技巧

七、全书方法谱系图

强化学习与最优控制
│
├── 精确动态规划（第 1 章）
│   ├── 确定性 DP
│   ├── 随机 DP
│   └── 应用：最短路径、库存、POMDP
│
├── 值空间近似（第 2-3 章、第 5 章）
│   ├── 策略前展（第 2.2 节）
│   │   ├── 在线前展
│   │   ├── MCTS
│   │   └── 专家前展
│   ├── 问题近似（第 2.3 节）
│   │   ├── 确定性等价
│   │   ├── 聚集
│   │   └── MPC
│   ├── 参数化近似（第 3 章）
│   │   ├── 线性特征
│   │   └── 神经网络
│   └── 无穷阶段 RL（第 5 章）
│       ├── 拟合值迭代
│       ├── Q 学习 / DQN
│       ├── SARSA
│       ├── 投影方程 / TD(λ) / LSTD(λ)
│       └── 聚集方法
│
├── 策略空间近似（第 4 章）
│   ├── 策略梯度 / REINFORCE
│   ├── 执行-评论家 / A2C / A3C
│   ├── PPO
│   └── DDPG
│
└── 扩展主题
    ├── 部分可观察（POMDP）
    ├── 预报
    ├── 多智能体 / 博弈
    ├── 鲁棒 DP
    └── 风险敏感控制

下一篇将是学习路线图与读书总结——如何从这些笔记出发，规划后续的 RL 学习和实践。