《强化学习的数学原理》【学习笔记12】附录 B：测度概率论——更严格的基础

《强化学习的数学原理》赵世钰 著 · 附录 B

附录 A 复习了"够用"的概率论，但有些结论的严格证明需要测度论。这个附录给出了测度概率论的核心框架，是全书数学最严格的部分。

一、为什么需要测度论？

初等概率论有两个问题：

1. 连续和离散的统一：PMF 用求和，PDF 用积分，两套公式。测度论用积分统一两者。
2. 不可测集：不是所有子集都能定义概率（如 [0,1] 上的 Vitali 集）。需要 σ-代数来限定"可测"的范围。

对 RL 学习者的意义：大多数 RL 工作不需要测度论。但在以下场景需要：

• 证明策略梯度定理的严格版本（连续状态/动作空间）
• 分析随机过程的收敛性
• 处理无穷维状态空间

二、σ-代数

定义

集合 $\mathcal{F}$ 是 $\Omega$ 上的 σ-代数，如果：

1. $\Omega \in \mathcal{F}$
2. $A \in \mathcal{F} \implies A^c \in \mathcal{F}$（对补集封闭）
3. $A_1, A_2, \ldots \in \mathcal{F} \implies \bigcup_{i=1}^{\infty} A_i \in \mathcal{F}$（对可数并封闭）

Borel σ-代数

$\mathbb{R}$ 上最常用的 σ-代数是 Borel σ-代数 $\mathcal{B}(\mathbb{R})$，由所有开集生成。

直觉：σ-代数是"我们能测量的事件的集合"。要求对可数并和补集封闭，是为了极限操作有意义——RL 中的收敛性证明需要取极限，极限就是可数交/并。

三、测度与概率测度

测度

$\mu: \mathcal{F} \to [0, \infty]$，满足可数可加性：

$$\mu\left(\bigcup_{i=1}^{\infty} A_i\right) = \sum_{i=1}^{\infty} \mu(A_i), \quad \text{当 } A_i \text{ 互不相交}$$

概率测度

满足 $\mu(\Omega) = 1$ 的测度就是概率测度 $P$。

四、可测函数与随机变量

可测函数

$f: (\Omega, \mathcal{F}) \to (\mathbb{R}, \mathcal{B}(\mathbb{R}))$ 可测，如果：

$$f^{-1}(B) \in \mathcal{F}, \quad \forall B \in \mathcal{B}(\mathbb{R})$$

即：实数轴上任何 Borel 集的原像都是可测事件。

随机变量 = 可测函数

随机变量就是从概率空间到实数的可测函数。"可测"保证了 $\{X \leq x\}$ 是可测事件，可以定义概率。

五、Lebesgue 积分

动机

Riemann 积分对某些函数不适用（如 Dirichlet 函数）。Lebesgue 积分更一般。

核心区别

关键收敛定理

单调收敛定理：$0 \leq f_n \uparrow f \implies \int f_n \uparrow \int f$

控制收敛定理：$f_n \to f$, $|f_n| \leq g$, $\int g < \infty \implies \int f_n \to \int f$

在 RL 中的应用：这些定理允许我们在推导中交换求和/积分与极限。例如，从有限时域推广到无穷时域（$\sum_{t=0}^{T} \to \sum_{t=0}^{\infty}$）时，需要控制收敛定理来保证交换合法。

六、Radon-Nikodym 定理

定理

如果 $\mu \ll \nu$（$\mu$ 关于 $\nu$ 绝对连续），则存在密度函数 $f$ 使得：

$$\mu(A) = \int_A f \, d\nu$$

$f = \frac{d\mu}{d\nu}$ 称为 Radon-Nikodym 导数。

在概率论中的意义

概率分布 $P$ 关于 Lebesgue 测度 $\lambda$ 绝对连续时，$f = \frac{dP}{d\lambda}$ 就是概率密度函数（PDF）。

在 RL 中的应用：策略梯度定理中，不同策略诱导的状态分布不同。Radon-Nikodym 导数给出了分布之间的密度比——这就是重要性采样的数学基础。

七、条件期望的测度论定义

定义

$\mathbb{E}[X | \mathcal{G}]$ 是关于 $\mathcal{G}$ 可测的随机变量，满足：

$$\int_A \mathbb{E}[X | \mathcal{G}] \, dP = \int_A X \, dP, \quad \forall A \in \mathcal{G}$$

迭代期望律的测度论版本

$$\mathcal{G}_1 \subseteq \mathcal{G}_2 \implies \mathbb{E}[\mathbb{E}[X | \mathcal{G}_2] | \mathcal{G}_1] = \mathbb{E}[X | \mathcal{G}_1]$$

直觉：$\mathcal{G}$ 代表"信息"。$\mathbb{E}[X | \mathcal{G}]$ 是在给定 $\mathcal{G}$ 信息下对 $X$ 的最佳预测。迭代期望律说：“先看到更多信息再平均掉"等于"直接用较少信息预测”。

八、总结