学习笔记 01｜基本概念：从网格世界到马尔可夫决策过程

《强化学习的数学原理》赵世钰 著 · 第 1 章

这是全书的第一章，也是整个强化学习理论大厦的地基。本章不涉及任何算法，而是把"智能体在环境中学习"这件事用严格的数学语言定义清楚。

一、为什么从网格世界讲起？

书中开篇不是直接甩出一堆公式，而是用一个 网格世界（Grid World） 的例子来引入所有概念。这非常聪明——网格世界足够简单，可以用纸笔画出来；但又足够丰富，能涵盖强化学习的所有核心要素。

想象一个 5×5 的网格，智能体（agent）在每个格子里可以选择上、下、左、右移动。有些格子有奖励，有些格子是禁区。这个简单的设定背后，隐藏着我们要定义的所有数学对象。

学习心得：不要跳过这个例子。后面所有的公式——贝尔曼方程、值函数、策略梯度——都可以回到这个网格世界来验证直觉。我在后续章节中会反复引用它。

二、状态与动作

状态（State）

状态 是对环境的描述。在网格世界中，每个格子就是一个状态，用 $s$ 表示。所有状态的集合记为 $\mathcal{S}$。

关键点：状态要包含足够的信息来决定未来——这就是后面要讲的马尔可夫性质。

动作（Action）

动作 是智能体可以执行的操作。在网格世界中就是上下左右四个方向，用 $a$ 表示。所有动作的集合记为 $\mathcal{A}$。

注意：不同状态下可用的动作集可能不同（比如在边界处不能往外走）。严格来说，状态 $s$ 处的可用动作集记为 $\mathcal{A}(s)$。

三、状态转移

状态转移 描述的是：在状态 $s$ 下执行动作 $a$ 后，转移到状态 $s'$ 的概率。

$$p(s' | s, a) = \Pr(S_{t+1} = s' \mid S_t = s, A_t = a)$$

这里有一个重要区分：

易混淆点：很多初学者以为强化学习中的"随机"只来自策略。实际上，环境本身就可以是随机的（状态转移是随机的），这是更本质的随机性来源。

四、策略

策略（Policy） 是智能体的行为准则：在状态 $s$ 下选择动作 $a$ 的概率。

$$\pi(a | s) = \Pr(A_t = a \mid S_t = s)$$

策略分两种：

• 确定性策略：$\pi(a|s) = 1$ 对某个 $a$ 成立，其余为 0。即"在状态 $s$ 永远选动作 $a$"。
• 随机性策略：以一定概率分布选择动作。

为什么要引入随机策略？ 两个原因：(1) 在某些博弈环境中，确定性策略会被对手利用；(2) 后面策略梯度方法（第 9-10 章）需要策略是可微的，随机策略才能求梯度。

五、奖励

奖励（Reward） 是环境给智能体的反馈信号。在时间步 $t$ 获得的奖励记为 $R_{t+1}$（注意下标偏移：在 $t$ 时刻执行动作后，在 $t+1$ 时刻获得奖励）。

奖励可以是：

• 确定性奖励：$r(s, a)$ 只依赖当前状态和动作
• 随机性奖励：$r(s, a, s')$ 依赖转移后的状态，或更一般地以概率分布给出

在网格世界中，走到目标格奖励 +1，掉入陷阱奖励 -1，其余为 0。

六、轨迹、回报、回合

轨迹（Trajectory）

从某个初始状态出发，智能体与环境交互产生一条序列：

$$S_0, A_0, R_1, S_1, A_1, R_2, S_2, A_2, R_3, \ldots$$

回报（Return）

回报 是轨迹上所有奖励的折扣累加：

$$G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \cdots = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}$$

其中 $\gamma \in [0, 1)$ 是折扣因子。

为什么需要折扣因子？ 三个理由：

1. 数学上：保证无穷级数收敛（当奖励有界时，$|G_t| \leq \frac{r_{\max}}{1-\gamma}$）
2. 经济上：未来的奖励不如现在值钱（类似利率贴现）
3. 实践上：远期奖励的不确定性更大，应该权重更小

回合（Episode）

如果轨迹在有限步后终止（到达终止状态），称为有回合任务。网格世界中走到目标格就结束，这是一个有回合任务。

如果轨迹无限延续，称为持续任务。

七、马尔可夫决策过程（MDP）

把以上所有概念打包，就得到了马尔可夫决策过程：

$$\text{MDP} = (\mathcal{S}, \mathcal{A}, p, r, \gamma)$$

• $\mathcal{S}$：状态空间
• $\mathcal{A}$：动作空间
• $p(s'|s,a)$：状态转移概率
• $r(s,a)$ 或 $r(s,a,s')$：奖励函数
• $\gamma$：折扣因子

核心假设是马尔可夫性质：未来只依赖当前状态和动作，与历史无关。

$$\Pr(S_{t+1} | S_t, A_t, S_{t-1}, A_{t-1}, \ldots, S_0, A_0) = \Pr(S_{t+1} | S_t, A_t)$$

直觉理解：当前状态 $S_t$ 已经包含了所有历史信息。"现在"是"过去"的充分统计量。这不是一个限制，而是一种建模选择——如果你的"状态"定义得足够好，马尔可夫性质就自然成立。

八、本章核心概念关系图

环境 (MDP)
├── 状态空间 S
├── 动作空间 A
├── 状态转移 p(s'|s,a)     ← 环境的动力学
├── 奖励 r(s,a)             ← 环境的反馈
└── 折扣因子 γ

智能体
└── 策略 π(a|s)             ← 智能体的行为

交互产生
├── 轨迹: S₀,A₀,R₁,S₁,A₁,R₂,...
├── 回报: G_t = Σ γᵏ Rₜₖ₊₁
└── 目标: 最大化 E[G₀]

九、总结

第一章不涉及任何算法，但它定义了全书所有后续工作的语言。后续章节的每一个公式、每一个算法，都在这个框架内展开：