作者小头像 Lv.3
更多个人资料
332 成长值
0 关注
0 粉丝
+ 关注 私信

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

暂无数据
个人勋章
  • 活跃之星
成长雷达
220
42
25
45
0

个人资料

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

暂无数据

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
全部时间
全部时间
最近三天
最近一周
最近一月
  • 全部
  • 暂无专栏分类
《强化学习与最优控制》【学习笔记05】值空间近似：强化学习的核心框架
《强化学习与最优控制》第 2.1 节 · 值空间近似概述从这一篇开始，我们正式进入强化学习。第 1 章建立了精确 DP 的框架，现在要放松"精确"这个要求。值空间近似是本书最核心的思想——所有后续方法都是它的具体实例。 一、核心思想精确 DP 的递归方程：Jk∗(xk)=min⁡uk[gk(xk,uk)+Jk+1∗(fk(xk,uk))]J_k^*(x_k) = \min_{u_k} \le...
机器学习
作者小头像 yd_269763035 2026-11-03 11:59:47
1
0
0
2026-11-03 11:59:47
1
0
0
《强化学习与最优控制》【学习笔记04】动态规划的丰富实例：从最短路径到部分可观察
《强化学习与最优控制》第 1.3 节 · 例子、变形和简化Bertsekas 用一整节的实例来展示 DP 框架的普适性。这些例子不是可有可无的装饰——它们帮助建立直觉，并且许多后续的近似方法正是从这些具体问题中自然生长出来的。 一、最短路径问题最短路径是 DP 的"Hello World"。给定一个有向图，边 (i,j)(i,j)(i,j) 的长度为 aija_{ij}aij​，求从节点 s...
作者小头像 yd_269763035 2026-11-02 10:47:23
2
0
0
2026-11-02 10:47:23
2
0
0
《强化学习与最优控制》【学习笔记03】随机动态规划：从确定性到随机性
《强化学习与最优控制》第 1.2 节 · 随机动态规划确定性 DP 中，给定状态和控制，下一状态完全确定。现实中，环境往往有随机性——掷骰子、天气变化、市场需求波动。引入随机扰动后，DP 框架需要做两个关键调整。 一、随机系统方程xk+1=fk(xk,uk,wk),k=0,1,…,N−1x_{k+1} = f_k(x_k, u_k, w_k), \quad k = 0, 1, \ldots,...
机器学习
作者小头像 yd_269763035 2026-11-01 00:25:27
3
0
0
2026-11-01 00:25:27
3
0
0
《强化学习与最优控制》【学习笔记02】精确动态规划：确定性问题的数学框架
《强化学习与最优控制》第 1.1 节 · 确定性动态规划这是全书的起点。Bertsekas 从最简单的确定性有限阶段问题出发，建立动态规划的数学框架。理解这一节是理解后续所有近似方法的前提——因为近似是对精确方法的近似。 一、问题的数学描述一个确定性动态规划问题由以下要素组成： 动态系统方程xk+1=fk(xk,uk),k=0,1,…,N−1x_{k+1} = f_k(x_k, u_k), ...
作者小头像 yd_269763035 2026-10-31 01:28:14
13
0
0
2026-10-31 01:28:14
13
0
0
《强化学习与最优控制》【学习笔记01】全书概览：值空间近似与策略空间近似
《强化学习与最优控制》Dimitri P. Bertsekas 著 · 前言与全书框架这本书的作者 Bertsekas 是 MIT 麦卡菲工程教授、美国工程院院士，2018 年冯·诺依曼理论奖得主。他的动态规划教材是领域的经典，而这本书则是他将动态规划与强化学习统一起来的集大成之作。 一、这本书在讲什么？一句话概括：用动态规划（DP）的数学框架来理解和组织强化学习（RL）中的近似方法。书中开...
机器学习
作者小头像 yd_269763035 2026-10-30 09:30:36
9
0
0
2026-10-30 09:30:36
9
0
0
《强化学习的数学原理》【学习笔记15】全书总结与学习路线图：从数学原理到工程实践
《强化学习的数学原理》赵世钰 著 · 全书回顾这是最后一篇笔记。回顾全书的逻辑脉络，梳理各章之间的关系，并给出一条从本书到实际应用的学习路线。 一、全书的逻辑主线这本书不是算法的罗列，而是一条清晰的逻辑链：每一步都从前一步自然延伸。第1章：定义语言 MDP = (S, A, p, r, γ) ↓第2章：建立方程 贝尔曼方程：v_π = r_π + γP_π v_π ↓第3章：寻找最优...
机器学习
作者小头像 yd_269763035 2026-10-29 01:05:21
7
0
0
2026-10-29 01:05:21
7
0
0
《强化学习的数学原理》【学习笔记14】附录 D：梯度下降方法——优化的数学基础
《强化学习的数学原理》赵世钰 著 · 附录 DRL 算法最终都要优化某个目标函数（值函数误差、策略目标等）。梯度下降是最基本的优化方法，附录 D 系统介绍了它的变体和收敛性质。 一、梯度下降的基本形式 批量梯度下降（GD）wt+1=wt−α∇J(wt)w_{t+1} = w_t - \alpha \nabla J(w_t)wt+1​=wt​−α∇J(wt​)每步用全部数据计算精确梯度。 随机...
机器学习
作者小头像 yd_269763035 2026-10-28 09:52:07
18
0
0
2026-10-28 09:52:07
18
0
0
《强化学习的数学原理》【学习笔记13】附录 C：序列的收敛性——算法收敛的理论基础
《强化学习的数学原理》赵世钰 著 · 附录 CRL 算法都是迭代过程：vk+1=f(vk)v_{k+1} = f(v_k)vk+1​=f(vk​)、θt+1=θt+αtgt\theta_{t+1} = \theta_t + \alpha_t g_tθt+1​=θt​+αt​gt​。这些迭代"收敛"是什么意思？附录 C 给出了严格的收敛定义和判据。 一、确定性序列的收敛性 各种收敛定义逐点收敛...
作者小头像 yd_269763035 2026-10-27 00:42:54
19
0
0
2026-10-27 00:42:54
19
0
0
《强化学习的数学原理》【学习笔记12】附录 B：测度概率论——更严格的基础
《强化学习的数学原理》赵世钰 著 · 附录 B附录 A 复习了"够用"的概率论，但有些结论的严格证明需要测度论。这个附录给出了测度概率论的核心框架，是全书数学最严格的部分。 一、为什么需要测度论？初等概率论有两个问题：连续和离散的统一：PMF 用求和，PDF 用积分，两套公式。测度论用积分统一两者。不可测集：不是所有子集都能定义概率（如 [0,1] 上的 Vitali 集）。需要 σ-代数来...
机器学习
作者小头像 yd_269763035 2026-10-26 00:34:28
27
0
0
2026-10-26 00:34:28
27
0
0
《强化学习的数学原理》【学习笔记10】演员-评论家方法：RL 的集大成者
《强化学习的数学原理》赵世钰 著 · 第 10 章Actor-Critic = 策略梯度（Actor）+ 值函数估计（Critic）。它结合了值函数方法的高样本效率和策略梯度方法的连续动作支持，是现代深度强化学习的核心框架。 一、最简单的 Actor-Critic：QAC 从 REINFORCE 到 QACREINFORCE 的更新：θ←θ+α⋅Gt⋅∇θln⁡π(At∣St,θ)\thet...
机器学习
作者小头像 yd_269763035 2026-10-24 13:36:22
30
0
0
2026-10-24 13:36:22
30
0
0
总条数：22
10
10
20
50
100
  • 1
  • 2
  • 3

上滑加载中

https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注