建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
EI企业智能 主题:14771帖子:290521

【其他】

什么是概率编程?

角动量 2020/5/2 1050

这个【概率】指的是什么?我们为什么称其为【编程】呢?首先,让我们回忆一下我们所谓【正常的】神经网络指的是什么、以及我们能从中得到什么?神经网络有着已矩阵形式表达的参数(权重),而其输出通常是一些标量或者向量(例如在分类问题的情况下)。当我们用诸如SGD的方法训练这个模型后,这些矩阵会获得固定值。与此同时,对于同一个输入样本,输出向量应该相同,就是这样!但是,如果我们将所有的参数和输出视为相互依赖的分布,会发生什么?神经网络的权重将与输出一样,是一个来自网络并取决于参数的样本--如果是这样,它能为我们带来什么?

让我们从基础讲起。如果我们认为网络是一个取决于其他分布的数集,这首先就构成了联合概率分布 p(y, z|x),其中有着输出 y 和一些模型 z 的「内部」隐变量,它们都取决于输入 x(这与常规的神经网络完全相同)。我们感兴趣的是找到这样神经网络的分布,这样一来就可以对 y ~ p(y|x) 进行采样,并获得一个形式为分布的输出,该分布中抽取的样本的期望通常是输出,和标准差(对不确定性的估计)——尾部越大,则输出置信度越小。

这种设定可能不是很明确,但我们只需要记住:现在开始,模型中所有的参数、输入及输出都是分布,并且在训练时对这些分布进行拟合,以便在实际应用中获得更高的准确率。我们也需要注意自己设定的参数分布的形状。

回复3

andyleung
0 0
2020/5/6 12:04

哇 超级大神 

某地瓜
0 0
2020/5/6 12:47

很强

极客潇
0 0
2020/5/29 17:24

感谢分享

上划加载中
直达楼层
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

采纳成功

您已采纳当前回复为最佳回复

角动量

发帖: 218粉丝: 8

发消息 + 关注

发表于2020年05月02日 17:42:10 1050 3
直达本楼层的链接
楼主
显示全部楼层
[其他] 什么是概率编程?

这个【概率】指的是什么?我们为什么称其为【编程】呢?首先,让我们回忆一下我们所谓【正常的】神经网络指的是什么、以及我们能从中得到什么?神经网络有着已矩阵形式表达的参数(权重),而其输出通常是一些标量或者向量(例如在分类问题的情况下)。当我们用诸如SGD的方法训练这个模型后,这些矩阵会获得固定值。与此同时,对于同一个输入样本,输出向量应该相同,就是这样!但是,如果我们将所有的参数和输出视为相互依赖的分布,会发生什么?神经网络的权重将与输出一样,是一个来自网络并取决于参数的样本--如果是这样,它能为我们带来什么?

让我们从基础讲起。如果我们认为网络是一个取决于其他分布的数集,这首先就构成了联合概率分布 p(y, z|x),其中有着输出 y 和一些模型 z 的「内部」隐变量,它们都取决于输入 x(这与常规的神经网络完全相同)。我们感兴趣的是找到这样神经网络的分布,这样一来就可以对 y ~ p(y|x) 进行采样,并获得一个形式为分布的输出,该分布中抽取的样本的期望通常是输出,和标准差(对不确定性的估计)——尾部越大,则输出置信度越小。

这种设定可能不是很明确,但我们只需要记住:现在开始,模型中所有的参数、输入及输出都是分布,并且在训练时对这些分布进行拟合,以便在实际应用中获得更高的准确率。我们也需要注意自己设定的参数分布的形状。

举报
分享

分享文章到朋友圈

分享文章到微博

采纳成功

您已采纳当前回复为最佳回复

andyleung

发帖: 1023粉丝: 83

发消息 + 关注

发表于2020年05月06日 12:04:25
直达本楼层的链接
沙发
显示全部楼层

哇 超级大神 

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

某地瓜

发帖: 144粉丝: 5

发消息 + 关注

发表于2020年05月06日 12:47:09
直达本楼层的链接
板凳
显示全部楼层

很强

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

极客潇

发帖: 554粉丝: 68

发消息 + 关注

发表于2020年05月29日 17:24:52
直达本楼层的链接
地板
显示全部楼层

感谢分享

点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册

结贴

您对问题的回复是否满意?
满意度
非常满意 满意 一般 不满意
我要反馈
0/200