作者小头像 Lv.2
更多个人资料
127 成长值
2 关注
3 粉丝
+ 关注 私信

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

人工智能、编程语言
个人勋章
TA还没获得勋章~
成长雷达
40
87
0
0
0

个人资料

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

人工智能、编程语言

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
全部时间
全部时间
最近三天
最近一周
最近一月
  • 全部
  • 暂无专栏分类
如何使用MindSpore自定义优化器
引言    神经网络的参数众多，我们需要选择合适的算法来进行参数的更新和学习，也就是优化器。优化器在神经网络模型训练的过程中有着十分重要的作用。    从SGD开始，神经网络模型优化器就一直在迭代和发展之中。如PyTorch就已经开源了包括SGD、Momentum、RMSprop、Adam、AdamW等等丰富的优化器。但是，由于深度学习模型本身的复杂性，深度学习模型框架自带的优化器本身可能...
MindSpore
作者小头像 好名字学长 2021-11-11 14:55:23
2170
0
0
2021-11-11 14:55:23
999+
0
0
如何用MindSpore实现实现自定义单步训练
EMA是什么 深度学习模型使用EMA更新介绍我们都知道，深度学习模型中权重的更新基本都是使用基于梯度的优化方法来更新的，但是也有一部分参数是使用特征的统计量来更新的，就比如BatchNormalization层。这里展示出PyTorch的源码，来自_BatchNorm基类。可以看到_BatchNorm层的Bn层也会基于一定的单层Batch特征进行一个特征统计，用来对self.running...
MindSpore 机器学习
作者小头像 好名字学长 2021-10-17 16:08:33
2933
0
0
2021-10-17 16:08:33
999+
0
0
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注 私信