【Datawhale7月打卡】李宏毅机器学习Task5笔记
【摘要】 自动调整学习速率 用 R MSP rop 这个方法，可以动态调整σ这一项。最常用的优化的策略就是Adam论文来源： ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION学习率调度 为了解决如上图左侧的情况，引入学习率调度这个概念。如何让 学习率跟时间 相关？最常见的策略叫做Learning R ate D ecay，即学习率衰减。 乘上非常小的η，就可以使其停...
自动调整学习速率
.png)
用 R MSP rop 这个方法，可以动态调整σ这一项。
最常用的优化的策略就是Adam
.png)
论文来源： ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION
学习率调度
.png)
为了解决如上图左侧的情况，引入学习率调度这个概念。如何让 学习率跟时间 相关？最常见的策略叫做Learning R ate D ecay，即学习率衰减。 乘上非常小的η，就可以使其停下来慢慢走到终点。
除此之外，还有一个非常常用的方式叫Warm up：
.png)
油管Warm U p的更多的资料，参考论文 https://arxiv.org/abs/1908.03265
损失函数也有可能影响
当在做分类问题的时候，比较常见的是把Class用one - hot vector表示
.png)
.png)
.png)
要让 .png)
接近，就需要利用 softmax 来做处理：将y中的值Normalize，移动到0 -1 之间，这样才好和label计算相似度。
Soft - max
运作过程：
.png)
.png)
Cross - entropy比Mean S quare E rror更加适合用在分类上；而 Cross - entropy 相比 Mean S quare E rror 更常用在classification上，但这两者又经常一起使用。
在没有好的optimizer的情况下，使用M SE 可能会导致模型训练不起来。
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）