建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
直达楼层
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

采纳成功

您已采纳当前回复为最佳回复

运气男孩

发帖: 442粉丝: 53

发消息 + 关注

发表于2021年05月14日 00:03:09 707 3
直达本楼层的链接
楼主
显示全部楼层
[其他] 残差网络(ResNets)(Residual Networks (ResNets))

非常非常深的神经网络是很难训练的,因为存在梯度消失和梯度爆炸问题。这节课我们学习跳跃连接(**Skip connection**),它可以从某一层网络层获取激活,然后迅速反馈给另外一层,甚至是神经网络的更深层。我们可以利用跳跃连接构建能够训练深度网络的**ResNets**,有时深度能够超过100层,让我们开始吧。 **ResNets**是由残差块(**Residual block**)构建的,首先我解释一下什么是残差块。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202105/14/000158jdto7ueqylkldsvq.png) 这是一个两层神经网络,在层进行激活,得到,再次进行激活,两层之后得到。计算过程是从开始,首先进行线性激活,根据这个公式:,通过算出,即乘以权重矩阵,再加上偏差因子。然后通过**ReLU**非线性激活函数得到,计算得出。接着再次进行线性激活,依据等式,最后根据这个等式再次进行**ReLu**非线性激活,即,这里的是指**ReLU**非线性函数,得到的结果就是。换句话说,信息流从到需要经过以上所有步骤,即这组网络层的主路径。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202105/14/000204sulynqpkn47gdefd.png) 在残差网络中有一点变化,我们将直接向后,拷贝到神经网络的深层,在**ReLU**非线性激活函数前加上,这是一条捷径。的信息直接到达神经网络的深层,不再沿着主路径传递,这就意味着最后这个等式()去掉了,取而代之的是另一个**ReLU**非线性函数,仍然对进行函数处理,但这次要加上,即:,也就是加上的这个产生了一个残差块。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202105/14/000214jnoon9rvkgrafp3h.png) 在上面这个图中,我们也可以画一条捷径,直达第二层。实际上这条捷径是在进行**ReLU**非线性激活函数之前加上的,而这里的每一个节点都执行了线性函数和**ReLU**激活函数。所以插入的时机是在线性激活之后,**ReLU**激活之前。除了捷径,你还会听到另一个术语“跳跃连接”,就是指跳过一层或者好几层,从而将信息传递到神经网络的更深层。 **ResNet**的发明者是**何凯明**(**Kaiming He**)、**张翔宇**(**Xiangyu Zhang**)、**任少卿**(**Shaoqing Ren**)和**孙剑**(**Jiangxi Sun**),他们发现使用残差块能够训练更深的神经网络。所以构建一个**ResNet**网络就是通过将很多这样的残差块堆积在一起,形成一个很深神经网络,我们来看看这个网络。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202105/14/000231cew1hbg9tkxsfg8u.png) 这并不是一个残差网络,而是一个普通网络(**Plain network**),这个术语来自**ResNet**论文。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202105/14/000238wqwydlmfy0xllsdg.png) 把它变成**ResNet**的方法是加上所有跳跃连接,正如前一张幻灯片中看到的,每两层增加一个捷径,构成一个残差块。如图所示,5个残差块连接在一起构成一个残差网络。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202105/14/0002469eobzds4lqxmwa3l.png) 如果我们使用标准优化算法训练一个普通网络,比如说梯度下降法,或者其它热门的优化算法。如果没有残差,没有这些捷径或者跳跃连接,凭经验你会发现随着网络深度的加深,训练错误会先减少,然后增多。而理论上,随着网络深度的加深,应该训练得越来越好才对。也就是说,理论上网络深度越深越好。但实际上,如果没有残差网络,对于一个普通网络来说,深度越深意味着用优化算法越难训练。实际上,随着网络深度的加深,训练错误会越来越多。 但有了**ResNets**就不一样了,即使网络再深,训练的表现却不错,比如说训练误差减少,就算是训练深达100层的网络也不例外。有人甚至在1000多层的神经网络中做过实验,尽管目前我还没有看到太多实际应用。但是对的激活,或者这些中间的激活能够到达网络的更深层。这种方式确实有助于解决梯度消失和梯度爆炸问题,让我们在训练更深网络的同时,又能保证良好的性能。也许从另外一个角度来看,随着网络越来深,网络连接会变得臃肿,但是**ResNet**确实在训练深度网络方面非常有效。

网络

举报
分享

分享文章到朋友圈

分享文章到微博

采纳成功

您已采纳当前回复为最佳回复

HW-QGS

发帖: 254粉丝: 22

发消息 + 关注

发表于2021年05月14日 14:30:03
直达本楼层的链接
沙发
显示全部楼层

感谢分享

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

谭涟漪

发帖: 30粉丝: 1

发消息 + 关注

发表于2021年05月14日 19:21:52
直达本楼层的链接
板凳
显示全部楼层

感谢分享

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

风起云涌1

发帖: 433粉丝: 18

发消息 + 关注

发表于2021年05月14日 19:32:56
直达本楼层的链接
地板
显示全部楼层

感谢分享

点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册

结贴

您对问题的回复是否满意?
满意度
非常满意 满意 一般 不满意
我要反馈
0/200