《深度学习:卷积神经网络从入门到精通》——2.12 局部响应归一化

举报
华章计算机 发表于 2019/06/05 23:48:01 2019/06/05
【摘要】 本书摘自《深度学习:卷积神经网络从入门到精通》——书中第2章,第2.12节,作者是李玉鑑、张婷、单传辉、刘兆英等。

2.12 局部响应归一化

为了改善卷积神经网络的效果,有时需要对某一层的所有卷积面(或池化面)逐一进行局部归一化处理。从理论上说,应该把这种处理的结果当作一个新增的层来看待,但实际应用时一般不被统计到层数中。

如果用??表示第i个卷积面(或池化面)上在位置(x, y)的值,则局部响应归一化的值??是通过若干相邻卷积面在位置(x, y)的值来计算的,公式如下:

image.png(2.93)

其中,N是卷积面(或池化面)的总数,n是相邻面的个数,k、α、β是可调参数。

令?,则式(2.91)可改写为

image.png(2.94)

在经过局部响应归一化处理后,由于整个网络的模型已经发生了变化,所以其学习训练过程也需要做相应的调整。这种调整涉及如下偏导数的计算:

image.png(2.95)

其中,E为目标函数,,且??的计算公式如下:

image.png(2.96)


【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。