关于神经网络中Backbone,Neck,Bottleneck,Head的理解

举报
AI浩 发表于 2023/01/30 06:43:25 2023/01/30
【摘要】 @[toc] 摘要梳理了一些长见的名词,方便大家够好的理解论文和Ai方向的文章。 1. Backbone骨干网络或者说是主干网络,指的是提取特征的网络,其作用就是提取图片中的信息,共后面的网络使用。这些网络经常使用的是resnet VGG等,而不是我们自己设计的网络,因为这些网络已经证明了在分类等问题上的特征提取能力是很强的。在用这些网络作为backbone的时候,都是直接加载官方已经训练好...

@[toc]

摘要

梳理了一些长见的名词,方便大家够好的理解论文和Ai方向的文章。

1. Backbone

骨干网络或者说是主干网络,指的是提取特征的网络,其作用就是提取图片中的信息,共后面的网络使用。这些网络经常使用的是resnet VGG等,而不是我们自己设计的网络,因为这些网络已经证明了在分类等问题上的特征提取能力是很强的。在用这些网络作为backbone的时候,都是直接加载官方已经训练好的模型参数,后面接着我们自己的网络。让网络的这两个部分同时进行训练,因为加载的backbone模型已经具有提取特征的能力了,在我们的训练过程中,会对他进行微调,使得其更适合于我们自己的任务。

2. Neck

是放在backbone和head之间的,是为了更好的利用backbone提取的特征。

3. Bottleneck

瓶颈的意思,通常指的是网网络输入的数据维度和输出的维度不同,输出的维度比输入的小了许多,就像脖子一样,变细了。Bottleneck有个参数ratio,经常设置为4,比如输入进来的是channel是512,然后,变成128,再变成512输出。

4. Head

head是获取网络输出内容的网络,利用之前提取的特征,head利用这些特征,做出预测。

5.GAP或者avgpool:

全局平均池化(Global Average Pool),就是将某个通道的特征取平均值,在pytorch中,经常使用AdaptativeAvgpoold(7),这个代表自适应性全局平均池化,例如VGG:

 self.avgpool = nn.AdaptiveAvgPool2d((1, 1))

6.Embedding

深度学习方法都是利用使用线性和非线性转换对复杂的数据进行自动特征抽取,并将特征表示为“向量”(vector),这一过程一般也称为“嵌入”(embedding)

在这里插入图片描述

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。