Lv.3
苏道
更多个人资料
206
成长值
1
关注
4
粉丝
+ 关注
私信
个人介绍
夜深忽梦少年事
感兴趣或擅长的领域
人工智能
个人勋章
TA还没获得勋章~
成长雷达
180
6
0
0
20
个人资料
个人介绍
夜深忽梦少年事
感兴趣或擅长的领域
人工智能
达成规则
以上满足
项可达成此勋章
博客
关注
粉丝
论坛
全部时间
全部时间
最近三天
最近一周
最近一月
全部
暂无专栏分类
【NAS训练技巧】分析更新supernet中Batch Norm参数和Batchsize大小之间的关系
当supernet(超网络)训练完备后,需要从中抽取子架构并继承已经训练完备的supernet的参数,因为在训练supernet时,batch norm的moving mean 和moving var是不更新的,需要在训练supernet完备后,通过re-calibration这个操作,针对某个架构重新用训练集更新一般这个架构对应的batch norm的moving参数,再用moving的参
机器学习
苏道
2021-11-27 15:37:45
7084
0
0
2021-11-27 15:37:45
999+
0
0
ModelArts在线服务时延测试
在线推理,往往会关注整个端到端链路的时延,本文保姆级带你测试ModelArts在线服务的时延。
人工智能
AI开发平台ModelArts
机器学习
深度学习
神经网络
苏道
2021-11-26 17:09:54
3227
0
1
2021-11-26 17:09:54
999+
0
1
[NAS论文][Transformer][预训练模型]精读NAS-BERT
保姆级带你深入阅读NAS-BERT。
人工智能
卷积神经网络
机器学习
深度学习
神经网络
苏道
2021-10-15 18:47:10
6338
0
0
2021-10-15 18:47:10
999+
0
0
【ViT】目前Vision Transformer遇到的问题和克服方法的相关论文汇总
针对ViT现状,分析ViT尚存问题和相对应的解决方案,和相关论文idea汇总
人工智能
卷积神经网络
机器学习
深度学习
神经网络
苏道
2021-09-01 11:04:33
13842
0
1
2021-09-01 11:04:33
999+
0
1
[NAS论文]解析神经架构搜索(NAS)中权重共享的影响
现在的NAS基本都采用权重共享的supernet方案,但是其中原理几何,有什么局限,鲜有人提及,权重分配并没有理论保障,其影响也没有得到很好的研究,大部分同学都是用的爽就行,接下来从两篇同个实验室的论文来看看权重共享机制,到底怎么影响NAS搜索到的架构。
人工智能
卷积神经网络
机器学习
深度学习
神经网络
苏道
2021-05-14 16:23:12
6242
0
0
2021-05-14 16:23:12
999+
0
0
[NAS论文]AttentiveNAS: Improving Neural Architecture Search via ..
性能超越BigNas、Once-for-all。对于two-stages的NAS来说,搜索阶段关注的是位于准确性和推理效率的帕累托前沿的网络集合,而训练阶段并不是为了改进帕累托前沿而进行的,对每个网络候选对象都同等重要,fair的,希望搜索的帕累托前沿是被训练到的帕累托前沿,不然会有相关性系数导致的误差
人工智能
卷积神经网络
机器学习
深度学习
神经网络
苏道
2021-04-30 11:16:53
5154
1
1
2021-04-30 11:16:53
999+
1
1
[NAS论文]Prioritized Architecture Sampling with Monto-Carlo Tree..
作者认为以前的NAS在sample layer的op的时候,都是独立的,没有考虑之前layer的采样情况,搜索阶段的进化算法只允许变异和交叉操作,没有考虑层间的关系,导致了次优结果。所以用Monte Carlo Tress(MCT)方法捕捉层间依赖,存储过往op采样和性能信息。
人工智能
卷积神经网络
机器学习
深度学习
神经网络
苏道
2021-04-29 11:08:40
5746
0
0
2021-04-29 11:08:40
999+
0
0
[NAS论文][Transformer]HAT: Hardware-Aware Transformers.....
一个Transformer的超网络空间,使用高效的权重共享机制,简称SuperTransformer,用这个网络进行硬件感知的神经结构搜索[NAS],并发现高性能低延迟模型,消耗的成本比之前的Evolved Transformer少四个数量级。
神经网络
苏道
2021-04-28 11:53:13
3036
0
0
2021-04-28 11:53:13
999+
0
0
总条数:18
10
10
20
50
100
1
2
上滑加载中
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
+ 关注
私信