建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

开发者id_昵称

发帖: 5粉丝: 0

级别 : 新手上路

发消息 + 关注

发表于2020年08月10日 17:04:32 247 3
直达本楼层的链接
楼主
显示全部楼层
[问题求助] Atlas300推理 性能优化问题

在Atlas 300 AI 加速卡高性能应用编程用户手册 (型号 3010)文档中有如下描述:

image.png

在测试中发现:

当使用batch=1情况下,调用modelManager->Process耗时在6ms左右,输入拷贝耗时0ms. 输出拷贝耗时0ms 。

当使用batch=4情况下,调用modelManager->Process耗时在18ms左右,输入拷贝耗时1ms. 输出拷贝耗时2ms 

当使用batch=8情况下,调用modelManager->Process耗时在34ms左右,输入拷贝耗时2ms. 输出拷贝耗时3ms 

当使用batch=16情况下,调用modelManager->Process耗时在67ms左右,输入拷贝耗时4ms. 输出拷贝耗时6ms 

整体算下耗时收益大概在12.5%-18.75%-19.79%,看这样子收益也不高啊,这个模型Conv层也就20+层。

在其他某些模型中,测试发现多batch耗时没有收益,完全是线性增长。

不知道这样的收益是否合理?不合理的话,有什么需要注意的地方?


举报
分享

分享文章到朋友圈

分享文章到微博

A文弱书生

发帖: 0粉丝: 0

级别 : 版主

发消息 + 关注

发表于2020年08月10日 17:18:19
直达本楼层的链接
沙发
显示全部楼层

计算方法是合理的;

18%,19%还不高吗(哭笑);

组batch主要是为了充分发挥两个AICore的算力,有些模型的确是没什么收益orz

点赞 评论 引用 举报

开发者id_昵称

发帖: 5粉丝: 0

级别 : 新手上路

发消息 + 关注

发表于2020年08月10日 17:39:09
直达本楼层的链接
板凳
显示全部楼层

好吧。以为多批量大数据吞吐能最少翻个倍。。。

点赞 评论 引用 举报

一个非常牛逼的小白

发帖: 4粉丝: 0

级别 : 新手上路

发消息 + 关注

发表于2020年09月11日 14:12:31
直达本楼层的链接
地板
显示全部楼层

回复:开发者id_昵称 发表于 2020-8-10 17:39 好吧。以为多批量大数据吞吐能最少翻个倍。。。

[在Atlas 300 AI 加速卡高性能应用编程用户手册 (型号 3010)文档]


请问您这个文档是在哪个地方可以看见,下载?

评论
xiaoyifan6 2020-9-11 14:57 评论

这个是老架构的,下载链接: https://support.huawei.com/enterprise/zh/doc/EDOC1100107783/712a19f2

... 查看全部
点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册