【MindStudio训练营第一季】MindStudio 专家系统随笔

举报
Tianyi_Li 发表于 2022/12/05 11:45:44 2022/12/05
【摘要】 专家系统(Mindstudio Advisor) 是用于聚焦模型和算子的性能调优Top问题,识别性能瓶颈,重点构建瓶颈分析、优化推荐模型,支撑开发效率提升的工具。专家系统当前已经支持针对推理、训练、算子场景的瓶颈分析模型,包括内部团队开发的模型&算子瓶颈分析和优化推荐知识库、针对onnx模型的自动调优知识库,以及基于生态开发者开发的生态知识库。

简介

专家系统(Mindstudio Advisor) 是用于聚焦模型和算子的性能调优Top问题,识别性能瓶颈,重点构建瓶颈分析、优化推荐模型,支撑开发效率提升的工具。专家系统当前已经支持针对推理、训练、算子场景的瓶颈分析模型,包括内部团队开发的模型&算子瓶颈分析和优化推荐知识库、针对onnx模型的自动调优知识库,以及基于生态开发者开发的生态知识库。

image.png

使用介绍

调优知识库

image.png

模型瓶颈分析

分析流程:

    1. 参数配置 & 启动分析;
    1. 首页summary报告: 模型香吐率运行时间、芯片利用率、切分策略评估,以及各个调优知识库TOP问题;
    1. 计算图分析: ub融合、aipp融合、transdata等;
    1. 模型算子性能瓶颈分析:模型算子带宽&算力利用率;
    1. aicpu & aicore并行分析;

image.png

模型性能优化

针对onnx推理模型,根据定义好的子图pattern主动识别onnx模型中符合的子图,并对其进行修改优化:

当前支持的子图pattern:

  • Conv1d优化:

  • 连续slice合并

  • 连续concat合并

  • 类型转换

  • 大shape卷积转置

  • 大kernel卷积拆分

根据官方介绍,后续还会根据调优场景继续补充,让更多开发者直接受益。

调用知识库开发

  1. 基于Ascend Advisor工程,开发者可以开发自己的调优知识库

  2. 支持代码调试(该功能在新版本会提供)

  3. 支持知识库共享(该功能在新版本会提供)

image.png

案例实践

推理模型调优

  1. 性能分析: Mobilenetv3图像分类

https://www.hiascend.com/zh/software/modelzoo/models/detail/1/a2951ef07c40424a9b0e39237466e383/1

  1. 性能分析&优化: Deit图像分类

https://www.hiascend.com/zh/software/modelzoo/models/detail/1/a475d4f47de642f19c0a1f81580633ae/1

  1. 性能分析&优化: tdnn语音识别

https://www.hiascend.com/zh/software/modelzoo/models/detail/1/f4f4103245624c1a8637f8a5eadd950c/1

Mobilenetv3图像分类

image.png

Deit图像分类

image.png

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。