建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
直达楼层
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

采纳成功

您已采纳当前回复为最佳回复

Estein

发帖: 9粉丝: 2

发消息 + 关注

发表于2020年05月31日 18:08:20 1184 3
直达本楼层的链接
楼主
显示全部楼层
[技术干货] Mindspore第二期两日集训营总结分享

# 5/30-5/31 Mindspore集训营总结 # 1. 概述 本期主要涉及了基于Mindspore0.3.0新版本基础上的一些开发过程,包括基于wasm后端使用rust语言开发mindspore算子,实现eBPF与Mindspore的协同从而实现ai网络训练过程的可观测性找到性能瓶颈,基于Volcano的mindspore多卡分布式训练以及针对GPU设备的mindspore框架上的lstm训练实现情感分类任务。 # 2. 具体 具体到这四项内容: - WASM的项目主要目的是拓展框架开发的通用性,使得能够更方便的部署到不同的设备上。WASM是一种为堆栈式进程虚拟机实现定义的二进制指令格式,理论上任何编程语言都可以支持WASM格式转换,目前支持的有C/C++、Rust(支持最好)、Golang、Python等语言。而Rust是一种安全、并发、实用的编程语言,有着惊人的运行速度,能够防止段错误,并保证线程安全,使每个人都能够构建 可靠,高效的软件,有着较高的性能。实践过程主要是通过wasm和rust实现了add,mod等几种mindspore算子的前后端。 - eBPF的项目主要目的是想借助eBPF实现神经网络训练过程中的性能分析,从而能够找到框架的性能瓶颈,实现对于框架的调优。eBPF起源于BPF,最早用于过滤报文,后来拓展为了eBPF将应用场景扩展到了流控,应用性能调优/监控,内核跟踪等;在实践中使用了BCC库,与mindspore结合观察了训练LeNet过程中IO延迟特性。 - Volcano的项目主要是实现了mindspore的分布式通信和调度,Volcano是基于Kubernetes的批处理系统,源自于华为云AI容器,是基于华为云容器平台大规模高性能计算应用管理的最佳实践,在原生K8s的基础上,补齐了作业(Job)调度和设备管理等多方面的短板。实践上在k8s多卡GPU集群上使用Volcano跑通MindSpore,验证了分布式GPU版本的通信能力。 整个过程一方面展露了mindspore开发团队正在关注的开发计划热点,另一方面也展现了一些新版本mindspore的特性,包括基于二阶优化器的优化算法等,同时也向开发者展示了如何通过mindspore框架实现一个具体的自然语言任务。 # 3. 踩坑 本次训练营踩的坑主要如下: - 由于使用的环境是矩池云的虚拟机,然后在做volcano是就踩坑了,矩池云上没有办法安装docker - wasm的项目,开始整个build过程都没有问题,但是观测结果是发现无法打开页面,最后发现是端口问题,租用的机器需要打开对应的端口方可 - 最后的lstm的例子卡在两个地方,其一是版本矩池云mindspore版本是0.2.0,没有lstm的接口,需要先将mindspore版本升级到0.3.0,其次是在数据预处理过程,gensim读取glove的词向量始终出错,其具体原因是词向量文件的格式问题
举报
分享

分享文章到朋友圈

分享文章到微博

采纳成功

您已采纳当前回复为最佳回复

埼玉

发帖: 77粉丝: 17

级别 : 版主,版块专家

发消息 + 关注

发表于2020年06月01日 09:14:50
直达本楼层的链接
沙发
显示全部楼层

点赞再看,棒哦

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

skywalk

发帖: 4粉丝: 2

发消息 + 关注

发表于2020年06月01日 09:37:38
直达本楼层的链接
板凳
显示全部楼层

向你学习,我还在继续踩坑中

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

Seb

发帖: 0粉丝: 1

级别 : 版主,版块专家

发消息 + 关注

发表于2020年06月01日 09:49:50
直达本楼层的链接
地板
显示全部楼层

收获好多,学习中

点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册

结贴

您对问题的回复是否满意?
满意度
非常满意 满意 一般 不满意
我要反馈
0/200