建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
直达楼层
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

采纳成功

您已采纳当前回复为最佳回复

chengxiaoli

发帖: 195粉丝: 27

级别 : 版主,版块专家

发消息 + 关注

更新于2021年04月01日 15:27:44 127478 8
直达本楼层的链接
楼主
显示全部楼层
[公告] MindSpore开源周年狂欢,量子机器学习与深度分子模拟等巨量新特性来袭,发布新开源TinyMS工具包!

image.png

大家好,在MindSpore开发团队和社区开发者共同努力下,MindSpore很多的新特性马上要与大家见面了,比如动态图分布式训练效率的大幅提升一键模型迁移模型鲁棒性检测深度分子模拟量子机器学习等,无论是在效率提升、易用性,还是创新方面,都是干货满满。下面就给大家快速预览即将到来的这些关键特性的文字描述,欢迎大家在3月29日MindSpore官方B站观看直播讲解讲解哦~

image.png


大幅提升动态图下分布式训练的效率


在深度学习中,当数据集和参数量的规模越来越大,训练所需的时间和硬件资源会随之增加,最后会变成制约训练的瓶颈。分布式并行训练,可以降低对内存、计算性能等硬件的需求,是进行训练的重要优化手段。当前MindSpore动态图模式已经支持数据并行,通过对数据按batch维度进行切分,将数据分配到各个计算单元中进行模型训练,从而缩短训练时间


基于ResNet50 v1.5+ImageNet数据集测试,在昇腾计算硬件平台,MindSpore动态图模式分布式的表现,可以达到PyTorch典型分布式场景的1.6倍, 静态图模式分布式的表现也可以达到TensorFlow典型分布式场景的2倍


PyNative快速入门:

https://www.mindspore.cn/tutorial/training/zh-CN/r1.2/advanced_use/debug_in_pynative_mode.html


数据预处理加速Dvpp


数据是机器学习的基础。在网络推理场景中,我们需要针对不同的数据进行数据的预处理,从中过滤出核心信息放入我们训练好的模型中进行推理预测。在实际应用场景中,我们往往需要对大量的原始数据进行推理,比如实时的视频流等。因此,我们在昇腾推理平台引入了Dvpp模块来针对网络推理数据预处理流程进行加速


Dvpp数据预处理模块提供C++接口,提供图片的解码、缩放,中心抠图、标准化等功能。在Dvpp模块的设计中,考虑到整体的易用性,其功能与MindData现有CPU算子有重叠,我们将其API统一,通过推理执行接口设置运行设备来进行区分。用户可以根据自身硬件设备环境来选择最佳的执行算子。Dvpp数据预处理流程如下图所示:

image.png


我们在一台昇腾推理服务器上测试了Dvpp系列算子的性能收益。该服务器拥有128个主频为2.6GHz的CPU核心,以及128Gb的内存空间。在实验中,我们选取yoloV3网络,同时选取coco2017推理数据集40504张图片进行推理,最终得到模型输入尺寸为[416, 416]的图片。

我们分别使用Dvpp算子和CPU算子进行数据预处理,得到如下性能对比:

image.png


可以看到Dvpp系列算子相较于CPU算子在处理大量数据时性能优势明显,在本实验中处理40504张图片性能FPS提升129%

查看教程:

https://www.mindspore.cn/tutorial/inference/zh-CN/r1.2/multi_platform_inference_ascend_310_mindir.html#ascend-310

image.png


分子模拟库(SPONGE),来自社区分子动力学工作组


MindSpore版的SPONGE是在社区中的分子动力学工作组(MM WG)中,由北大、深圳湾实验室高毅勤课题组与华为MindSpore团队联合开发的分子模拟库,具有高性能、模块化等特性。


为何需要开发SPONGE

分子动力学模拟是用牛顿定律近似来描述微观原子和分子尺度演化的计算机模拟方法。其既可用于基础科学研究也可用于工业实际应用。在基础科学领域,分子动力学方法有助于科研学者从微观研究体系的物理化学性质。

在工业生产中,其可以利用大规模计算的能力辅助药物分子的设计和蛋白靶点的搜寻[1,2]。由于模拟的时间和空间尺度限制,传统分子动力学软件的应用范围受到较大限制。科研工作者也在不断的开发新的力场模型[3,4]、抽样方法[5,6]以及尝试结合新兴的人工智能[7,8]来进一步拓展分子动力学模拟的适用领域。

由此,新一代的分子动力学软件就需要被提上日程。其应该具有模块化的特性,能够支持科学家高效的创造和搭建出能够验证其理论模型的结构。同时,它还需要兼顾传统模拟方法的高效性,能够兼容其在传统领域上的使用。此外,为实现分子模拟+机器学习的自然融合,其还应该拥有嵌入人工智能框架的形态。SPONGE就是基于这些理念而被创造出的全新的,完全自主的分子模拟软件。

相比于之前在传统分子模拟软件上结合SITS方法进行生物分子增强抽样[9],SPONGE原生支持SITS并对计算流程进行优化使得其使用SITS方法模拟生物体系更加高效。针对极化体系,传统分子模拟采用结合量化计算等方式来解决电荷浮动等问题[10]。即使采用机器学习降低计算量也会浪费大量时间在程序数据传送的问题上。而SPONGE利用模块化的特点可支持内存上直接与机器学习程序通信大大降低了整体计算时间。

image.png

图1:结合SITS等方法可进行Na[CpG], Lys生物分子模拟

image.png


 图2:机器学习+分子模拟方法可更快更准确地模拟极化体系,图为[C1MIm]Cl离子液体模拟


MindSpore + SPONGE

基于MindSpore自动并行、图算融合等特性,SPONGE可高效地完成传统分子模拟过程。SPONGE利用MindSpore自动微分的特性,可以将神经网络等AI方法与传统分子模拟进行结合。

image.png


SPONGE模块化设计结构图


随MindSpore1.2版本开源的SPONGE具备以下优势

1、全模块化分子模拟。模块化构建分子模拟算法,易于领域研发人员进行理论和算法的快速实现,并为外部开发人员贡献子模块提供友好的开源社区环境。2、传统分子模拟与MindSpore结合的人工智能算法的全流程实现。在MindSpore中,研发人员能便利的将AI方法作用于分子模拟中。全算子化的SPONGE将与MindSpore进一步结合成为新一代端到端可微的分子模拟软件,实现人工智能与分子模拟的自然融合。


教程文档:

https://www.mindspore.cn/tutorial/training/zh-CN/r1.2/advanced_use/hpc_sponge.html


MindSpore+SPONGE展望

近期展望:在后续的版本更新中会陆续加入已经理论验证好的MetaITS模块、有限元计算模块等功能。这些模块将帮助SPONGE能更好的从事相变和金属表面相关的模拟。同时,MindSpore版SPONGE各模块逐步支持自动微分和自动并行,对于衔接机器学习方案提供更友好的支持。远期展望:拓展SPONGE的各种特色模块,使其能够描述大部分微观体系并同时具有较高的计算和采样效率。对特定工业需求,如药物筛选或晶型预测,将基于SPONGE衍生出完整的流程化计算方案,能够满足大规模并行计算的需求。在MindSpore框架下,SPONGE具有元优化功能,从而实现更准确和更快的力场拟合。


量子机器学习(MindQuantum),来自社区量子力学工作组


MindQuantum是结合MindSpore和HiQ开发的量子机器学习框架,支持多种量子神经网络的训练和推理。得益于华为HiQ团队的量子计算模拟器和MindSpore高性能自动微分能力,MindQuantum能够高效处理量子机器学习、量子化学模拟和量子优化等问题,性能达到业界TOP1(Benchmark),为广大的科研人员、老师和学生提供了快速设计和验证量子机器学习算法的高效平台。

image.png

MindQuantum vs TF Quantum/Paddle Quantum性能对比

image.png


查看教程:

https://www.mindspore.cn/tutorial/training/zh-CN/r1.2/advanced_use/parameterized_quantum_circuit.html


多跳知识推理问答(TPRR)


TPRR是华为泊松实验室与华为MindSpore团队提出的解决开放域多跳问题的通用模型。相比于传统问答仅需从单个文档中检索答案,多跳知识推理问答需要从多个佐证文档得到最终答案,并返回问题到答案的推理链。TPRR基于MindSpore混合精度特性,可以高效地完成多跳问答推理过程。

  • 全路径建模:

TPRR模型在多跳问题推理链的每一个环节中基于全部推理路径的条件概率建模,模型以“全局视角”进行知识推理。

  • 动态样本选取:

TPRR模型采用动态样本的建模方式,通过更强的对比学习提升模型多跳问答的能力。

算法流程图如下:

image.png

TPRR模型在国际权威的多跳问答榜单HotpotQA评测中荣登榜首,榜单图如下:

image.png


查看教程:

https://www.mindspore.cn/tutorial/inference/zh-CN/r1.2/nlp_tprr.html

image.png


一键模型迁移(MindConverter)


脚本迁移工具(MindConverter)旨在帮助算法工程师将存量的基于三方框架开发的模型快速迁移至MindSpore生态。根据用户提供的TensorFlow PB或ONNX模型文件,工具通过对模型的计算图(Computational Graph)解析,生成一份具备可读性的MindSpore Python模型定义脚本(.py)以及相应的模型权重(.ckpt)。

  • 一键迁移:

通过MindConverter CLI命令即可一键将模型迁移为MindSpore下模型定义脚本以及相应权重文件,省去模型重训以及模型定义脚本开发时间;

  • 100%迁移率:

在MindConverter具备跨框架间算子映射的情况下,迁移后脚本可直接用于推理,实现100%迁移率;

  • 支持模型列表:

目前工具已支持计算机视觉领域典型模型、自然语言处理BERT预训练模型脚本及权重的迁移,详细模型列表见 README。

BERT模型定义迁移结果展示(部分代码):

image.png


查看教程:

https://www.mindspore.cn/tutorial/training/zh-CN/r1.2/advanced_use/migrate_3rd_scripts_mindconverter.html?highlight=mindconverter

image.png


鲁棒性评测工具助力OCR服务达成首个AI C4鲁棒性标准要求


MindSpore鲁棒性测试工具MindArmour,基于黑白盒对抗样本(20+方法)、自然扰动(10+方法)等技术提供高效的鲁棒性评测方案,帮助客户评估模型的鲁棒性性,识别模型脆弱点。


OCR是指利用光学设备去捕获图像并识别文字,减少人工成本,快速提升工作效率;如果攻击者通过对待识别的文字做出人眼不易察觉的修改,而模型无法对其正确识别或处理,就会导致OCR服务对文字识别的准确率下降,且使用人员不清楚问题背后的原因。测评团队使用MindArmour对OCR服务的鲁棒性进行测评,发现OCR服务中部分模型对自然扰动和对抗样本的防御能力较差,如文本框检测模型在校验噪声、PGD、PSO(粒子群)等攻击算法下准确率小于66%;并以此指导模型开发团队通过对抗样本检测、数据增强训练等技术,使得模型对恶意样本的识别准确率达到95+%,提高了模型及OCR服务的鲁棒性。

image.png


AI C4标准链接:

https://www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/CloudComputing/AIC4/AI-Cloud-Service-Compliance-Criteria-Catalogue_AIC4.html

五. TinyMS新工具

TinyMS项目简介

image.png

TinyMS是一款主要用PyThon语言编写的开源深度学习开发工具包,基于以MindSpore为代表的新型开源深度学习框架,提供面向从数据准备到模型部署全流程的极简易用的高阶API封装,并通过易于扩展的模块化设计,提供覆盖多种业务场景的能力。

TinyMS主要由data, model, serving等模块组成,分场景分领域提供transform数据预处理算子,复用MindSpore原生数据集提供常用数据集,如:cifar-10等。data提供部分自定义数据集和常用的数据下载和解压等常用工具集,model提供常用的预置模型,并提供模型构建,模型编译,模型训练、验证与推理。serving通过搭建服务器来提供AI模型应用服务,为新手提供快速推理的体验。

TinyMS面向的主要用户群体为深度学习初学者、研究领域涉及深度学习结合的科研人员、以及深度学习相关业务应用开发的企业开发人员。

通过搭配完整的在线课程教学,TinyMS提供目前业界最佳的深度学习入门与开发体验。

 

TinyMS vs Keras

keras 是一个用 Python 编写的高级神经网络 API,将把用户体验放在首要位置,支持短时间内出实验。

keras项目可以说是“大而全”,主要由dataset, layer, modelbackend模块构成,提供较多常用的预置数据集,并分场景分领域提供数据预处理函数,layer网络层提供较完善,如:convolution卷积层,embedding嵌入层,pooling池化层等。backend支持多个后端(TensorFlow,CNTKTheano),与TensorFlow版本不强耦合。Model提供模型选择(sequential)、网络层构建(输入层、输出层和池化层等),模型编译,模型训练、验证与推理。

TinyMS在高阶API方面会更为简单抽象,较keras来说复杂度更低,比如提供了只需一行代码即可完成数据集的预处理,而且在设计中重点考虑到了Keras尚未提供单独好用的工具库,以及尚未提供的快速部署推理模块等。

 

TinyMS vs Fastai

Fastai是为了帮助新手快速轻松出结果的高阶API项目, 其基于PyTorch的深度学习库,利用底层PyTorch库的灵活性,分领域分场景地提供包括对visiontexttabularcollab模型的“开箱即用”的支持,后端对PyTorch的版本要求紧耦合。

 

fastai 深度学习库项目较轻便,目录清晰易理解,可以说是“小而美”,主要由data, modelslearner三大模块构成,其中,data提供了transform类方便开发者进行数据预处理操作。models按应用领域,提供部分预置网络,如:unet,快速实现模型构建。learner实现数据和模型的关联,并定义了一系列回调函数,帮助开发者快速厘清深度学习的架构,提供模型训练、模型评估、模型保存与加载和模型推理。除此之外,还拥有较丰富好用的工具集,如:数据下载,解压,图片验证和文件处理等工具函数。

 

TinyMS在高阶API方面理念与Fastai相近,不同点在于TinyMS提供了常用的MindSpore预置数据集,方便开发者简化对数据集的调用,而且提供了Fastai尚未提供的快速部署推理模块等。

 

TinyMS开源社区简介

TinyMS开源社区中除了TinyMS项目外,还有如下一些项目和活动:

l  Specification项目:主要用来协作制定面向模型训练脚本的格式规范。由于TinyMS提供了较为高阶的API抽象,因此诞生了ModelZoo脚本规范性和标准化的需求,便于高阶封装的持续迭代

l  tinyms-ai.github.io:开源实现的简单官方网站搭建,基于Github Page

l  RustedAI Team:目前只有组织成员可见,RustedAITinyMS旨在推动利用Rust语言编写更多的低运行时开销的深度学习组件。

l  社区活动:我们会不定期的组织TinyMS模型拉力赛,以及多种多样的Meetup活动

TinyMS与开发者

TinyMS是一个新生的开源项目,我们站在Kerasfastai等巨人的肩膀上,虽然在设计理念上有所创新,但依然需要社区开发者一起持续的协作,才能达到可以更好的服务学术界、产业界和开发者的深度和广度。

六. 更多值得期待

其实MindSpore即将带来的大量新特性,不止于文中所展示的举例,比如超大规模参数模型可解释AIMindSpore IoT支持等更加前卫的特性,将在4月底的华为开发者大会2021(Cloud)大会亮相,而社区也会在近期发布一款新的开源工具集,敬请关注!开源一周年的MindSpore社区,将为大家带来源源不断的惊喜!

image.png


[1] De Vivo M, Masetti M, Bottegoni G, et al. Role of molecular dynamics and related methods in drug discovery[J]. Journal of medicinal chemistry, 2016, 59(9): 4035-4061.

[2] Liu X, Shi D, Zhou S, et al. Molecular dynamics simulations and novel drug discovery[J]. Expert opinion on drug discovery, 2018, 13(1): 23-37.[3] Robustelli P, Piana S, Shaw D E. Developing a molecular dynamics force field for both folded and disordered protein states[J]. Proceedings of the National Academy of Sciences, 2018, 115(21): E4758-E4766.4. Nerenberg P S, Head-Gordon T. New developments in force fields for biomolecular simulations[J]. Current opinion in structural biology, 2018, 49: 129-138.[5] Yang Y I, Shao Q, Zhang J, et al. Enhanced sampling in molecular dynamics[J]. The Journal of chemical physics, 2019, 151(7): 070902.[6] Bernardi R C, Melo M C R, Schulten K. Enhanced sampling techniques in molecular dynamics simulations of biological systems[J]. Biochimica et Biophysica Acta (BBA)-General Subjects, 2015, 1850(5): 872-877.[7] Wang H, Zhang L, Han J, et al. DeePMD-kit: A deep learning package for many-body potential energy representation and molecular dynamics[J]. Computer Physics Communications, 2018, 228: 178-184.[8] Ribeiro J M L, Bravo P, Wang Y, et al. Reweighted autoencoded variational Bayes for enhanced sampling (RAVE)[J]. The Journal of chemical physics, 2018, 149(7): 072301.[9] Yang L, Qin Gao Y. A selective integrated tempering method[J]. The Journal of chemical physics, 2009, 131(21): 12B606.[10] Kan Z, Zhu Q, Yang L, et al. Polarization effects on the cellulose dissolution in ionic liquids: Molecular dynamics simulations with polarization model and integrated tempering enhanced sampling method[J]. The Journal of Physical Chemistry B, 2017, 121(17): 4319-4332.

如何度过一个充实而精彩的周末呢?

当然是来看~开源大咖、领军企业领袖、资深布道师,在线为你传授经验的直播呀!
如果你周末只想快乐度过,无心学习~
那更应该来看被快乐的氛围环绕的↓MindSpore 周年直播啦!
躺着就能领取直播间各种惊喜“礼物”

image.png

3月28日(周日)上午10:00开始~

直播开场即高能!MindSpore定制好礼100份,B站直播间弹幕数的前100名小伙伴可领取一周年惊喜好礼哦~image.png

当然,任何奖品都没法与这个环节相比较,领军企业领袖空降直播间等你来撩,提前备好刁钻古怪的问题弹幕发出,在线为你解答~

image.png

如果你才接触AI,想进一步了解AI框架相关的知识~

直播间为你准备了:经验丰富的AI专家和优秀开发者与你分享学习心得。

image.png

华为MindSpore 运营总监 胡晓曼,一个有美貌又有才华的小姐姐
为大家带来:MindSpore 社区 2021年为大家精心设计的新工具「TinyMS」预告!

image.png

晚上最适合寻找灵感啦,资深开源大咖圆桌讨论就在晚间开启,让我们激发自己的脑力,和大咖一起头脑风暴!

image.png

MindSpore是华为发布的一款支持端边云全场景AI计算框架,旨在为数据科学家和算法工程师提供设计友好、运行高效的开发体验!

image.png

(以下视频点击后会跳转到原文中观看)

image.png

MindSpore已经在2020年3月28日开源,从0.1到1.1,短短一年时间为广大开发者提供了18个实用特性, 看视频回顾 MindSpore 特性的变化~

image.png

从差分隐私通过已有模型数据,推测出个体特征属性;二阶优化比同样软硬件环境下的一阶优化足足快了近1倍;PyTorch一键转化的特性~

image.png


到MindIR:实现端云互通;Serving:高效部署在线推理服务;端侧特性:AI越用越精准;PyNative:动态图模;调试器的检查能力,定位更精准;单节数据缓存明显的性能提升;约束编程:约束优化器SOMAS;在线体验功能:免费使用线上GPU、CPU环境……


周年直播(3.28-3.29)即将给大家带来什么实用亮眼的新特性呢?锁定MindSpore公众号将向你展现最详细的新特性解析~

image.png

学习任何一款AI框架的过程中都有可能遇到一些困惑,MindSpore从诞生之初,就致力于打造一个属于开发者自己的开源社区。在这里,可以学习交流硬核的技术,可以自由舒适探索你无限的潜能!

image.png

「MindSpore 深度学习实战营」帮助小白更快的上手高性能深度学习框架!

image.png

「MindSpore 两日集训营」让你快速入门MindSpore,结合技术前沿讲解新特性,让你的部署、调优不再成为瓶颈~

image.png


「MSG」MindSpore Study Group

  • 给你提供软硬结合的必备知识!

  • 带你了解前沿的技术成果!

  • 帮你完成第一个社区PR的提交!

image.png

「MindCon极客周」一场为期12天将分别在12个城市举办的极客狂欢活动。大家每天聚集在一个城市,修复社区bug,分享学习心得,还可以参加「昇腾模型王者挑战赛」不断挑战自己!

image.png


开发者的全维度宇宙 —— MindSpore开源社区

开发者的世界是丰富多彩的,写代码只是一部分。MindSpore努力为开发者们打造一个多姿多彩的社区~

image.png


  • 「MindTalk」大咖思想的碰撞;

  • 「梗百科」轻松聊聊梗,快乐涨知识;

  • 「MindSpore 街舞挑战」干饭人动起来;

  • 「MindSpore小剧场」开源界首个小剧场:17个3秒短剧,每天一集,带你感受程序员的日常,包含悬疑、搞笑、温情、以及所有你能get到的技术点~

image.png

MindSpore 开源一周年,感谢全世界各地开发者在百忙之中抽出时间给社区送祝福,先透露一部分祝福视频。无论时间多久,MindSpore社区始终热爱着你们——致开发者,诚挚地邀请你来参加MindSpore开源一周年狂欢活动


image.png

新特性体验活动,火热进行中!

下载指定版本体验并分享,即有机会获取精美礼品!

活动时间:4月1日—4月15日

活动链接:【有奖活动】MindSpore版本更新,新特性诚邀体验!

奖品展示:

image.png



举报
分享

分享文章到朋友圈

分享文章到微博

采纳成功

您已采纳当前回复为最佳回复

花花粉

发帖: 0粉丝: 0

发消息 + 关注

发表于2021年03月30日 17:59:28
直达本楼层的链接
沙发
显示全部楼层

赞一个

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

杰哥123

发帖: 0粉丝: 0

发消息 + 关注

发表于2021年03月30日 18:05:18
直达本楼层的链接
板凳
显示全部楼层

很荣幸看了直播~

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

OMG-007

发帖: 0粉丝: 0

发消息 + 关注

发表于2021年03月30日 18:05:32
直达本楼层的链接
地板
显示全部楼层

顶起来~~

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

下卡丽丽

发帖: 0粉丝: 0

发消息 + 关注

发表于2021年03月30日 18:13:42
直达本楼层的链接
5#
显示全部楼层

前不久刚开始了解过MindSporeAI计算框架,运行态高效

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

Jack20

发帖: 188粉丝: 172

发消息 + 关注

发表于2021年03月31日 16:24:42
直达本楼层的链接
6#
显示全部楼层

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复

艾比德

发帖: 0粉丝: 0

发消息 + 关注

发表于2021年03月31日 17:26:02
直达本楼层的链接
7#
显示全部楼层

这款开源深度学习框架 爱了!

点赞 评论 引用 举报

采纳成功

您已采纳当前回复为最佳回复