ModelArts 新特性品鉴

ModelArts 发布至今已经来到了 3.0 的版本，尽管不断迭代升级，操作界面依旧是那个似曾相识的样子，不过内在已今非昔比，越来越强大！最近，ModelArts 官方又放出了不少新特性，比如数据管理支持数据预处理功能、AI 市场支持免费算法代码开放、Notebook 环境升级、支持将模型部署至 Atlas500。作为爱尝鲜的 Copy 攻城狮，我已经迫不及待地想上手体验一波。

数据预处理

数据处理这块的新特性，相信大部分关注 ModelArts 的小伙伴早在 8 月份的时候就陆续推出了，在 HC 大会上也展现了一些实践案例，现在终于官宣了！数据处理在 ModelArts 的数据管理模块下，目前涵盖图像分类、物体检测两大主流场景的数据校验、数据清洗、数据选择(数据去重)、数据增强(数据扩增)四种类型，数据输入输出依旧支持 ModelArts 数据集和 OBS 目录。其中数据校验基于 MetaValidation 算子实现，目前可以校验 jpg、jpeg、bmp、png 四种图片格式及 xml 标注格式，用户可自定义图片的最大宽度和最大高度，值得注意的时数据校验过程不会改动原始数据而是保存校验通过的数据到指定输出路径，另外不支持非矩形框标注；数据清洗基于 PCC 算子(不确定是不是 Pearson correlation coefficient，皮尔森相关系数)实现，数据清洗可以在数据校验的基础上过滤掉一些非所需类别的图像，目前用户可选的参数包括正样例目录、负样例目录、样本种类、相似度阈值、样本特征间距，值得注意的是正样例目录是必传参数，一般是一个 OBS 目录；数据选择基于 SimDeduplication 算子实现，主要是根据相似程度阈值的入参完成图像去重；数据增强（数据扩增）中能使用的算子就比较多了，目前囊括了翻转、填充、旋转、缩放等多达 19 种算子，满足绝大数应用场景，记得第一次调参美食分类 baseline 的时候就通过代码简单实现提升过模型精度，现在有了零代码的数据增强神器，妈妈再也不用担心我的数据集太小了。如果您迫不及待想动手实操，欢迎点击以下教程参与实践：
ModelArts 数据处理相关博客：

1. 数据处理简介：https://bbs.huaweicloud.com/blogs/193413

2. 数据增强：https://bbs.huaweicloud.com/blogs/189148使用数据增强，解决数据不足和数据集不均衡的情况

3. 数据生成域迁移：https://bbs.huaweicloud.com/blogs/193405数据风格变换：ModelArts的数据域迁移功能

4. 数据校验：https://bbs.huaweicloud.com/blogs/193412 数据校验--给你的数据做个体检吧

5. 数据去重：https://bbs.huaweicloud.com/blogs/193420数据去重---ModelArts在数据处理上的应用技巧-免费，欢迎大家体验

6. 数据清洗：https://bbs.huaweicloud.com/blogs/193421数据清洗---ModelArts在数据处理上的应用技巧-免费，欢迎大家体验

7. 难例筛选：https://bbs.huaweicloud.com/blogs/193422如何加速AI模型迭代：Modelarts的难例筛选功能

综合实践案例：

《基于 ModelArts 开发“终端分歧机”》

AI 市场优化更新

自诩为“Copy 攻城狮”，当然少不了逛逛 ModelArts AI 市场，这里的“卖家”个个都是人才，模型精度又高，算法文档又全，HiLens 技能又好使，数据集又丰富，我特别喜欢这里。首先是商品列表优化，从上图中可以看到商品列表顶端增加“置顶推广”筛选项，左侧导航栏支持更多筛选项，每一次的优化都是为了更好的用户体验。个人感觉相比之前的版本，这次的优化更加方便了商品的查找，如果小伙伴有商品需要上架，建议可以针对性地做一下搜索优化，比如优秀的标题和文档、合理的标签，铁定能吸引更多的开发者订阅您的商品。

AI 市场另一个优化亮点是优化了订阅流程，记得之前有小伙伴反馈过没法取消订阅，估计是呼声比较高，现在取消订阅给安排上了，甚至还加上了“后悔药”--找回订阅。也就是说当您不再需要在 AI 市场中订阅的商品，可以取消订阅该商品。如果您需要再次使用该商品，可以找回订阅。值得注意的是，从开发文档来看，目前应该是支持免费商品的取消订阅和找回订阅，商用的商品估计是涉及到资金的问题，在取消订阅功能方面比较慎重。您觉得订阅流程的优化符合您的预期吗？

AI 市场还有个我最喜欢的优化--支持代码分享！！！从上图中我们看到的是华为云 EI 骨干模型(EI-Backbone)，目前也开放了，ModelArts 正是基于 EI-Backbone 这个法宝，能够基于行业小样本数据训练高精度模型，提供了 AI 开发的新范式。为了感受 EI-Backbone 的强大，尽管不具备 AI 专业知识，鉴于文档的清晰明了，我还是鼓起勇气尝试订阅 EI-Backbone 进行模型训练。刚好有个口罩的数据集，大概是 6120 张图片、近 2w 个标注，按照默认参数训练了 50 个 epoches，大概 20 来分钟就训练完了，不过大意了，图像分类硬生生被我整成物体检测，尽管训练、模型生成、部署全部都一把过，终究错了就是错了，直到预测的时候我才傻眼了。

当然，耗子尾汁的 Copy 攻城狮岂能善罢甘休？找了个美食分类数据集继续刚！1630 张 23 个类别的美食依旧默认参数训练 50 个 epoches，大概 10 分钟，Top1: 93.252。感觉十分给力了！

说回代码开放，目前在 AI 市场还暂未看到代码开放的算法，如果您的算法开源，欢迎和大家分享！也许 AI 市场第一份开放的代码就源自于您！十分期待！

Notebook 环境升级

每每提到 Notebook，我就会自然而然地想到 ModelArts我的笔记本，她实在是太便捷了！也许是从我的笔记本的用户体验中受到了启发，此次 Notebook 环境已经升级为Multi-Engine，暂且称之为多引擎环境。相比之前的创建环境总是需要点来点去，现在一键搞定，非常便捷。值得注意的是 ModelArts 还支持 Keras 引擎，目前主要是开发环境中的 Notebook 支持，训练作业和模型部署（即推理）暂时不支持。不知道这次的 Notebook 环境升级有没有捕获到您的芳心？

Modelarts 支持将模型部署至 Atlas500

这点为啥放到最后说呢？主要还是因为我没有部署过边缘服务，当然也没有使用过 Atlas500 啦。上次在 DevRun 开发者日广州站有幸目睹了 Atlas 系列产品的惊艳，不过也是看了就忘了，阿特拉斯是华为昇腾系列 AI 处理器，是“端、边、云”的全场景 AI 基础设施方案重要组成部分，这次更新纳管 Atlas 500，为将模型部署为边缘服务又提供了新的方式，将华为云智能边缘服务（IEF）和 AI 开发平台（ModelArts）紧密结合，共同普惠 AI。值得注意的是，Atlas 500 基于 Ascend310，需要将 ModelArts 训练后得到的模型转成对应支持的格式。如果您恰好有在使用 Atlas500，期待您的分享哦！

结语

最近总是感觉时间不够用，也不知道时间都去哪儿了，比如这 2000 字水一下，一个通宵就过去了。尴尬啊，一天天从早到晚也没整成什么事，目标很远大、任务很艰巨。尽管时间一天一天的流逝，也没有什么起色，依旧“做一天和尚撞一天钟”，得过且过，算了吧，那就这样吧，“Everyday is new day”！