拒绝毒蘑菇,用ModelArts零代码五步轻松带你识别

举报
JeffDing 发表于 2021/03/23 09:28:31 2021/03/23
【摘要】 白雪公的故事,相信大家都有印象,如果当时白雪公主要是有ModelArts的话,估计故事结局就是另外一个版本了。不信?今天就以毒蘑菇为例,看ModelArts如何通过自动学习进行毒蘑菇的识别。

一、创建OBS桶

在华为云控制台点击页面左上角的服务列表,然后在搜索中输入OBS,然后在过滤出来的结果中选择对象存储服务进入到OBS界面

在跳出的对象存储服务页面中点击【创建桶】

在创建桶的页面中基本保持默认设置即可,在【数据冗余存储策略】选择【单AZ存储】,选择完成后点击立即创建

创建完成后,在对象存储管理的主界面中就可以看到前面创建好的桶了

二、算法及数据准备

本次毒蘑菇检测案例我们需要使用的算法为Resnet50,在AI市场可以订阅到该算法。对应的数据集也已经上传到了ModelArts AI市场中。

ResNet50算法地址:https://marketplace.huaweicloud.com/markets/aihub/modelhub/detail/?id=40b66195-5bbe-463d-b8a2-03e57073538d

数据集地址:https://marketplace.huaweicloud.com/markets/aihub/datasets/detail/?content_id=3e03356f-353d-4718-a943-d219624cb64f

订阅算法:

点击链接打开算法页面后,点击页面中的【订阅】即可完成算法订阅操作

数据集下载:

点击链接进入到毒蘑菇检测数据集下载页面后点击【下载】

在出来的下载页面在目标位置一栏点击右面的文件夹小标志然后选择我们前面创建的桶

在出来的页面上点击新建文件夹,新建一个文件夹,文件名自己设定,只要后面记得住就好,将数据文件拷贝进去即可。

到这一步算法订阅和数据集下载都完成了,接下去我们开始进行数据集操作。

三、数据集创建

在华为云控制台主页左上角选择【服务列表】,然后在右面的搜索框内搜索ModelArts然后在过滤出来的结果中输入选择【ModelArts】就可以打开ModelArts控制台界面了。

注意:第一次使用ModelArts的话可以需要在ModelArts控制台界面左面找到【全局配置】,然后在出来的界面中选择【访问控制】,随后选择【使用委托】,最后点击【同意授权】完成ModelArts访问OBS等服务的授权操作。

准备工作完成后,我们开始进入数据集准备阶段,在ModelArts控制台找到【数据管理】-【数据集】,然后在出来的页面中点击【创建数据集】

出来的页面中数据集名称自己定义一个,然后标注类型选择图像分类。,然后页面下方的数据集输入位置和数据集输出位置和前面下载数据集的时候一样操作,我们创建两个文件夹一个用于存放输入数据,一个用于存放输出位置。全都完成后点击页面底部的【创建】。数据集的创建就算完成了。

创建完成数据集后我们还需要把我们前面下载的毒蘑菇数据导入到数据集中,我们返回到ModelArts控制台找到【数据管理】-【数据集】,找到前面我们创建的数据集,然后点击进入数据集页面。

在出来的页面中点击【导入】,然后OBS目录位置选择我们在下载毒蘑菇数据集的时候创建的那个文件夹,然后点【确定】,系统就会自动导入数据。因为数据集准备的时候我已经按照自动标注的要求,进行文件夹命名了,所以在导入完成后ModelArts数据管理也会帮我们自动完成标注。这个过程可能需要20-30分钟的样子。

完成导入后,我们在一开始的数据集页面看标注进展总数是6714,已标注:6714就说明我们数据集已经导入完成了。

接下去我们点击页面右上方的【发布】将数据发布一下,这边把【数据切分】划到右方,然后在训练验证比例中训练集比例填写0.8,这边建议0.8,其实其他的切分比例也是可以的,有兴趣的话可以自行探索。完成后点【确定】就完成了数据集这块的所有工作

四、模型训练

数据集准备完成后接下去我们就可以开始进行模型训练了。在ModelArts控制台找到【训练管理】-【训练作业】

然后点击【创建】,然后【算法来源】选择【算法管理】,在页面中【算法管理】这边选择浏览,然后找到我们前面订阅的算法,如果是第一次使用的话,可能页面中有个同步,点一下同步。等到同步完成后,选中同步完成的版本,然后点击确定就完成了算法选择。

选择完成算法以后,我们还需要选择一下数据来源,这边选择【数据集】,然后【选择数据集】选择我们前面创建发布的数据集即可

我们还需要指定一下训练文件保存的位置,在【模型输出】选择我们一开始创建的OBS桶,然后一样新建一个文件夹,将我们训练产生的文件存储到该文件夹中以备后面创建模型的时候使用。

调优参数一块的话,这次试验我们就保持默认就好。有兴趣的可以试着改一下batch_size,learning_rate_strategy这几个参数看看不同参数训练的效果。下面还有一个作业日志路径,这个是用来保存日志文件的,同样我们点文件夹小图标创建一个log文件夹,然后把日志文件存入到该文件夹中。

在规格这边我们选择modelarts.vm.gpu.free即可,这个规格是不收费的,但是只能使用1小时,如果训练时间超过1小时就会自动结束。全都设定好后。点击下一步,然后点击开始训练系统就会开始进行模型训练了,整个训练过程大约选哟17-22分钟左右。

五、创建模型及部署预测

等到训练作业状态显示为运行成功后,我们点击右面的创建模型就可以进行模型创建

在出来的导入模型页面中设定一下模型名称,其他的保持默认即可。然后点击【立即创建】,系统就会自动开始模型创建工作

等到模型状态变为正常后,就表示模型创建成功了。

点击右面的【部署】然后选择【在线服务】,开始部署服务。在这个页面一样我们设定一个名称,然后在底下的资源池计算节点选择[限时免费]CPU 1核 4G,这个规格即可。

全都设定完成后点击底部的【下一步】,然后【提交】就开始部署模型预测服务,然后点击【查看详情】

在出来的页面中点击【启动】,状态变成【部署中XX%】就说明系统开始进行部署了。等到状态变为【运行中】就说明服务部署完成了。然后点击页面下面的【预测】,然后点击【上传】上传一张我们自己找的蘑菇图片(这个可以自己百度搜图片,随便找一样蘑菇的图片都可以进行预测)。上传完成后点击预测,页面就会出来预测的结果了。

到这里,使用ModelArts进行毒蘑菇预测的案例就算完成了,整个的操作步骤和流程还是很简单的。

最后欢迎大家加入到MDG (ModelArts Developer Groups)开发者社区,在未来和我们一起探索ModelArts的神奇吧。MDG (ModelArts Developer Groups) 是由一群华为云 ModelArts 的爱好者共建的 AI 开发者社区,旨在通过成员间互动交流、技术分享来实现共同进步,互助发展。

图片



【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。