华为开发者联创日·全栈AI黑客松大赛baseline
目录
前言
快速导航
ModelArts全局配置
使用Notebook
使用OBS桶进行储存管理
- 制作竞赛数据集
使用ModelArts创建推理应用
基于创建的AI应用部署为在线服务
提交你的模型包进行判分
资源释放
前言
本文将帮助大家快速上手比赛,指引大家如何使用ModelArts平台帮助你做实验、存数据、训模型、跑结果。
快速导航
这部分将给大家提供常用网页的链接,快速一键转跳。
ModelArts全局配置
在ModelArts上使用Notebook、OBS存储服务、训练作业等等很多功能,都需要你先进行访问授权。点此进入ModelArts控制台,按照下图操作即可。
使用Notebook
我们通过Notebook提供了详尽的教程,以我们的baseline代码为例子,指导选手们完成自己模型的训练、推理流程。
Notebook包括:
1、视频抽帧
2、进行目标检测图像标注
3、训练目标检测模型
4、结合视频实现手势姿态检测(包括模型导入Modelarts AI应用管理)
当然这一步不是必须的,选手如果比较熟悉Modelarts平台,可以自行创建训练、推理任务。
- 我们提供了baseline的notebook,并且发布在了AI Gallary平台上,这里打开notebook不产生费用,但同时也不建议你在上面进行修改,因为修改内容不会被保存。(三天内不使用就会被清空)
确保你已经阅读过上一句,并理解不要在此notebook上直接修改后
请点击此处打开Notebook。
进入notebook以后,你可以对整个内容有大概的浏览。接下来,我们需要将该notebook下载下来(打开notebook后可能需要等几十秒,然后左侧才会出现文件列表,然后再右键.ipynb
文件进行下载)
请点击此处,进入ModelArts的Notebook页面,然后创建属于你自己的notebook在线环境,然后上传上一步下载的baseline notebook。
然后你就可以根据notebook里提供的详细教程,完成模型的训练开发,并且在ModelArts导入模型。
- 如果你已经运行完notebook,可以跳过以下几个步骤,直接创建在线服务
使用OBS桶进行储存管理
你的模型代码,权重文件,甚至数据集,都可以上传至OBS中,方便在训练任务、部署推理服务等操作时使用你储存的资源。
- 点此进入OBS对象存储服务
- 首先,我们要创建一个桶
名称自己随便起,其他设置完全维持默认不用改动 - 创建好以后点击进入桶
- 点击左侧“对象”进入桶的文件列表,此时你就可以随意上传文件了。
需要注意的是,网页版的OBS服务功能有限,你同时只能上传100个文件,且上传好的文件不支持移动、重命名,所以请预先在本地调整好目录结构再上传,如果上传文件超过100个,请分批上传或直接压缩打包后上传(也可以使用OBS Browser+进行上传,一次能上传500个文件,点击此处下载OBS Browser+)。
制作竞赛数据集
本次大赛提供样例数据,需要自己进行处理,点击此处下载;由于文件较多,可以使用OBS Browser+进行文件夹下载
使用ModelArts创建推理应用
如果运行了baseline.ipynb,这一步可以跳过
最终在提交你的推理代码时,你需要根据官方文档准备好一个模型包,请点击此处查看文档,或者查看使用Notebook这一章节内容,里面有详细介绍如何完成一个模型包(即使你不使用该notebook来训练和推理,也可以参考里面的内容)。
当模型包准备好以后:
- 请点击此处,进入你的OBS桶内,然后按照要求上传你的模型包。注意:模型包不光是model这个文件夹,请上传model文件夹的父级目录。
- 请点击此处,进入ModelArts的AI应用管理界面,然后按照如下步骤将你的模型包创建为AI应用。
部署类型记得选择 在线服务/批量服务。 - 然后你就可以等一等了,创建需要花一些时间,创建完成后就大功告成了。
- 注意:运行时依赖 必须是配置文件中编写自动填充的,自己在页面上额外添加,是无法上传至比赛后台的
基于创建的AI应用部署为在线服务
这一步主要是为了检验你的模型包是否正确,你可以把你在【使用ModelArts创建推理应用】这一章中创建的AI应用部署为一个在线服务,然后可以直接在线预测和调试,用以确认你的模型包是正常可用的。
大赛后台使用的是批量部署,你也可以尝试批量部署服务。
- 请点击此处,进入在线服务部署界面,然后点击“部署”进行服务部署。
如果没有限时免费的规格,可选择cpu 2核8G的进行测试 - 等部署完成后,你就可以进行在线预测
注意:部署好的在线服务,在界面上进行调用预测,上传的文件大小需要小于12MB,所以可能需要对视频进行压缩(不要改变视频手势变化时间段的帧数,会影响判断)
或者你使用API调用的方式进行预测,可以参考token方式访问:https://support.huaweicloud.com/inference-modelarts/inference-modelarts-0023.html
提交你的模型包进行判分
如果上述准备你已经全部完成,请点击此处进入AI应用界面,找到你已经经过在线服务测试过的应用包,进行发布:
提交完成后,判分结果将会以邮件形式发送给你。(如果你的模型包输出未按照我们的格式要求,可能会导致判分失败;如果你的模型包本身结构有问题,后台判分时可能会直接部署失败。)
资源释放
使用完ModelArts相关计算资源后,请务必及时释放资源,否则会造成资源浪费甚至账号欠费。
ModelArts以下模块会涉及云资源的消耗并会按需或按周期产生费用:自动学习训练和部署,Notebook实例,训练作业,TensorBoard,在线服务。使用完需要“停止”自动学习部署、Notebook、TensorBoard、在线服务。
停止所有需消耗云资源的作业后,可在ModelArts总览页面确认所有计费项都为“0”。
删除OBS桶
由于OBS存储会收费,请务必执行这一步
点击此处,进入OBS控制台查看OBS桶
点击对应桶名,进入桶内,点击对象,全选,删除文件夹:
回退至桶列表,即可删除OBS桶:
注意:
· 公有云的按需使用是采用后付费模式,即先使用再付费,一个小时会出一次话单,比如:2019.6.24 04:00~05:00这段时间使用的费用,在05:00时刻采集完成后,才会出话单,进行扣费。
- 点赞
- 收藏
- 关注作者
评论(0)