华为开发者联创日·全栈AI黑客松大赛baseline

举报
雨落无痕 发表于 2023/05/31 17:12:45 2023/05/31
【摘要】 目录前言快速导航ModelArts全局配置使用Notebook使用OBS桶进行储存管理制作竞赛数据集使用ModelArts创建推理应用基于创建的AI应用部署为在线服务提交你的模型包进行判分资源释放前言本文将帮助大家快速上手比赛,指引大家如何使用ModelArts平台帮助你做实验、存数据、训模型、跑结果。快速导航这部分将给大家提供常用网页的链接,快速一键转跳。华为开发者联创日·全栈AI黑客松大...

目录

  1. 前言

  2. 快速导航

  3. ModelArts全局配置

  4. 使用Notebook

  5. 使用OBS桶进行储存管理

  6. 制作竞赛数据集
  7. 使用ModelArts创建推理应用

  8. 基于创建的AI应用部署为在线服务

  9. 提交你的模型包进行判分

  10. 资源释放


前言

本文将帮助大家快速上手比赛,指引大家如何使用ModelArts平台帮助你做实验、存数据、训模型、跑结果。

快速导航

这部分将给大家提供常用网页的链接,快速一键转跳。

ModelArts全局配置

在ModelArts上使用Notebook、OBS存储服务、训练作业等等很多功能,都需要你先进行访问授权。点此进入ModelArts控制台,按照下图操作即可。image.png

使用Notebook

我们通过Notebook提供了详尽的教程,以我们的baseline代码为例子,指导选手们完成自己模型的训练、推理流程。

Notebook包括:

1、视频抽帧

2、进行目标检测图像标注

3、训练目标检测模型

4、结合视频实现手势姿态检测(包括模型导入Modelarts AI应用管理)

当然这一步不是必须的,选手如果比较熟悉Modelarts平台,可以自行创建训练、推理任务。

  1. 我们提供了baseline的notebook,并且发布在了AI Gallary平台上,这里打开notebook不产生费用,但同时也不建议你在上面进行修改,因为修改内容不会被保存。(三天内不使用就会被清空)

确保你已经阅读过上一句,并理解不要在此notebook上直接修改后

点击此处打开Notebook。

进入notebook以后,你可以对整个内容有大概的浏览。接下来,我们需要将该notebook下载下来(打开notebook后可能需要等几十秒,然后左侧才会出现文件列表,然后再右键.ipynb文件进行下载)

  1. 点击此处,进入ModelArts的Notebook页面,然后创建属于你自己的notebook在线环境,然后上传上一步下载的baseline notebook。
    image.png

  2. 然后你就可以根据notebook里提供的详细教程,完成模型的训练开发,并且在ModelArts导入模型。

  3. 如果你已经运行完notebook,可以跳过以下几个步骤,直接创建在线服务

使用OBS桶进行储存管理

你的模型代码,权重文件,甚至数据集,都可以上传至OBS中,方便在训练任务、部署推理服务等操作时使用你储存的资源。

  1. 点此进入OBS对象存储服务
  2. 首先,我们要创建一个桶
    image.png
    名称自己随便起,其他设置完全维持默认不用改动
    image.png
  3. 创建好以后点击进入桶
    image.png
  4. 点击左侧“对象”进入桶的文件列表,此时你就可以随意上传文件了。
    image.png

需要注意的是,网页版的OBS服务功能有限,你同时只能上传100个文件,且上传好的文件不支持移动、重命名,所以请预先在本地调整好目录结构再上传,如果上传文件超过100个,请分批上传或直接压缩打包后上传(也可以使用OBS Browser+进行上传,一次能上传500个文件,点击此处下载OBS Browser+)。

制作竞赛数据集

本次大赛提供样例数据,需要自己进行处理,点击此处下载;由于文件较多,可以使用OBS Browser+进行文件夹下载

使用ModelArts创建推理应用

如果运行了baseline.ipynb,这一步可以跳过

最终在提交你的推理代码时,你需要根据官方文档准备好一个模型包,请点击此处查看文档,或者查看使用Notebook这一章节内容,里面有详细介绍如何完成一个模型包(即使你不使用该notebook来训练和推理,也可以参考里面的内容)。

当模型包准备好以后:

  1. 点击此处,进入你的OBS桶内,然后按照要求上传你的模型包。注意:模型包不光是model这个文件夹,请上传model文件夹的父级目录。
  2. 点击此处,进入ModelArts的AI应用管理界面,然后按照如下步骤将你的模型包创建为AI应用。
    image.png
    image.png
    部署类型记得选择 在线服务/批量服务。
  3. 然后你就可以等一等了,创建需要花一些时间,创建完成后就大功告成了。
  4. 注意:运行时依赖 必须是配置文件中编写自动填充的,自己在页面上额外添加,是无法上传至比赛后台的

基于创建的AI应用部署为在线服务

这一步主要是为了检验你的模型包是否正确,你可以把你在【使用ModelArts创建推理应用】这一章中创建的AI应用部署为一个在线服务,然后可以直接在线预测和调试,用以确认你的模型包是正常可用的。

大赛后台使用的是批量部署,你也可以尝试批量部署服务。

  1. 点击此处,进入在线服务部署界面,然后点击“部署”进行服务部署。
    image.png如果没有限时免费的规格,可选择cpu 2核8G的进行测试
    image.png
  2. 等部署完成后,你就可以进行在线预测

注意:部署好的在线服务,在界面上进行调用预测,上传的文件大小需要小于12MB,所以可能需要对视频进行压缩(不要改变视频手势变化时间段的帧数,会影响判断)

或者你使用API调用的方式进行预测,可以参考token方式访问:https://support.huaweicloud.com/inference-modelarts/inference-modelarts-0023.html
image.png

提交你的模型包进行判分

如果上述准备你已经全部完成,请点击此处进入AI应用界面,找到你已经经过在线服务测试过的应用包,进行发布:
image.png

提交完成后,判分结果将会以邮件形式发送给你。(如果你的模型包输出未按照我们的格式要求,可能会导致判分失败;如果你的模型包本身结构有问题,后台判分时可能会直接部署失败。)

资源释放

使用完ModelArts相关计算资源后,请务必及时释放资源,否则会造成资源浪费甚至账号欠费。

ModelArts以下模块会涉及云资源的消耗并会按需或按周期产生费用:自动学习训练和部署,Notebook实例,训练作业,TensorBoard,在线服务。使用完需要停止自动学习部署、NotebookTensorBoard、在线服务。

停止所有需消耗云资源的作业后,可在ModelArts总览页面确认所有计费项都为“0”。



8.1.1.png


删除OBS桶

由于OBS存储会收费,请务必执行这一步

点击此处,进入OBS控制台查看OBS桶

点击对应桶名,进入桶内,点击对象,全选,删除文件夹:

回退至桶列表,即可删除OBS桶:

注意:

·       公有云的按需使用是采用后付费模式,即先使用再付费,一个小时会出一次话单,比如:2019.6.24  04:00~05:00这段时间使用的费用,在05:00时刻采集完成后,才会出话单,进行扣费。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。