因为热爱-AI全栈优秀毕业学员&优秀助教学习分享心得

HW-QGS 发表于 2021/01/11 17:27:20 2021/01/11
【摘要】 不知不觉,2020华为云开发者大会认识ModelArts,已经一年,从陌生-到认识-再到熟悉的过程往往刚开始是困难的,就像刚接触linux一样,那种什么都不懂的感觉,学习的过程是痛苦的,懂了之后就还好最早接触的是华为云高校青年班,刚开始只是一名学员,因为兴趣和热爱,坚持学习ModelArts等相关操作以及基础概念,也获得优秀个人奖等等,以及后来多次参加了华为云实战营等活动,垃圾分类等比赛等,...

不知不觉,2020华为云开发者大会认识ModelArts,已经一年,从陌生-到认识-再到熟悉的过程

往往刚开始是困难的,就像刚接触linux一样,那种什么都不懂的感觉,学习的过程是痛苦的,懂了之后就还好

最早接触的是华为云高校青年班,刚开始只是一名学员,因为兴趣和热爱,坚持学习ModelArts等相关操作以及基础概念,也获得优秀个人奖等等,以及后来多次参加了华为云实战营等活动,垃圾分类等比赛等,在偶然的一次机会当上了AI全栈的助教。


AI人工智能全栈成长计划主贴地址 https://bbs.huaweicloud.com/forum/thread-74751-1-1.html

课程亮点

课程由浅入深的介绍AI发展史、开发语言、开发工具、深度学习、企业应用实战,并配置大量技术实训进行实战训练,助力AI开发技能全面掌握,向全栈工程师迈进!


亮点1:华为专家亲授  打通AI系统知识体系

华为 AI 算法专家零一老师亲授课程, 课程分为三大阶段扎实AI编程能力,更有Python编程语言、AI开发工具、AI模型开发等重磅干货!


亮点2:邀请好友报名 赢取豪礼

邀请好友参与活动一起学AI,邀请成功有机会获得华为Mate 40 5G手机、GT手表、AI音箱活动已结束

亮点3:报名就送Python精品课程&100G硬核资料

Python、深度学习、GitHub、人工智能数学基础、机器学习、爬虫……现在报名就送Python精品课程&100G AI课程学习大礼包!

亮点4:免费算力抢先体验  搭建属于你的第一个AI模型

报名课程,即可免费领取课程学员特权:AI开发平台ModelArts,免费算力抢先体验,在线动手,免费搭建属于你的第一个AI模型~


适合人群:

0基础想要进阶的开发者(学生/0基础开发者皆可)想要全面完善AI开发技术框架,学习华为云开发技术的开发者


接下来简单的认识一下ModelArts

图片.png


数据处理(效验,转换,清洗,选择,增强)

数据处理的目的是让开发者在模型训练之前拿到质量更高的数据集,以提升精度,降低模型训练成本

1,数据效验和转换

数据效验(对数据可用性进行判断和验证的过程)

采集的数据是否有格式的问题,图像名称,后缀不满足训练算法的要求,可能无法识别,和无法解码等情况,因此,数据的效验非常重要,数据的标注格式可能也有很多种。

ModelArts数据处理模块提供数据效验功能,对于图像数据,判断标注格式是否相符合要求,图像分辨率是否符合要求,图像通道是否符合算法要求,图像解码是否正常,图像名称和后缀是否满足规范

数据转换(对数据进行规范化处理)

数据转换是指数据大小,格式,特征等进行变换的过程,数据转换是为了使数据更适合算法选择和模型训练,使数据充分利用

如图像有JPEG,PNG等格式,为了满足算法输入要求的格式,比如算法要求图像都是PNG格式,就要将不同的图像格式转换成PNG格式,这就需要转换格式并进行必要的数据整理

数据清洗(数据进行去噪,纠错或补全的过程)

1,离散化(针对连续的场景特征取值) 2,无量纲化(保持特征之间的公平性,提高模型精准度) 3,缺失值补全  4,分布变换(对数变换,指数变换等) 5,变量解码(文字,字母,频率等)

数据选择(特征提取,聚类排序,选择最优子集)

数据增强

数据增强通过缩放,裁剪,变换,合成等操作直接或者间接增强数据量,进而进一步提升模型的训练精度,结构化数据和非结构化数据都可以做数据增强

数据增强可以分为,离线数据增强和在线数据增强

数据增强的常见方法

1,空间几何变换

旋转

翻转变换

缩放变换

平移变换

尺度变换

2,像素和特征变换

对比度变换

噪声扰动

颜色变化

3,样本合成

SamplePairing

MixUp等

选择数据处理,在选择分类等,数据处理类型,选择数据集的输入与输出等

选择场景以及数据处理类型

创建完成

数据标注

现今大多数人工智能算法依旧是依赖监督学习,所以数据标注非常重要

1,标注任务分类(与实际场景密切相关),比如,图像分类标注,目标检测标注,图像分割标注,点云标注

ModelArts通用标注工具,矩形框,多边形,圆形,点,线等

常用的文本相关标注任务如,文本分类标注,命名体识别标注,三元组标注,词法分析标注,命名体识别标注,机器翻译标注等

如上百万张图像大量的图像数据标注,不仅费时而且消耗大量的人力成本及资源,为了减少标注消耗的时间同时降低标注成本,ModelArts在标注中加入了机器学习技术并为标注者提供了智能数据标注服务

1,基于主动学习的智能数据标注

标注者仅需少量的数据作为训练集来训练模型,再用训练好的模型对未标注的数据进行推理

2,交互式智能标注(1,交换式目标检测注  2,交换式分割标注 3,交换式视频标注 4,其他交换式智能标注)

先创建数据集(一定选择北京四哦)

数据集名称可自动生成,也可以手动输入自己需要的名称,再选择场景,类型等,输入位置比如,food,输出位置比如,out等

完成数据集创建

点击名称进入数据集,便可进行,标注,团队标注(数据集庞大时建议使用),标注完成后便可发布,还可以导入新的数据,修改等操作

数据集较为庞大时,建议使用智能标注,建议每种标注数量十几张以上时再使用智能标注

选择智能标注的类型以及算法类型

数据分析

对数据整体的统计分析,以及对单个数据进行细粒度分析诊断,才可以更加深入地了解数据,及时发现更深层次的问题并优化

1,数据集特征分析和优化

特征分析主要是更快速方便的了解数据集的特点,并制定后续的优化和处理方案,ModelArts特征分析模块主要支持特征,分辨率,图像亮度,图像饱和度,清晰度,图像色彩丰富等常规图像特征,面积标准度,堆叠度等

图片.png

选择数据集版本,在选择类型,在根据自己需要的指标进行查看

选择自己需要的数据集版本

图片.png

选择类型

图片.png

清晰度

图片.png

图片高度比

图片.png

分辨率

图片.png

图像亮度

图片.png

图像彩色的丰富程度

图片.png

图片的饱和程度

图片.png

全选一目了然

图片.png

如:人工智能应用快速开发目标检测

目标检测任务比图像分类稍微复杂一些,需要对图像中感兴趣的目标检测物体进行定位和分类

目标检测的用途广泛(人脸检测,车辆识别等)

基于ModelArts平台,目标检测的开发流程和图像分类非常相似

快速

1,数据集准备,

首先在目标检测模板创建一个项目,上传图像,并开始标注,如图像中的人脸,需将每张图像的目标类别(人脸标志)用矩形框标注出来,并给具体标签,大概标注十几张至二十几张图像后,便可得一个简易的人脸识别物体检测数据集

1573370403482174.png

2,模型自动训练

ModelArts利用目标检测算法,并根据输入的数据自动训练目标检测模型,类似于图像分类,训练之前可以配置更多自己需要的参数,增加训练次数等

3,应用部署和测试

类似于图像分类,对模型精准度满意后,可进行部署,和在线测试



AI全栈印象中深刻的学习难点以及共同问题


没有选择北京四(细节)


AS SK的授权问题

(平台的更新与老版本的授权有一点差别)

  登录华为云管理控制台。  

单击右上角“用户名”,进入账号中心,在“安全凭证”中单击“管理我的凭证”。


图1-1 “账号中心”页面

image.png

在“我的凭证”页面,单击“访问密钥”页签。在“访问密钥”页面,单击“新增访问密钥”。


图1-2 “我的凭证”页面

图片.png

    在弹出“新增访问密钥”对话框中,输入短信验证码,单击“确定”。此时,访问密钥以excel文件的形式自动下载到本地电脑中


图1-3 “新增访问密钥”对话框

image.png

    打开excel表格,即可获取用户所需的AK/SK(请妥善保管密钥文件)。


github需要翻外墙的问题


直接复制粘贴打开的地址对是这样

0614b0c940b1cf52e94ed476c356791.png



首先我们通过视频学习之后,会有官方给的链接,复制之后打开如下图一,~因为复制粘贴少了一个符号-

复制粘贴后时(例子):https://nbviewer.jupyter.org/github/huaweicloud/ModelArtsLab/blob/master/notebook/DL_face_recognition_advanced/face_similarity.ipynb

0614b0c940b1cf52e94ed476c356791.png

然后打开:https://nbviewer.jupyter.org/图二

需要手动修改一下:https://nbviewer.jupyter.org/github/huaweicloud/ModelArts-Lab/blob/master/notebook/DL_face_recognition_advanced/face_similarity.ipynb(成功打开的例子)将手动修改后的链接复制到如下图,回车即可打开

dd6dfe6d91df36d46669c4a4090affa.png

c81fd7e386d091fa3bec8532d1695ae.png






AI全栈AI应用篇-第三章考核中不支持您的txt中文编码方式


不支持您的txt文件中文编码方式,检测到的编码方式是%s' % encoding

,如图所示

直接下载的文件无法解释,解决方案一如下:

系统自带的记事本打开也能够转码的,也是另存为,然后编码选择UTF-8

直接下载的文件无法解释,解决方案二如下:

1,可以使用Visual打开三国演义.txt

点击另存-

在点击确定

选择如图所示即可

重新txt上传,然后重新运行即可

或者使用UltraEdit,Vscode工具进行另存,转换为UTF-8即可


https://modelarts-labs-bj4.obs.cn-north-4.myhuaweicloud.com/notebook/DL_nlp_introduction/三国演义.txt 

下载文本。

 https://modelarts-labs-bj4.obs.cn-north-4.myhuaweicloud.com/notebook/DL_nlp_introduction/三足鼎.jpg

下载三足鼎图片


因为热爱,不断进步,积累经验,收获了很多朋友和知识,共同成成和学习,以及问题的处理方法

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。