因为热爱-AI全栈优秀毕业学员&优秀助教学习分享心得
不知不觉，2020华为云开发者大会认识ModelArts，已经一年，从陌生-到认识-再到熟悉的过程
往往刚开始是困难的，就像刚接触linux一样，那种什么都不懂的感觉，学习的过程是痛苦的，懂了之后就还好
最早接触的是华为云高校青年班，刚开始只是一名学员，因为兴趣和热爱，坚持学习ModelArts等相关操作以及基础概念，也获得优秀个人奖等等，以及后来多次参加了华为云实战营等活动，垃圾分类等比赛等，在偶然的一次机会当上了AI全栈的助教。
AI人工智能全栈成长计划主贴地址 https://bbs.huaweicloud.com/forum/thread-74751-1-1.html
课程亮点
课程由浅入深的介绍AI发展史、开发语言、开发工具、深度学习、企业应用实战，并配置大量技术实训进行实战训练，助力AI开发技能全面掌握，向全栈工程师迈进！
亮点1：华为专家亲授 打通AI系统知识体系
华为 AI 算法专家零一老师亲授课程， 课程分为三大阶段扎实AI编程能力，更有Python编程语言、AI开发工具、AI模型开发等重磅干货！
亮点2：邀请好友报名 赢取豪礼
邀请好友参与活动一起学AI，邀请成功有机会获得华为Mate 40 5G手机、GT手表、AI音箱！活动已结束
亮点3：报名就送Python精品课程&100G硬核资料
Python、深度学习、GitHub、人工智能数学基础、机器学习、爬虫……现在报名就送Python精品课程&100G AI课程学习大礼包！
亮点4：免费算力抢先体验 搭建属于你的第一个AI模型
报名课程，即可免费领取课程学员特权：AI开发平台ModelArts，免费算力抢先体验，在线动手，免费搭建属于你的第一个AI模型~
适合人群：
0基础想要进阶的开发者（学生/0基础开发者皆可）、想要全面完善AI开发技术框架，学习华为云开发技术的开发者
接下来简单的认识一下ModelArts
数据处理（效验，转换，清洗，选择，增强）
数据处理的目的是让开发者在模型训练之前拿到质量更高的数据集，以提升精度，降低模型训练成本
1，数据效验和转换
数据效验（对数据可用性进行判断和验证的过程）
采集的数据是否有格式的问题，图像名称，后缀不满足训练算法的要求，可能无法识别，和无法解码等情况，因此，数据的效验非常重要，数据的标注格式可能也有很多种。
ModelArts数据处理模块提供数据效验功能，对于图像数据，判断标注格式是否相符合要求，图像分辨率是否符合要求，图像通道是否符合算法要求，图像解码是否正常，图像名称和后缀是否满足规范
数据转换（对数据进行规范化处理）
数据转换是指数据大小，格式，特征等进行变换的过程，数据转换是为了使数据更适合算法选择和模型训练，使数据充分利用
如图像有JPEG,PNG等格式，为了满足算法输入要求的格式，比如算法要求图像都是PNG格式，就要将不同的图像格式转换成PNG格式，这就需要转换格式并进行必要的数据整理
数据清洗（数据进行去噪，纠错或补全的过程）
1，离散化（针对连续的场景特征取值） 2，无量纲化（保持特征之间的公平性，提高模型精准度） 3，缺失值补全 4，分布变换（对数变换，指数变换等） 5，变量解码（文字，字母，频率等）
数据选择（特征提取，聚类排序，选择最优子集）
数据增强
数据增强通过缩放，裁剪，变换，合成等操作直接或者间接增强数据量，进而进一步提升模型的训练精度，结构化数据和非结构化数据都可以做数据增强
数据增强可以分为，离线数据增强和在线数据增强
数据增强的常见方法
1，空间几何变换
旋转
翻转变换
缩放变换
平移变换
尺度变换
2，像素和特征变换
对比度变换
噪声扰动
颜色变化
3，样本合成
SamplePairing
MixUp等
选择数据处理，在选择分类等，数据处理类型，选择数据集的输入与输出等
选择场景以及数据处理类型
创建完成
数据标注
现今大多数人工智能算法依旧是依赖监督学习，所以数据标注非常重要
1，标注任务分类（与实际场景密切相关），比如，图像分类标注，目标检测标注，图像分割标注，点云标注
ModelArts通用标注工具，矩形框，多边形，圆形，点，线等
常用的文本相关标注任务如，文本分类标注，命名体识别标注，三元组标注，词法分析标注，命名体识别标注，机器翻译标注等
如上百万张图像大量的图像数据标注，不仅费时而且消耗大量的人力成本及资源，为了减少标注消耗的时间同时降低标注成本，ModelArts在标注中加入了机器学习技术并为标注者提供了智能数据标注服务
1，基于主动学习的智能数据标注
标注者仅需少量的数据作为训练集来训练模型，再用训练好的模型对未标注的数据进行推理
2，交互式智能标注（1，交换式目标检测注 2，交换式分割标注 3，交换式视频标注 4，其他交换式智能标注）
先创建数据集（一定选择北京四哦）
数据集名称可自动生成，也可以手动输入自己需要的名称，再选择场景，类型等，输入位置比如，food，输出位置比如，out等
完成数据集创建
点击名称进入数据集，便可进行，标注，团队标注（数据集庞大时建议使用），标注完成后便可发布，还可以导入新的数据，修改等操作
数据集较为庞大时，建议使用智能标注，建议每种标注数量十几张以上时再使用智能标注
选择智能标注的类型以及算法类型
数据分析
对数据整体的统计分析，以及对单个数据进行细粒度分析诊断，才可以更加深入地了解数据，及时发现更深层次的问题并优化
1，数据集特征分析和优化
特征分析主要是更快速方便的了解数据集的特点，并制定后续的优化和处理方案，ModelArts特征分析模块主要支持特征，分辨率，图像亮度，图像饱和度，清晰度，图像色彩丰富等常规图像特征，面积标准度，堆叠度等
选择数据集版本，在选择类型，在根据自己需要的指标进行查看
选择自己需要的数据集版本
选择类型
清晰度
图片高度比
分辨率
图像亮度
图像彩色的丰富程度
图片的饱和程度
全选一目了然
如：人工智能应用快速开发目标检测
目标检测任务比图像分类稍微复杂一些，需要对图像中感兴趣的目标检测物体进行定位和分类
目标检测的用途广泛（人脸检测，车辆识别等）
基于ModelArts平台，目标检测的开发流程和图像分类非常相似
快速
1，数据集准备，
首先在目标检测模板创建一个项目，上传图像，并开始标注，如图像中的人脸，需将每张图像的目标类别（人脸标志）用矩形框标注出来，并给具体标签，大概标注十几张至二十几张图像后，便可得一个简易的人脸识别物体检测数据集
2，模型自动训练
ModelArts利用目标检测算法，并根据输入的数据自动训练目标检测模型，类似于图像分类，训练之前可以配置更多自己需要的参数，增加训练次数等
3，应用部署和测试
类似于图像分类，对模型精准度满意后，可进行部署，和在线测试
AI全栈印象中深刻的学习难点以及共同问题
没有选择北京四（细节）
AS SK的授权问题
（平台的更新与老版本的授权有一点差别）
单击右上角“用户名”，进入账号中心，在“安全凭证”中单击“管理我的凭证”。
在“我的凭证”页面，单击“访问密钥”页签。在“访问密钥”页面，单击“新增访问密钥”。
图1-2 “我的凭证”页面
在弹出“新增访问密钥”对话框中，输入短信验证码，单击“确定”。此时，访问密钥以excel文件的形式自动下载到本地电脑中。
打开excel表格，即可获取用户所需的AK/SK（请妥善保管密钥文件）。
github需要翻外墙的问题
直接复制粘贴打开的地址对是这样
首先我们通过视频学习之后，会有官方给的链接，复制之后打开如下图一，~因为复制粘贴少了一个符号-
一
然后打开：https://nbviewer.jupyter.org/图二
需要手动修改一下:https://nbviewer.jupyter.org/github/huaweicloud/ModelArts-Lab/blob/master/notebook/DL_face_recognition_advanced/face_similarity.ipynb（成功打开的例子）将手动修改后的链接复制到如下图，回车即可打开
二
AI全栈AI应用篇-第三章考核中不支持您的txt中文编码方式
不支持您的txt文件中文编码方式，检测到的编码方式是%s' % encoding
，如图所示
直接下载的文件无法解释，解决方案一如下：
系统自带的记事本打开也能够转码的，也是另存为，然后编码选择UTF-8
直接下载的文件无法解释，解决方案二如下：
1，可以使用Visual打开三国演义.txt
点击另存-
在点击确定
选择如图所示即可
重新txt上传，然后重新运行即可
或者使用UltraEdit，Vscode工具进行另存，转换为UTF-8即可
https://modelarts-labs-bj4.obs.cn-north-4.myhuaweicloud.com/notebook/DL_nlp_introduction/三国演义.txt
下载文本。
https://modelarts-labs-bj4.obs.cn-north-4.myhuaweicloud.com/notebook/DL_nlp_introduction/三足鼎.jpg
下载三足鼎图片
因为热爱，不断进步，积累经验，收获了很多朋友和知识，共同成成和学习，以及问题的处理方法
- 点赞
- 收藏
- 关注作者
评论（0）