华为云ID：iflwx_jan第三周笔记HiLens相比传统方案的优点 AI分析本地运行，方案成本低 云测海量AI能力便捷获取 保护隐私 支持第三方开通技能整体框架： 云测(开发框架Hilens Framework, HiLens Studio, 管理平台) 端侧(HiLens Kit, 智能小站(都是Ascend310+Linux), 其它第三方商用摄像头(Linux/LiteOS, 小海思35系列芯片)HiLens Console是连接ModelArts平台与终端设备的一站式开发平台，支持远程部署，模型转换、参数压缩等强大功能。实现了AI模型的快速终端落地。实用案例中，可将普通摄像头的数据推送到Hilens Kit/智能小站，结合华为云实现强大的各种视频AI应用。对于没有HiLens硬件的，可以用HiLens Studio+模拟器先在纯web环境中进行开发体验，后续再无缝切换到HiLens硬件上。

华为云ID：iflwx_jan 第二周笔记 # NLP ## 1 介绍 https://github.com/huaweicloud/ModelArts-Lab/blob/master/notebook/DL_nlp_introduction/nlp_introduction.ipynb ## 2 应用场景 自然语言处理领域常见任务按任务类型分成五大类： - **词法分析：对自然语言进行词汇层面的分析，是NLP基础性工作** - 分词：对没有明显边界的文本进行切分，得到词序列 - 词性标注：确定文本中每个词的词性。词性包括动词、名词、代词等 - 新词发现：找出文本中具有新形势、新意义或是新用法的词 - 形态分析：分析单词的形态组成，包括词干、词根、词缀等 - 拼写校正：找出拼写错误的词并进行纠正 - **句子分析：对自然语言进行句子层面的分析，包括句法分析和其他句子级别的分析任务** - 组块分析：标出句子中的短语块，例如名词短语，动词短语等 - 成分句法分析：分析句子的成分，给出一棵树由终结符和非终结符构成的句法树 - 依存句法分析：分析句子中词与词之间的依存关系，给一棵由词语依存关系构成的依存句法树 - 语种识别：给定一段文本，确定该文本属于哪个语种 - 句子边界检测：给没有明显句子边界的文本加边界 - **语义分析：对给定文本进行分析和理解，形成能够表达语义的形式化表示或分布式表示** - 词义消歧：对有歧义的词，确定其准确的词义 - 语义角色标注：标注句子中的语义角色类标，语义角色，语义角色包括施事、受事、影响等 - 框架语义分析：根据框架语义学的观点，对句子进行语义分析 - 词汇/句子/段落的向量化表示：研究词汇、句子、段落的向量化方法，向量的性质和应用 - **信息抽取：从无结构文本中抽取结构化的信息** - 命名实体识别：从文本中识别出命名实体 - 实体消歧：确定实体指代对象 - 术语抽取：从文本中确定术语 - 关系抽取：确定文本中两个实体之间的关系类型 - 事件抽取：从无结构的文本中抽取结构化事件 - 情感分析：对文本的主观性情绪进行提取 - 意图识别：对用户给定的对话内容进行分析，识别用户意图 - **顶层任务：直接面向普通用户，提供自然语言处理产品服务的系统级任务，会用到多个层面的自然语言处理技术** - 机器翻译：通过计算机自动化的把一种语言翻译成另外一种语言 - 文本摘要：对较长文本进行内容梗概的提取 - 问答系统：针对用户提出的问题，系统给出相应的答案 - 对话系统：能够与用户进行聊天对话，从对话中捕获用户的意图，并分析执行 - 阅读理解：机器阅读完一篇文章后，给定一些文章相关问题，机器能够回答 - 自动文章分类：给定一篇文章，对文章的质量进行打分或分类

华为云ID:iflwx_jan + 建模打卡

华为云ID：iflwx_jan+课程打卡

华为云ID: iflwx_jan 第一周笔记 # OCR ## 1 介绍 OCR(光学字符识别)发展时间较长，已普遍应用。 ### 1.1 OCR流程 - 图像预处理：去噪、灰度化、图像增强等 - 文本检测：滑动窗口算法遍历整张图片 文字区域检测：将图片中出现的文本位置检测出来，可能存在不同语言，不同文字大小，不同角度倾斜，不同程度遮挡等情况 - CTPN(https://arxiv.org/abs/1609.03605) 结合了CNN与LSTM深度网络，通过固定宽度的anchor提取proposal，能有效的检测出复杂场景的横向分布的文字区域，不定长度文本识别效果较好，是目前使用广泛的文字检测算法。 - EAST(https://arxiv.org/abs/1704.03155) 网络分为三部分：**特征提取**、**特征融合**和**输出层**，实现了端到端的文本区域检测，通过FCN网络生成图片文本参数，然后通过NMS筛选，得出检测结果。 - PixelLink(https://arxiv.org/abs/1801.01315) 采用了实例分割的方法完成文本区域检测，通过将统一实例中的像素链接，通过链接区域分割出文本实例，然后从分割结果中提取文本边界框，进行回归计算。 - 字符分类：划分整个字符，识别单字。 - CRNN+CTC(https://arxiv.org/abs/1507.05717) CRNN卷积循环神经网络，将特征提取、序列建模以及转录整合到统一的模型框架中。CRNN网络分为：**卷积层**、**循环层**和**转录层**三部分，CTC为无词典的转录方式，不会被局限在预定义词汇范围中。 ### 1.2 现存挑战 - 汉字字符识别与多语言混合识别。 - 手写字符识别。 ## 2 应用场景 - 文字录入 - 图片文本识别 ## 3 开源数据集 ### MNIST手写数字 包含了大量手写0-9数字图片，包括6万张训练集和1万张测试数据集。 ### COCO-text 包含日常生活里复杂场景中的文字，数据集提供了边界框的位置，区分了打印文字和手写文字、清晰和模糊的文字、文字的内容等标注信息，包括了超过173, 589标注了的文本区域，超过63686张图片。 ### CTW中文街景数据集 包含了32285张图片，共计1,018,402个汉字，3850个汉字类别。标注信息包括了文字行的边界框、文字单字的边界框、是否遮挡/扭曲、是打印文字或者手写文字等。 ## 4 算法 ### 4.1 Tesseract 2006年开源的光学字符识别引擎，因为开源及精准，使用十分普遍。 ### 4.2 CTPN算法 网络结构： - CNN - VGG16 - RNN - BLSTM - FC ### 4.3 CRNN算法 - 卷积层：提取特征 - 循环层：深度双向LSTM - 转录层：将RNN输出做softmax ## 5 实战案例 ### 5.1 CTPN算法完成文字位置检测 https://github.com/huaweicloud/ModelArts-Lab/blob/master/notebook/DL_ocr_ctpn_text_detection/CTPN.ipynb ### 5.2 CRNN算法完成字符识别 https://github.com/huaweicloud/ModelArts-Lab/blob/master/notebook/DL_ocr_crnn_sequence_recognition/CRNN.ipynb

华为云ID：iflwx_jan

华为云ID：iflwx_jan 第二阶段 第二周笔记 # 第3章 AI模型开发-物体检测 ## 2.1 介绍 物体检测是计算机视觉中目前应用最广泛的技术之一。 物体检测是识别出一张图片中的物体类别，以及物体的位置。 在计算机视觉领域，从图像分类到物体检测，语义分割，实例分割，技术的复杂度越来越高。 目前业界最流行的方式，是用矩形框将物体框住。 ## 2.2 应用场景 - 自动驾驶 检测道路上的各种物体：红绿灯、行人、斑马线、信号灯等。 - 工地安全帽检测 - 口罩识别 以上2种，当检测到有人没有佩戴时，可以将人脸识别出来，进行提醒。 ## 2.3.开源数据集 - PASCAL VOC。[官网](#) 20个类别，约10万张图片。从05年到12年每年举办比赛。 - MSCOCO。[官网](#) 微软建立，包含80个类别，约12万图片。 ## 2.4.算法 分为2个流派：一阶段检测(YOLO系列)和两阶段检测(RCNN系列)。 ### FasterRCNN算法 [FasterRCNN模型详细解读](https://github.com/huaweicloud/ModelArts-Lab/wiki/VGG模型解析) 两阶段检测是将物体检测分为2个子任务： 1. 使用RPN网络(Region Proposal Network)来生成只包含一个物体的候选框。 RPN网络是在图片的滑动窗口上生成多种尺寸的Anchor box，再根据ground truth(真实的标注信息)和Anchor box的重合度来判断哪些Anchor box是有目标的。最后挑选置信度高的一些Anchor box作为候选框，也就是proposals。 2. 用CNN(卷积神经网络)对候选框进行多分类，并用标注信息对候选框的坐标进行回归修正。 实质上是将物体检测问题转换成**图像分类问题**来解决。 ### Yolo算法 [Yolo模型详细解读](#) 首先将输入图像划分为S x S个网格，如果某个物体的中心落在这个网格中，那么这个网格就会负责检测该物体。同时每个网格预测B个边界框(Bounding boxes)的位置和1个置信度(confidence)，每个边界框分别对应5个输出，分别是：边界框的中心坐标(x, y)、宽、高、置信度。 Yolo是用CNN将图像直接映射为边界框的位置与类别，每个网格还产生c个条件概率(表示边界框中物体类别的概率)，最后在推理阶段，如果一个物体被多个边界框框住，会用极大值抑制来去重。 实际上是将物体检测问题转换成**回归问题**来解决。 ### FasterRCNN v.s. YoLoV3 | 对比点 | FasterRCNN | YoLoV3 | | -------- | -------------------------- | ----------------------------------------- | | 推理速度 | 慢 | 快 | | 推理精度 | 高 | Label精度相对较低，图像扭曲，无背景过滤。 | | 应用场景 | 自动驾驶等精度要求高的场景 | 实时检测场景 | | 算力要求 | 高 | 低 | 在算力较弱的终端中，YoLoV3应用更多。 ## 2.5 实战案例 ### 2.5.1 零代码人车检测模型开发 https://github.com/huaweicloud/ModelArts-Lab/blob/master/ExeML/ExeML_Car_And_Person_Detection/readme.md ### 2.5.2 使用FasterRCNN预置算法基于海量数据训练人车检测模型 https://github.com/huaweicloud/ModelArts-Lab/blob/master/train_inference/Car_And_Person_Detection_Builtin_Algorithm/readme.md ### 2.5.3 YoLoV3和FasterRCNN算法完成物体检测 https://github.com/huaweicloud/ModelArts-Lab/blob/master/notebook/DL_image_object_detection_faster/Faster-R-CNN.ipynb https://github.com/huaweicloud/ModelArts-Lab/blob/master/notebook/DL_image_object_detection_yolo/object_detection_yolo.ipynb

# 华为云ID:iflwx_jan # 第一周笔记 第2章 AI模型开发-图像分类 # 图像分类 ## 1.1 介绍 图像分类是计算机视觉中最基础的任务。根据图像的语义信息来判断图像的类别，是物体检测、图像分割、行为分析等高层次视觉任务的基础。 ## 1.2 应用场景 - 相册自动分类 - 商品图片检索 - 医疗影像识别 ## 1.3 开源数据集 - [猫狗分类](#) 2个类别。共25000张图片。 - [手写数字识别](#) 0-9共10个类别。共60000张手写数字图片。 - [花卉识别](#) 102组常见花卉。每组有40~258张图片。 - [ImageNet](#) 目前最流行的大型数据集 ## 1.4 算法 ### VGG16神经网络 [VGG模型解析](https://github.com/huaweicloud/ModelArts-Lab/wiki/VGG模型解析) ## 1.5 实战实例 ### 1.5.1 零代码美食分类模型开发 操作参考：https://github.com/huaweicloud/ModelArts-Lab/blob/master/ExeML/ExeML_Foods_Recognition/README.md 主要操作： - 下载训练数据集到OBS，下载测试数据集到本地 - 在ModelArts自动学习中创建“图像分类”项目，并进行在线标注 - 模型训练、部署、测试与关闭 ### 1.5.2 使用ResNet50预置算法基于海量数据 训练美食分类模型 操作参考：https://github.com/huaweicloud/ModelArts-Lab/blob/master/train_inference/Foods_Recognition_Builtin_Algorithm/README.md 主要操作： - 下载数据集、上传到OBS、进行数据标注、发布数据集 - 订阅ResNet50算法、创建训练作业(选择ResNet_v1_50，选择数据集和版本、配置好调优参数)，查看训练结果 - 模型部署、在线测试、关闭服务

华为云ID：iflwx_jan第一周笔记ModelArts是面向开发者的一站式AI开发平台，针对不同水平与需求的使用者，分别提供不同的功能服务。针对业务开发者：不需关注模型或编码，只需要提供数据并进行标注(可自动标注)，即可通过自动学习流程快速构建AI应用；针对AI初学者，不需关注模型开发，可使用预置算法，实现模型训练、上线AI应用；针对AI工程师，提供多种开发环境，提供多种算力，可基于Notebook编程，方便开发者编码扩展，快速构建模型及应用。ModelArts预置支持了图像分类、物体检测、视频分析、语音识别、产品推荐、异常检测等多种AI应用场景。ModelArts提供了完善的全流程支持，各种细节支持到位。比较成熟的AI市场，可获取数据集、算法、模型、应用等。目前ModelArts已与各个行业的多家公司有多个成功的合作案例。

# 十步杀一人，千里不留行。 ```java //1KM = 1000m = 1000*100cm static final int KM = 1000*100; //正常人一步的距离是40到65cm，剑侠会轻功，10倍于常人 for (int dist=0,step=0; dist65);) { ​ if (step%10 == 0) killOnePerson(); } ```