包括以下三大块：1、语言处理2、韵律处理3、声学处理

人工智能在当今越来越热门，许多行业冠上AI的名号，人工智能已成为几乎所有互联网技术公司都必须具备的基因。甚至许多生产型企业公司也不得不谈论人工智能，就像人类一夜之间进入人工智能时代一样。但很多企业只是人工智能应用层面的开发，并非技术的研究，而企业推动应用的落地，能促进人工智能技术的发育。对于人工智能来说，计算机视觉一直是目前深度学习领域最热的研究领域，而应用最为广泛的是人脸识别、图像检索、智能控制、生物统计（指纹，虹膜，人脸匹配）、智能驾驶等。

nlp领域里，语义理解仍然是难题！但是已有部分应用智能问答机器人产品上

1、Arbitrary-Oriented Scene Text Detection via Rotation Proposals主要思想介绍了一种基于旋转的新颖网络框架，用于自然场景图像中面向任意方向的文本检测。论文的主要思想为旋转区域提案网络（RRPN），该网络旨在生成带有文本方向角度信息的倾斜proposal，并将角度信息用于边界框回归，以使proposal在方向方面更准确地适合文本区域。除此之外，还提出了旋转兴趣区域（RRoI）池化层，以将任意方向的proposal投影到feature map上供分类器进行分类。与以前的文本检测系统相比，基于region proposal的体系结构确保了面向任意方向的文本检测的计算效率。2、Deep Direct Regression for Multi-Oriented Scene Text Detection主要思想提出了一种基于深度直接回归的多方向场景文本检测方法。检测框架简单有效，具有全卷积网络和后处理。对全卷积网络进行端到端的优化，实现了文本与非文本像素级分类和直接回归文本边界顶点坐标的双任务输出。3、Deep Matching Prior Network: Toward Tighter Multi-oriented Text Detection主要思想由于文本的多方向性、透视失真以及文本大小、颜色和比例的变化，对incidental scene文本的检测是一项具有挑战性的任务。前期的研究主要集中在使用矩形包围盒或水平滑动窗口进行文本定位，这可能会导致冗余的背景噪声、不必要的重叠甚至信息丢失。针对这些问题，本文提出了一种新的基于卷积神经网络（CNNs）的文本检测方法，称为深度匹配先验网络（DMPNet）。首先在多个特定的中间卷积层中使用四边形滑动窗口对重叠区域较大的文本进行粗略的检测，然后提出一种共享蒙特卡罗方法，用于快速准确地计算多边形区域。在此基础上，设计了一个相对回归的序贯协议，该协议能够精确地预测具有紧凑四边形的文本。此外，还提出了一种辅助平滑LN Loss以进一步恢复文本的位置，在鲁棒性和稳定性方面比L2损失和smooth L1损失具有更好的整体性能。4、DeepText: A Unified Framework for Text Proposal Generation and Text Detection in Natural Images主要思想本文提出了一种基于完全卷积神经网络（CNN）的文本区域建议生成和文本检测的统一框架DeepText。首先，提出了初始区域提议网络（Inception RPN），并设计了一组具有文本特征的先验包围盒，以达到只有100个候选提议的高单词召回率。接下来，提出了一个功能强大的文本检测网络，该网络嵌入了模糊文本类别（ATC）信息和多级兴趣区域池（MLRP），用于文本和非文本分类和精确定位。最后，应用一个迭代包围盒投票方案来追求高以互补的方式回忆并引入过滤算法以保留最合适的边界框，同时为每个文本实例移除多余的内部和外部框。5、Detecting Oriented Text in Natural Images by Linking Segments主要思想大多数最先进的文本检测方法都是针对水平拉丁语文本的，并且对于实时应用来说速度不够快。介绍了一种面向文本检测的方法——分段链接（SegLink）。其主要思想是将文本分解为两个局部可检测的元素，即片段和链接。段是覆盖单词或文本行一部分的定向框；链接连接两个相邻的段，指示它们属于同一个单词或文本行。通过端到端训练的全卷积神经网络在多个尺度上密集地检测这两个元素。最后的检测是通过组合链接连接的片段来产生的。与以前的方法相比，SegLink在准确性、速度和易训练性方面都有所提高。它在标准ICDAR 2015附带（挑战4）基准上实现了75.0%的f指标，以较大幅度超越了之前的最佳水平。它在512×512个图像上以超过20 FPS的速度运行。而且，SegLink不需要修改就可以检测到非拉丁语文本行，比如中文。6、Detecting Text in Natural Image with Connectionist Text Proposal Network主要思想论文提出了一种新的连接主义文本提议网络（CTPN），该网络能够准确地定位自然图像中的文本行，CTPN直接在卷积特征映射中检测一系列精细尺度文本建议中的文本行。论文开发了一个垂直anchor机制，可以联合预测每个固定宽度方案的位置和文本/非文本分数，大大提高了定位精度。序列方案自然地由递归神经网络连接，递归神经网络与卷积网络无缝结合，形成端到端的可训练模型，这使得CTPN能够探索图像的丰富上下文信息，能够检测到非常模糊的文本。CTPN在多尺度、多语言文本上能够可靠工作，无需进一步的后处理，与以往自下而上的多步后滤波方法不同。

传统机器学习方法与深度学习方法的区别，个人总结认为：1、传统的需要人工去提取特征、机器学习不需要2、传统的机器学习表达能力有限，深度学习表达能力强3、深度学习适合处理大数据，而数据量比较小的时候，用传统机器学习方法也许更合适。4、深度学习十分地依赖于高端的硬件设施，因为计算量实在太大了！深度学习中涉及很多的矩阵运算，因此很多深度学习都要求有GPU参与运算，因为GPU就是专门为矩阵运算而设计的。相反，普通的机器学习随便给一台破电脑就可以跑5、时间维度上传统的机器学习一般训练时间短，深度学习时间长，但是深度学习一旦训练好，就快了。

       对话机器人服务是一款基于人工智能技术，针对企业应用场景开发的云服务，主要包括智能问答、智能质检、定制对话机器人和任务型对话等功能。智能问答旨在帮助企业快速构建，发布和管理基于知识库的智能问答机器人系统；智能质检致力于为客户提供高效、可靠的智能对话分析服务；智能话务机器人提供人机交互中机器人所需的语义理解和对话能力，可用来实现自动话务机器人，智能硬件语音助手等应用；定制对话机器人可根据客户需求构建具备知识库和知识图谱问答，任务型对话，阅读理解，自动文本生成，多模态等多种能力的AI机器人，赋能不同行业客户。

通过AI全栈第3周课程，我们可以了解到华为HiLens为端云协同多模态AI开发应用平台，由端侧计算设备和云上平台组成，提供开发框架、开发环境、管理平台等能力，帮助用户开发多模态AI应用并下发到端侧设备，实现多场景的智能化解决方案。其关键能力包括一站式Skill开发服务，快速部署验证，端侧算法开发框架HiLensFramework，自动模型转换、模型压缩优化，10开放的技能市场及预置丰富的Skill技能等能为开发者提供极大的便利

个人觉得，单纯从增加容量的方式无法保证提升准确率，应该坚持拟合算法以及训练数据的准确性

     VAE（Variational Auto-Encoder）和GAN（Ganerative Adversarial Networks）都是生成模型（Generative model）。所谓生成模型，即能生成样本的模型。我们可以将训练集中的数据点看作是某个随机分布抽样出来的样本，比如：MNIST手写体样本，我们就可将每一幅图像看作是一个随机分布p(x)p(x) 的抽样（实例）。如果我们能够得到这样的一个随机模型，我们就可以无限制地生成样本，再无采集样本的烦恼。但这个随机分布 p(x)p(x) 我们并不知道，需要通过对训练集的学习来得到它，或者逼近它。要逼近一个随机分布，其基本思想是：将一个已知的，可控的随机分布 q(z)q(z) 映射到目标随机分布 p(x)p(x) 上。

华为云ID：hw86224243 + 第三周学习笔记nlp研究难点：1、单词的边界界定在口语中，词与词之间通常是连贯的，而界定字词边界通常使用的办法是取用能让给定的上下文最为通顺且在文法上无误的一种最佳组合。在书写上，汉语也没有词与词之间的边界。2、词义的消歧许多字词不单只有一个意思，因而我们必须选出使句意最为通顺的解释。3、句法的模糊性自然语言的文法通常是模棱两可的，针对一个句子通常可能会剖析（Parse）出多棵剖析树（Parse Tree），而我们必须要仰赖语意及前后文的资讯才能在其中选择一棵最为适合的剖析树。4、有瑕疵的或不规范的输入例如语音处理时遇到外国口音或地方口音，或者在文本的处理中处理拼写，语法或者光学字符识别（OCR）的错误。5、语言行为与计划句子常常并不只是字面上的意思；例如，“你能把盐递过来吗”，一个好的回答应当是把盐递过去；在大多数上下文环境中，“能”将是糟糕的回答，虽说回答“不”或者“太远了我拿不到”也是可以接受的。再者，如果一门课程没开设，对于提问“这门课程有多少学生没通过？”回答“没开这门课”要比回答“没人没通过”好。