回顾-AI全栈成长计划-AI应用篇，—自然语言处理

神经网络语言模型发展

语言模型

NLP里面做预训练一般的选择是用语言模型任务来做。

语言模型就是用来计算一个句子的概率的模型，也就是判断一句话是否是人说出来的自然句子的概率。

语言模型包括文法语言模型和统计语言模型，我们一般使用统计语言模型。常见的统计语言模型有N元文法模型（N-gram Model）。

语言模型可以捕捉到词的上下文信息。

词向量（word embedding）

词向量是为了解决自然语言处理领域的文字信息表示问题。在图像领域，使用图片的像素构成的矩阵展平成 vector 作为神经网络的输入；在语音领域，用音频频谱序列向量构成的矩阵作为神经网络的输入；在自然语言处理领域，将每个词映射成一个向量编码，作为神经网络的输入。

词向量的核心问题是上下文与目标词之间的关系建模。比较热门的使用语言模型做 Word Embedding 的工具有 Word2Vec 和 Glove。

ELMO

由于Word Embedding无法解决多义词问题，Word Embedding本质是一个静态的方式，不会根据上下文的改变而变化。所以引出ELMO（Embedding from Language Models），ELMO提供了一种简洁优雅的解决方案。

ELMO的本质思想是：事先用语言模型学好一个单词的 Word Embedding，此时多义词无法区分，在实际使用 Word Embedding 的时候，单词已经具备了特定的上下文，这个时候可以根据上下文单词的语义去调整单词的 Word Embedding 表示，这样经过调整后的 Word Embedding 更能表达在这个上下文中的具体含义。所以 ELMO 本身是个根据当前上下文对 Word Embedding 动态调整的思路。

ELMO 采用了典型的两阶段过程，第一个阶段是利用语言模型进行预训练；第二个阶段是在做下游任务时，从预训练网络中提取对应单词的网络各层的 Word Embedding 作为新特征补充到下游任务中。

GPT

GPT（Generative Pre-Training），其含义是指的生成式的预训练。

与 ELMO 类似，GPT也采用两阶段过程，第一个阶段是利用语言模型进行预训练，第二阶段通过 Fine-tuning 的模式解决下游任务。

GPT 的预训练虽然仍然是以语言模型作为目标任务，但是采用的是单向的语言模型，单向的含义是指：只使用单词的上文来进行预测，而抛开了下文。因此也限制了其在更多应用场景的效果，比如阅读理解这种任务，在做任务的时候是可以允许同时看到上文和下文一起做决策的。

NNLM

NNLM（神经网络语言模型），通过为每个单词学习一个分布式表征来实现在连续空间上的建模。

第一个 NNLM——前馈神经网络语言模型（FFNNLM）由 Bengio 等人于 2003 年提出，其性能要优于 N 元语言模型。随后，Mikolov 等人于 2010 年提出了 RNN 语言模型（RNNLM）。从那时起，NNLM 逐渐成为了主流的语言模型，并得到了迅速发展。

2012 年，Sundermeyer 等人提出了长短期记忆循环神经网络语言模型（LSTM-RNNLM）用于解决学习长期依赖的问题。为了降低训练、评估以及 PPL 的开销，人们提出了各种各样的改进方案，例如分层的 Softmax、缓存模型等。近年来，为了改进 NNLM，人们引入了注意力机制（Attention），取得了显著的性能提升。

Transformer

Transformer 是个叠加的自注意力机制（Self Attention）构成的深度网络，是目前NLP里最强的特征提取器。Transformer 的结构由 encoder（编码）和 decoder（解码）组成。Transformer 详见论文《Attention is all you need》。

语料

人工智能的核心在于数据支持。对AI有一些接触之后，我们可以知道，无论模型性能再高，都离不开大量数据作为基础。

在自然语言处理领域，数据就是语料，语料的集合被称为语料库（Corpus）。语料的获取方式有以下几种：

1. 业务提供的已有语料
2. 国内外标准开放数据集
3. 通过爬虫抓取网络数据（合法情况下）

在获取语料的基础上，另一个重要的步骤是语料的预处理。语料的质量直接影响模型的训练性能，噪声很大、与任务无关的语料需要进过一系列预处理工作才可以被使用。在一个完整的中文自然语言处理工程应用中，语料预处理大概会占到50%-70%的工作量。

常用的语料预处理方式包括：去除不规则符号及格式，人工去重、对齐、删除和标注等，或者规则提取内容、正则表达式匹配、根据词性和命名实体提取、编写脚本或者代码批处理等。

实验环境准备

具体操作步骤：

登陆ModelArts控制台https://www.huaweicloud.com/product/modelarts.html -> 开发环境 -> Notebook -> 创建

名称     自定义
工作环境     Python3
资源池     选择\"公共资源池\"即可
类型     GPU
规格     [限时免费]体验规格GPU版或算力更好的计费版本
存储配置     EVS
磁盘规格     5GB

创建Notebook

可以选择免费的版本，但是免费的要排队哦~点击下一步

创建步骤我就直接省略了，直接启动以及创建好的，初次创建只要选择好GPU一般都不会出现什么问题，如果选择cpu可能会出现内存耗尽的问题，所以建议选择GPU~

点击打开后，点击右上角的"New"，然后创建TensorFlow-1.13.1开发环境

点击左上方的文件名"Untitled"，并输入一个与本实验相关的名称，自定义

在Notebook中，我们输入一个简单的打印语句，然后点击上方的运行按钮，可以查看语句执行的结果："如果未输出结果，则环境还没准备好，稍等一下在试试，还不能输出结果，则重新创建环境

实验环境准备好，那就进行下一步

# 导入jieba
import jieba

print("jieba导入成功")

待分词语句1：明天我要去五棵松体育场打篮球
待分词语句2：华为联手中国电信，完成了武汉火神山医院首个远程会诊平台的网络铺设和设备调试
jieba.cut，当cut_all=True时，为全模式

# 待分词语句
seg_text_1 = "明天我要去五棵松体育场打篮球"
seg_text_2 = "华为联手中国电信，完成了武汉火神山医院首个远程会诊平台的网络铺设和设备调试"

print("待分词语句1：" + seg_text_1)
print("\n待分词语句2：" + seg_text_2)

# 全模式
seg_1_1 = jieba.cut(seg_text_1, cut_all=True)
seg_1_2 = jieba.cut(seg_text_2, cut_all=True)

print("全模式1：" + "/ ".join(seg_1_1))  
print("\n全模式2：" + "/ ".join(seg_1_2))  

# 精确模式
seg_2_1 = jieba.cut(seg_text_1, cut_all=False)
seg_2_2 = jieba.cut(seg_text_2, cut_all=False)

print("精确模式1：" + "/ ".join(seg_2_1))  
print("\n精确模式2：" + "/ ".join(seg_2_2))  

# 搜索引擎模式
seg_3_1 = jieba.cut_for_search(seg_text_1)  
seg_3_2 = jieba.cut_for_search(seg_text_2)  

print("搜索引擎模式1：" + "/ ".join(seg_3_1))
print("\n搜索引擎模式2：" + "/ ".join(seg_3_2))

# 返回全模式列表
seg_4_1 = jieba.lcut(seg_text_1, cut_all=True)
seg_4_2 = jieba.lcut(seg_text_2, cut_all=True)

print("返回全模式列表1：{0}".format(seg_4_1))
print("\n返回全模式列表2：{0}".format(seg_4_2))

# 返回精确模式列表
seg_5_1 = jieba.lcut(seg_text_1, cut_all=False)
seg_5_2 = jieba.lcut(seg_text_2, cut_all=False)

print("返回精确模式列表1：{0}".format(seg_5_1))
print("\n返回精确模式列表2：{0}".format(seg_5_2))

from jieba import analyse

# 原始文本
anal_text = "天安门广场，位于北京市中心，地处北京市东城区东长安街，北起天安门，南至正阳门，东起中国国家博物馆，西至人民大会堂，南北长880米，东西宽500米，面积达44万平方米，可容纳100万人举行盛大集会，是世界上最大的城市广场。广场地面全部由经过特殊工艺技术处理的浅色花岗岩条石铺成，中央矗立着人民英雄纪念碑和庄严肃穆的毛主席纪念堂，天安门两边是劳动人民文化宫和中山公园，与天安门浑然一体，共同构成天安门广场。"
print("文本：", anal_text)

# 引入TF-IDF关键词抽取接口
tfidf = analyse.extract_tags

print("TF-IDF算法提取的20个关键词：\n")

# 基于TF-IDF算法进行关键词抽取
for x, w in tfidf(anal_text, withWeight=True):
    print('%s     %s' % (x, w))

# 引入TextRank关键词抽取接口
textrank = analyse.textrank

print("TextRank 算法提取的20个关键词：\n")

# 基于TextRank算法进行关键词抽取
for x, w in textrank(anal_text, withWeight=True):
    print('%s    %s' % (x, w))

import jieba.posseg as pseg

pseg_text = "天安门坐落在中华人民共和国首都北京市的中心、故宫的南端，占地面积4800平方米，以杰出的建筑艺术和特殊的政治地位为世人所瞩目。"

print("文本：", pseg_text)

words = pseg.cut(pseg_text)

for word, flag in words:
    print("{}   {}".format(word, flag))