RNN,CNN简要介绍

 RNN

主要特点

1. 本身的循环结构，可以处理位置信息；处理不定长度的序列。

缺点

1. 长期的记忆能力缺失；
2. 顺序处理，速度很慢

CNN

输入

1. 一段句子经过embedding后，就会变成一个尺寸为len(sentence)*len(emb)的矩阵，也就是句子的长度乘以词向量的长度，因此CNN就可以把文本看成图像那样处理了。

操作过程

1. CNN通过卷积核从文本向量中提取特征，一个dk大小的卷积核从第一个词开始，从前往后从上往下遍历。可以看出，卷积核能捕获到多少特征，和卷积核的大小有关，本质上就是一个n-gram片段信息
2. 卷积核相对小一点，卷积层深一点，模型的效果会更好
3. 
4. CNN如果能做到足够深，那么理论上它是可以捕获远距离的特征，同时也可以高效地进行并行计算。

实验结果显示，似乎更深的层数并没有带来显著的效果改善，

1. 一方面是因为目前深层网络参数优化手段依然不足；
2. 另一方面是池化层的问题，我们可以想象一下，如果我们使用了池化层，比如最大池化，选择最大的值抛弃其他值，这就丢失了位置信息，这又是一个严重的问题，所以目前如果没有特别的需求，CNN在NLP中是不采用池化层的。

缺点

1. CNN和RNN相比，并行计算能力更强，对于改进版本的CNN也能有效地保留位置信息，可是对远距离的特征捕获能力相对较弱。