NLP之word2vec

Word2vec, 也叫word embeddings，用向量形式表示word。

主要内容

One-hot encoder

1. 最基础的向量表示，独热向量

神经网络形式

1. 原因：将稀疏的one-hot转换为密集的dense vector
2. 输入为one hot vector
3. 输出为：同样维度的向量，比较dense

方法

1. 思路：
   1. 构造语境与目标词汇的映射关系，其实就是input和label间的关系
2. CBOW(Continuous bag of words）
   1. 从原始语句推测目标词语
   2. 输入为：目标词周围的一系列词语，形成的词袋。（例如上下文4个词，则为4个维度的one-hot向量）
   3. 操作：由矩阵z映射至词向量空间
   4. 优点：适合小型数据库
3. Skip-gram
   1. 从目标词语推测原始语句，即使用语句中的每个词作为独立的上下文，对目标词进行预测。建立的是词与词之间的共现关系。
   2. 输入为：当前中心词的one-hot
   3. 操作：通过矩阵E投射值隐含层，隐含层向量为该词的词向量。
   4. 优点：在大型语料中表现更好