keras 实战系列之Self-Attention详细解析

Attention技术在 NLP 模型中几乎已经成了不可或缺的重要组成部分，最早Attention主要应用在机器翻译中起到了文本对齐的作用，比如下图，Attention 矩阵会将 法语的 La Syrie 和英语的 Syrie 对齐，Attention 机制极大的提升了机器翻译模型的性能。

attention 文本对齐

而最近各种花式的Attention机制相继被提出，同时这些Attention机制也不断的刷新着各种NLP任务的SOTA（state of the art）。Attention 机制 一般用于RNN，其主要思想是引入一个外部的权重得分值，对RNN每个时刻Cell的输出做一个重要度打分。由于RNN本质上还是一个特征抽取的过程，所以Attention机制的目标是帮助我们自动找出RNN的哪个时刻Cell的输出是强特，如果是RNN的输入是一个句子，我们就希望Attention机制能够帮我们找出，句子中的哪个词是比较关键的词 。通俗的说法就是Attention机制使模型在做任务时，将注意力主要集中在了对任务有帮助的的重要的特征上面。

广义的Attention机制

尽管上文通过RNN 引出了Attention这个概念，但是它并不是只适用于RNN

文章来源: wenyusuran.blog.csdn.net，作者：文宇肃然，版权归原作者所有，如需转载，请联系作者。

原文链接：wenyusuran.blog.csdn.net/article/details/107337030