五分钟搭建一个基于BERT的NER模型

BERT 简介

BERT是2018年google 提出来的预训练的语言模型，并且它打破很多NLP领域的任务记录，其提出在nlp的领域具有重要意义。预训练的(pre-train)的语言模型通过无监督的学习掌握了很多自然语言的一些语法或者语义知识，之后在做下游的nlp任务时就会显得比较容易。BERT在做下游的有监督nlp任务时就像一个做了充足预习的学生去上课，那效果肯定事半功倍。之前的word2vec，glove等Word Embedding技术也是通过无监督的训练让模型预先掌握了一些基础的语言知识，但是word embeding技术无论从预训练的模型复杂度(可以理解成学习的能力)，以及无监督学习的任务难度都无法和BERT相比。

模型部分

首先BERT模型采用的是12层或者24层的双向的Transformer的Encoder作为特征提取器，如下图所示。要知道在nlp领域，特征提取能力方面的排序大致是Transformer>RNN>CNN。对Transformer不了解的同学可以看看笔者之前的这篇文章，而且一用就是12层，将nlp真正的往深度的方向推进了一大步。

文章来源: wenyusuran.blog.csdn.net，作者：文宇肃然，版权归原作者所有，如需转载，请联系作者。

原文链接：wenyusuran.blog.csdn.net/article/details/107334091