ALBERT：更少参数量的预训练语言模型

相比于BERT模型，ALBERT主要做了两项改进，一是减少了模型参数量，而是提出了更有效的句子对顺序预测任务。

减少模型参数的策略

词向量矩阵分解

传统的词向量矩阵大小为 $V \times H$，其中 $V$是词典大小， $H$是模型隐状态大小。为了降低词向量的参数量，ALBERT将词向量矩阵拆分为两个小矩阵 $V \times E$和 $E \times H$，其中 $H>>E$。通过这种策略有效减少了词向量参数。

跨层参数共享

原始BERT由多层transformer的encoder构建而成，为了减少参数量，ALBERT使不同层共享同一份参数，主要包括前向神经网络层（feed-forward network, FFN）和注意力参数。
ALBERT的参数量与BERT参数量的比较：

不同策略参数共享的性能差异

句子对次序预测任务（SOP）

原始BERT中采用下一句子预测（NSP）任务来建模句子对之间的信息，希望在下游相关句子对任务中有更好的表现。ALBERT将NSP任务替换为相对更困难的SOP任务，即预测两个句子的顺序是否正确。其中，正例数据是来源于相同文档中的两个句子，而负例数据是交换位置后的两个句子。
SOP和NSP两者的比较

总结

ALBERT xxlarge以更少的参数量实现了更好的结果，这是ALBERT的主要优势。但从训练速度上来看，其相比于BERT却慢了三倍，这说明减少参数量不一定会加速模型的训练速度。从ALBERT的改进策略来看，我们可以得出以下简单的结论：增大模型结构、引入更复杂的预训练任务是提升模型的性能有效手段。