预训练语音模型调研小结

Hudson 发表于 2021/09/10 09:34:11 2021/09/10
【摘要】 预训练语音模型调研小结最近调研了一些预训练语音模型的论文,在此做一个小结,文章中会涉及到些许自己的理解,欢迎大家讨论与指正。在调研多篇论文后,笔者发现预训练语音模型的预测方法基本可以分为以下3类:<1>用前文预测当前及后文(自回归)<2> 随机mask 一些帧并预测 <3> 用两侧上下文预测中间帧。下文会按照这三类来介绍预训练语音模型的方法。 1.用前文信息预测当前信息及后文信息 (1)C...

预训练语音模型调研小结

最近调研了一些预训练语音模型的论文,在此做一个小结,文章中会涉及到些许自己的理解,欢迎大家讨论与指正。

在调研多篇论文后,笔者发现预训练语音模型的预测方法基本可以分为以下3类:<1>用前文预测当前及后文(自回归)<2> 随机mask 一些帧并预测 <3> 用两侧上下文预测中间帧。下文会按照这三类来介绍预训练语音模型的方法。

1.用前文信息预测当前信息及后文信息

(1)CPC & Modified CPC

CPC(Contrastive Predictive Coding)[1] 是预训练语音模型中较早提出的模型。它的模型架构如下图所示。
image.png

首先,语音信号被分成段输入到CNN模型,用于抽取特征,CNN层的输出Z再作为GRU层的输入,拿到带有时序信息的输出C,然后用当前时刻t的带有时序信息的Ct(见过序列前面的信息),来预测后续k个时刻的CNN层输出Zt+k。Loss的是一个contrastive loss,它的公式如下图所示。

这个loss看起来复杂,其实原理很简单,就是想让基于Ct的预测值更接近 Zt+k (分子),而更远离其他的CNN层输出Z,即negative sample (分母)。最小化整体的loss,会使分子最大化,分母最小化。这就是CPC训练的原理。
image.png

Modified CPC [2] 是对CPC的一个改进。其改进主要分成以下两点:
<1> 由于batch normalization 会破坏sequence的信息,他们用channel wise normalization替代batch normalization。
<2> 对模型的一些改进,包括将从Ct预测Zt+k的网络由linear layer替换成一层transformer;将CNN层的维度从512变为256 (memory小了但performance不变); 用LSTM替换GRU。

(2)APC & VQ-APC

APC(Autoregressive Predictive Coding)[3] 以及它的改进,VQ-APC(Vector Quantization- Autoregressive Predictive Coding)[4] 也是一组基于自回归的预训练语音模型,它们的模型架构如下图所示。APC没有VQ-layer,而VQ-APC添加了一个VQ layer。
image.png

APC模型的输入是80维的log Mel spectrogram 特征,其模型也十分简单,就是一个3层的LSTM。训练的loss如下图所示。
image.png

这里我们可以看出,这就是一个简单的L1 loss,但其中不同的是,它并不是同一时刻的xi和yi之间做L1 loss,而是用xi+n和yi之间做L1 loss。也就是说,它希望能用第i时刻的信息去预测n个时刻后的信息,这么做的原因是希望LSTM 不陷入Local information,从而可以infer 更多的全局信息(global structure)。

VQ-APC是在APC的基础上加了一个VQ layer。VQ,向量量化,可以简单的理解为对无限种可能的连续向量的一个聚类,让语音的表征vector也变为有限种可能,类似于NLP中有限数量的单词表征(一个单词一个表征,单词数量有限)。实验结果标明,在APC模型的LSTM层中间加入VQ layer会是最终学到的向量表征更好,在下游任务(如 phone classification; speaker classification)中表现出更好的性能。

2. 随机mask一些帧并预测

(1)VQ-wav2vec & wav2vec2.0

前面介绍的4个模型都是基于自回归的思想,用前文预测后文信息,模型也是基于LSTM或者GRU模块来实现。随着transformer在越来越多的任务上被证实有更优越的性能,很多预训练语音模型的研究人员也把目光投入到了transformer模型上。VQ-wav2vec [5] 就是其中一个较早的尝试。下图是VQ-wav2vec模型架构图。
image.png

原始音频片段首先输入到CNN层提取特征,再做一个VQ,最后将VQ的output输入下一个CNN层再进行一次特征的抽象。最后用CNN层在第i个时刻的输出Ci来预测后面k个时刻VQ的输出Zi+k,并做一个contrastive loss,目的是让Ci能更好的预测Zi+k,而更远离negative sample(不是Zi+k的其他Z)。训练完毕后,将VQ层的输出作为后面BERT的输入,随机mask掉一些帧并预测,训练一个BERT模型,得到拥有时序信息的表征。最后将这个信息作为声学模型的输入,进行下游任务。

上面的模型是把BERT和VQ-wav2vec单独训练的,先训练VQ-wav2vec,再训练BERT模型。而wav2vec2.0 [6] 对VQ-wav2vec整体框架进行了改进,将VQ-wav2vec模型和BERT模型放在一起做一个jointly training,达到了非常好的效果(目前的state-of-the-art)。Wav2vec2.0的模型框架如下图所示。

image.png

首先,音频也是分段输入CNN层提取特征,然后一方面输入到VQ层,另一方面随机mask掉一些帧然后输入到Transformer层提取context representation C。训练的loss如下图所示。
image.png

Loss是两部分loss的叠加。第一部分loss是contrastive loss,目的就是让同一时刻的Context representation (Ct)与Quantized representation (Qt) 的similarity越大越好,Ct与其他时刻的Quantized representation的similarity越小越好。第二部分loss是diversity loss,这个loss是用于鼓励各个codeword(VQ操作后的离散的类别vector,类似于NLP中的词典中的一个词)被使用的概率相同。训练好模型后,context representation可以被用于做下游任务。

(2)Mockingjay & Audio Albert & TERA

除上述两个模型外,还有一个系列的模型(均来自台湾大学语音组)也是基于transformer模型,用随机mask掉一些帧并预测的方式做语音模型的预训练。第一个工作是Mockingjay [7],其模型框架如下图所示。首先,提取一些handcrafted feature(fMLLR, MFCC, FBank)并做random masking,然后经过下采样后,输入到transformer模型中,来预测mask掉的帧,并做L1 loss。
image.png

在Mockingjay模型的基础上,Audio Albert模型 [8] 进行了些许改进。下图是Audio Albert和Mockingjay模型的区别。可以看出,Audio Albert基于Mockingjay的改进,是把多层的transformer都共享参数。其他地方没有任何区别。通过这样的改进,效过和不共享参数接近(comparable),但是确可以显著的降低参数量。
image.png

还有一个基于Mockingjay改进的模型 —TERA (Transformer Encoder Representations from Alteration)[9],是在输入端上,对输入进行了一些alteration,从而达到提升预训练模型效果的作用。下图是TERA如何进行输入的alteration的示意图。Alteration主要分为3种,在时间维度上mask,在特征维度上mask,以及对于整个segment加一些高斯白噪声。
alter3.jpg

3. 用两侧上下文信息预测中间帧

除上述两种预训练方式外,还有一种预训练方式 – 用两侧的信息预测中间帧的信息,NPC(Non-Autoregressive Predictive Coding)[10] 模型就是用这种方式进行的预训练。下图为NPC的模型框架。
npc7.jpg

输入是MFCC (80dim),但NPC模型训练时,输入模型的并不是整个sequence,它只需要输入被mask掉的帧前后的一些帧(例如前后各10帧),而被mask掉的帧一般为3帧。Mask掉3帧而不是1帧,可以防止模型直接复制mask 点的相邻点(xt-1,xt+1)的值作为当前时刻输入xt的预测值,从而防止预测值yt并没有相对于xt的信息增益。被mask的input输入模型后,经过几层ConvBlock,每层ConvBlock也会mask中间的帧,且会层层递增,目的是防止输出yt见到任何mask size内的数据。经过几层ConvBlock后的数据会加到一起得到ht(当前时刻做VQ之前的hidden representation),ht再经过一个VQlayer和一个linear layer,最后预测中间帧xt,loss用L1 Loss。这个模型的效果比autoregressive的模型都要好,况且可以显著的减小模型的大小。

总结

预训练语音模型是现在语音界十分热门的一个科研方向。目前来看,基于transformer 的模型要好于早期基于LSTM或GRU的模型。若追求性能,那目前公认最好的预训练语音模型应该是wav2vec 2.0。但如果追求速度,那Audio ALBERT,以及NPC模型都是不错的选择,这两个模型能够在保证comparable的性能的情况下,减小模型的大小并提升模型的速度。相信不久的将来,随着深度学习技术的进一步发展,预训练语音模型无论在性能,还是在速度上,都会迎来新的提升。

Reference

[1] Oord, Aaron van den, Yazhe Li, and Oriol Vinyals. “Representation learning with contrastive predictive coding.” arXiv preprint arXiv:1807.03748 (2018).

[2] Riviere, Morgane, et al. “Unsupervised pretraining transfers well across languages.” ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2020.

[3] Chung, Yu-An, et al. “An unsupervised autoregressive model for speech representation learning.” arXiv preprint arXiv:1904.03240 (2019).

[4] Chung, Yu-An, Hao Tang, and James Glass. “Vector-quantized autoregressive predictive coding.” arXiv preprint arXiv:2005.08392 (2020).

[5] Baevski, Alexei, Steffen Schneider, and Michael Auli. “vq-wav2vec: Self-supervised learning of discrete speech representations.” arXiv preprint arXiv:1910.05453 (2019).

[6] Baevski, Alexei, et al. “wav2vec 2.0: A framework for self-supervised learning of speech representations.” arXiv preprint arXiv:2006.11477 (2020).

[7] Liu, Andy T., et al. “Mockingjay: Unsupervised speech representation learning with deep bidirectional transformer encoders.” ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2020.

[8] Chi, Po-Han, et al. “Audio albert: A lite bert for self-supervised learning of audio representation.” 2021 IEEE Spoken Language Technology Workshop (SLT). IEEE, 2021.

[9] Liu, Andy T., Shang-Wen Li, and Hung-yi Lee. “Tera: Self-supervised learning of transformer encoder representation for speech.” IEEE/ACM Transactions on Audio, Speech, and Language Processing 29 (2021): 2351-2366.

[10] Liu, Alexander H., Yu-An Chung, and James Glass. “Non-autoregressive predictive coding for learning speech representations from local dependencies.” arXiv preprint arXiv:2011.00406 (2020).

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。