espnet实践简介
【摘要】 Espnet介绍ESPNet中使用了ATT+CTC的架构，其可分为两大部分：1、Shared encoder（共享编码器）：包括了VGG卷积网络和BLSTM（双向长短时记忆网络）层，来完成语音到向量的转化。2、Joint Decoder（联合解码器）：联合解码器实现向量到最终文本结果的输出；联合解码器包括CTC（负责标签和序列的自动对齐）、Attention（为不同序列赋予不同权重）和RNN...
-
Espnet介绍
ESPNet中使用了ATT+CTC的架构，其可分为两大部分：
1、Shared encoder（共享编码器）：
包括了VGG卷积网络和BLSTM（双向长短时记忆网络）层，来完成语音到向量的转化。
2、Joint Decoder（联合解码器）：
联合解码器实现向量到最终文本结果的输出；
联合解码器包括CTC（负责标签和序列的自动对齐）、Attention（为不同序列赋予不同权重）和RNN-LM（语言模型，生成最优字词句）；
其中CTC和Attention二者共同使用一个Loss来使模型收敛，最终的损失函数LossMTL为CTC损失函数和Attention损失函数的加权求和；
联合解码中，使用one-pass beam search（剪枝搜索）方法来消除不规则的序列与标签的对齐。
-
Espnet的安装
一、准备工作
- 用git的方法把Espnet和Kaldi的项目保存到本地。
- 安装CUDA和对应版本的CUDADNN。
- 安装Pytorch，要和CUDA版本对应。
二、安装过程 - 设置CUDA的环境变量路径（~/.bashrc），安装指导里有代码，只要修改第一行代码为CUDA实际安装
路径就好了，设置完之后要执行source ~/.bashrc让它生效。 - 安装Kaldi。
- 把Kaldi工具导入到Espnet项目中去。
进入Espnet中的tools文件夹，执行命令：
make KALDI=/path_to_kaldi
同样可以执行make check_install检查安装。 - 安装完成后，把项目放到Espnet里的egs目录下就可以用了。
- Espnet训练和测试步骤
【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）