SoundNet迁移学习-由声音分类到语音情感识别
【摘要】 ElShaer M E A, Wisdom S, Mishra T. Transfer Learning From Sound Representations For Anger Detection in Speech[J]. arXiv preprint arXiv:1902.02120, 2019. 一、思路1、SoundNet模型在视频数据中先预训练，视频任务可能是场景识别，可参考这篇...
ElShaer M E A, Wisdom S, Mishra T. Transfer Learning From Sound Representations For Anger Detection in Speech[J]. arXiv preprint arXiv:1902.02120, 2019.
一、思路
1、SoundNet模型在视频数据中先预训练，视频任务可能是场景识别，可参考这篇文章SoundNet: Learning Sound Representations from Unlabeled Video。
2、迁移学习：5层的soundnet只取前3层作为迁移层，在新数据集中训练时保持着三层不变，其余两层随机初始化，再训练。
3、在新数据如IEMOCAP中fine-tuning
二、实验数据
三、实验结果
评价指标：AUC
Scratch表示随机初始化的SoundNet。
四、总结
1、面对音频数据稀缺，给出了很好的解决思路，可根据SoundNet文章中的思路，先从视频数据入手，学习SoundNet参数，然后应用到自己的场景中；
2、跨语言迁移学习：文章中从英语场景迁移到汉语场景，效果比单一数据训练提升很大；
3、YFCC100m 、Google AudioSet可用于预训练模型。
参考文献：
[1] ElShaer M E A, Wisdom S, Mishra T. Transfer Learning From Sound Representations For Anger Detection in Speech[J]. arXiv preprint arXiv:1902.02120, 2019.
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论（0）