深度学习核心技术精讲100篇(十七)-多标准中文分词( Multi-Criteria-CWS)

举报
格图洛书 发表于 2021/11/19 02:03:02 2021/11/19
【摘要】 前言 论文:https://arxiv.org/pdf/1712.02856.pdf  ; 代码和语料:https://github.com/hankcs/multi-criteria-cws 。 本文参见上面论文及代码,介绍了一种简洁优雅的多标准中文分词方案,可联合多个不同标准的语料库训练单个模型,同时输出多...

前言

论文:https://arxiv.org/pdf/1712.02856.pdf 

代码和语料:https://github.com/hankcs/multi-criteria-cws 

本文参见上面论文及代码,介绍了一种简洁优雅的多标准中文分词方案,可联合多个不同标准的语料库训练单个模型,同时输出多标准的分词结果。通过不同语料库之间的迁移学习提升模型的性能,在10个语料库上的联合试验结果优于绝大部分单独训练的模型。模型参数和超参数全部共享,复杂度不随语料库种类增长。

自然语言处理,特别是中文处理中,语料库往往珍稀且珍贵。具体到中文分词,也是如此。为了做出一个实用的系统,不光需要高效的算法,大规模语料库也必不可少。然而对于缺乏经费的研究团队和个人,却往往只能得到sighan2005等屈指可数的几个小型语料库。即便如此,这些语料库的标注规范还互不兼容࿰

文章来源: wenyusuran.blog.csdn.net,作者:文宇肃然,版权归原作者所有,如需转载,请联系作者。

原文链接:wenyusuran.blog.csdn.net/article/details/105989287

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。