【Elastic知识简报】standard analyzer和standard tokenizer有什么区别？
【摘要】 什么是analyzer，什么是tokenizer?analyzer是分析器，由三部分组成：字符过滤器 character filter、令牌过滤器 token filter、分词器tokenizer，所以tokenizer是analyzer的一部分字符过滤器：用于过滤HTML标签、自定义映射、正则替换令牌过滤器：用于过滤停用词、时态转换、大小写转换、同义词转换、语气词处理等分词器：按照一定...
什么是analyzer，什么是tokenizer?
analyzer是分析器，由三部分组成：字符过滤器 character filter、令牌过滤器 token filter、分词器tokenizer，所以tokenizer是analyzer的一部分
字符过滤器：用于过滤HTML标签、自定义映射、正则替换
令牌过滤器：用于过滤停用词、时态转换、大小写转换、同义词转换、语气词处理等
分词器：按照一定的规则来对字符串分词
standard analyzer和standard tokenizer有什么区别？
standard tokenizer是以空格为分隔符的分词器，而standard analyzer包含了standard tokenizer，并且额外包含了一个大写转小写的字符过滤器
【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）