Text analysis 是什么

Text analysis 是将分结构化文本转化成结构化文本的过程。

触发时机

当索引或者搜索text类型字段，就会触发文本分析。

工作流程

1.字符过滤器

字符过滤器是对原始文本的处理，比如转换文字编码，过滤网页元素等。

2.令牌生成器

令牌生成器将字符过滤器处理之后的字节流进行处理，得到令牌（tokens）。

分析器必须有且仅有一个令牌生成器。

3.令牌过滤器

令牌过滤器接收令牌生成器返回的令牌流，再做一些处理。

令牌过滤器不允许更改每个令牌的位置或字符偏移量。

分析器可能具有零个或多个按顺序应用的令牌过滤器。

参考资料

• https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis.html#analysis

文章来源: coderfix.blog.csdn.net，作者：小雨青年，版权归原作者所有，如需转载，请联系作者。

原文链接：coderfix.blog.csdn.net/article/details/114300366