云上搜索中的分词:让业务词汇保持原意
【摘要】 搜索不到商品型号或专业名词,未必是数据没有入库,也可能与分词和字段用途有关。本文从精确匹配、业务词维护、索引与查询规则,以及固定样例验证四方面,整理搜索效果优化的基础思路。
云上商品搜索中,某个型号已经入库,输入完整名称却没有找到预期结果,原因可能出在文本如何被拆分。搜索引擎通常会将文本转换成词项,再依据查询进行匹配。使用华为云云搜索服务等工具时,理解分词过程,有助于把检索问题定位到具体环节。
先区分精确匹配与全文检索
商品编号、订单号和状态值通常更适合按完整值匹配;标题、说明和文章正文则常需要全文检索。同一段内容可以根据用途保留不同的字段形式。不要让编号完全依赖自然语言分词,也不要期待只做完整值匹配的字段自动理解一句描述。
为业务词准备真实样例
产品名称、行业缩写和带连字符的型号,可能与默认分词规则的预期不同。可以整理常见业务词,查看它们实际拆成了哪些词项,再按所用引擎支持的方式调整词典或分析规则。同义词也应有明确范围,不能把含义接近的词全部互换,否则容易增加无关结果。
检查写入和查询两端的规则
索引建立时如何分析文本,查询时如何分析输入,两者需要相互匹配,但不一定必须完全相同。还要确认查询使用了预期字段,是否被大小写、过滤条件或词项组合方式影响。调整分析配置后,应核对变更是否作用于已有数据;必要时安排重新建立索引,并保留切换与回退方案。
用固定查询集观察变化
选取完整型号、简称、组合词和容易混淆的词作为样例,记录期望命中的内容及排序位置。每次调整后比较漏掉的结果和新增的无关结果,不能只看某一个词能否搜到。样例数据尽量覆盖真实业务表达,同时避免带入个人信息。
搜索优化需要先看字段用途,再看分词结果和匹配规则。把业务词与验收样例持续维护起来,比遇到一个词就临时修改一次规则更容易评估效果。
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)