扒一扒搜索引擎是如何工作的？
【摘要】
搜索引擎是信息检索（IR）系统的通俗叫法。虽然研究和开发人员看待IR系统的眼光更宽一些，但用户想到它们更多的是根据他们期望系统能做的功能 — 即搜索网络，或者企业内部网，或者一个数据库。
事实上用户会更喜欢一个发现引擎，而不仅仅是一个搜索引擎。
搜索引擎匹配查询到它们创建的索引上。这个索引包含每个文档的单词，和能指向文儿当地址的指针...
搜索引擎是信息检索（IR）系统的通俗叫法。虽然研究和开发人员看待IR系统的眼光更宽一些，但用户想到它们更多的是根据他们期望系统能做的功能 — 即搜索网络，或者企业内部网，或者一个数据库。
事实上用户会更喜欢一个发现引擎，而不仅仅是一个搜索引擎。
搜索引擎匹配查询到它们创建的索引上。这个索引包含每个文档的单词，和能指向文儿当地址的指针。这被叫做倒排索引文件【 inverted file】。一个搜索引擎或者IR系统包括四个基本的模块：
-
一个文档处理器
-
一个查询处理器
-
一个搜索和匹配功能
-
一个排名能力
虽然用户关注的点是“搜索”，但是搜索和匹配功能仅仅是这四个模块里的其中之一。这四个模块中的每一个都可能导致用户在使用搜索引擎时获得预期或意外的结果。
文档处理器
文档处理器准备，处理和输入用户搜索的文档，页面或站点。文档处理器执行以下部分或全部步骤：
-
将文档流规范化为预定义格式。
-
将文档流分解为所需的可检索单元。
-
隔离和元标记每个子文档块。
-
标识文档中潜在的可索引元素。
-
删除停用词。
-
词根化检索词。
-
提取索引条目。
-
计算权重。
-
创建并更新搜索引擎搜索的主要倒排索引文件，以便将查询与文档进行匹配。
第1-3步：预处理。 虽然是必不可少的步骤并且可能对影响搜索结果很重要，但前三个步骤只是简单地标准化了各种来源或者处理各种网站时遇到的多种文件格式。这些步骤用于将所
文章来源: wenyusuran.blog.csdn.net，作者：文宇肃然，版权归原作者所有，如需转载，请联系作者。
原文链接：wenyusuran.blog.csdn.net/article/details/107515926
【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论（0）