《Python数据挖掘与机器学习实战》—2.8.2 爬虫的工作流程

2.8.2  爬虫的工作流程

　　网络爬虫的基本工作流程，如图2-8所示。

　　（1）选取一部分精心挑选的种子URL。

　　（2）将这些URL放入待抓取URL队列。

　　（3）从待抓取URL队列中取出待抓取的URL，解析DNS并且得到主机的IP，将URL对应的网页下载下来，存储进已下载的网页库中。此外，将这些URL放进已抓取的URL队列。

　　（4）分析已抓取的URL队列中的URL，然后解析其他URL，并且将URL放入待抓取的URL队列，从而进入下一个循环。

图2-8  爬虫的工作流程

　　从爬虫的角度对互联网进行划分，如图2-9所示。

•  已下载的未过期网页。

•  已下载的已过期网页：抓取到的网页实际上是互联网内容的一个镜像与备份。互联网是动态变化的，如果一部分互联网上的内容已经发生了变化，那么抓取到的这部分网页就已经过期了。

•  待下载的网页：是待抓取的URL队列中的那些页面。

•  可知网页：还没有抓取下来，也没有在待抓取的URL队列中，但是可以通过对已抓取的页面或者待抓取的URL对应页面分析获取到的URL，认为是可知网页。

•  还有一部分网页爬虫是无法直接抓取并下载的，称为不可知网页。

图2-9  互联网的划分

　　在爬虫系统中，待抓取的URL队列是很重要的一部分。待抓取URL队列中的URL以什么样的顺序排列也是一个很重要的问题，因为这涉及先抓取哪个页面，后抓取哪个页面。而决定这些URL排列顺序的方法叫做抓取策略。下面重点介绍几种常见的抓取策略。

•  深度优先遍历策略：指网络爬虫会从起始页开始，一个链接一个链接地跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。

•  宽度优先遍历策略：将新下载网页中发现的链接直接插入待抓取URL队列的末尾。

•  反向链接数策略：指一个网页被其他网页链接指向的数量。

•  Partial PageRank策略：借鉴了PageRank算法的思想，即对于已经下载的网页，连同待抓取URL队列中的URL形成网页集合，计算每个页面的PageRank值，计算完之后，将待抓取的URL队列中的URL按照PageRank值的大小进行排序，并按照该顺序抓取页面。

•  OPIC策略：实际上也是对页面进行重要性打分。对于待抓取的URL队列中的所有页面，按照打分情况进行排序。

•  大站优先策略：对于待抓取的URL队列中的所有网页，根据所属的网站进行分类。对于待下载页面数多的网站，优先下载。

　　互联网是实时变化的，具有很强的动态性。网页更新策略主要是决定何时更新之前已经下载过的页面。常见的更新策略有以下3种：

　　（1）历史参考策略。

　　顾名思义，根据页面以往的历史更新数据，预测该页面未来何时会发生变化。一般来说，是通过泊松过程进行建模来预测。

　　（2）用户体验策略。

　　尽管搜索引擎针对某个查询条件能够返回数量巨大的结果，但是用户往往只关注前几页结果。因此，抓取系统可以优先更新在查询结果前几页显示的网页，而后再更新后面的网页。这种更新策略也需要用到历史信息。用户体验策略保留网页的多个历史版本，并且根据过去每次的内容变化对搜索质量的影响得出一个平均值，用这个值作为决定何时重新抓取的依据。

　　（3）聚类抽样策略。

　　前面提到的两种更新策略都有一个前提：需要网页的历史信息。这样就存在两个问题：第一，系统要是为每个系统保存多个版本的历史信息，无疑增加了很多的系统负担；第二，要是新的网页完全没有历史信息，就无法确定更新策略。

　　这种策略认为网页具有很多属性，类似属性的网页，可以认为其更新频率也是类似的。要计算某一个类别网页的更新频率，只需要对这一类网页抽样，以它们的更新周期作为整个类别的更新周期，基本思路如图2-10所示。

图2-10  网页聚类抽样策略

　　一般来说，抓取系统需要面对的是整个互联网上数以亿计的网页。单个抓取程序不可能完成这样的任务，往往需要多个抓取程序一起来处理。一般来说，抓取系统往往是一个分布式的三层结构，如图2-11所示。

图2-11  分布式结构

　　最下面一层是分布在不同地理位置上的数据中心，在每个数据中心里有若干台抓取服务器，而每台抓取服务器上可能部署了若干套爬虫程序，这样就构成了一个基本的分布式抓取系统。

　　对于一个数据中心内的不同抓取服务器，协同工作的方式有以下两种：

　　1．主从式（Master-Slave）

　　主从式的基本结构如图2-12所示。

图2-12  主从式结构

　　对于主从式而言，有一台专门的Master服务器来维护待抓取URL队列，它负责每次将URL分发到不同的Slave服务器上，而Slave服务器则负责实际的网页下载工作。Master服务器除了维护待抓取的URL队列及分发URL之外，还要负责调解各个Slave服务器的负载情况，以免某些Slave服务器过于“清闲”或者“劳累”。这种模式下，Master往往容易成为系统瓶颈。

　　2．对等式（Peer to Peer）

　　对等式的基本结构如图2-13所示。

图2-13  对等式结构

　　在这种模式下，所有的抓取服务器在分工上没有不同。每一台抓取服务器都可以从待抓取的URL队列中获取URL，接着求出该URL的主域名的Hash值H，然后计算H mod m（其中m是服务器的数量，以图2-13为例，m为3），计算得到的数就是处理该URL的主机编号。

　　举例：假设对于URL www.baidu.com，计算其Hash值H=8，m=3，则H mod m=2，因此由编号为2的服务器进行该链接的抓取。假设这时候是0号服务器拿到这个URL，那么它会将该URL转给服务器2，由服务器2进行抓取。

　　这种模式有一个问题，当有一台服务器死机或者添加新的服务器时，所有URL的哈希求余的结果都要变化。也就是说，这种方式的扩展性不佳。针对这种情况，又有一种改进方案被提出来，这种改进的方案是用一致性哈希法来确定服务器分工，其基本结构如图2-14所示。

图2-14  一致性哈希法

　　一致性哈希法将URL的主域名进行哈希运算，映射为一个范围在0～232之间的某个数，然后将这个范围平均地分配给m台服务器，根据URL主域名哈希运算的值所处的范围来判断由哪台服务器进行抓取。

　　如果某一台服务器出现问题，那么本该由该服务器负责的网页则按照顺时针顺延，由下一台服务器进行抓取。这样，即使某台服务器出现问题，也不会影响其他的工作。