Python 爬虫之Scrapy入门实践指南(Scrapy基础知识)

举报
陈宝佳 发表于 2019/02/15 15:39:10 2019/02/15
【摘要】 Scrapy是一种快速的高级Web爬行和Web抓取框架,用于抓取网站并从其页面中提取结构化数据。它可用于各种用途,从数据挖掘到监控和自动化测试。


  • 0.0、Scrapy基础

  • 0.1、Scrapy 框架图

  • 0.2、Scrapy主要包括了以下组件:

  • 0.3、Scrapy简单示例如下:

  • 0.4、Scrapy运行流程如下:

  • 0.5、还有什么?

  • 0.6、下一步是什么?


0.0、Scrapy基础

Python2:适合爬取非中文

Python3:适合爬取中文

Scrapy是一种快速的高级Web爬行和Web抓取框架,用于抓取网站并从其页面中提取结构化数据。它可用于各种用途,从数据挖掘到监控和自动化测试。

0.1、Scrapy 框架图

0.2、Scrapy主要包括了以下组件:

  • 引擎(Scrapy): 用来处理整个系统的数据流处理, 触发事务(框架核心)

  • 调度器(Scheduler): 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL(抓取网页的网址或者说是链接)的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址

  • 下载器(Downloader): 用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)

  • 爬虫(Spiders): 爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面

  • 项目管道(Pipeline): 负责处理爬虫从网页中抽取的实体,主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后,将被发送到项目管道,并经过几个特定的次序处理数据。

  • 下载器中间件(Downloader Middlewares): 位于Scrapy引擎和下载器之间的框架,主要是处理Scrapy引擎与下载器之间的请求及响应。

  • 爬虫中间件(Spider Middlewares): 介于Scrapy引擎和爬虫之间的框架,主要工作是处理蜘蛛的响应输入和请求输出。

  • 调度中间件(Scheduler Middewares): 介于Scrapy引擎和调度之间的中间件,从Scrapy引擎发送到调度的请求和响应。

0.3、Scrapy简单示例如下:

我们将以最简单的方式运行蜘蛛,它在将访问并获取 http://quotes.toscrape.com上的名言(文本)、作者 :

import scrapyclass QuotesSpider(scrapy.Spider):
    name = 'quotes'
    start_urls = [        'http://quotes.toscrape.com/',
    ]    def parse(self, response):
        for quote in response.css('div.quote'):            yield {                'text': quote.css('span.text::text').get(),                'author': quote.css('small.author::text').get(),
            }

        next_page = response.css('li.next a::attr("href")').get()        if next_page:            yield response.follow(response.urljoin(next_page), self.parse)

将以上代码放在一个文本文件中,将其命名为quotes_spider.py ,并使用 以下命令运行蜘蛛:

scrapy runspider quotes_spider.py -o quotes.json

运行上述命令后,代码将在命令运行的目录下创建一个名为quotes.json的文件,该文件包含JSON格式的列表,其中包含文本和作者,如下所示(为了更好的可读性,此处重新格式化):

[
  {    "text": "\u201cThe world as we have created it is a process of our thinking. It cannot be changed without changing our thinking.\u201d",    "author": "Albert Einstein"
  },
  {    "text": "\u201cIt is our choices, Harry, that show what we truly are, far more than our abilities.\u201d",    "author": "J.K. Rowling"
  },
  {    "text": "\u201cThere are only two ways to live your life. One is as though nothing is a miracle. The other is as though everything is a miracle.\u201d",    "author": "Albert Einstein"
  },
  ...省略97条...
 ]

0.4、Scrapy运行流程如下:

当我们运行“scrapy runspider quotes_spider.py”命令时,Scrapy会查找Spider的定义并通过其爬虫引擎运行它;

通过向start_urls 属性中定义的URL发出请求(在上述示例中即:start_urls = ['http://quotes.toscrape.com/'])开始爬行,并调用默认回调方法parse,将响应对象作为参数进行传递;

在parse回调方法中,我们使用CSS Selector循环遍历quote元素,并将提取的名言文本和作者生成Python dict,除此之外我们还查找指向下一页的链接,将获得的下一页链接再次以同样的方式进行请求处理;

在这里,我们可以看到Scrapy的一个主要优点:请求是 异步调度与处理的。

这意味着Scrapy不需要等待请求完成和处理,它可以在此期间发送另一个请求或执行其他操作。

这也意味着即使某些请求失败或在处理错误时发生错误,其他请求也可以继续运行。

虽然这使得我们能够进行非常快速的爬网(以容错的方式同时发送多个并发请求),但Scrapy还可以通过一些设置让我们的蜘蛛以更加绅士的方式去爬网。

我们可以执行以下操作:在每个请求之间设置下载延迟,限制每个域或每个IP的并发请求数量,甚至使用自动限制扩展,以尝试自动解决这些问题。

注意:我们在这里使用的是Feed导出生成JSON文件,除此之外我们还可以轻松更改导出格式(例如XML或CSV),存储于后端服务(例如FTP或Amazon S3),还可以编写 item pipeline 用以将 items 存储在数据库中。

运行流程小结:

  1. 首先,引擎从调度器中取出一个链接(URL)用于接下来的抓取;

  2. 引擎把URL封装成一个请求(Request)传给下载器,下载器把资源下载下来,并封装成应答包(Response);

  3. 然后,爬虫解析Response;

  4. 若是解析出实体(Item),则交给实体管道进行进一步的处理;

  5. 若是解析出的是链接(URL),则把URL交给Scheduler等待抓取。

0.5、还有什么?

通过上述实践,我们已经了解了如何使用Scrapy从网站中提取和存储项目,但这只是表面。

Scrapy提供了许多强大的功能,可以帮助我们轻松高效地进行抓取,例如:

  1. 内置支持使用扩展的CSS选择器和XPath表达式,让我们可以高效地从HTML / XML源代码中选择和提取数据,并使用正则表达式提取辅助方法;

  2. 提供交互式Shell控制台(支持IPython),用于尝试使用CSS和XPath表达式来抓取数据,在编写或调试蜘蛛时非常有用;

  3. 内置支持以多种格式(JSON,CSV,XML)生成Feed导出并将其存储在多个后端服务(FTP、S3、数据库、本地文件系统)中;

  4. 强大的编码支持和自动检测,用于处理外部,非标准和损坏的编码声明;

  5. 强大的可扩展性支持,允许使用Signals(信号)和定义良好的API(中间件,扩展和 管道)插入自己的自定义功能;

  6. 诸多的内置扩展和中间件用于处理:

    1. Cookie和会话处理

    2. HTTP功能,如压缩,身份验证,缓存

    3. User-Agent 代理请求

    4. robots.txt

    5. 爬行深度限制...

  7. 一个Telnet控制台,用于连接到Scrapy进程内运行的Python控制台,用以调试爬虫;

  8. 还有其他好东西,比如可重复使用的蜘蛛,可以从Sitemaps(站点地图:网站管理员向搜索引擎通知可用于爬行的网站页面的一种简单方法。)和XML / CSV Feed中抓取网站,自动下载与抓取项目相关联的图像(或任何其他媒体)的媒体管道,缓存DNS解析器等等!

0.6、下一步是什么?

接下来的步骤是安装Scrapy, 按照教程学习如何创建一个完整的Scrapy项目。感谢加入社区,谢谢大家的关注!

(完)


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

举报
请填写举报理由
0/200