Crawler之Scrapy:Scrapy简介、安装、使用方法之详细攻略

举报
一个处女座的程序猿 发表于 2021/03/28 01:12:39 2021/03/28
【摘要】 Crawler之Scrapy:Scrapy简介、安装、使用方法之详细攻略     目录 scrapy简介 Scrapy进行安装 Scrapy使用方法       scrapy简介     Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、...

Crawler之Scrapy:Scrapy简介、安装、使用方法之详细攻略

 

 

目录

scrapy简介

Scrapy进行安装

Scrapy使用方法


 

 

 

scrapy简介

    Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。

这次我们使用Python3版本进行安装scrapy,如果是其他python2.版本安装请参考链接,Python 2.7安装scrapy指南

 

 

Scrapy进行安装

pip install Scrapy

如果安装中出现错误,请根据下边的几个错误,分别进行处理,最后测试成功即可!

1、当安装过程中出现了红色的错误:Failed building wheel for Twisted

然后去这个网址https://www.lfd.uci.edu/~gohlke/pythonlibs/,下载与你python版本,相应的Twisted版本

2、接着安装这个whl文件

3、当安装过程中出现了这个白色错误:error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

Command ""f:\program files\python\python36\python.exe" -u -c "import setuptools, tokenize;__file__='C:\\Users\\99386\\AppData\\Local\\Temp\\pip-build-w06f16db\\Twisted\\setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record C:\Users\99386\AppData\Local\Temp\pip-6otgh__e-record\install-record.txt --single-version-externally-managed --compile" failed with error code 1 in C:\Users\99386\AppData\Local\Temp\pip-build-w06f16db\Twisted\

4、最后测试一下,是否安装成功

哈哈,大功告成!

 

 

Scrapy使用方法

更新……

 

 

相关文章推荐
Crawler之Scrapy:Python实现scrapy框架爬虫两个网址下载网页内容信息
 

 

文章来源: yunyaniu.blog.csdn.net,作者:一个处女座的程序猿,版权归原作者所有,如需转载,请联系作者。

原文链接:yunyaniu.blog.csdn.net/article/details/79590874

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。