Python爬虫系列:安装Scrapy框架的那些事

举报
小Bob来啦 发表于 2021/02/09 21:54:31 2021/02/09
【摘要】 最近小编在学Python爬虫时遇到安装Scrapy框架时出错,具体原因是安装某个模块时报错。报错复现:在Pycharm的终端中输入pip install scrapy下载时出现的报错如上图。查看错误时发现在安装Twisted模块时出现了问题,在百度各种搜索之后以及尝试后,发现更换国内镜像源并不好使,主要还是没解决。最后小编是在下面的网站中直接下载的模块安装包:https://www.lfd....
最近小编在学Python爬虫时遇到安装Scrapy框架时出错,具体原因是安装某个模块时报错。

报错复现:
图片

在Pycharm的终端中输入pip install scrapy下载时出现的报错如上图。

查看错误时发现在安装Twisted模块时出现了问题,在百度各种搜索之后以及尝试后,发现更换国内镜像源并不好使,主要还是没解决。

最后小编是在下面的网站中直接下载的模块安装包
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

然后在网站中直接Ctrl+F查找找到Twisted这个模块,切记cp后面是根据你安装的Python版本下载的,比如Python3.8版本显示的就是38.
图片

至于如何查看Python版本,打开cmd,输入Python即可:
图片

在安装该模块之前,还需要将你的pip更新到最新的版本:更新命令如下:
pip:python -m pip install -U pip

将安装文件下载完成后,在cmd中输入:pip install 文件路径+文件名称,如下:
图片

显示安装安装完成后,即可在cmd窗口中输入pip install scrapy

若最后还有报错,可尝试更换镜像源,小编是之后一次直接安装成功了。

在安装时添加镜像源的命令
pip inatll scrapy -i +镜像源网站

相关镜像源的网址:
图片

Python爬虫系列,未完待续...
图片
【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。