安装scrapy

官网：https://scrapy.org/download/
使用pip安装，如果失败下载zip安装

 pip install scrapy
  

 

  
1
 

遇到的错误

1、安装报错：

# error: command 'cl.exe' failed: No such file or directory
  

 

  
1
 

解决：
下载 twisted 并安装
http://www.lfd.uci.edu/~gohlke/pythonlibs/

scrapy正常

2、运行报错

# ImportError: No module named 'win32api'
  

 

  
1
 

安装模块pypiwin32

pip install pypiwin32
  

 

  
1
 

3、visual c++ build tools
http://www.microsoft.com/zh-CN/download/details.aspx?id=48159

4、问题：openssl 之不是有效的win 32程序

pip uninstall pyopenssl cryptography
pip install pyopenssl cryptography
  

 

  
1
  
2
 

5、 问题：ModuleNotFoundError: No module named ‘_cffi_backend’

pip install pypiwin32
  

 

  
1
 

6、问题：scrapy shell url 发生TypeError: ‘float’ object is not iterable

pip install twisted==16.6.0
  

 

  
1
 

7、问题： Microsoft Visual C++ 14.0 is required

方式1：按照提示下载安装 Microsoft Visual C++ 14.0

visualcppbuildtools_full.exe
vc_redist.x64.exe
安装完以上两个组件之后，依然失败

方式2：方式一不一定好使，推荐下载对应已经编译好的windows版本安装
http://www.lfd.uci.edu/~gohlke/pythonlibs/

pip install Twisted-18.7.0-cp36-cp36m-win_amd64.whl
  

 

  
1
 

spider环境安装：

pip install  scrapyd_api pypiwin32 redis scrapyd python-scrapyd-api twisted
  

 

  
1
 

参考：

1. 从零开始的 Python 爬虫速成指南

2. cl.exe’ failed: No such file or directory when installing Scrapy

3. Scrapy运行ImportError: No module named win32api错误

文章来源: pengshiyu.blog.csdn.net，作者：彭世瑜，版权归原作者所有，如需转载，请联系作者。

原文链接：pengshiyu.blog.csdn.net/article/details/79373994