Python 爬虫之Scrapy入门实践指南（Scrapy安装指南）

Scrapy安装

建议在所谓的“虚拟环境”（virtualenv、conda）中安装scrapy 。它们允许我们不与已安装的Python系统包冲突（可能会破坏我们的一些系统工具和脚本），并且仍然可以使用pip来进行包的安装。

如果使用的是Linux或OS X，virtualenvwrapper是一个创建virtualenvs的便利工具。

事实上：我们可以在virtualenv环境下安装conda，但是最好用conda自己的环境工具，这样会和pip有更好的兼容性

我们可以在virtualenv里面安装conda：

$ virtualenv test_conda$ source test_conda/bin/activate$ pip install conda$ conda install numpy

也可以在conda中造虚拟环境：

$ conda create -n yourenvname python=x.x anaconda$ source activate yourenvname

Anaconda 简单入门

使用Anaconda安装Scarapy

如果使用的是Anaconda或Miniconda，则可以通过conda- forge来安装Scrapy软件包，该软件包具有适用于Linux，Windows和OS X的最新软件包。

要使用安装Scrapy conda，请运行：

conda install -c conda-forge scrapy

使用Pip安装Scrapy

如果已经熟悉Python包的安装，则可以使用以下命令从PyPI安装Scrapy及其依赖项：

pip install Scrapy

注意：

有时可能需要根据操作系统来解决某些Scrapy依赖项的编译问题，因此请务必查看特定于平台的安装说明。当然最好的解决方式就是专用的virtualenv中安装Scrapy ，以避免与系统软件包冲突。

小知识

Scrapy是用纯Python编写的，以下为Scrapy框架常用关键的Python包：

• lxml：一个高效的XML和HTML解析器；

• parsel：是一个使用XPath和CSS选择器从HTML和XML中提取数据的库；

• w3lib：一个用于处理URL和网页编码的多用途帮助程序；

• twisted：一个异步网络框架；

• cryptography和pyOpenSSL：用于处理各种网络级安全需求。

（完）