1.Python 爬虫之Scrapy入门实践指南(Scrapy安装指南)
Python 爬虫之Scrapy入门实践指南(Scrapy安装指南)
Scrapy安装
建议在所谓的“虚拟环境”(virtualenv、conda)中安装scrapy 。它们允许我们不与已安装的Python系统包冲突(可能会破坏我们的一些系统工具和脚本),并且仍然可以使用pip
来进行包的安装。
如果使用的是Linux或OS X,virtualenvwrapper是一个创建virtualenvs的便利工具。
事实上:我们可以在virtualenv环境下安装conda,但是最好用conda自己的环境工具,这样会和pip有更好的兼容性
我们可以在virtualenv里面安装conda:
$ virtualenv test_conda$ source test_conda/bin/activate$ pip install conda$ conda install numpy
也可以在conda中造虚拟环境:
$ conda create -n yourenvname python=x.x anaconda$ source activate yourenvname
使用Anaconda安装Scarapy
如果使用的是Anaconda或Miniconda,则可以通过conda- forge来安装Scrapy软件包,该软件包具有适用于Linux,Windows和OS X的最新软件包。
要使用安装Scrapy conda,请运行:
conda install -c conda-forge scrapy
使用Pip安装Scrapy
如果已经熟悉Python包的安装,则可以使用以下命令从PyPI安装Scrapy及其依赖项:
pip install Scrapy
注意:
有时可能需要根据操作系统来解决某些Scrapy依赖项的编译问题,因此请务必查看特定于平台的安装说明。当然最好的解决方式就是专用的virtualenv中安装Scrapy ,以避免与系统软件包冲突。
小知识
Scrapy是用纯Python编写的,以下为Scrapy框架常用关键的Python包:
lxml:一个高效的XML和HTML解析器;
parsel:是一个使用XPath和CSS选择器从HTML和XML中提取数据的库;
w3lib:一个用于处理URL和网页编码的多用途帮助程序;
twisted:一个异步网络框架;
cryptography和pyOpenSSL:用于处理各种网络级安全需求。
(完)
- 点赞
- 收藏
- 关注作者
评论(0)