Python 爬虫进阶二之 PySpider 框架安装配置

关于

首先，在此附上项目的地址，以及官方文档 PySpider 官方文档

安装

1. pip

首先确保你已经安装了 pip，若没有安装，请参照 pip 安装

2. phantomjs

PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持 web 而不需浏览器支持，其快速、原生支持各种 Web 标准：DOM 处理、CSS 选择器、JSON、Canvas 和 SVG。 PhantomJS 可以用于页面自动化、网络监测、网页截屏以及无界面测试等。 安装 以上附有官方安装方式，如果你是 Ubuntu 或 Mac OS X 用户，可以直接用命令来安装 Ubuntu:

1

sudo apt-get install phantomjs

Mac OS X:

1

brew install phantomjs

3. pyspider

直接利用 pip 安装即可

1

pip install pyspider

如果你是 Ubuntu 用户，请提前安装好以下支持类库

1

sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml

测试 如果安装过程没有提示任何错误，那就证明一些 OK。 命令行输入

1

pyspider all

然后浏览器访问 http://localhost:5000 观察一下效果，如果可以正常出现 PySpider 的页面，那证明一切 OK 在此附图一张，这是我写了几个爬虫之后的界面。 好，接下来我会进一步介绍这个框架的使用。

常见错误

我曾遇到过的一个错误： PySpider HTTP 599: SSL certificate problem 错误的解决方法 ，后来在作者那发了 issue 得到了答案，其他的暂时没什么问题。 不过发现有的小伙伴提了各种各样的问题啊，不过我确实都没遇到过，我再 Win10，Linux Ubuntu，Linux CentOS，Mac OS X 都成功运行。不过确实有些奇怪的问题，跑着跑着崩了，一点就崩了我也就比较纳闷了。 如果大家有问题，可以看看作者项目里面有没有类似的 issue，另外也推荐大家直接到作者的 GitHub 上发 issue。 毕竟，这个框架不是我写的。 在此附上 Issue 地址： PySpider Issue

文章来源: cuiqingcai.com，作者：崔庆才，版权归原作者所有，如需转载，请联系作者。

原文链接：cuiqingcai.com/2443.html