这是我Python培训的内容，使用Pyspider框架爬取Scrapy文档

@Author：xinlan

pyspider框架

一、pyspider框架介绍

1.简介

pyspider 是个强大的由python实现的爬虫系统。

• 纯python的
• 强大的webui，支持脚本编辑，任务监控，项目管理和结果查看
• 数据后台支持，MySQL，MongoDB,Reids,SQLite,Elasticsearch,PostgreSQL和SQLAlchemy
• 消息队列支持，RabbitMQ，Beanstalk，Redis以及Kombu
• 支持任务优先级，定时，失败重试等调度方案
• 分布式架构，抓取js页面
• 支持Python2和3

2.安装

pip install pyspider

ubuntu

如果使用ubuntu,请先运行sudo apt update 再运行sudo apt upgrade 更新

apt-get install python python-dev python-distribute python-pip \
libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml \
libssl-dev zlib1g-dev

  

 

  
1
  
2
  
3
 

删除wsgidav

文章来源: maoli.blog.csdn.net，作者：刘润森！，版权归原作者所有，如需转载，请联系作者。

原文链接：maoli.blog.csdn.net/article/details/105404281