Python爬虫入门教程 83-100 scrapyd配合scrapydweb跑scrapy爬虫,名称有点套娃

举报
梦想橡皮擦 发表于 2021/05/27 16:10:11 2021/05/27
【摘要】 本篇博客和上一篇内容呈连续性,注意哦~ scrapydweb模块安装 上篇博客中提及到了一款美化scrapyd的模块,名字叫做scrapydweb今天我们就把它配置起来吧 本篇博客内容相对简单,篇幅较少,大家可以快速阅览 scrapydweb 的 github地址如下:https://github.com/my8100/files/tree/maste...

本篇博客和上一篇内容呈连续性,注意哦~

scrapydweb模块安装

上篇博客中提及到了一款美化scrapyd的模块,名字叫做scrapydweb今天我们就把它配置起来吧

本篇博客内容相对简单,篇幅较少,大家可以快速阅览

scrapydweb 的 github地址如下:https://github.com/my8100/files/tree/master/scrapydweb

安装命令也比较简单

pip install scrapydweb -i https://pypi.douban.com/simple

运行scrapydweb,运行前注意你的scrapyd必须处在运行状态

运行效果如图,运行完毕,会在当前目录生成一个scrapydweb_settings_v10.py文件

Python爬虫入门教程 83-100 scrapyd配合scrapydweb跑scrapy爬虫

1. 配置scrapyd服务器节点

然后打开文件, 注释一些内容。具体如下

SCRAPYD_SERVERS 
  
 

    文章来源: dream.blog.csdn.net,作者:梦想橡皮擦,版权归原作者所有,如需转载,请联系作者。

    原文链接:dream.blog.csdn.net/article/details/108325969

    【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
    • 点赞
    • 收藏
    • 关注作者

    评论(0

    0/1000
    抱歉,系统识别当前为高风险访问,暂不支持该操作

    全部回复

    上滑加载中

    设置昵称

    在此一键设置昵称,即可参与社区互动!

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。