Python爬虫入门教程 83-100 scrapyd配合scrapydweb跑scrapy爬虫,名称有点套娃
【摘要】
本篇博客和上一篇内容呈连续性,注意哦~
scrapydweb模块安装
上篇博客中提及到了一款美化scrapyd的模块,名字叫做scrapydweb今天我们就把它配置起来吧
本篇博客内容相对简单,篇幅较少,大家可以快速阅览
scrapydweb 的 github地址如下:https://github.com/my8100/files/tree/maste...
本篇博客和上一篇内容呈连续性,注意哦~
scrapydweb模块安装
上篇博客中提及到了一款美化scrapyd
的模块,名字叫做scrapydweb
今天我们就把它配置起来吧
本篇博客内容相对简单,篇幅较少,大家可以快速阅览
scrapydweb 的 github地址如下:https://github.com/my8100/files/tree/master/scrapydweb
安装命令也比较简单
pip install scrapydweb -i https://pypi.douban.com/simple
运行scrapydweb
,运行前注意你的scrapyd
必须处在运行状态
运行效果如图,运行完毕,会在当前目录生成一个scrapydweb_settings_v10.py
文件
1. 配置scrapyd
服务器节点
然后打开文件, 注释一些内容。具体如下
SCRAPYD_SERVERS
文章来源: dream.blog.csdn.net,作者:梦想橡皮擦,版权归原作者所有,如需转载,请联系作者。
原文链接:dream.blog.csdn.net/article/details/108325969
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)