配置Pycharm的Scrapy爬虫Spider子类通用模板
【摘要】 Scrapy爬虫的模板比较单一，每次新建爬虫程序要么重新手敲一遍，要么复制粘贴
从头手敲：效率较低，容易出错，浪费时间复制粘贴：老代码需要改动的地方较多，容易漏掉，导致出错
所以，pycharm中配置一个模板文件就很重要了
# -*- encoding: utf-8 -*-
"""
@Date : ${YEAR}-${MONTH}-${DAY}
@Author ...
Scrapy爬虫的模板比较单一，每次新建爬虫程序要么重新手敲一遍，要么复制粘贴
- 从头手敲：效率较低，容易出错，浪费时间
- 复制粘贴：老代码需要改动的地方较多，容易漏掉，导致出错
所以，pycharm中配置一个模板文件就很重要了
# -*- encoding: utf-8 -*-
"""
@Date : ${YEAR}-${MONTH}-${DAY}
@Author : Peng Shiyu
"""
from scrapy import Spider, Request, cmdline
class XXXSpider(Spider): name = "${NAME}" start_urls = [] def start_request(self): for url in self.start_urls: yield Request(url) def parse(self, response): pass
if __name__ == "__main__": cmdline.execute("scrapy crawl ${NAME}".split())
文章来源: pengshiyu.blog.csdn.net，作者：彭世瑜，版权归原作者所有，如需转载，请联系作者。
原文链接：pengshiyu.blog.csdn.net/article/details/84564682
【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论（0）