python爬虫:scrapy命令失效,直接运行爬虫

举报
彭世瑜 发表于 2021/08/14 00:31:46 2021/08/14
【摘要】 scrapy命令失效,直接运行爬虫,无论是什么命令,都直接运行单个爬虫 出现这个错误,很意外 原因是这样的: 一开始,我写了个脚本单独配置爬虫启动项: # begin.py from scrapy import cmdline cmdline.execute("scrapy crawl myspider")1234 这样一来会比较方便,不用每次都去命令行敲命...

scrapy命令失效,直接运行爬虫,无论是什么命令,都直接运行单个爬虫
出现这个错误,很意外

原因是这样的:
一开始,我写了个脚本单独配置爬虫启动项:

# begin.py
from scrapy import cmdline

cmdline.execute("scrapy crawl myspider")
  
 
  • 1
  • 2
  • 3
  • 4

这样一来会比较方便,不用每次都去命令行敲命令

然而
当我想运行其他爬虫的时候,直接就运行 myspider ,而且无论输入什么指令,

scrapy list 

  
 
  • 1

等命令,完全没有用,直接就开始运行 myspider
那么我就把这个爬虫文件删除

接下来报错

raise KeyError("Spider not found: {}".format(spider_name))
KeyError: 'Spider not found: myspider'

  
 
  • 1
  • 2

顺着报错信息,往上面看

File "workspace/spiders_news/begin.py"

  
 
  • 1

对,就是刚刚创建的那个 begin.py 文件,好吧,那我就再把它删除试试
然而,依然还是这个错,去文件目录看了下,发现还有一个文件,begin.pyc

好吧,那就再把它删除试试,好了,问题解决
scrapy list等命令又可以用了

文章来源: pengshiyu.blog.csdn.net,作者:彭世瑜,版权归原作者所有,如需转载,请联系作者。

原文链接:pengshiyu.blog.csdn.net/article/details/80047527

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。