Python爬虫：Scrapy优化参数设置

修改 settings.py 文件

# 增加并发
CONCURRENT_REQUESTS = 100

# 降低log级别
LOG_LEVEL = 'INFO'

# 禁止cookies
COOKIES_ENABLED = False

# 禁止重试
RETRY_ENABLED = False

# 减小下载超时
DOWNLOAD_TIMEOUT = 15

# 禁止重定向
REDIRECT_ENABLED = False

  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
  
11
  
12
  
13
  
14
  
15
  
16
  
17
 

参考
通用爬虫(Broad Crawls)

文章来源: pengshiyu.blog.csdn.net，作者：彭世瑜，版权归原作者所有，如需转载，请联系作者。

原文链接：pengshiyu.blog.csdn.net/article/details/89521441