Python爬虫：Scrapy优化参数设置
【摘要】 修改 settings.py 文件
# 增加并发
CONCURRENT_REQUESTS = 100
# 降低log级别
LOG_LEVEL = 'INFO'
# 禁止cookies
COOKIES_ENABLED = False
# 禁止重试
RETRY_ENABLED = False
# 减小下载超时
DOWNLOAD_TIMEOUT = 15
# 禁止...
修改 settings.py 文件
# 增加并发
CONCURRENT_REQUESTS = 100
# 降低log级别
LOG_LEVEL = 'INFO'
# 禁止cookies
COOKIES_ENABLED = False
# 禁止重试
RETRY_ENABLED = False
# 减小下载超时
DOWNLOAD_TIMEOUT = 15
# 禁止重定向
REDIRECT_ENABLED = False
文章来源: pengshiyu.blog.csdn.net，作者：彭世瑜，版权归原作者所有，如需转载，请联系作者。
原文链接：pengshiyu.blog.csdn.net/article/details/89521441
【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论（0）