问题

同时使用scrapy.log和logging，日志会多次出现在控制台

import logging

logging.basicConfig(level=logging.DEBUG)

logging.debug("message")


  

 

  
1
  
2
  
3
  
4
  
5
  
6
 

输出的日志

DEBUG:spider:已经处理过了 product_id: 149118
2019-04-09 16:19:19 [spider] DEBUG: 已经处理过了 product_id: 149118

  

 

  
1
  
2
 

解决

方式一

注释掉日志配置

import logging

# logging.basicConfig(level=logging.DEBUG)

logging.debug("message")


  

 

  
1
  
2
  
3
  
4
  
5
  
6
 

方式二

通过 logger 成功解决

import logging

logger = logging.getLogger(__name__)
logger.setLevel(level=logging.DEBUG)

logger.debug("message")


  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
 

方式三

比如peewee的日志记录

import logging

logger = logging.getLogger('peewee')
logging.propagate=False # 这是一个布尔标志, 用于指示消息是否传播给父记录器, 默认值为True

  

 

  
1
  
2
  
3
  
4
 

参考
Scrapy logging日志重复输出的解决方法

参考
使用logging管理爬虫

文章来源: pengshiyu.blog.csdn.net，作者：彭世瑜，版权归原作者所有，如需转载，请联系作者。

原文链接：pengshiyu.blog.csdn.net/article/details/89152681