spark任务修改日志级别

场景一、driver端的日志级别

  修改客户端下：/opt/hadoopclient/Spark2x/spark/conf/log4j.properties

log4j.rootCategory=WARN, console  =>log4j.rootCategory=INFO, console

场景二、executor端的日志级别,默认INFO

修改客户端下：/opt/hadoopclient/Spark2x/spark/conf/ log4j-executor.properties

log4j.rootCategory= INFO, sparklog => log4j.rootCategory=DEBUG, sparklog

spark.executor.log.level = INFO  => spark.executor.log.level = DEBUG

场景三、动态修改executor的debug日志级别

1）首先确认spark-default.conf中spark.executor.extraJavaOptions是否包含参数

-Dlog4j.configuration.watch=true，没有的话手动添加上，重新启动任务，确认生效

2）找到对应container目录下的log4j-executor.properties文件

3）单个正在运行executor日志级别动态修改

4）最终可以达到对某些特定的container进行日志级别修改的作用。

注意：

首先确保-Dlog4j.configuration.watch=true该参数存在，这样就不用重启任务就可以生效了，不存在，需要重启任务才能生效。