【Hadoop】如何调整某一个类的日志级别

举报
沙漠里的果果酱 发表于 2021/05/26 11:03:42 2021/05/26
【摘要】 Hadoop如何调整某一个类的日志级别

【背景】

过多的日志打印会拖慢系统性能,并且对于业务量大的集群日志存储也是额外的开销。那么日志级别的设置就很重要了。

很多对性能要求比较极致的客户现网集群甚至会将Hadoop服务端的日志级别设置为WARN,甚至ERROR。那么如果有现网问题需要分析应该怎么办?

直接放开服务端的日志级别显然不可取,原因无非两点:存储+性能。

好在hadoop中实现了动态更新基于类的日志级别,很好的解决了这个问题,在定位问题的时候只需要放开我们需要定位的类的日志级别即可。

【配置方法】

方法一:命令行

1、获取Yarn的某个类的日志级别
hadoop daemonlog -getlevel 1.1.1.1:1111 com.huawei.scheduler.superior.engine.allocation.SSAllocation -protocol https

2、设置Yarn的某个类的日志级别
hadoop daemonlog -setlevel 1.1.1.1:1111 com.huawei.scheduler.superior.engine.allocation.SSAllocation INFO -protocol https

其中1.1.1.1为当前ResourceManager主节点的ip地址,1111为http端口。具体以真实集群为准。

方法二:页面操作

也可以使用超户登录服务端原生页面,使用url查看或者设置某一个类的log级别:

hhh.PNG

其中url中的1.1.1.1为当前ResourceManager的ip

NameNode的设置方式也类似:https://2.2.2.2:20026/HDFS/NameNode/56/logLevel

其中url中的2.2.2.2位当前的NameNode的ip,具体的ip信息和环境保持一致。

注:上面的两种修改操作均为动态生效,修改后即时生效,不需要做任何重启操作。

【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

举报
请填写举报理由
0/200