Mapreduce任务Map阶段运行进程说明

举报
FI小粉丝 发表于 2021/08/28 15:50:45 2021/08/28
【摘要】 最近经常有人问到,map阶段container运行时怎么找到具体Task运行的JVM进程1.首先在任务页面点击map,点击log,可以找到对应的containerID2.在map界面,找到container运行的主机节点3.去相应的节点执行ps -ef|grep container_e02_1568949488640_0036_01_000002可以看出,结果有三个进程,那么哪个是对应执行t...

最近经常有人问到,map阶段container运行时怎么找到具体Task运行的JVM进程

1.首先在任务页面点击map,点击log,可以找到对应的containerID

2.在map界面,找到container运行的主机节点

3.去相应的节点执行ps -ef|grep container_e02_1568949488640_0036_01_000002
可以看出,结果有三个进程,那么哪个是对应执行task的jvm进程呢




可以看出,3745的父进程是3730,3730的父进程是3727

这三个进程分别对应,container启动的进程,YarnChild 的启动进程,以及YarnChild进程
那么实际上3745 就是对应Task的JVM进程

4.若要分析Task过程,则需要切换到相应进程用户下,使用进程java全路径打印jstack,可分析执行过程
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。