自建Spark集群Yarn Log日志配置

一、背景：

在自建Spark集群安装完后，当运行Spark On Yarn的作业运行时以及完成后，无法访问Task在Yarn上的日志。

二、根因分析：

Yarn的ResourceManager、NodeManager、JobHistory没有正确配置mapreduce.jobhistory

三、进行Yarn Log配置

（1）配置ResourceManager的yarn-site.xml，在该文件尾追加如下配置。

<property>
  <name>yarn.log.server.url</name>
  <value>http://192.168.0.223:64322/jobhistory/logs</value>
  <!-->该url中的http://192.168.0.223:64322地址为jobhistory的地址，具体可以查看jobhistory下的mapred-site.xml中的mapreduce.jobhistory.webapp.address配置<-->
 </property>
<property>
  <name>yarn.nodemanager.remote-app-log-dir</name>
  <value>/tmp/logs</value>
</property>
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>
<property>
  <name>yarn.nodemanager.log.retain-seconds</name>
  <value>10800</value>
</property>
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>1296000</value>
</property>
<property>
  <name>yarn.log-aggregation.retain-check-interval-seconds</name>
  <value>86400</value>
</property>
<property>
  <name>yarn.nodemanager.remote-app-log-archive-dir</name>
  <value>/tmp/archived</value>
</property>

（2）配置NodeManager的yarn-site.xml，在该文件尾追如下配置。

<property>
  <name>yarn.log.server.url</name>
  <value>http://192.168.0.223:64322/jobhistory/logs</value>
  <!-->同ResourceManager<-->
</property>

（3）配置jobhistory的yarn-site.xml，在该文件尾追加如下配置。

<property>
  <name>yarn.nodemanager.log.retain-seconds</name>
  <value>10800</value>
</property>
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>1296000</value>
</property>
<property>
  <name>yarn.log-aggregation.retain-check-interval-seconds</name>
  <value>86400</value>
</property>
<property>
  <name>yarn.nodemanager.remote-app-log-archive-dir</name>
  <value>/tmp/archived</value>
</property>

四、重启Yarn进程

然后再重启Yarn相关的进程即可。