yarn-client模式下Driver端打印gc.log
【摘要】 操作步骤在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的参数“spark.driver.extraJavaOptions”的值中添加（注意不要覆盖）“-XX:+PrintGCDetails -XX:-OmitStackTraceInFastThrow -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps”。...
操作步骤
-
在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的参数“spark.driver.extraJavaOptions”的值中添加（注意不要覆盖）“-XX:+PrintGCDetails -XX:-OmitStackTraceInFastThrow -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps”。
-
使用client模式提交Spark应用。
spark-submit --master yarn --deploy-mode client --class org.apache.spark.examples.SparkPi /opt/client/Spark2x/spark/examples/jars/spark-examples*.jar
gc日志打印如下：
-
spark.driver.extraJavaOptions参数不可覆盖，需在原本的基础上添加新参数。
-
若想将gc日志聚合至文件，可继续在参数中添加“-Xloggc:gc.log -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=20 -XX:GCLogFileSize=10M” 。gc日志将聚合至gc.log中，文件名与路径可指定，若未指定路径将生成至运行节点。
-
gc.log文件名未做修改的情况下，每次提交新application master，新gc日志将覆盖上次提交中的gc日志，若想保存多次任务的gc日志，可以在每次提交任务时修改gc.log文件名（修改-Xloggc:)。
-
【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）