spark-submit 参数设置

举报
不吃西红柿 发表于 2021/07/15 02:11:45 2021/07/15
【摘要】 在使用spark时,根据集群资源情况和任务数据量等,合理设置参数,包括但不限于以下: 参数说明masteryarn  E-MapReduce 使用 Yarn 的模式yarn-client:等同于 –-master yarn —deploy-mode client, 此时不需要指定deploy-mode。 yarn-cluster:等同于 –-master...

在使用spark时,根据集群资源情况和任务数据量等,合理设置参数,包括但不限于以下:

参数 说明
master yarn  E-MapReduce 使用 Yarn 的模式
yarn-client:等同于 –-master yarn —deploy-mode client, 此时不需要指定deploy-mode。 
yarn-cluster:等同于 –-master yarn —deploy-mode cluster, 此时不需要指定deploy-mode。
class 作业的主类
deploy-mode client 模式表示作业的 AM 会放在 Master 节点上运行。要注意的是,如果设置这个参数,那么需要同时指定上面 master 为 yarn。
cluster 模式表示 AM 会随机的在 worker 节点中的任意一台上启动运行。要注意的是,如果设置这个参数,那么需要同时指定上面 master 为yarn。
executor-cores 每个executor使用的内核数,默认为1
num-executors 启动executor的数量,默认为2
executor-memory executor的内存大小,默认为1G
driver-cores driver使用的内核数,默认为1
driver-memory driver的内存大小,默认为1G
queue 指定了放在哪个队列里执行
spark.default.parallelism 该参数用于设置每个stage的默认task数量。这个参数极为重要,如果不设置可能会直接影响你的Spark作业性能,Spark官网建议的设置原则是,设置该参数为num-executors * executor-cores的2~3倍较为合适
spark.storage.memoryFraction    该参数用于设置RDD持久化数据在Executor内存中能占的比例,默认是0.6。也就是说,默认Executor 60%的内存,可以用来保存持久化的RDD数据。根据你选择的不同的持久化策略,如果内存不够时,可能数据就不会持久化,或者数据会写入磁盘。
spark.shuffle.memoryFraction  该参数用于设置shuffle过程中一个task拉取到上个stage的task的输出后,如果发现使用的内存超出了这个20%的限制,那么多余的数据就会溢写到磁盘文件中去,如果发现使用的内存超出了这个20%的限制,那么多余的数据就会溢写到磁盘文件中去,此时就会极大地降低性能。
total-executor-cores 所有executor的总核数

 

(1)executor_cores*num_executors 
     表示的是能够并行执行Task的数目不宜太小或太大!一般不超过总队列 cores 的 25%,比如队列总 cores    400,最大不要超过100,最小不建议低于40,除非日志量很小。

(2)executor_cores 
     不宜为1!否则 work 进程中线程数过少,一般 2~4 为宜。

(3)executor_memory 
     一般 6~10g 为宜,最大不超过20G,否则会导致GC代价过高,或资源浪费严重。

(4)driver-memory 
     driver 不做任何计算和存储,只是下发任务与yarn资源管理器和task交互,除非你是 spark-shell,否则一般 1-2g
     
(5)如果需要对RDD进行cache,那么更多的内存,就可以缓存更多的数据,将更少的数据写入磁盘,甚至不写入磁盘。减少了磁盘IO。

(6)对于shuffle操作,reduce端,会需要内存来存放拉取的数据并进行聚合。如果内存不够,也会写入磁盘。
     如果给executor分配更多内存以后,就有更少的数据,需要写入磁盘,甚至不需要写入磁盘。减少了磁盘IO,提升了性能。

(7)对于task的执行,可能会创建很多对象.如果内存比较小,可能会频繁导致JVM堆内存满了,然后频繁GC,垃圾回收 ,minor GC和full GC.(速度很慢).内存加大以后,带来更少的GC,垃圾回收,避免了速度变慢,性能提升。
 

 

文章来源: notomato.blog.csdn.net,作者:kissme丶,版权归原作者所有,如需转载,请联系作者。

原文链接:notomato.blog.csdn.net/article/details/103371674

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。