Spark应用程序部署工具spark-submit

举报
Smy1121 发表于 2019/06/22 15:40:24 2019/06/22
【摘要】 Spark应用程序部署工具spark-submit

Spark应用程序部署工具spark-submit

打包Spark application


将Spark application打成assemblyed jar


构建工具:

1.maven--maven-shade-plugin

2.sbt


只打包需要的依赖


使用spark-submit启动Spark application:

./bin/spark-submit \

--class

--master \

--deploy-mode \

--conf = \

... # other options

\


[application-arguments]


spark-submit usage:

Usage: spark-submit [options] [app arguments]

Usage: spark-submit --kill [submission ID] --master [spark://...]

Usage: spark-submit --status [submission ID] --master [spark://...]

   

spark-submit option—运行模式相关


设置Spark的运行模式,根据需求选择

典型的Master URL:

image.png

注意:--deploy-mode不是spark on yarn专有


典型的Master URL:

image.png


spark-submit options—常规:

image.png


spark-submit options—classpath相关、driver、executor相关:

image.png


spark-submit options—资源、配置相关:

image.png


spark-submit options—YARN-only

以下options只有在Saprk on YARN模式下才有效:

image.png


spark-submit options—其他:

image.png


Advanced Dependency Management


依赖包分发方式

1.file—绝对路径,file:/xxxx

2.hdfs、http、https、ftp

3.local


--repositories、--packages

--py-files(仅限python app)


Clean up

Jars和files会被拷贝到每个executor的工作目录,需要定期清理:

Spark on yarn会自动清理(spark.yarn.preserve.staging.files设置为flase,默认就是false)

Spark standalone(spark.worker.cleanup.appDataTtl)



【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。