【spark】spark-submit提交任务上yarn过慢问题解决方法

如果在生产中，我们经常在后台见到spark-submit提交任务在排队等待。可能是因为你的spark-submit提交任务配置参数设置有误

原来的

spark-submit 
--class xxx
--master xxxxxx 
--queue xxxx 
--name xxxxx 
--driver-memory xx 
--num-executors xx 
--executor-cores xx 
--executor-memory xx 

--files /home/xxx.jar  #关键点

这里我们可以看到，我们的jar包是放在本地的。根据yarn上application的任务流程，application任务在执行前，有一个资源本地化的过程，它需要从hdfs拉取配置资源，这里的资源就是包括我们的jar包、配置文件这些。所以根据这个流程，我们可以事先就把配置文件和jar包上传至hdfs中，这样就省去了执行spark-submit任务时，从本地上传资源到hdfs这一步骤了，大大的节约了时间。

更改后

spark-submit 
--class xxx
--master xxxxxx 
--queue xxxx 
--name xxxxx 
--driver-memory xx 
--num-executors xx 
--executor-cores xx 
--executor-memory xx 

--files hdfs://  #更改点

该方法的风险:

会造成提交任务的服务器负载瞬间飙升，所以这个方法也是需要看问题环境的，有些环境，不能使用该方法