1      背景

JDBCServer是一个JDBC接口，用户可以通过JDBC连接JDBCServer来访问SparkSQL的数据。

如果客户需要使用额外的jar包来执行sql语句（例如：自定义UDF）则需要将jar包传递给JDBCServer。本文主要介绍如何上传jar包给JDBCServer。

文章中的MRS_x.x.x对应不同集群的MRS实际版本，如果是MRS_3.x以上版本需要改为：FusionInsight_HD_8.x.x，FusionInsight-Spark-2.x.x对应实际的spark版本

2      操作流程

2.1      方式一

此方式适用于jar包属于新增或者只给JDBCServer使用，其他spark任务不需要使用

1、将需要的包放到两个master节点的/opt/Bigdata/MRS_x.x.x/install/FusionInsight-Spark-2.x.x/spark/jars/目录下，并修改包权限：

chmod 755 test.jar
chown omm:ficommon test.jar

2、将需要使用的包上传到HDFS；

3、从JDBCServer的配置文件里面获取到spark.yarn.dist.innerfiles的默认参数（配置文件路径：/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/spark-default.conf）

4、自定义JDBCServer的配置参数：(红字部分为上一步获取到的内容，黄色部分为添加的内容）

spark.yarn.dist.innerfiles = /opt/Bigdata/MRS_x.x.x/1_*_JDBCServer/etc/log4j-executor.properties,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/jaas-zk.conf,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/kdc.conf,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/carbon.properties,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/jets3t.properties,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/topology.properties,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/hbase-site.xml,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/mapred-site.xml,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/fairscheduler.xml,hdfs://hacluster/tmp/test.jar

4、保存配置，重启JDBCServer。

2.2      方式二：

此方式适用于：要替换jar包或者其他所有spark任务都需要这个jar包。

可以将包添加到spark的spark-archive-2x.zip中，这个文件包含了常用的spark依赖包，会被所有的spark任务获取并使用。

压缩文件的来源是：将/opt/Bigdata/MRS_x.x.x/install/FusionInsight-Spark-2.x.x/spark/jars/目录下的jar包压缩成一个zip包。

1、将需要的包放到两个master节点的/opt/Bigdata/MRS_x.x.x/install/FusionInsight-Spark-2.x.x/spark/jars/目录下，并修改包权限：

chmod 755 test.jar
chown omm:ficommon test.jar

2、查看/opt/client/Spark/spark/conf/spark-defaults.conf里面的配置项：spark.yarn.archive，默认是hdfs://hacluster/user/spark/jars/v100r002c70/spark-archive-2x.zip

cat /opt/client/Spark/spark/conf/spark-defaults.conf | grep "spark.yarn.archive"

3、创建本地临时目录，并使用hdfs命令将zip文件下载到本地

cd /opt
mkdir sparkTmp
cd sparkTmp
hdfs dfs -get hdfs://hacluster/user/spark/jars/v100r002c70/spark-archive-2x.zip

4、解压zip文件，并删除源文件

unzip spark-archive-2x.zip
rm -f spark-archive-2x.zip

5、将需要添加的包放到当前目录下，并修改权限为755

mv test.jar /opt/sparkTmp
cd /opt/sparkTmp
chmod 755 test.jar

6、重新打成压缩包

zip spark-archive-2x.zip ./*

7、备份原有压缩包，上传新的压缩包

hdfs dfs -mv hdfs://hacluster/user/spark/jars/v100r002c70/spark-archive-2x.zip /tmp
hdfs dfs -put spark-archive-2x.zip hdfs://hacluster/user/spark/jars/v100r002c70/spark-archive-2x.zip

8、替包已经完成，重启JDBCServer服务