MRS服务JDBCServer添加jar包操作指导
1 背景
JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServer来访问SparkSQL的数据。
如果客户需要使用额外的jar包来执行sql语句(例如:自定义UDF)则需要将jar包传递给JDBCServer。本文主要介绍如何上传jar包给JDBCServer。
文章中的MRS_x.x.x对应不同集群的MRS实际版本,如果是MRS_3.x以上版本需要改为:FusionInsight_HD_8.x.x,FusionInsight-Spark-2.x.x对应实际的spark版本
2 操作流程
2.1 方式一
此方式适用于jar包属于新增或者只给JDBCServer使用,其他spark任务不需要使用
1、将需要的包放到两个master节点的/opt/Bigdata/MRS_x.x.x/install/FusionInsight-Spark-2.x.x/spark/jars/目录下,并修改包权限:
chmod 755 test.jar
chown omm:ficommon test.jar
2、将需要使用的包上传到HDFS;
3、从JDBCServer的配置文件里面获取到spark.yarn.dist.innerfiles的默认参数(配置文件路径:/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/spark-default.conf)
4、自定义JDBCServer的配置参数:(红字部分为上一步获取到的内容,黄色部分为添加的内容)
spark.yarn.dist.innerfiles = /opt/Bigdata/MRS_x.x.x/1_*_JDBCServer/etc/log4j-executor.properties,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/jaas-zk.conf,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/kdc.conf,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/carbon.properties,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/jets3t.properties,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/topology.properties,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/hbase-site.xml,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/mapred-site.xml,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/fairscheduler.xml,hdfs://hacluster/tmp/test.jar
4、保存配置,重启JDBCServer。
2.2 方式二:
此方式适用于:要替换jar包或者其他所有spark任务都需要这个jar包。
可以将包添加到spark的spark-archive-2x.zip中,这个文件包含了常用的spark依赖包,会被所有的spark任务获取并使用。
压缩文件的来源是:将/opt/Bigdata/MRS_x.x.x/install/FusionInsight-Spark-2.x.x/spark/jars/目录下的jar包压缩成一个zip包。
1、将需要的包放到两个master节点的/opt/Bigdata/MRS_x.x.x/install/FusionInsight-Spark-2.x.x/spark/jars/目录下,并修改包权限:
chmod 755 test.jar
chown omm:ficommon test.jar
2、查看/opt/client/Spark/spark/conf/spark-defaults.conf里面的配置项:spark.yarn.archive,默认是hdfs://hacluster/user/spark/jars/v100r002c70/spark-archive-2x.zip
cat /opt/client/Spark/spark/conf/spark-defaults.conf | grep "spark.yarn.archive"
3、创建本地临时目录,并使用hdfs命令将zip文件下载到本地
cd /opt
mkdir sparkTmp
cd sparkTmp
hdfs dfs -get hdfs://hacluster/user/spark/jars/v100r002c70/spark-archive-2x.zip
4、解压zip文件,并删除源文件
unzip spark-archive-2x.zip
rm -f spark-archive-2x.zip
5、将需要添加的包放到当前目录下,并修改权限为755
mv test.jar /opt/sparkTmp
cd /opt/sparkTmp
chmod 755 test.jar
6、重新打成压缩包
zip spark-archive-2x.zip ./*
7、备份原有压缩包,上传新的压缩包
hdfs dfs -mv hdfs://hacluster/user/spark/jars/v100r002c70/spark-archive-2x.zip /tmp
hdfs dfs -put spark-archive-2x.zip hdfs://hacluster/user/spark/jars/v100r002c70/spark-archive-2x.zip
8、替包已经完成,重启JDBCServer服务
- 点赞
- 收藏
- 关注作者
评论(0)