MRS服务JDBCServer添加jar包操作指导

举报
泽及天下不为仁 发表于 2020/12/24 20:22:43 2020/12/24
【摘要】 JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServer来访问SparkSQL的数据。 如果客户需要使用额外的jar包来执行sql语句(例如:自定义UDF)则需要将jar包传递给JDBCServer。本文主要介绍如何上传jar包给JDBCServer。

1      背景

JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServer来访问SparkSQL的数据。

如果客户需要使用额外的jar包来执行sql语句(例如:自定义UDF)则需要将jar包传递给JDBCServer。本文主要介绍如何上传jar包给JDBCServer。

文章中的MRS_x.x.x对应不同集群的MRS实际版本,如果是MRS_3.x以上版本需要改为:FusionInsight_HD_8.x.x,FusionInsight-Spark-2.x.x对应实际的spark版本

2      操作流程

2.1      方式一

此方式适用于jar包属于新增或者只给JDBCServer使用,其他spark任务不需要使用

1、将需要的包放到两个master节点的/opt/Bigdata/MRS_x.x.x/install/FusionInsight-Spark-2.x.x/spark/jars/目录下,并修改包权限:

chmod 755 test.jar
chown omm:ficommon test.jar

2、将需要使用的包上传到HDFS;

3、从JDBCServer的配置文件里面获取到spark.yarn.dist.innerfiles的默认参数(配置文件路径:/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/spark-default.conf)

4、自定义JDBCServer的配置参数:(红字部分为上一步获取到的内容,黄色部分为添加的内容)

spark.yarn.dist.innerfiles = /opt/Bigdata/MRS_x.x.x/1_*_JDBCServer/etc/log4j-executor.properties,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/jaas-zk.conf,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/kdc.conf,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/carbon.properties,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/jets3t.properties,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/topology.properties,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/hbase-site.xml,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/mapred-site.xml,/opt/Bigdata/MRS_ x.x.x /1_*_JDBCServer/etc/fairscheduler.xml,hdfs://hacluster/tmp/test.jar

4、保存配置,重启JDBCServer。

2.2      方式二:

此方式适用于:要替换jar包或者其他所有spark任务都需要这个jar包。

可以将包添加到spark的spark-archive-2x.zip中,这个文件包含了常用的spark依赖包,会被所有的spark任务获取并使用。

压缩文件的来源是:将/opt/Bigdata/MRS_x.x.x/install/FusionInsight-Spark-2.x.x/spark/jars/目录下的jar包压缩成一个zip包。

1、将需要的包放到两个master节点的/opt/Bigdata/MRS_x.x.x/install/FusionInsight-Spark-2.x.x/spark/jars/目录下,并修改包权限:

chmod 755 test.jar
chown omm:ficommon test.jar

2、查看/opt/client/Spark/spark/conf/spark-defaults.conf里面的配置项:spark.yarn.archive,默认是hdfs://hacluster/user/spark/jars/v100r002c70/spark-archive-2x.zip

cat /opt/client/Spark/spark/conf/spark-defaults.conf | grep "spark.yarn.archive"

3、创建本地临时目录,并使用hdfs命令将zip文件下载到本地

cd /opt
mkdir sparkTmp
cd sparkTmp
hdfs dfs -get hdfs://hacluster/user/spark/jars/v100r002c70/spark-archive-2x.zip

4、解压zip文件,并删除源文件

unzip spark-archive-2x.zip
rm -f spark-archive-2x.zip

5、将需要添加的包放到当前目录下,并修改权限为755

mv test.jar /opt/sparkTmp
cd /opt/sparkTmp
chmod 755 test.jar

6、重新打成压缩包

zip spark-archive-2x.zip ./*

7、备份原有压缩包,上传新的压缩包

hdfs dfs -mv hdfs://hacluster/user/spark/jars/v100r002c70/spark-archive-2x.zip /tmp
hdfs dfs -put spark-archive-2x.zip hdfs://hacluster/user/spark/jars/v100r002c70/spark-archive-2x.zip

8、替包已经完成,重启JDBCServer服务

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。