FusionInsight MRS CarbonData首查优化工具简介

举报
一枚核桃 发表于 2021/07/30 16:25:36 2021/07/30
【摘要】 工具介绍CarbonData 的首次查询较慢,对于实时性要求较高的节点可能会造成一定的时延。本工具主要提供以下功能:对查询时延要求较高的表进行首次查询预热。工具使用下载安装客户端,例如安装目录为“/opt/client”。进入 目录“/opt/client/Spark2x/spark/bin”, 执行start-prequery.sh。参考下表配置prequeryParams.propert...

工具介绍

CarbonData 的首次查询较慢,对于实时性要求较高的节点可能会造成一定的时延。

本工具主要提供以下功能:

  • 对查询时延要求较高的表进行首次查询预热。

工具使用

下载安装客户端,例如安装目录为“/opt/client”。进入 目录“/opt/client/Spark2x/spark/bin”, 执行start-prequery.sh

参考下表配置prequeryParams.properties。

参数

说明

示例

spark.prequery.period.max.minute

预热的最大时长,单位分钟

60

spark.prequery.tables

表名配置database.table:int,表名支持通配符*,int代表预热多长时间内有更新的表,单位为天。

default.test*:10

spark.prequery.maxThreads

预热时并发的最大线程数

50

spark.prequery.sslEnable

集群安全模式为true,非安全模式为false

true

spark.prequery.driver

JDBCServer的地址ip:port,如需要预热多个Server则需填写多个Server的IP,多个IP:port用逗号隔开。

192.168.0.2:22550

spark.prequery.sql

预热的sql语句,不同语句冒号隔开

SELECT COUNT(*) FROM %s;SELECT * FROM %s LIMIT 1

spark.security.url

安全模式下jdbc所需url

;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.hadoop.com@HADOOP.COM;

说明:spark.prequery.sql 配置的语句在每个所预热的表中都会执行,表名用%s代替。

脚本使用

命令形式:sh start-prequery.sh

执行此条命令需要:将user.keytab或jaas.conf(二选一),krb5.conf(必须)放入conf目录中。

注意:
  • 此工具暂时只支持Carbon表。
  • 此工具会初始化Carbon环境和预读取表的元数据到JDBCServer,所以更适合在多主实例、静态分配模式下使用。
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

举报
请填写举报理由
0/200