MRS使用之impala自动同步元数据

举报
akasugin 发表于 2020/08/04 21:31:29 2020/08/04
【摘要】 impala之前同步元数据需要手动操作,invalidate metadata或者refresh,通过非impala修改数据时,impala无法感知。本文介绍配置impala自动同步元数据的方法,提高impala的易用性。

一、添加Hive服务端配置

  1. HiveServer添加hive.metastore.dml.events=true的配置


  1. MetaStore添加hive.metastore.dml.events=true、hive.metastore.event.listeners=org.apache.hive.hcatalog.listener.DbNotificationListener和hive.metastore.notifications.add.thrift.objects=true(for drop database)


对于安全集群:

在hive 自定义中的core-site.xml里添加
hadoop.proxyuser.impala.hosts  *
hadoop.proxyuser.impala.groups *
重启hive

二、添加Impala服务端配置

  • catalogd和impalad实例添加--hms_event_polling_interval_s=1,建议此值小于5

三、添加使用Hive客户端的配置

  • impala的catalog hive-site.xml配置文件添加hive.metastore.dml.events=true和hive.metastore.notifications.add.thrift.objects=true,修改文件位置,catalog实例所在节点/opt/Bigdata/MRS_2.1.1/1_17_Catalog/etc/hive-site.xml。

    注:由于hive的配置未在impala的manager页面开放,以后会出现在manager修改配置并重启impala,修改的配置被覆盖的风险。


  • spark的hive-sitem.xml配置文件添加hive.metastore.dml.events=true和hive.metastore.notifications.add.thrift.objects=true


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。