MRS使用之impala自动同步元数据
【摘要】 impala之前同步元数据需要手动操作，invalidate metadata或者refresh，通过非impala修改数据时，impala无法感知。本文介绍配置impala自动同步元数据的方法，提高impala的易用性。
一、添加Hive服务端配置
HiveServer添加hive.metastore.dml.events=true的配置
MetaStore添加hive.metastore.dml.events=true、hive.metastore.event.listeners=org.apache.hive.hcatalog.listener.DbNotificationListener和hive.metastore.notifications.add.thrift.objects=true（for drop database）
对于安全集群：
在hive 自定义中的core-site.xml里添加
hadoop.proxyuser.impala.hosts *
hadoop.proxyuser.impala.groups *
重启hive
二、添加Impala服务端配置
catalogd和impalad实例添加--hms_event_polling_interval_s=1，建议此值小于5
三、添加使用Hive客户端的配置
impala的catalog hive-site.xml配置文件添加hive.metastore.dml.events=true和hive.metastore.notifications.add.thrift.objects=true，修改文件位置，catalog实例所在节点/opt/Bigdata/MRS_2.1.1/1_17_Catalog/etc/hive-site.xml。
注：由于hive的配置未在impala的manager页面开放，以后会出现在manager修改配置并重启impala，修改的配置被覆盖的风险。
spark的hive-sitem.xml配置文件添加hive.metastore.dml.events=true和hive.metastore.notifications.add.thrift.objects=true
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）