MRS使用之impala自动同步元数据

一、添加Hive服务端配置

1. HiveServer添加hive.metastore.dml.events=true的配置

1. MetaStore添加hive.metastore.dml.events=true、hive.metastore.event.listeners=org.apache.hive.hcatalog.listener.DbNotificationListener和hive.metastore.notifications.add.thrift.objects=true（for drop database）

对于安全集群：

在hive 自定义中的core-site.xml里添加
hadoop.proxyuser.impala.hosts  *
hadoop.proxyuser.impala.groups *
重启hive

二、添加Impala服务端配置

• catalogd和impalad实例添加--hms_event_polling_interval_s=1，建议此值小于5

  

  

三、添加使用Hive客户端的配置

• impala的catalog hive-site.xml配置文件添加hive.metastore.dml.events=true和hive.metastore.notifications.add.thrift.objects=true，修改文件位置，catalog实例所在节点/opt/Bigdata/MRS_2.1.1/1_17_Catalog/etc/hive-site.xml。

  注：由于hive的配置未在impala的manager页面开放，以后会出现在manager修改配置并重启impala，修改的配置被覆盖的风险。

  
  

• spark的hive-sitem.xml配置文件添加hive.metastore.dml.events=true和hive.metastore.notifications.add.thrift.objects=true