使用Flume消费kafka topic数据并存储到HBase

操作场景：

    Flume消费kafka数据存储到HBase中。

前提条件：

    已创建混合集群或者流式和分析集群（集群间网络互通，如果开启kerberos，则需配置跨集群互信https://support.huaweicloud.com/usermanual-mrs/mrs_01_0354.html）。

操作步骤：

    1. 从HBase客户端拷贝配置文件hbase-site.xml到Flume server所在节点（流式core节点）的配置目录 "/opt/Bigdata/MRS_x.x.x/1_x_Flume/etc/" 下。通常可以在分析集群Master节点HBase客户端安装目录如“/opt/client/HBase/hbase/conf/”下找到hbase-site.xml文件。 拷贝完成后文件需要修改文件属组为omm:wheel。

    2. 从HBase集群下载用户的认证凭据。

a. 在MRS Manager，单击“系统设置”。

b. 在“权限配置”区域，单击“用户管理”。

c. 在用户列表中选择需要的用户，单击后面的“更多”下载用户凭据。

d. 解压下载的用户凭据文件，获取krb5.conf和user.keytab文件。

    3. 将上一步获得的krb5.conf和user.keytab拷贝到Flume server所在节点（流式core节点）的配置目录 "/opt/Bigdata/MRS_x.x.x/1_x_Flume/etc/" 下。文件属组需要修改为omm:wheel。

    4. 修改配置文件jaas.conf，文件所在目录 "/opt/Bigdata/MRS_x.x.x/1_x_Flume/etc/" 。

        修改参数“keyTab”定义的用户认证文件完整路径即步骤3中保存用户认证文件的目录。

    5. 修改配置文件flume-env.sh，文件所在目录 "/opt/Bigdata/MRS_x.x.x/1_x_Flume/etc/" 。

                在 “-XX:+UseCMSCompactAtFullCollection”后面，增加以下内容：-Djava.security.krb5.conf=/opt/Bigdata/MRS_x.x.x/1_x_Flume/etc/krb5.conf -Djava.security.auth.login.config=/opt/Bigdata/MRS_x.x.x/1_x_Flume/etc/jaas.conf -Dzookeeper.request.timeout=120000

                例如："-XX:+UseCMSCompactAtFullCollection -Djava.security.krb5.conf=/opt/Bigdata/MRS_2.1.0/1_6_Flume/etc/krb5.conf -Djava.security.auth.login.config=/opt/Bigdata/MRS_2.1.0/1_6_Flume/etc/jaas.conf -Dzookeeper.request.timeout=120000"

                请根据实际情况，修改配置文件路径，然后保存并退出配置文件。

    6. 将HBase集群的“/etc/hosts”文件中host匹配相关内容添加到Flume server节点的“/etc/hosts”文件。

    7. 重启该节点的flume实例。

    8. 修改Flume配置文件“properties.properties”。