MRS: Kerberos认证集群flink读写hbase

关键词:官网样例flink hbase Kerberos认证java

摘要:MRS flink官网样例的补充,实现flink读取hbase数据,然后写入hbase

前期准备:

1.      创建MRS 1.9.2集群,大数据组件至少包括flink , HBase ,开启Kerberos认证

2.      集群创建好之后,准备开发用户参照https://support.huaweicloud.com/devg-mrs/mrs_06_0389.html和https://support.huaweicloud.com/devg-mrs/mrs_06_0154.html,保证具有flink,hbase,yarn,hdfs等相关权限,作者创建的用户名为flinkuser ,然后下载keytab与krb5.conf文件待用

3.      样例下载地址https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-1.9

开发程序:

1.      将huaweicloud-mrs-example-mrs-1.9\src\flink-examples样例导入idea

2.      将hbase.rar文件解压,复制粘贴到com.huawei.flink.example下面

3.      在main目录下创建文件夹resources,并在集群master节点上下载$HBASE_HOME/conf/ hbase-site.xml文件, 以及$FLINK_HOME/conf/目录下面的core-site.xml, hdfs-site.xml文件,并放在resources目录下

场景说明和环境准备:

1.      从hbase表” someone”读取数据,写入hbase表” sometwo”

2.      创建HBase表，并插入数据

a.     通过hbase shell创建名为” someone”的表，命令如下:

create 'someone', 'info'

b.     通过HBase执行如下命令，将数据插入someone表中

put 'someone', '1', 'info:name', 'zhangsan'

put 'someone', '2', 'info:name', 'lisi'

put 'someone', '3', 'info:name', 'wangwu'

put 'someone', '4', 'info:name', 'liuyishou'

put 'someone', '5', 'info:name', 'goudan'

put 'someone', '6', 'info:name', 'quandan'

put 'someone', '7', 'info:name', 'andy'

put 'someone', '8', 'info:name', 'lily'

put 'someone', '9', 'info:name', 'liming'

put 'someone', '10', 'info:name', 'nuoxi'

c.     通过HBase执行scan 'someone'命令,

3.      Flink安全认证配置按照https://support.huaweicloud.com/devg-mrs/mrs_06_0393.html.

    3.1 作者在此没有配置外部连接开启SSL,以及SSL keystore、truststore相关配置文件位置使用的是相对路径

    3.2 作者首先在集群master节点创建了/root/jars和/root/jars/ssl文件夹,将user.keytab,krb5.conf放置在/root/jars下面,flink.keystore,flink.truststore放 置在/root/jars/ssl下面

            4.      作者yarn-session的启动命令: yarn-session.sh -t /root/jars/ssl/ -n 2,点击①进入flink web ui页面 

调测程序:

1.      在idea中将程序打包,将flink-examples-1.0.jar上传至/root/jars目录

2.      在集群master节点执行命令

flink run -class com.huawei.flink.example.hbase.Flink2HBaseOperation /root/jars/flink-examples-1.0.jar

3.     在hbase下面查看表scan ”sometwo”,验证成功