MRS : HBase BulkLoad导入数据的代码实现

MRS : HBase BulkLoad导入数据的代码实现

关键词:MRS  HBase  BulkLoad  MapReduce

摘要: 本文使用MapReduce生成HFile文件,再直接将HFile加载到HBase中

概述

Bulkload操作主要分为两步:第一步,通过大数据处理组件生成HFile文件;第二步,将生成的HFile文件通过LoadIncrementHFiles工具加载到线上的HBase集群

前期准备

Kerberors认证的MRS2.1.0集群,至少具有hadoop和hbase两个组件

程序开发(参考https://bbs.huaweicloud.com/blogs/140512):

1.       用户可以根据自己的需求,在MRS Manager页面创建具有合适权限的用户(作者创建的用户是”bulkload”)

2.       首先在集群上”source /opt/client/bigdata_env”,Kerberos认证使用命令认证,执行”kinit bulkload”(注意:命令认证是具有效期的,可以使用klist查看)

3.       创建test.txt,内容如下,然后上传到hdfs的/tmp文件夹

4.       将附件的工程导入idea,并打包上传到集群内

5.       把hbase的配置文件复制到hadoop客户端配置文件夹

6.       在Hbase shell 中创建表,执行”create 'test','info'”

7.       执行命令”export HADOOP_CLASSPATH=$HBASE_HOME/lib/*:classpath”(临时生效)

8.       执行”hadoop jar /root/jars/mapreduce-examples-mrs-2.1.jar com.huawei.bigdata.mapreduce.examples.BulkLoadDriver”,运行程序

测试结果

1.       在Hbase shell,执行"scan ‘test’"