1      背景介绍

华为FusionInsight HD是一个分布式数据处理系统，对外提供大容量的数据存储、查询和分析能力。华为云对象存储服务OBS可以提供稳定、安全、高效、易用的云存储服务，并可以与FI对接，提供计算存储分离的大数据解决方案。

2      部署视图

3      FI对接OBS操作步骤

3.1      Hadoop对接

3.1.1        更新OBSFileSystem操作步骤

1、  上传obs的jar包

从网址https://bbs.huaweicloud.com/forum/thread-12142-1-1.html 中下载OBSFileSystem后进行解压缩，其中Package目录中包含obs所需要的jar包，列表如下：

将obs所需要的jar包放在/opt/FI-obs目录中

2、  将obs的jar包放到Hadoop Client端

命令：

cp /opt/FI-obs/* /opt/client/HDFS/hadoop/share/hadoop/common/lib/.

cp /opt/FI-obs/* /opt/client/HDFS/hadoop/share/hadoop/tools/lib/.

3.1.2        更新配置文件操作步骤

1、  修改hdfs客户端core-site.xml配置(/opt/client/HDFS/hadoop/etc/hadoop/core-site.xml)

配置文件中增加或修改如下配置项

<property>

<name>fs.obs.access.key</name>

<value>my.access.key</value>

</property>

<property>

<name>fs.obs.secret.key</name>

<value>my.secret.key</value>

</property>

<property>

<name>fs.obs.endpoint</name>

<value>my.endpoint</value>

</property>

<property>

<name>fs.obs.impl</name>

<value>org.apache.hadoop.fs.obs.OBSFileSystem</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/srv/BigData/hadoop/data1/tmp</value>

</property>

<property>

<name>fs.obs.buffer.dir</name>

<value>/srv/BigData/hadoop/data1buf</value>

</property>

2、  配置完成后即可使用hadoop命令

3.2      HBase对接

3.2.1        更新OBSFileSystem操作步骤

1、  上传obs的jar包

从网址https://bbs.huaweicloud.com/forum/thread-12142-1-1.html 中下载OBSFileSystem后进行解压缩，其中Package目录中包含obs所需要的jar包，列表如下：

将obs所需要的jar包放在/opt/FI-obs目录中

2、  将obs的jar包放到HBase Server端

命令：

cp /opt/FI-obs/* /opt/huawei/Bigdata/FusionInsight_HD_6.5.0/install/FusionInsight-HBase-1.3.1/hbase/lib/.

3、  将obs的jar包放到HBase Client端

命令：

cp /opt/FI-obs/* /opt/client/HBase/hbase/lib/.

3.2.2        更新配置文件操作步骤

1、  Hbase服务端级别core-site.xml添加如下自定义配置

fs.obs.experimental.input.fadvise: random

fs.obs.access.key: XXXX（AK信息）

fs.obs.secret.key: XXXX（SK信息）

fs.obs.endpoint: XXXX（EndPoint信息）

fs.obs.impl: org.apache.hadoop.fs.obs.OBSFileSystem

hadoop.tmp.dir: /srv/BigData/hadoop/data1/tmp（配置到本地挂载的数据盘上）

fs.obs.buffer.dir：/srv/BigData/hadoop/data1/buf（配置到本地挂载的数据盘上）

2、  Hbase服务端级别hbase-site.xml添加如下自定义配置

hbase.data.rootdir：obs://XXXX/hbase （XXXX为桶名）

hbase.rootdir：obs://XXXX/hbase  （XXXX为桶名）

hbase.wal.provider：multiwal

hbase.wal.dir：hdfs://hacluster/hbasewal

3、  配置完成后重启HBase即可使用，使用hbase shell前需要source环境变量