TBase备份恢复实验

　　环境信息：

　　1.1 软件环境

　　软件名称版本

　　TBaseTBase_V2.15.10.1

　　JDK1.8.0_40

　　Hadoop3.3.0

　　1.2 硬件环境

　　节点IP端口

　　CN1 协调节点 ( 主 )172.21.64.411379

　　CN2 协调节点 ( 主 )172.21.64.1411379

　　CN1 协调节点 ( 备 )172.21.64.1411300

　　CN2 协调节点 ( 备 )172.21.64.511300

　　DN1 数据节点(主)172.21.64.411002

　　DN1 数据节点(备)172.21.64.511006

　　DN2 数据节点(主)172.21.64.1411002

　　DN2 数据节点(备)172.21.64.511004

　　Hadoop namenode/datanode172.21.32.189000

　　TBase 集群拓扑结构

　　2. 配置Hadoop

　　2.1 配置HDFS

　　在172.21.32.18机器上安装hadoop的namenode和datanode，构建hdfs系统。

　　2.1.1 解压hadoop安装包

　　连接hadoop服务器 172.21.32.18

　　tar -zxvf hadoop-3.3.0.tar.gz -C /usr/local/

　　2.1.2 配置core-site.xml如下

　　2.1.3 配置hdfs-site.xml

　　cat /usr/local/hadoop-3.3.0/etc/hadoop/hdfs-site.xml

　　2.1.4 配置JAVA环境变量

　　tar -xf jdk-8u40-linux-x64.gz -C /usr /local

　　vi /etc/bashrc

　　export JAVA_HOME=/usr/local/jdk1.8.0_40

　　export PATH=$JAVA_HOME/bin:$PATH

　　export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

　　export HADOOP_HOME=/usr/local/hadoop-3.3.0

　　export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

　　##生效环境变量大连无痛人流医院 http://www.bhbyby.net/

　　source /etc/bashrc

　　2.1.5 配置hadoop-env.sh

　　设置JAVA环境变量。

　　vi /usr/local/hadoop-3.3.0/etc/hadoop/hadoop-env.sh

　　export JAVA_HOME=/usr/local/jdk1.8.0_40

　　2.1.6 格式化namenode

　　mkdir -p /hd/dfs/{data,name}

　　###chmod -R 777 /hd/

　　hadoop namenode -format

　　2.1.7 启动namenode/datanode

　　WARNING: Use of this script to start HDFS daemons is deprecated.

　　WARNING: Attempting to execute replacement "hdfs --daemon start" instead.

　　WARNING: Use of this script to start HDFS daemons is deprecated.

　　WARNING: Attempting to execute replacement "hdfs --daemon start" instead.

　　1297 Jps

　　1257 DataNode

　　1116 NameNode

　　2.1.8 安装hadoop客户端

　　在TBase集群上安装hadoop客户端，以下操作需要在 172.21.64.4, 172.21.64.5, 172.21.64.14 上完成。

　　-- 配置 JAVA 和 Hadoop 环境变量

　　tar -xf jdk-8u40-linux-x64.gz -C /usr /local

　　vi /etc/bashrc

　　export JAVA_HOME=/usr/local/jdk1.8.0_40

　　export PATH=$JAVA_HOME/bin:$PATH

　　export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

　　export HADOOP_HOME=/usr/local/hadoop-3.3.0

　　export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

　　##生效环境变量

　　source /etc/bashrc

　　解压 JAVA 和 HADOOP 安装包

　　tar -zxf hadoop-3.3.0.tar.gz -C /usr/local/

　　tar -xf jdk-8u40-linux-x64.gz -C /usr/local/

　　2.1.9 创建备份文件夹

　　-- 在 HDOOP 服务器 (172.21.32.18) 上执行

　　hadoop dfs -mkdir hdfs://172.21.32.18:9000/backup/

　　hadoop dfs -chown tbase:tbase hdfs://172.21.32.18:9000/backup/

　　-- 在 TBase 集群上执行 ( 随便找一个节点都可以 )

　　-- 创建测试文件

　　dd if=/dev/zero of=disk1 bs=1M count=1024

　　-- 将测试文件上传到 hdfs 系统中

　　hadoop dfs -copyFromLocal disk1 hdfs://172.21.32.18:9000/backup/

　　-- 查看文件

　　3. 配置TBase备份策略

　　用数据库实例管理员登陆OSS系统，运维管理->备份管理

　　修改备份策略

　　修改hdfs地址，(hdfs://172.21.32.18:9000/backup/).根据需求设置其他备份策略。

　　-- 修改备份策略需要输入数据库管理员密码。

　　4. 增量备份

　　全量备份打开之后增量备份会自动开启，wal日志产生之后会自动进行增量备份。增量备份脚本为：

　　pg_xlog_archive.sh. 日志：pg_log/xlog_arch_${date}.log

　　备份路径：

　　5. 数据恢复

　　备份管理->数据恢复->创建恢复任务

　　5.1 选择要恢复的时间点

　　时间选择完成后，在可恢复时间点中会列举出当前集群可以恢复到的时间点。

　　5.2 配置目标集群

　　5.3 验证数据

　　成功之后查看详情。

　　刷新web界面，可以看到新创建的实例re_sales

　　查看 re_sales 实例。

　　登陆恢复的实例，数据正常恢复。 ( 这个实例没有备节点，如果需要备节点，需要手动创建 )

　　问题汇总

　　6. 备注

　　6.1 常见问题&解决方案

　　6.1.1 保存备份策略时报错

　　Hadoop command not found

　　解决方案：重启OssCenter

　　[root@VM-64-14-centos tbase_mgr]# ./tbase_mgr.sh restart OssCenter

　　6.1.2在TBase集群中向hdfs中上传文件无权限。

　　解决办法: 在hadoop集群中更改目录权限信息hadoop dfs -chown hdfs://172.21.32.18:9000/backup/。