背景介绍

开源for Huawei（参考：https://developer.huaweicloud.com/programs/opensource/contributing/）  通过和公司、高校、社区的开发者合作，完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发，帮助繁荣Huawei的基础生态，同时让开源软件能够更加简单、高效的运行于华为云上。

1 适配过程

1. 购买 华为云鲲鹏EulerOS环境的ECS 搭建运行环境并启用；
2. 根据任务计划书DEMO设计，准备源端数据及脚本；
3. 根据任务计划书DEMO设计，准备目标端数据库环境以及元数据(表结构)；
4. 根据任务计划书DEMO设计，在impala目标端实现数据的加载。
   

2 适配准备

1. 华为云鲲鹏EulerOS环境的ECS（华为云购买）；
2. GaussDB数据库(华为云购买)；
3. MRS集群（华为云购买 ）。

2.1 ECS/GaussDB配置

GaussDB：

• 计费模式选择：按需计费
• 区域：华南-广州
• GaussDB数据库引擎版本 : V2.0-8.201.0
  
• GaussDB内核引擎版本：505.2.0
• CPU/内存 规格：16 vCPUs | 128 GB 
• 性能规格:鲲鹏独享型（1:8）
• 镜像类型：公共镜像
• 镜像：openEuler 20.03 64bit with ARM（100GiB）

鲲鹏ECS X1：

• 计费模式选择：按需计费
• 区域：华南-广州
• CPU架构：x86计算
• CPU规格：xlarge.4
• CPU规格：8vCPUs&&24GiB
• 镜像类型：公共镜像
• 镜像：Huawei Cloud EulerOS 2.0 标准版 64位 ARM版

MRS集群：

• 计费模式选择：按需计费
• 区域：华南-广州
  
• 版本类型：普通版
• 集群类型：分析集群
• 集群版本：MRS 3.1.0
• 元数据 ：本地元数据
  

2.2 其它

ECS安全组配置 配置规则 → 出/入方向规则 → 一键放通常用端口

也可直接放通所有端口。

3 Demo开发

1. 准备源端数据以及数据生成脚本。
2. 准备目标端数据库环境以及元数据(表结构)--目标端没有数据。
   
3. 在impala目标端实现GaussDB数据库数据的加载 。
4. 数据验证

4 适配过程中的问题记录

• 关于默认账户 hdfs 的 权限

  需要把当前用户加入有权限的用户组或者单独赋予权限，文件才能成功put到HDFS 集群 。        

• 关于数据同步脚本

         注意 LOAD DATA INPATH 与 LOAD DATA LOCAL INPATH 的区别

       1、本地文件系统加载数据   LOAD DATA LOCAL INPATH '/data/scn.txt' OVERWRITE INTO TABLE impala_scn;

             注意: 指定“LOCAL”时，这里的路径指的是当前连接的“Impalad”的本地文件系统的路径。

       2、HDFS文件系统加载数据 LOAD DATA INPATH '/data/scn.txt' OVERWRITE INTO TABLE impala_scn; (推荐)

• 数据同步总结      

        1.impala的依赖组件较多，环境较为复杂。

         
         2.Impala的表和Hive表的关系。

•  Impala中建的表Hive可以管理，Hive中建的表Impala不能管理。
•  Impala 的查询速度比Hive快十倍甚至百倍以上，尤其是(超)大规模数据查询 优势更加明显。