背景介绍

开源for Huawei（参考：https://developer.huaweicloud.com/programs/opensource/contributing/）  通过和公司、高校、社区的开发者合作，完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发，帮助繁荣Huawei的基础生态，同时让开源软件能够更加简单、高效的运行于华为云上。

1 适配过程

1. 购买 华为云鲲鹏EulerOS环境的ECS 搭建NIfi运行环境并启用；
2. 根据任务计划书DEMO设计，准备源端数据库环境以及源数据；
3. 根据任务计划书DEMO设计，准备目标端数据库环境以及元数据(表结构)；
4. 根据任务计划书DEMO设计，使用Nifi搭建任务流，实现历史数据和增量数据的准实时同步。
   

2 适配准备

1. 华为云鲲鹏EulerOS环境的ECS（华为云购买）；
2. Mysql数据库(华为云购买ECS后自建)；
3. GaussDB数据库（华为云购买）。

2.1 ECS/GaussDB配置

GaussDB：

• 计费模式选择：按需计费
• 区域：华北-北京四
• CPU架构：鲲鹏计算
• CPU规格：large.2
• CPU规格：2vCPUs&&4GiB
• 镜像类型：公共镜像
• 镜像：openEuler 20.03 64bit with ARM（100GiB）

鲲鹏ECS：

• 计费模式选择：按需计费
• 区域：华北-北京四
• CPU架构：x86计算
• CPU规格：xlarge.4
• CPU规格：4vCPUs&&16GiB
• 镜像类型：公共镜像
• 镜像：Huawei Cloud EulerOS 2.0 标准版 64位 ARM版

MySQL版本号：5.7.45

2.2 其它

ECS安全组配置 配置规则 → 出/入方向规则 → 一键放通常用端口

也可直接放通所有端口。

3 Demo开发

1. 准备源端Mysql数据库环境以及源数据--源端有数据。
2. 准备目标端GaussDB数据库环境以及元数据(表结构)--目标端没有数据。
   
3. Nifi启动工作流 第一次抽取全量历史数据，可根据数据规模大小 合理设置调度时长。
4. 全量历史数据抽取并入库完成后 调整 调度策略，定时抽取增量数据。
5. 数据验证

4 适配过程中的问题记录

• Mysql数据库需要开启 binlog 日志
  

         参考:https://www.php.cn/faq/829276.html

• Nifi 组件 GenerateTableFetch 实现增量数据捕获方法

         在工作流当中创建GenerateTableFetch组件时候 定义maximum-value columns  的值，该值必须是在源表中存在的列 例如 ：自增ID 。

• 数据类型转换        

        Mysql的时间数据类型 timestamp  通过nifi 转换成avro格式后 变成了 Unix时间戳，可根据需要 在入库前 先转换回来再入库。