GaussDB for DWS数据融合系列第六期：GDS导入数据

       数据并行导入过程中，需要通过创建外表时设置的导入模式和数据源文件位置等参数，来定位数据源文件。LibrA支持的导入模式有Normal（推荐使用）、Shared和Private。请从支持的导入模式的扩展性、可操作性、支持的数据格式等维度分析，规划适合的并行导入模式。并根据所规划的导入模式，配置相应的数据服务器，存放数据源文件，文档采用Noremal模式（详情请查阅：产品文档-开发者指南-导入数据-创建外表-规划导入模式）。

       通过GDS外表设置的导入模式、导入数据格式等信息来识别数据源文件，利用多DN并行的方式，将数据从数据源文件导入到数据库中，从而提高整体导入性能。数据源文件存放在普通文件系统中，不支持在HDFS文件系统直接指定数据源。

优势：

1. CN只负责任务的规划及下发，把数据导入的工作交给了DN，释放了CN的资源，使其有能力处理外部请求。

2. 通过使各DN都参与数据导入，充分利用各设备的计算能力及网络带宽。

3. 支持导入过程中对数据做预处理。

4. 支持在导入过程中，针对数据格式错误设置导入容错性，并可在导入结束后根据错误信息定位错误数据。

劣势：

需要创建外表，并且对于NORMAL模式需要启动GDS服务。

适用场景：

高并发、大数据量导入。

通过外表并行导入数据：

相关概念：

数据源文件：存储有数据的TEXT、CSV或FIXED结尾的文件。文件中保存的是待导入数据库的数据。

外表：用于存放数据源文件的位置、文件格式、存放位置、编码格式、数据间的分隔符等信息，关联数据文件与数据库实表的对象。

GDS：数据服务工具。向LibrA导入数据时，需要将此工具部署到数据源文件所在的服务器上，使DN可以通过该工具获取数据。

数据库普通表：数据库中的表，数据源文件中的数据最终导入到这些表中存储，包括行存表和列存表。

数据服务器：数据源文件所在的服务器称为数据服务器。由于使用GDS工具导入时，GDS需要安装在数据服务器上（可以理解为客户端），因此数据服务器也是GDS服务器。

2.GDS导入流程
    

3.操作步骤

此处引用text格式作为数据源文件，CSV格式和FIXED 格式详见产品文档-开发者指南-导入数据-创建外表-识别导入数据格式章节；

关于数据容错性 请见产品文档-开发者指南-导入数据-创建外表-规划导入容错性。

3.1以root用户登录用于存放数据源文件的服务器（又称数据服务器或GDS服务器）；确认libra到gds客户端的网络链路是通的，ip白名单已添加客户端IP。

3.2创建数据文件存放目录“/input_data”。

mkdir -p /input_data将数据源文件上传至上一步所创建的目录中。

3.3在数据服务器上安装配置并启动GDS，

gds -d /input_data/ -p client_ip:5000 -H 0.0.0.0/0 -l /log/gds_log.txt -D -t 2

with error_t1_foreign;

-d 待导入数据文件目录；

-p 设置GDS**IP和端口。未指定时，IP的默认值为127.0.0.1，端口的默认值为8098（请确认网关和端口是开放的）；

-H 设置允许连接到GDS的主机（参数为CIDR格式，仅支持linux系统）；

-l 设置GDS日志文件；

-D 设置GDS后台运行，一般都指定该选项；

3.4 添加用户和用户组 groupadd wheel，（数据库用户及所属用户组已存在，可跳过本步骤）。

1.useradd -g wheel omm若出现以下提示，

useradd: Account 'omm' already exists.

groupadd: Group 'wheel' already exists.

3.5 修改数据源文件目录属主为omm

chown -R omm:wheel /input_data 通过URL方式设置外表创建时的参数“location”，用于指定数据源文件。

URL末尾必须指定文件的匹配模式或者文件名。多个URL之间使用‘|’间隔。

URL个数应小于DN个数，且不能使用多个地址相同的URL。

     3.6 创建外表

create foreign table t1_foreign(a1 varchar2(10), a2 int)

SERVER gsmpp_server OPTIONS (location 'gsfs:// client_ip:5000/t1.txt',

format ‘text’, encoding ‘utf8’, delimiter ‘^’, null ‘’）per node reject limit ‘value’

     3.7 参数介绍

with error_t1_foreign;

gsfs：该外表对应的文件或者路径，可以指定多个文件或目录并行导入；

format：数据源文件的格式，有三种text、csv、fixed（定长），默认是text；

encoding：数据源文件编码格式，默认是数据库编码格式；

delimiter：数据源文件行数据的字段分隔符，支持多字符；如果csv格式，还要指定quote选项；

null：数据源文件中把什么字符识别为null；

per node reject_limit：指定本次数据导入过程中每个DN实例上允许出现的数据格式错误的数量，如果有一个DN实例上错误数量大于设定值，本次导入失败，报错退出。

with 数据导入过程中出现的数据格式错误信息将被写入error_table_name指定的错误信息表中。

示例:

GDS数据服务器IP为192.168.0.90，假定启动GDS时设置的**端口为5000，设置的数据文件存放目录为“/input_data”，实际的数据文件存放目录为“/input_data/import/”。

根据以上情况，在创建外表时，指定参数“location”为“gsfs://192.168.0.90:5000/import/*”。如有多个gds服务location可以“|” 为分隔符连接多个gds，location gsfs://192.168.0.90:5000/*| gsfs://192.168.0.91:5000/*',

3.9导入数据

1. 验证数据源是否能正常查询出数据，

Select * from  foreign_table_name limit 10;

2. 通过查询外表将数据插入内表

Insert into inner_tablename_select * from   foreign_table_name;

3. 查询错误信息表err_tpcds_reasonS，处理数据加载错误。  

SELECT * FROM err_tpcds_reasonS

4. 处理错误表详见：产品文档-开发者指南-导入数据-创建外表-处理错误表

4.注意事项

1.导入数据时源数据不能放在dn节点，否则会出现数据倾斜，造成gds性能不佳；（dn数据离源数据越近 越容易获取数据（数据的亲源性），而其他的数据节点会出现负载严重偏离的情况，可以1.top  查看gds  进程号 2.gstack  pid查看进程 3.iostat -x 1 10 查看Io速率）

2.导入数据时 可以将源数据放在相同服务器的不同磁盘下面 并且保证数据文件的唯一性（有重复的文件会导致  导入表数据的冗余，目前Gds还无法识别相同文件数据）

3.保证表的数据列哈希值得唯一性  （如果数值不唯一则会形成数据被存储到单个dn 造成数据倾斜）

4.一台服务器可以启动3个gds服务  分不同端口  性能最佳

5. GDS数据导出

   规划数据服务器与集群处于同一内网，数据服务器和数据节点不在同一集群，数据源文件格式为CSV，所以规划的并行导出模式为Remote模式。

1. 客户端创建数据接收目录

1.mkdir -p /out_date

2.添加用户和组 groupadd wheel；useradd -g wheel omm

3. chown -R omm:wheel /output_data

        4. 启动GDS服务

/opt/bin/gds/gds -d /output_data -p  192.168.0.90:5005 -H 10.10.0.1/24 –D

5.  在数据库中创建外表foreign_tpcds_reasonS用于接收数据服务器上的数据。

由于启动GDS时，设置的导出数据文件存放目录为“/output_data/”，GDS**端口为5005。创建的导出数据文件存放目录为“/output_data/”。所以设置参数“location”为“gsfs://192.168.0.90:5005/”。

6.相关参数说明

数据文件格式（format）为CSV。

编码格式（encoding）为UTF-8。

字段分隔符（delimiter）为E'\x08'。

引号字符（quote）为0x1b。

数据文件中空值（null）为没有引号的空字符串。

逃逸字符（escape）为默认值双引号。

数据文件是否包含标题行（header）为默认值false，即导入时数据文件第一行被识别为数据。

7.创建的外表

CREATE FOREIGN TABLE foreign_tpcds_reasonS

(

  r_reason_sk    integer        not null,

  r_reason_id    char(16)       not null,

  r_reason_desc  char(100)

) SERVER gsmpp_server OPTIONS (location 'gsfs://192.168.0.90:5005/', format 'CSV',encoding 'utf8',delimiter E'\x08', quote E'\x1b', null '') WRITE ONLY;在数据库上，通过外表foreign_tpcds_reasonS，将数据导出到数据文件中。

INSERT INTO foreign_tpcds_reasonS SELECT * FROM reasonS;

8.以omm用户登录数据服务器，停止GDS。

ps -ef|grep gds

omm 128954      1  0 15:03 ?        00:00:00 gds -d /output_data -p 192.168.0.90:5005 -D

omm 129003 118723  0 15:04 pts/0    00:00:00 grep gds

kill -9 128954