从DIS导入流式数据到GaussDB(DWS)

      通过数据接入服务（Data Ingestion Service，简称DIS），可以将实时数据从DIS导入到GaussDB(DWS) 集群的数据库中。在这种场景下，DIS通道里的流式数据存储在DIS中，并周期性导入GaussDB(DWS) 中。导入GaussDB(DWS) 前数据临时存储在OBS，待转储GaussDB(DWS) 完成后删除OBS上的临时存储数据。
从DIS导入数据到GaussDB(DWS) 的流程如下：
1. 创建GaussDB(DWS) 集群、数据库和数据表
2. 开通DIS通道，接入实时数据
3. 在GaussDB(DWS) 数据库中查看从DIS导入的数据

创建GaussDB(DWS) 集群、数据库和数据表
1. 创建GaussDB(DWS) 集群。
如果您已经有GaussDB(DWS) 集群了，也可以跳过这一步。
例如，创建一个名为"dws-demo"的GaussDB(DWS) 集群。
2. 使用SQL客户端连接GaussDB(DWS) 集群，选择其中一种方式连接集群。
3. 在SQL客户端中，执行SQL语句，创建数据库、数据表和数据库模式（即schema）。

参考如下参数完成数据库对象的创建：

•  数据库用户：用户名为“joe”， 密码为“Bigdata@123”。
•  数据库：“db_tpcds”。
•  数据库模式：“myschema”。如果您选择不创建数据库模式，默认情况下，新的数据库对象是创建在“public”模式下的。
• 数据表：“mytable”。创建数据表时，请根据实际的源数据设计表结构。表的字段及其字段类型要和源数据一一对应。

开通DIS通道，接入实时数据
1. 登录DIS管理控制台，开通DIS通道。
开通DIS通道的详细步骤，请参见开通DIS通道。
从DIS导入数据到GaussDB(DWS) 的场景，对DIS通道的要求如下：

•  区域：必须选择与GaussDB(DWS) 集群相同的区域。目前区域仅支持“华北-北京四”。
•  源数据类型：只支持“CSV”。

1. 在DIS管理控制台，为刚购买的接入通道添加转储任务，“转储服务类型”选择“GaussDB(DWS) ”，将通道数据转储至GaussDB(DWS) 服务。
   添加转储任务时，GaussDB(DWS) 相关参数可按照创建GaussDB(DWS) 集群、数据库和数据表步骤中的情况进行填写。说明如下：

• 转储服务类型：选择“GaussDB(DWS) ”。通道里的流式数据存储在DIS中，并周期性导入GaussDB(DWS) 中。导入GaussDB(DWS) 前数据临时存储在OBS，待转储GaussDB(DWS) 完成后删除OBS上的临时存储数据。
•  GaussDB(DWS) 集群：存储该通道数据的GaussDB(DWS) 集群名称。例如：“dws-demo ”。
•  GaussDB(DWS) 数据库：该通道数据的GaussDB(DWS) 数据库名称。例如：“db_tpcds”。
•  数据库模式：存储该通道数据的GaussDB(DWS) 数据库模式（即schema）。例如：“myschema ”。
•  GaussDB(DWS) 数据表：该通道数据的GaussDB(DWS) 数据库模式下的数据表。例如：“mytable”。
•  数据分隔符：用户数据的字段分隔符，根据此分隔符分隔用户数据插入GaussDB(DWS) 数据表的相应列。
• 用户名：待转储的GaussDB(DWS) 目标数据库的用户名，该数据库用户需要有“GaussDB(DWS) 数据表”的读写权限。例如：“joe”。
•  密码：“用户名”参数所指定用户的密码。

1. 准备DIS应用开发环境，发送实时数据到DIS。
   在GaussDB(DWS) 数据库中查看从DIS导入的数据
   1. 使用SQL客户端连接GaussDB(DWS) 集群中已导入DIS数据的数据库。
   2. 在SQL客户端中执行查询命令，查看从DIS导入GaussDB(DWS) 的数据。
   命令示例如下，其中table_name请替换为DIS通道转储至GaussDB(DWS) 的目标数据表名。
   SELECT * FROM table_name;