GaussDB(DWS)基础实践：MRS数据导入DWS

前提：已有同一VPC下MRS、DWS集群

1、创建好MRS数据源后，进入MRS数据源详情页面，可以看到节点信息，

2、 点击Master1，设置安全组（在安全组中设置any规则）；绑定弹性IP

3.1 从Master1绑定的EIP，远程登录到Master1节点或者可以用MobaXterm工具连接MRS绑定的EIP：

常见错误 ：Eip能ping通，但是ssh linux@EIP登录失败 可以采用私有秘钥登录

登录到节点上后，依次执行：
切换root：sudo -s;
cd /opt/client;
source bigdata_env;
kinit admin
查看是否是安全模式：进入MRS数据源详情页面查看Kerberos认证状态，若是关闭则为普通模式，否则是安全模式。

3.2 进入hive数据库 创建表并写入数据

beeline

eg：
create table lxn01 (id int,name char(10))
stored as orc;
MRS数据存储格式：orc
insert into lxn01 values(1,'dwejfwe');  

3.3 退出数据库（!q或者ctr+Z），执行命令hdfs dfs -ls /user/hive/warehouse/lxn01，查看该路径下是否有所创建的表，后面创建外表时会用到该路径（/user/hive/warehouse/lxn01）
显示数据，数据文件00000

 
4 登录到DWS的数据库上(创建ECS)
可以在前台页面上直接下载客户端redHat，然后将下载的压缩包拖至工具上，在sftp tab上，然后进入相应的目录下，执行tar –xvf dws_client_redhat_x64.tar.gz 解压缩客户端。
 
source gsql_env.sh  （<---进入到解压后的客户端路径下执行）
gsql -d postgres -h 集群内网访问地址 -U 管理员用户 -p 数据仓库端口 _W 集群密码
192.168.1.23
gsql -d postgres -h 192.168.1.23 -U dbadmin -p 8000 -W Bigdata_2014

此处的集群内网地址可以在前台页面查看创建MRS数据源的集群的内网地址及端口，
 
查看已创建的MRS数据源连接：select srvname,srvoptions from pg_foreign_server;  
创建外表：
create foreign table TABLE_NAME
(
COLUMN_NAME1             COLUMN_TYPE1               ,
COLUMN_NAME2             COLUMN_TYPE2               
) server FOREIGN_SERVER_NAME
OPTIONS (format 'orc', foldername 'FILE_PATH') distribute by roundrobin;

create foreign table lxn04 (id int,name char(10)) server hdfs_server_b1809755_b17b_49ba_bc46_d1f789055949 OPTIONS (format 'orc', foldername '/user/hive/warehouse/lxn01') distribute by roundrobin;
 
如果执行select srvname,srvoptions from pg_foreign_server;  没有hdfs_server_****** ,则该集群没有创建MRS数据源。
FOREIGN_SERVER_NAME  ：
'FILE_PATH' ：步骤7中的路径
Select * from 外表  ------ 可以从外表查询数据
再新建DWS自己的表：create table lxn06(id int,name char(10));
将MRS数据导入到DWS：
insert into lxn06（DWS数据库上建的表） select * from lxn_foreign（DWS数据库上建的外表）;  
insert into lxn06 select * from lxn04;