通过obs外表使2个dws集群数据互访
1、创建获取创建obs表空间的参数
创建obs并行文件系统,登录运营面,
点击左上角“服务列表”--“对象存储服务3.0”--“对象存储”,点击“创建桶”,填入名称(ftobs1),创建文件夹test1。---桶和文件夹名称根据实际情况赋予意义
点击右上角头像--个人设置--管理访问秘钥--新增访问秘钥,获取AKSK,对应创建obs表空间参数access_key,secret_access_key
该秘钥只能下载一次,请使用如下aksk,不要删除已存在aksk
如:access_key 'xxxx',secret_access_key 'yyyy'
2、集群a
创建内表
create table if not exists col_tab(id int ,con1 varchar,con2 varchar)
WITH (ORIENTATION = COLUMN)
DISTRIBUTE BY HASH(id) ;
创建obs只写外表
drop foreign table f_obs_col_tab_w;
create foreign table f_obs_col_tab_w(id int ,con1 varchar,con2 varchar)
server gsmpp_server
options(
location 'obs://ftobs1/test1/f_obs_col_tab/',
format 'CSV',
encoding 'utf8',
delimiter ',',
access_key 'xxxx',
secret_access_key 'yyyy')
write only;
将内表数据插入只写外表
insert into col_tab values (1,1,1),(2,2,2),(3,3,3);
insert into f_obs_col_tab_w select * from col_tab;
集群b
创建内表
create table col_tab(id int ,con1 varchar,con2 varchar)
WITH (ORIENTATION = COLUMN)
DISTRIBUTE BY HASH(id) ;
创建obs只读外表,使用集群a只写外表使用的obs文件
drop foreign table f_obs_col_tab_r;
create foreign table f_obs_col_tab_r(id int ,con1 varchar,con2 varchar)
server gsmpp_server
options(
location 'obs://ftobs1/test1/f_obs_col_tab/',
format 'CSV',
encoding 'utf8',
delimiter ',',
access_key 'xxxx',
secret_access_key 'yyyy')
read only
log into fr_obs_col_tab_err
per node reject limit 'unlimited';
通过obs只读外表将obs数据插入内表
insert into col_tab select * from f_obs_col_tab_r;
select * from f_obs_col_tab_r;
select * from col_tab;
- 点赞
- 收藏
- 关注作者
评论(0)