通过obs外表使2个dws集群数据互访

举报
dgt 发表于 2023/11/02 13:34:10 2023/11/02
【摘要】 1、创建获取创建obs表空间的参数创建obs并行文件系统,登录运营面,点击左上角“服务列表”--“对象存储服务3.0”--“对象存储”,点击“创建桶”,填入名称(ftobs1),创建文件夹test1。---桶和文件夹名称根据实际情况赋予意义点击右上角头像--个人设置--管理访问秘钥--新增访问秘钥,获取AKSK,对应创建obs表空间参数access_key,secret_access_key...

1、创建获取创建obs表空间的参数
创建obs并行文件系统,登录运营面,
点击左上角“服务列表”--“对象存储服务3.0”--“对象存储”,点击“创建桶”,填入名称(ftobs1),创建文件夹test1。---桶和文件夹名称根据实际情况赋予意义

点击右上角头像--个人设置--管理访问秘钥--新增访问秘钥,获取AKSK,对应创建obs表空间参数access_key,secret_access_key
该秘钥只能下载一次,请使用如下aksk,不要删除已存在aksk
如:access_key 'xxxx',secret_access_key 'yyyy'

2、集群a
创建内表
create table if not exists col_tab(id int ,con1 varchar,con2 varchar)
WITH (ORIENTATION = COLUMN)
DISTRIBUTE BY HASH(id) ;

创建obs只写外表
drop foreign table f_obs_col_tab_w;
create foreign table f_obs_col_tab_w(id int ,con1 varchar,con2 varchar)
server gsmpp_server
options(
location 'obs://ftobs1/test1/f_obs_col_tab/',
format 'CSV',
encoding 'utf8',
delimiter ',',
access_key 'xxxx',
secret_access_key 'yyyy')
write only;

将内表数据插入只写外表
insert into col_tab values (1,1,1),(2,2,2),(3,3,3);
insert into f_obs_col_tab_w select * from col_tab;

集群b
创建内表
create table col_tab(id int ,con1 varchar,con2 varchar)
WITH (ORIENTATION = COLUMN)
DISTRIBUTE BY HASH(id) ;

创建obs只读外表,使用集群a只写外表使用的obs文件
drop foreign table f_obs_col_tab_r;
create foreign table f_obs_col_tab_r(id int ,con1 varchar,con2 varchar)
server gsmpp_server
options(
location 'obs://ftobs1/test1/f_obs_col_tab/',
format 'CSV',
encoding 'utf8',
delimiter ',',
access_key 'xxxx',
secret_access_key 'yyyy')
read only
log into fr_obs_col_tab_err
per node reject limit 'unlimited';

通过obs只读外表将obs数据插入内表
insert into col_tab select * from f_obs_col_tab_r;
select * from f_obs_col_tab_r;
select * from col_tab;

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。