OBS通过消息通知去OSS拉起数据工具

举报
chongchongly 发表于 2019/06/13 17:32:14 2019/06/13
【摘要】 1 工具作用阿里云OSS上的对象数据如果有更新会向工具发送http消息通知,工具会一直监听http消息,启动多线程对消息进行处理,并调用OBS接口回源到阿里云OSS源桶拉取对象数据到OBS。2 效果展示图2.1 阿里云同时更新4个对象图2.2 华为云随后也同步更新4个对象3 使用前准备工具使用前需要有如下3方面准备:1) 需要给阿里云源桶配置http事件...


1      工具作用

阿里云OSS上的对象数据如果有更新会向工具发送http消息通知,工具会一直监听http消息,启动多线程对消息进行处理,并调用OBS接口回源到阿里云OSS源桶拉取对象数据到OBS。

2      效果展示

2.1 阿里云同时更新4个对象

图片.png

2.2 华为云随后也同步更新4个对象

图片.png

3      使用前准备

工具使用前需要有如下3方面准备:

1)     需要给阿里云源桶配置http事件通知功能和公共可读权限,如图3.1和图3.2所示,其中接收端地址为工具所在主机的IP及工具所监听端口号。

2)     华为云所在的桶需要配置回源功能到阿里云源桶,如图3.3所示。

3)     运行工具的Linux平台需要安装JAVA(JDK)。

3.1 阿里云源桶主题创建示例

图片.png

3.2 阿里云源桶主题订阅者示例(消息推送格式需设置为SIMPLIFIED)

图片.png

3.3 华为云桶回源设置示例(消息推送格式需设置为SIMPLIFIED)

图片.png

4      工具实现原理

工具实现原理流程示意图

图片.png

开发语言:Java(jdk-8.0.1)

IDE:Eclipse(Version: 2018-12 (4.10.0)

使用到的相关SDK:OBS SDK(eSDK_Storage_OBS_V3.1.2.1_Java)

5      工具使用详细步骤(以Linux系统运行平台为例)

5.1      拷贝工具目录到工具运行平台

将本文附录中的工具包(ObsFetchHttp.zip)解压上传到Linux平台指定目录,效果如下:

图片.png

     其中httpUpdateServer.jar是工具jar包、application.properties是工具运行的配置文件、log4j.properties是日志运行配置文件(建议保持默认配置)。

5.2      配置application.properties文件

application.properties是工具运行的配置文件,需要将文件中的XXX部分更新为实际信息,其中AK、SK信息为华为云桶所在帐号的AK、SK。

图片.png

5.3      运行工具

使用命令“nohup java -jar httpUpdateServer.jar &”运行工具,之后工具就会时时监听阿里云发来的http消息并进行处理。

图片.png

6      附录

工具下载链接:https://obs-tools.obs.cn-north-1.myhuaweicloud.com/zdh/ObsFetchHttp.zip


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。