OBS通过消息通知去OSS拉起数据工具
1 工具作用
阿里云OSS上的对象数据如果有更新会向工具发送http消息通知,工具会一直监听http消息,启动多线程对消息进行处理,并调用OBS接口回源到阿里云OSS源桶拉取对象数据到OBS。
2 效果展示
图2.1 阿里云同时更新4个对象
图2.2 华为云随后也同步更新4个对象
3 使用前准备
工具使用前需要有如下3方面准备:
1) 需要给阿里云源桶配置http事件通知功能和公共可读权限,如图3.1和图3.2所示,其中接收端地址为工具所在主机的IP及工具所监听端口号。
2) 华为云所在的桶需要配置回源功能到阿里云源桶,如图3.3所示。
3) 运行工具的Linux平台需要安装JAVA(JDK)。
图3.1 阿里云源桶主题创建示例
图3.2 阿里云源桶主题订阅者示例(消息推送格式需设置为SIMPLIFIED)
图3.3 华为云桶回源设置示例(消息推送格式需设置为SIMPLIFIED)
4 工具实现原理
工具实现原理流程示意图
开发语言:Java(jdk-8.0.1)
IDE:Eclipse(Version: 2018-12 (4.10.0))
使用到的相关SDK:OBS SDK(eSDK_Storage_OBS_V3.1.2.1_Java)
5 工具使用详细步骤(以Linux系统运行平台为例)
5.1 拷贝工具目录到工具运行平台
将本文附录中的工具包(ObsFetchHttp.zip)解压上传到Linux平台指定目录,效果如下:
其中httpUpdateServer.jar是工具jar包、application.properties是工具运行的配置文件、log4j.properties是日志运行配置文件(建议保持默认配置)。
5.2 配置application.properties文件
application.properties是工具运行的配置文件,需要将文件中的XXX部分更新为实际信息,其中AK、SK信息为华为云桶所在帐号的AK、SK。
5.3 运行工具
使用命令“nohup java -jar httpUpdateServer.jar &”运行工具,之后工具就会时时监听阿里云发来的http消息并进行处理。
6 附录
工具下载链接:https://obs-tools.obs.cn-north-1.myhuaweicloud.com/zdh/ObsFetchHttp.zip
- 点赞
- 收藏
- 关注作者
评论(0)