Datax适配Gauss开源验证任务适配心得
【摘要】 DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
背景介绍
开源for Huawei(参考:https://developer.huaweicloud.com/programs/opensource/contributing/) 通过和公司、高校、社区的开发者合作,完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发,帮助繁荣Huawei的基础生态,同时让开源软件能够更加简单、高效的运行于华为云上。
1 适配思路
- 在ECS环境里安装好python环境,部署好Datax跟Datax-web程序;
2.运行python datax.py data_gauss.json命令进行数据同步
3.登录datax-web的UI界面,在任务构建里面创建一个任务进行数据同步
2具体实现
环境准备
1.JDK1.8需要安装java环境,安装JDK1.8以上的版本
2.Python2.7(支持Python3需要修改替换datax/bin下面的三个python文件,替换文件在doc/datax-python3下)
3.Mysql(5.5+)
4.Maven(3.6.1)
从github上下载源码,使用maven编译部署好
进入datax-web的UI界面
在任务管理里面,可以创建数据同步任务
在适配任务的过程中遇到了一些坑
在运行python datax.py的时候可能会报错
需要删除项目plugin/reader和/plugin/writer/目录下面._*开头的文件
rm -rf ../plugin/reader/._*
rm -rf ../plugin/writer/._*
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)