Datax适配Gauss开源验证任务适配心得

举报
yd_265508559 发表于 2024/12/06 17:43:49 2024/12/06
【摘要】 DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

背景介绍

开源for Huawei(参考:https://developer.huaweicloud.com/programs/opensource/contributing/)  通过和公司、高校、社区的开发者合作,完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发,帮助繁荣Huawei的基础生态,同时让开源软件能够更加简单、高效的运行于华为云上。

适配思路

  1. 在ECS环境里安装好python环境,部署好Datax跟Datax-web程序;

     2.运行python datax.py data_gauss.json命令进行数据同步

     3.登录datax-web的UI界面,在任务构建里面创建一个任务进行数据同步

2具体实现

环境准备

1.JDK1.8需要安装java环境,安装JDK1.8以上的版本

2.Python2.7(支持Python3需要修改替换datax/bin下面的三个python文件,替换文件在doc/datax-python3下)

3.Mysql(5.5+)

4.Maven(3.6.1)

从github上下载源码,使用maven编译部署好

进入datax-web的UI界面


在任务管理里面,可以创建数据同步任务

在适配任务的过程中遇到了一些坑

在运行python datax.py的时候可能会报错

需要删除项目plugin/reader和/plugin/writer/目录下面._*开头的文件

rm -rf ../plugin/reader/._*

rm -rf ../plugin/writer/._*


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。