Lv.3
Leef724
更多个人资料
320
成长值
2
关注
18
粉丝
+ 关注
私信
个人介绍
华为云智能数据域,数据集成的一名搬砖工
感兴趣或擅长的领域
暂无数据
个人勋章
TA还没获得勋章~
成长雷达
320
0
0
0
0
个人资料
个人介绍
华为云智能数据域,数据集成的一名搬砖工
感兴趣或擅长的领域
暂无数据
达成规则
以上满足
项可达成此勋章
博客
关注
粉丝
论坛
全部时间
全部时间
最近三天
最近一周
最近一月
全部
暂无专栏分类
CDM进阶指导之事务模式迁移
CDM的事务模式迁移,是指当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。参数原理:如果启用,在作业执行时CDM会自动创建临时表,先将数据导入到该临时表,导入成功后再通过数据库的事务模式将数据迁移到目标表中;导入失败则将...
云数据迁移 CDM
Leef724
2020-07-23 20:21:23
4618
0
0
2020-07-23 20:21:23
999+
0
0
CDM进阶指南之AGENT限流
问题背景在一些客户使用专线迁移数据的场景,cdm默认会吃满专线的带宽。因此,CDM利用Agent管理帮助客户限制CDM迁移数据的速率。使用流程新建Agent登录CDM管理控制台。单击左侧导航上的“集群管理”,选择CDM集群后的“作业管理 > Agent管理 > 新建Agent”,配置Agent相关信息,如图3所示。图3 配置AgentIP地址:配置为源端网络中部署Agent的机器IP。端口:...
云数据迁移 CDM
Leef724
2020-07-23 20:18:25
4244
1
0
2020-07-23 20:18:25
999+
1
0
CDM踩坑指南之作业json迁移
CDM集群升级踩坑1. 通配符过滤器版本:187 –>2.1.1,2.3.0,2.3.1,2.5.0,2.6.0;作业类型:文件到文件;高级配置:源端配置了通配符过滤器兼容问题:对比如下 解决方案:在1.8.7的作业json中加入{ "name":"fromJobConfig.useWildCard", "value":"false"},2. 时间过滤器版本:18...
云数据迁移 CDM
JSON
Leef724
2020-07-16 16:59:03
4847
0
0
2020-07-16 16:59:03
999+
0
0
CDM踩坑指南之Gauss数据库连接失败
问题背景使用CDM迁移华为Gauss DB A的数据,建立连接时报错,网络已打通。问题分析GaussDB 是基于PG的,PG数据库默认只允许本机通过访问数据库,CDM作为远程客户端无法访问。问题解决1. 修改postgresql.conf在pg的安装目录下找到postgresql.conf 文件,打开该文件并找到如下一行将其修改为listen_addresses='*' # 允许任意ip访...
数据库
云数据迁移 CDM
Leef724
2020-06-29 17:48:46
5941
0
0
2020-06-29 17:48:46
999+
0
0
Redis知识点总结
1 启动redis redis-server redis.conf2 停止redis redis-cli SHUTDOWN ./redis-cli -h 127.0.0.1 -p 7000 -a sqoop SHUTDOWN3 登录redis redis-cli 提示:(error) NOAUTH Authentication requi...
Redis
Leef724
2020-06-20 17:10:13
2349
0
0
2020-06-20 17:10:13
999+
0
0
CDM避坑指南之kafka连接失败
问题描述cdm新建kafka连接,点测试或者保存 提示 系统错误。 (Cdm.0000)问题分析1.排查网络问题用户kafka 集群和CDM集群在一个VPC下,并且kafka所在安全组的入方向规则已针对CDM集群全部放通,CDM所在安全组出方向规则全部放通,排除网络问题2.排查权限,经分析是用户使用的账户没有ssl没权限 使用其他账号测试,ok,最中确定是客户ROOT用户没有SSL权限,另外...
云数据迁移 CDM
Kafka
Leef724
2020-06-20 16:55:17
4829
0
0
2020-06-20 16:55:17
999+
0
0
CDM进阶指导之自定义目的端目录结构
简介CDM在文件到文件的迁移过程中,目的端默认与源端目录结构保持一致。然而,有些客户想按照一定规则设置目的端的目录结构。接下来本篇博客将教你如何自定义目的端目录结构。需求场景用户想将源端的文件迁移到自定义的目的端目录中,目录结构对应关系如下:解决方案点击新建作业,点击目的端配置的高级配置找到层次目录配置,可以看到自定义目录层次的输入窗口。目录层次有三个重要功能可以通过inputPath这个预...
云数据迁移 CDM
Leef724
2020-06-20 16:37:20
4736
0
0
2020-06-20 16:37:20
999+
0
0
CDM进阶指导之文件过滤器
简介CDM支持对源端的文件进行正则表达式,通配符过滤,以此来满足客户迁移源端部分数据的需求。配置指导点击新建作业,选择文件类连接器如obs,sftp, hdfs 等,点击高级配置通配符过滤假设用户想过滤 输入目录下所有后缀为.csv 或者的文件则可以设置过滤器为*.csv。正则表达式过滤通配符不一定满足客户的所有场景,所以cdm还提供了正则表达式过滤。假设用户想匹配文件名为数字,后缀为log...
云数据迁移 CDM
正则表达式
Leef724
2020-06-20 15:54:46
4613
0
0
2020-06-20 15:54:46
999+
0
0
CDM初阶指导之阿里云OSS迁移到SFS
弹性文件服务(Scalable File Service,简称SFS)可以为您的弹性云服务器(ECS)提供一个完全托管的共享文件存储,符合标准文件协议(NFS),能够弹性伸缩至PB规模,具备可扩展的性能,为海量数据、高带宽型应用提供有力支持。迁移原理CDM支持将第三方云上对象存储的数据直接迁移到华为云SFS,无需中转和写代码,实现数据直传。这里以迁移阿里云OSS的文件到华为云SFS为例介绍迁...
云数据迁移 CDM
弹性文件服务 SFS
迁移
Leef724
2020-06-12 16:59:25
9645
0
0
2020-06-12 16:59:25
999+
0
0
CDM进阶指导之阿里云OSS迁移到OBS
CDM支持将第三方云上对象存储的数据直接迁移到OBS,无需中转和写代码,实现数据直传。这里以迁移阿里云OSS的文件到OBS为例,介绍CDM的使用方法,流程如下:准备数据l 阿里云OSS的外网访问域名,例如:oss-cn-hangzhou.aliyuncs.com。l 阿里云OSS的访问密钥,或者临时访问密钥、安全令牌。l OBS的访问域名、端口和AK、SK。创建CDM集群并绑定E...
对象存储服务 OBS
云数据迁移 CDM
Leef724
2020-06-12 16:43:34
10204
0
1
2020-06-12 16:43:34
999+
0
1
总条数:32
10
10
20
50
100
1
2
3
4
上滑加载中
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
+ 关注
私信