CDM进阶指导之MD5校验文件一致性
【摘要】 迁移模式CDM数据迁移以抽取-写入模式进行,CDM首先从源端抽取数据,然后将数据写入到目的端。在迁移文件到OBS时,迁移模式下图所示。在这个过程中,CDM支持使用MD5检验文件一致性,配置参数如图9-14所示。抽取时1)校验CDM抽取的文件,是否与源文件一致。2)能由源端作业参数“MD5文件名后缀”控制,配置为源端文件系统中的MD5文件名后缀。3)端数据文件同一目录下有对应后缀的保存md5值...
迁移模式
CDM数据迁移以抽取-写入模式进行,CDM首先从源端抽取数据,然后将数据写入到目的端。在迁移文件到OBS时,迁移模式下图所示。
在这个过程中,CDM支持使用MD5检验文件一致性,配置参数如图9-14所示。
抽取时
1)校验CDM抽取的文件,是否与源文件一致。
2)能由源端作业参数“MD5文件名后缀”控制,配置为源端文件系统中的MD5文件名后缀。
3)端数据文件同一目录下有对应后缀的保存md5值的文件,例如build.sh和build.sh.md5在同一目录下。若配置了“MD5文件名后缀”,则只迁移有MD5值的文件至目的端,没有MD5值或者MD5不匹配的数据文件将迁移失败,MD5文件自身不被迁移。
4)配置“MD5文件名后缀”,则迁移所有。
5)能支持源端为OBS、FTP、SFTP、NAS、SFS、HTTP。
写入时
1)写入OBS的文件,是否与CDM抽取的文件一致。
2)能由目的端作业参数“校验MD5值”控制,读取文件后写入OBS时,通过HTTP Header将MD5值提供给OBS做写入校验,并将校验结果写入OBS桶(该桶可以不是存储迁移文件的桶)。如果源端没有MD5文件则不校验。
3)能目前只支持目的端为OBS。
注意
1)迁移文件到文件系统时,目前只支持校验CDM抽取的文件是否与源文件一致(即只校验抽取的数据)。
2)迁移文件到OBS时,支持抽取和写入文件时都校验。
3)选择使用MD5校验,则无法9.6 迁移文件时加解密。
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)