CDM进阶指导之文件过滤器

简介

CDM支持对源端的文件进行正则表达式过滤，通配符过滤，时间过滤，以满足客户迁移源端部分数据的需求。

配置指导

点击新建作业，选择文件类连接器如obs，sftp, hdfs 等，点击高级配置

通配符过滤

假设用户想过滤 输入目录下所有后缀为.csv 或者的文件则可以设置过滤器为*.csv。

正则表达式过滤

通配符不一定满足客户的所有场景，所以cdm还提供了正则表达式过滤。假设用户想匹配文件名为数字，后缀为log的文件

时间过滤

除了上述两种场景外，cdm还支持按照时间过滤文件，并且支持时间宏变量。假设用户想设置一个CDM定时任务，这个任务每次迁移前一天的数据，那么可以设置最最小时间${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)}，最大时间${dateformat(yyyy-MM-dd HH:mm:ss)}。其中dateformat(yyyy-MM-dd HH:mm:ss)在迁移过程中会转化成CDM作业启动的时间，而dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)则相应的在启动时间上减一天。配置如下图所示，

注：更详细的时间宏配置说明请跳转https://support.huaweicloud.com/usermanual-cdm/cdm_01_0068.html