DAYU数据资产采集任务配置介绍
背景:
配置、运行采集任务是构建数据资产的前提,下面举例说明如何通过配置采集任务达到灵活采集元数据的目的。
场景一:用户的数据库中新增的数据表,采集任务仅采集新增的表
配置示例:按照下面的配置,采集任务仅会采集table4。(前提:table1-table3已经在数据资产中)
场景二:用户的数据库中新增了数据表,采集任务采集数据源中指定的所有表
配置示例:按照如下配置,采集任务会采集default下所有的表
场景三:用户的数据库中数据表有新增的情况,采集任务仅采集数据资产中已经存在的表
配置示例:按照如下配置,采集任务仅采集table1/table2/table3
场景四:用户的数据库中数据表有删除的情况,采集任务能够删除数据资产中对应的数据表
配置示例:按照如下配置,采集任务会删除数据资产中的table2
总结
采集任务中关于数据库、数据表配置项的说明:
采集任务中数据库、数据表的设置项限定了采集任务扫描元数据的范围
数据库设置项限定了扫描数据库的范围,当不进行设置时,默认选择所有的数据库;
数据表设置项限定了扫描数据表的范围,可以对每个已选数据库进行设置。当某个数据库下不设置任何数据表时,默认扫描所有该库下所有数据表。
当数据库、数据表设置项都为空时,默认对该数据连接下的所有数据表进行扫描。
注意:元数据采集中的配置项,指定了采集任务进行元数据采集时的更新、删除策略。需要注意的是配置的更新、删除策略是作用在用户配置的数据库、数据表的范围内。
数据源元数据已更新选项指的是,当数据源中元数据发生变化时,数据目录中元数据的更新方式。
仅更新数据目录中的元数据:采集任务仅更新数据目录已经采集到的元数据
仅添加新元数据:采集任务仅采集数据源中存在,但是数据目录中不存在的元数据
更新数据目录中的元数据、添加新元数据:采集任务全量同步数据源中的元数据
忽略更新、添加操作:不采集数据源中的元数据
数据源元数据已删除指的是,当数据源中元数据发生变化时,数据目录中元数据的删除方式。
从数据目录中删除元数据:当数据源中的某些元数据已经被删除,数据目录中也将同步删除对应的元数据
忽略删除:当数据源中的某些元数据已经被删除,数据目录中不同步删除对应元数据。
- 点赞
- 收藏
- 关注作者
评论(0)