DAYU数据资产采集任务配置介绍

举报
data_mkb 发表于 2020/07/31 16:32:40 2020/07/31
【摘要】 配置、运行采集任务是构建数据资产的前提,下面举例说明如何通过配置采集任务达到灵活采集元数据的目的

背景:

        配置、运行采集任务是构建数据资产的前提,下面举例说明如何通过配置采集任务达到灵活采集元数据的目的。

场景一:用户的数据库中新增的数据表,采集任务仅采集新增的表

            image.png

            配置示例:按照下面的配置,采集任务仅会采集table4。(前提:table1-table3已经在数据资产中)

            image.png

场景二:用户的数据库中新增了数据表,采集任务采集数据源中指定的所有表

            image.png

        配置示例:按照如下配置,采集任务会采集default下所有的表

        image.png

场景三:用户的数据库中数据表有新增的情况,采集任务仅采集数据资产中已经存在的表

            image.png

            配置示例:按照如下配置,采集任务仅采集table1/table2/table3

            image.png

场景四:用户的数据库中数据表有删除的情况,采集任务能够删除数据资产中对应的数据表

        image.png

        配置示例:按照如下配置,采集任务会删除数据资产中的table2

        image.png


总结

  • 采集任务中关于数据库、数据表配置项的说明:

  1. 采集任务中数据库、数据表的设置项限定了采集任务扫描元数据的范围

  2. 数据库设置项限定了扫描数据库的范围,当不进行设置时,默认选择所有的数据库;

  3. 数据表设置项限定了扫描数据表的范围,可以对每个已选数据库进行设置。当某个数据库下不设置任何数据表时,默认扫描所有该库下所有数据表。

  4. 当数据库、数据表设置项都为空时,默认对该数据连接下的所有数据表进行扫描。

注意:元数据采集中的配置项,指定了采集任务进行元数据采集时的更新、删除策略。需要注意的是配置的更新、删除策略是作用在用户配置的数据库、数据表的范围内。

  • 数据源元数据已更新选项指的是,当数据源中元数据发生变化时,数据目录中元数据的更新方式。

  1.     仅更新数据目录中的元数据:采集任务仅更新数据目录已经采集到的元数据

  2.     仅添加新元数据:采集任务仅采集数据源中存在,但是数据目录中不存在的元数据

  3.     更新数据目录中的元数据、添加新元数据:采集任务全量同步数据源中的元数据

  4.     忽略更新、添加操作:不采集数据源中的元数据

  • 数据源元数据已删除指的是,当数据源中元数据发生变化时,数据目录中元数据的删除方式。

  1. 从数据目录中删除元数据:当数据源中的某些元数据已经被删除,数据目录中也将同步删除对应的元数据

  2. 忽略删除:当数据源中的某些元数据已经被删除,数据目录中不同步删除对应元数据。


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。