DAYU数据开发常见问题解答

举报
VioletHan 发表于 2020/07/21 21:00:03 2020/07/21
【摘要】 DAYU数据开发常见问题解答,持续更新~

1.请问,数据开发中天周期调度job,程序报错,job终止,第二天job会继续启动调度吗?

  • 答:如果没有配置自依赖,会继续调度

2.DLF里,一个一小时周期的作业依赖 一个5分钟周期的作业时,是怎么判断依赖逻辑的?例如,一个小时里有12个5分钟的周期,是12个5分钟全部成功,才执行一小时的作业?还是只要有一个成功?如果是,是找12个里的哪一个?如果12个里有失败的,又怎么算?

  • 答:第一,等12个5分钟都执行完成,才开始执行小时的作业;

  • 第二,取决于配置的依赖策略。如果配置的是终止执行,依赖的作业只要有一个失败的,当前作业就不执行,设置为失败;如果配置的是继续执行,只要依赖的作业12个实例跑完了(不论12个实例成功还是失败),当前作业就开始跑。

3.数据连接目录树支持展开的连接类型



  • 答:目前一共有9种连接类型:支持目录展开的: DLI,DWS,HIVE;不支持目录展开: PRESTO,RDS,SparkSQL,CloudTable,KAFKA,DisStream

4.提交到MRS的作业,如何查看运行日志?

  • 答:DAYU作业的运行日志中有job id,可以去MRS的作业管理界面查看具体失败原因。

(1)在MRS的作业管理页面,找到job id,查看日志

(2)查看stderr、stdout、syslog中的具体日志

5.环境变量中的#{Job.planTime}是计划时间还是当前时间?如图所示,补数据测试作业设置了周期调度,为何start_time不是计划时间,而是当前时间呢?

  • 答:如果作业是“测试运行”方式启动,则#{Job.planTime}是当前时间;如果作业是“执行调度”方式启动,等到作业到点执行,则#{Job.planTime}是计划时间

6.环境变量中,变量和常量是怎么定义的?


  • 答:常量和变量的区别是导入的时候,是否需要重新配置值。主要用于多个工作空间或者项目中导出导入场景。常量是指在不同的空间下都是一样的,导入的时候,不需要重新配置值。变量是指不同的空间下取值不同,需要重新配置值,比如“工作空间名称”变量,这个值在不同的空间下配置不一样,导出导入后需要重新进行配置。



【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。