DAYU数据开发常见问题解答
【摘要】 DAYU数据开发常见问题解答,持续更新~
1.请问,数据开发中天周期调度job,程序报错,job终止,第二天job会继续启动调度吗?
答:如果没有配置自依赖,会继续调度
2.DLF里,一个一小时周期的作业依赖 一个5分钟周期的作业时,是怎么判断依赖逻辑的?例如,一个小时里有12个5分钟的周期,是12个5分钟全部成功,才执行一小时的作业?还是只要有一个成功?如果是,是找12个里的哪一个?如果12个里有失败的,又怎么算?
答:第一,等12个5分钟都执行完成,才开始执行小时的作业;
第二,取决于配置的依赖策略。如果配置的是终止执行,依赖的作业只要有一个失败的,当前作业就不执行,设置为失败;如果配置的是继续执行,只要依赖的作业12个实例跑完了(不论12个实例成功还是失败),当前作业就开始跑。
3.数据连接目录树支持展开的连接类型
答:目前一共有9种连接类型:支持目录展开的: DLI,DWS,HIVE;不支持目录展开: PRESTO,RDS,SparkSQL,CloudTable,KAFKA,DisStream
4.提交到MRS的作业,如何查看运行日志?
答:DAYU作业的运行日志中有job id,可以去MRS的作业管理界面查看具体失败原因。
(1)在MRS的作业管理页面,找到job id,查看日志
(2)查看stderr、stdout、syslog中的具体日志
5.环境变量中的#{Job.planTime}是计划时间还是当前时间?如图所示,补数据测试作业设置了周期调度,为何start_time不是计划时间,而是当前时间呢?
答:如果作业是“测试运行”方式启动,则#{Job.planTime}是当前时间;如果作业是“执行调度”方式启动,等到作业到点执行,则#{Job.planTime}是计划时间
6.环境变量中,变量和常量是怎么定义的?
答:常量和变量的区别是导入的时候,是否需要重新配置值。主要用于多个工作空间或者项目中导出导入场景。常量是指在不同的空间下都是一样的,导入的时候,不需要重新配置值。变量是指不同的空间下取值不同,需要重新配置值,比如“工作空间名称”变量,这个值在不同的空间下配置不一样,导出导入后需要重新进行配置。
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)