2020-08-14：数据任务的执行引擎用的哪些？
【摘要】 福哥答案2020-08-14：知乎答案最基础的是 crontab 定时任务。考虑到分布式分片定时任务和高可用，可以用elastic-job这样的框架。但是这样的框架无法处理复杂的任务依赖关系。大数据处理框架一般用的是DAG（有向无环图）工作流类调度系统，通过DAG图描述任务之间的复杂的依赖关系。在Spark作业调度系统中，就是基于DAG描述rdd之间的依赖关系。
福哥答案2020-08-14：
最基础的是 crontab 定时任务。
考虑到分布式分片定时任务和高可用，可以用elastic-job这样的框架。但是这样的框架无法处理复杂的任务依赖关系。
大数据处理框架一般用的是DAG（有向无环图）工作流类调度系统，通过DAG图描述任务之间的复杂的依赖关系。在Spark作业调度系统中，就是基于DAG描述rdd之间的依赖关系。
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）