没有了可用Task slot,Flink新增任务会怎样?
【摘要】 在执行任务的时候,所需的slot如果不够用,会发生什么情况,又如何处理呢,请随本文一同快速实战体验
欢迎访问我的GitHub
这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos
没有了可用Task slot,新增任务会怎样?
-
如下图所示,一个普通Flink1.7的Local环境,正在运行一个并行度为4的任务,现有Task slot全部被使用,因此Available Task Slots为零:
-
如果这时候再提交一个任务,会出现什么情况呢?如下图,新提交的任务,状态是SCHEDULED(红框所示),执行的主机也没有分配(绿框所示):
-
看来要想任务顺利执行,首先要保证slot数量够用,目前机器内存是够用的,那么就把slot数量调大些吧;
注意
- 由于修改的配置文件要重启Flink才能生效,在生产环境请慎用!
修改配置
- 根据官方文档的指导,应该修改conf目录下的flink-conf.yaml文件中taskmanager.numberOfTaskSlots的值,如下图红框所示,文档地址:https://ci.apache.org/projects/flink/flink-docs-master/ops/config.html
- 这里我将之前配置的4改为8(机器的CPU是四核,超线程开启),重启Flink;
再次验证
- 重启Flink之后,再次提交两个任务,去看首页整体情况一切正常,如下图:
欢迎关注华为云博客:程序员欣宸
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)