Flink从入门到精通100篇(六)-Flink 应用之 对Release 文档进行深度解读
集群和部署
-
支持 Hadoop 3.0 及更高的版本:Flink 不再提供任何
flink-shaded-hadoop-
依赖。用户可以通过配置 HADOOP_CLASSPATH 环境变量(推荐)或在 lib 文件夹下放入 Hadoop 依赖项。另外include-hadoop
Maven profile 也已经被移除了。 -
移除了 LegacyScheduler:Flink 不再支持 legacy scheduler,如果你设置了
jobmanager.scheduler: legacy
将不再起作用并且会抛出 IllegalArgumentException 异常,该参数的默认值并且是唯一选项为 ng。 -
将用户代码的类加载器和 slot 的生命周期进行绑定:只要为单个作业分配了至少一个 slot,TaskManager 就会重新使用用户代码的类加载器。这会稍微改变 Flink 的恢复行为,从而不会重新加载静态字段。这样做的好处是,可以大大减轻对 JVM metaspace 的压力。
-
slave 文件重命名为 workers:对于 Standalone 模式安装,worker 节点文件不再是 slaves 而是 workers,以前使用
start-cluster.sh
和stop-cluster.sh
脚本的设置需要重命名该文件。 -
完善 Flink 和 Docker 的集成:
Dockerfiles
文件样例和build.sh
Docker 镜像文件都从 Flink G
文章来源: wenyusuran.blog.csdn.net,作者:文宇肃然,版权归原作者所有,如需转载,请联系作者。
原文链接:wenyusuran.blog.csdn.net/article/details/107034583
- 点赞
- 收藏
- 关注作者
评论(0)