Flink StreamGraph生成
【摘要】 DataStreamDataStream通过Map、flatMap、filter等转换，而所有的转换在提交任务前都缓存在env的operators中（Operators将一个或多个dataStream转换成新的dataStream）代码解析以flatMap为例需要注意的是 keyBy、shuffle、rebalance不会发生datastream转换https://ci.apache.org...
DataStream
DataStream通过Map、flatMap、filter等转换，而所有的转换在提交任务前都缓存在env的operators中（Operators将一个或多个dataStream转换成新的dataStream）
代码解析
以flatMap为例
需要注意的是 keyBy、shuffle、rebalance不会发生datastream转换
https://ci.apache.org/projects/flink/flink-docs-master/dev/stream/operators/
Env中transformations结构图
transformation的继承关系
StreamGraph生成
Stream任务通过StreamExecutionEnv.execute提交任务，提交任务前会先生成StreamGraph，
而生成streamStraph中关键的是transformations的处理
StreamGraphGenerator#generate
StreamGraphGenerator#transform
至此streamGraph生成
举例（引用网上用例）
【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）