Flink从入门到精通100篇(十七)-Spark/Flink广播如何实现作业配置动态更新?

举报
格图洛书 发表于 2021/11/19 02:02:35 2021/11/19
【摘要】   前言   在实时计算作业中,往往需要动态改变一些配置,举几个栗子:   实时日志ETL服务,需要在日志的格式、字段发生变化时保证正常解析;   实时NLP服务,需要及时识别新添加的领域词与停用词;   实时风控服务,需要根据业务情况调整触发警告的规则。 &nbsp...

 

前言

 

在实时计算作业中,往往需要动态改变一些配置,举几个栗子:

 

实时日志ETL服务,需要在日志的格式、字段发生变化时保证正常解析;

 

实时NLP服务,需要及时识别新添加的领域词与停用词;

 

实时风控服务,需要根据业务情况调整触发警告的规则。

 

那么问题来了:配置每次变化都得手动修改代码,再重启作业吗?答案显然是否定的,毕竟实时任务的终极目标就是7 x 24无间断运行。Spark Streaming和Flink的广播机制都能做到这点,本文分别来简单说明一下。

 

Spark Streaming的场合

 

文章来源: wenyusuran.blog.csdn.net,作者:文宇肃然,版权归原作者所有,如需转载,请联系作者。

原文链接:wenyusuran.blog.csdn.net/article/details/103660035

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。