Vertica的这些事(十七)——Vertica消费kafka答疑

举报
数据社 发表于 2022/09/25 02:47:52 2022/09/25
【摘要】 关于如何消费kafka数据,请参看Vertica的这些事(十四)——Vertica实时消费kafka实现 最近有小伙伴提出了消费kafka的一些疑问,答疑如下: #####1、 Vertica消费kaf...

关于如何消费kafka数据,请参看Vertica的这些事(十四)——Vertica实时消费kafka实现
最近有小伙伴提出了消费kafka的一些疑问,答疑如下:

#####1、 Vertica消费kafka机制是什么?

Vertica通过scheduler来按定义的频度调度执行copy table from kafkasource(…)来从kafka的主题加载数据。
#####2、 Vertica消费kafka的偏移量是怎么维护的?
Vertica的scheduler会把每个主题消费到的偏移量存储到表stream_microbatch_history中(schema由scheduler的参数指定和创建),没加载一批就会scheduler就会给它加上,下一次加载的时候会作为参数传递给kafkasource。
#####3、 Vertica消费kafka是多个节点并发执行?资源怎么控制?
Vertica是多个节点并行读取kafka主题多个patition的消息的。资源池的EXECUTIONPARALLELISM参数会决定节点内解析消息的并行线程数,内存等资源也由资源池控制。
#####4、 Vertica消费kafka应该怎么监控?
MC本身具备kafka消息加载的监控界面,表stream_microbatch_history中有详细的加载信息。
#####5、 出现节点宕机对kafka消息读取有什么影响?
Kafka读过的消息偏移量和业务数据都存放到Vertica中,就算Vertica集群数据不完全恢复,他们也会保证是一致的,恢复后会自动从数据库中记录的偏移量开始继续加载,不会出现数据对视。

文章来源: dataclub.blog.csdn.net,作者:数据社,版权归原作者所有,如需转载,请联系作者。

原文链接:dataclub.blog.csdn.net/article/details/84312834

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。