Kafka高可靠配置解析

Lothar 发表于 2021/02/25 10:38:57 2021/02/25
【摘要】 在高可靠场景使用kafka作为消息队列时,要求即使有Broker宕机也不能出现消息丢失。为了实现这一目的,很多人都知道要将producer的ack设置成all或-1。然而除了Producer的配置外还有两个服务端配置也会影响宕机时的消息可靠性,分别是min.insync.replicas和unclean.leader.election.enable。本文将描述这两个配置如何影响可靠性,以及推...

在高可靠场景使用kafka作为消息队列时,要求即使有Broker宕机也不能出现消息丢失。为了实现这一目的,很多人都知道要将producer的ack设置成all或-1。然而除了Producer的配置外还有两个服务端配置也会影响宕机时的消息可靠性,分别是min.insync.replicas和unclean.leader.election.enable。本文将描述这两个配置如何影响可靠性,以及推荐配置。

1. min.insync.replicas

min.insync.replicas使用默认配置1,该参数规定了Kafka Partition的最小同步副本。如果当前同步副本数小于该值,则Producer不能向该Partition中生产消息。

min.insync.replicas配置为1,只要副本Leader可用即可写消息,在如下场景存在数据丢失风险:

假设Partition 3个副本中,两个副本未处于同步状态,如下图所示:

此时,如果副本1所在节点故障,副本2或副本3升为LeaderLeader切换后,消息记录以新Leader为准,未同步的第6,7,8条数据将会丢失,如下图所示:

2. unclean.leader.election.enable

unclean.leader.election.enable使用默认配置true,该参数规定是否允许非ISR的副本成为Leader。在min.insync.replicas配置值大于1的前提下,unclean.leader.election.enable配置为true,如下场景仍有数据丢失风险:假设partition3副本,min.insync.replicas配置为2,副本1和副本2处于同步状态,副本3处于未同步状态,如下图所示:

当副本1和副本2同时故障,unclean.leader.election.enable配置为true,允许处于非同步状态的副本3升为Leader,副本1和副本2恢复后,消息记录以新Leader为准,副本1、副本2上的消息6,7,8将丢失,如下图所示:

3. 建议配置

配置Topic副本数为3min.insync.replicas2unclean.leader.election.enablefalse,Producer ack配置为all。可以保证极端情况下即使1个Broker宕机也不会出现数据丢失。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。