Apache Kafka-AckMode最佳实践

举报
小工匠 发表于 2021/09/10 00:46:34 2021/09/10
【摘要】 文章目录 概述AckMode源码解读自动提交设置手工提交设置 最佳实践 概述 Apache Kafka-消息丢失分析 及 ACK机制探究 我们这里配了个manual, 为...


在这里插入图片描述


概述

Apache Kafka-消息丢失分析 及 ACK机制探究

在这里插入图片描述
我们这里配了个manual, 为啥子嘛


AckMode源码解读

我们来看下 Spring Kafka封装的ACK

ContainerProperties#AckMode

	/**
	 * The offset commit behavior enumeration.
	 */
	public enum AckMode {

		/**
		 * Commit after each record is processed by the listener.
		 */
		RECORD,

		/**
		 * Commit whatever has already been processed before the next poll.
		 */
		BATCH,

		/**
		 * Commit pending updates after
		 * {@link ContainerProperties#setAckTime(long) ackTime} has elapsed.
		 */
		TIME,

		/**
		 * Commit pending updates after
		 * {@link ContainerProperties#setAckCount(int) ackCount} has been
		 * exceeded.
		 */
		COUNT,

		/**
		 * Commit pending updates after
		 * {@link ContainerProperties#setAckCount(int) ackCount} has been
		 * exceeded or after {@link ContainerProperties#setAckTime(long)
		 * ackTime} has elapsed.
		 */
		COUNT_TIME,

		/**
		 * User takes responsibility for acks using an
		 * {@link AcknowledgingMessageListener}.
		 */
		MANUAL,

		/**
		 * User takes responsibility for acks using an
		 * {@link AcknowledgingMessageListener}. The consumer
		 * immediately processes the commit.
		 */
		MANUAL_IMMEDIATE,

	}

  
 

自动提交设置

  • RECORD

每条消息被消费完成后,自动提交

  • BATCH

每一次消息被消费完成后,在下次拉取消息之前,自动提交 (默认模式)

  • TIME :

达到一定时间间隔后,自动提交, 并不是一到就立马提交,如果此时正在消费某一条消息,需要等这条消息被消费完成,才能提交消费进度

  • COUNT

消费成功的消息数到达一定数量后,自动提交 ,它并不是一到就立马提交,如果此时正在消费某一条消息,需要等这条消息被消费完成,才能提交消费进度

  • COUNT_TIME

TIME 和 COUNT 的结合体,满足任一都会自动提交。


手工提交设置

  • MANUAL

调用时,先标记提交消费进度。等到当前消息被消费完成,然后在提交消费进度。

  • MANUAL_IMMEDIATE

调用时,立即提交消费进度。


最佳实践

那应该怎么配置呢

在这里插入图片描述

  • 配置 spring.kafka.consumer.enable-auto-commit为true, spring.kafka.consumer.auto-commit-interval 设置自动提交的频率 , 举个例子 自动提交,批量拉去了一波,还没消费完,你就提交了,这给时候如果消费者挂了,消息丢失。。。

  • 配置 spring.kafka.consumer.enable-auto-commit为false , spring.kafka.listener.ack-mode 设置具体模式,结合具体情况。 有可能重复消费,注意幂等性的判断

  • 另外,spring.kafka.listener.ack-time 和 spring.kafka.listener.ack-count 可以设置自动提交的时间间隔和消息条数

总而言之,没有标准答案,需要进行trade off ,权衡一下
在这里插入图片描述

嗨 ,你这不是诶说么。。。。


文章来源: artisan.blog.csdn.net,作者:小小工匠,版权归原作者所有,如需转载,请联系作者。

原文链接:artisan.blog.csdn.net/article/details/113868294

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。