如何解决消息丢失和消息重复?

如何解决消息丢失和消息重复?★

要确定Kafka的消息是否丢失或重复，从两个方面分析入手:消息发送和消息消费。

1. 消息发送
   Kafka 消息发送有两种方式:同步(sync）和异步（async)，默认是同步方式，可通过producer.type 属性进行配置。Kafka通过配置request.required.acks 属性来确认消息的生产:(同步:这个生产者写一条消息的时候，它就立马发送到某个分区去。异步:这个生产者写一条消息的时候，先是写到某个缓冲区，这个缓冲区里的数据还没写到 broker 集群里的某个分区的时候，它就返回到client去了)

0---表示不进行消息接收是否成功的确认;
1---表示当Leader接收成功时确认;
-1---表示Leader和 Follower都接收成功时确认;

综上所述，有6种消息生产的情况，下面分情况来分析消息丢失的场景:
( 1) acks=0，不和Kafka集群进行消息接收确认，则当网络异常、缓冲区满了等情况时,消息可能丢失;
(2) acks=1、同步模式下，只有Leader确认接收成功后但挂掉了，副本没有同步，数据可能丢失;

2. 消息消费
   Kafka消息消费有两个consumer 接口，Low-level API和 High-level API:

• Low-level API:消费者自己维护offset等值，可以实现对Kafka 的完全控制;
• High-level API:封装了对 parition和 offset 的管理,使用简单;

如果使用高级接口 High-level API，可能存在一个问题就是当消息消费者从集群中把消息取出来、并提交了新的消息 offset值后，还没来得及消费就挂掉了，那么下次再消费时之前没消费成功的消息就“诡异”的消失了;
综上，解决如下:

• 针对消息丢失:同步模式下，确认机制设置为-1，即让消息写入Leader 和 Follower之后再确认消息发送成功;异步模式下，为防止缓冲区满，可以在配置文件设置不限制阻塞超时时间,当缓冲区满时让生产者一直处于阻塞状态;
• 针对消息重复:将消息的唯一标识保存到外部介质中,每次消费时判断是否处理过即可。