因为redis有去重功能，可以保证数据仅仅消费一次。
方案一）通过zookeeper提供的API，自己编写代码，将offset提交到zookeeper；服务启动时，从zookeeper读取offset，并作为"KafkaUtils.createDirectStream"的输入参数
优点：可与基于zookeeper的监控系统融合，对消费情况进行监控

缺点：频繁的读写offset可能影响zookeeper集群性能，从而影响到Kafka集群的稳定性

方案二）自己编写代码维护offset，并将offset保存到MongoDB或者redis
优点：不影响zookeeper集群性能；可基于MongoDB或者redis自主实现消费情况的监控

缺点：无法与基于zookeeper的监控系统融合

参考:基于redis的控制sparkStreaming 对接kafka 精确一次消费数据的解决方案

保证同一入库数据的原子操作

sparkstreaming消费kafka如何保证输出结果只会产生一次？

sparkstreaming + kafka如何保证数据不丢失、不重复

文章来源: www.jianshu.com，作者：百忍成金的虚竹，版权归原作者所有，如需转载，请联系作者。

原文链接：www.jianshu.com/p/76082e4ebadf