image

编辑人: 长安花落尽

calendar2025-02-10

message6

visits604

如何保证消息不被重复消费?

分析&回答

一、kafka自带的消费机制

kafka有个offset的概念,当每个消息被写进去后,都有一个offset,代表他的序号,然后consumer消费该数据之后,隔一段时间,会把自己消费过的消息的offset提交一下,代表我已经消费过了。下次我要是重启,就会继续从上次消费到的offset来继续消费。

但是当我们直接kill进程了,再重启。这会导致consumer有些消息处理了,但是没来得及提交offset。等重启之后,少数消息就会再次消费一次。

二、通过保证消息队列消费的幂等性来保证

举个例子,当消费一条消息时就往数据库插入一条数据。如何保证重复消费也插入一条数据呢?

那么我们就需要从幂等性角度考虑了。幂等性,我通俗点说,就一个数据,或者一个请求,无论来多次,对应的数据都不会改变的,不能出错。

实现幂等一般有如下几种:

  • 比如用数据库自增主键,如果主键有数据就不操作了。
  • 比如用数据库唯一键,重复数据插入报错就不操作了。
  • 比如Redis Set 数据不会重复出现。
  • 比如Redis setNx 能保证只操作一次。

喵呜面试助手: 一站式解决面试问题,你可以搜索微信小程序 [喵呜面试助手] 或关注 [喵呜刷题] -> 面试助手 免费刷题。如有好的面试知识或技巧期待您的共享!

创作类型:
原创

本文链接:如何保证消息不被重复消费?

版权声明:本站点所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明文章出处。
分享文章
share