关于kafka重复消费的问题你们是怎么解决的?我看网上说引入第三方中间键redis, 每次消费前先判断该消息是否存在Redis, 没有则进行消费, 消费完再将该条记录的唯一标识存入Redis中。
重复消费是因为业务处理完后偏移量修改失败的导致的, 但是引入Redis的也话会出现Redis写失败啊, 问题就没解决啊
kafka消息队列消费模式有两种
1、OffsetOldest 会产生重复消费,
2、OffsetNewest 会丢失信息
重复消费要保证系统幂等性,确保消息唯一
#3
更多评论