kafka 重复消费问题

winnie123321 · 2019-11-27 10:40:40 · 1956 次点击 · 大约8小时之前开始浏览置顶

这是一个创建于 2019-11-27 10:40:40 的主题，其中的信息可能已经有所发展或是发生改变。

关于kafka重复消费的问题你们是怎么解决的？我看网上说引入第三方中间键redis, 每次消费前先判断该消息是否存在Redis, 没有则进行消费，消费完再将该条记录的唯一标识存入Redis中。重复消费是因为业务处理完后偏移量修改失败的导致的，但是引入Redis的也话会出现Redis写失败啊，问题就没解决啊

有疑问加站长微信联系（非本文作者）

入群交流（和以上内容无关）：加入Go大咖交流群，或添加微信：liuxiaoyan-s 备注：入群；或加QQ群：692541889

1956 次点击 ∙ 1 赞

加入收藏微博

redis

偏移量

偏移

消

3 回复 | 直到 2019-12-19 21:04:04

Fack131421 · #1 · 5年之前

同一个group，你是如何做到重复消费的

winnie123321 · #2 · 5年之前

业务处理成功时，修改偏移量失败，数据就会被重复消费

stepGitHub · #3 · 5年之前

kafka消息队列消费模式有两种 1、OffsetOldest 会产生重复消费, 2、OffsetNewest 会丢失信息重复消费要保证系统幂等性,确保消息唯一

添加一条新回复（您需要登录后才能回复没有账号？）

请尽量让自己的回复能够对别人有帮助
支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
支持 @ 本站用户；支持表情（输入 : 提示），见 Emoji cheat sheet
图片支持拖拽、截图粘贴等方式上传

关注我

扫码关注领全套学习资料
加入 QQ 群：
- 192706294（已满）
- 731990104（已满）
- 798786647（已满）
- 729884609（已满）
- 977810755（已满）
- 815126783（已满）
- 812540095（已满）
- 1006366459（已满）
- 692541889
加入微信群：liuxiaoyan-s，备注入群
也欢迎加入知识星球 Go粉丝们（免费）

登录和大家一起探讨吧

kafka 重复消费问题

用户登录

今日阅读排行

一周阅读排行

关注我