15 条回复  ·  147 次点击
frank1256 小成 2024-8-28 09:18:27

请问一下,多节点消费 kafka 如何做到串行消费

多节点抢锁,抢不到锁的 commit offset 要回退的,因为你第二个节点虽然拿不到锁,但已经消费到数据了
echoZero 小成 2024-8-28 09:35:08

请问一下,多节点消费 kafka 如何做到串行消费

放同一个分区。之所有会出现多条消息并行处理,因为是批量拉取消费消息,这个是你的消费逻辑问题,看一下是不是消费逻辑并发处理拉取的消息了
zdt3476 小成 2024-8-28 09:50:31

请问一下,多节点消费 kafka 如何做到串行消费

你给这个 topic 只分配一个 partition 就好了,这样多消费者就不起作用了
awalkingman 小成 2024-8-28 10:00:48

请问一下,多节点消费 kafka 如何做到串行消费

@zt5b79527 正解
MoYi123 小成 2024-8-28 10:14:46

请问一下,多节点消费 kafka 如何做到串行消费

kafka 在这起什么作用? rpc 调用就会导致任务丢失了?
Marinaaaa 小成 2024-8-28 10:33:00

请问一下,多节点消费 kafka 如何做到串行消费

1. topic 单分区 ,多消费者, 这样再多消费者也就只有一个在工作。

2. 多分区,多消费者,任务投递的指定 key ,这样同样 key 的任务在同一个分区,也是被顺序消费的。

3.  分布式锁 , 抢到锁的去消费
12
返回顶部