使用 debezium 配置的 mongoDB connector ,监控一个集合的 change stream ,但是总有一少部分的数据从**变更发生时间**到**debezium 开始处理**(通过 debezium 的`payload`的`ts_ms`判断)有相当长的延迟,最大到了 40s 。
debezium 为 docker 部署。mongoDB 为分片集群,connector 配置的是 mongos 的地址。订阅的集合约每秒发生 1000 调变更,但也有数十秒没有新数据的情况。
看起来似乎可能是两个原因:
- 1.mongo 的 change stream 生成就慢
- 2.debezium 处理跟不上速度,但通过调整 max.batch.size/max.queue.size/pool.interval 后依然有这个问题

目前看起来,即使期间数据量很小,也会发生这种情况。
举报· 24 次点击
登录 注册 站外分享
快来抢沙发
0 条回复  
返回顶部