设为首页
收藏本站
开启辅助访问
全部
问与答
创意
技术
酷工作
生活
交易
资源
节点
飞墙
Follow
明白贴
人人影库
报酬
登录
注册
飞社-令人惊奇的创意工作者社区-
›
首页
›
数据库
›
数据同步时,增量同步和全量同步如何配合保证数据一致性 ...
FSHEX=FIND+SHARE+EXPRESS
飞社-令人惊奇的创意工作者社区- 是一个关于发现分享表达的地方
现在登录
没有账号?
立即注册
推荐主题
›
🎉小棉袄出生, 生殖隔离已打破
›
哪吒 2 大家贡献了多少米
›
第一辆车,买自己喜欢的,还是懂车的推荐的
›
丁克十年的感想
›
上班通勤遇到了点状况,拜托了各位f友
今日热议主题
请教 mac 电脑访问不了 ipv6 域名问题
今天上班了,新的开始?不知道这次能干多久
请教下,如何使用 SSH 连接上本机的 WSL?
你身边有为炒股投资课付费的人吗
学车 APP 哪个好?
2025 年了,攒钱还房贷还是正确的选择吗?
ChatGPT 此刻是不是又抽风了?(错乱回复)
网易云音乐 7 天,有需要的自取
88VIP 附带会员
有没有轻量化的 Windows 沙箱/虚拟机,用于
数据同步时,增量同步和全量同步如何配合保证数据一致性?
ly901206
· 2024-11-14 13:57:59 · 227 次点击
想做 mysql->redis 的实时数据同步,网上也有很多开源项目,不过太重了不适合使用,需要自己搞一个,我们已经有 canal 能接入数据库的变更消息。我想的简单方案:新增一个同步表时,全量扫表一次将数据同步到 redis ,消费 canal->kafka 持续将增量数据同步到 redis ,保证 redis 数据一直为最新,再加上每天运行 1 次全量扫表同步确保没有脏数据。不需要考虑数据删除的问题,业务场景用不到。
在初始化阶段,有个顺序问题困扰我:
如果我先扫表全量同步完成,再启动 canal 消费的增量同步,那么就可能漏数据了,因为扫表期间有可能中间新插入了数据,或者已同步的数据变更了。
如果先开启 canal 消费的增量同步,然后全量扫表同步,我想下了这样是没问题的,不会出现漏数据和数据不一致的情况,但不确定有没有我没考虑到的坑?
举报
·
227 次点击
登录
注册
站外分享
微信扫一扫
QQ分享
微博分享
豆瓣分享
复制链接
显示全部
|
最新评论
1 条回复
沙发
decken
小成
2024-11-14 14:25:33
记录全量同步开始的时间, 然后启动增量,指定刚才的时间, 从这个时间回溯 kafka
返回顶部