设为首页
收藏本站
开启辅助访问
全部
问与答
创意
技术
酷工作
生活
交易
资源
节点
飞墙
Follow
明白贴
报酬
登录
注册
飞社-令人惊奇的创意工作者社区-
›
首页
›
程序员
›
请教一下各位佬,关于 ETL 落地技术方案的讨论 ...
FSHEX=FIND+SHARE+EXPRESS
飞社-令人惊奇的创意工作者社区- 是一个关于发现分享表达的地方
现在登录
没有账号?
立即注册
推荐主题
›
开网吧是不是个好生意
›
失业的程序员们都在干啥?
›
半夜扰民怎么办,已经严重影响休息了
›
最近对小米的产品比较排斥
›
同志们,技术问题来了,大家讨论下, jwt
今日热议主题
(远程 可兼职) 硅谷 GenAI 创业团队招前端
好像没人讨论拼多多高管和市监局稽查队打架
AI 漫剧就是 2026 年的风口,所以我用手搓
分享一个我自己上班写代码偷懒的工作流 [前
openai 验证遇到 We were unable to verify
现在 coding 除了 cursor 和 cc 以外哪一家
出 88 会员的优酷和饿了么 11 月 07 到期,
做了一个上班摸鱼的可以低调的玩耍的微信公
你们跟 AI 在一个话题里聊天能聊多少内容?
请教大家一下 stripe 有办法降低手续费么,
显示全部
|
最新评论
15 条回复
·
1705 次点击
11#
beihanggmj
小成
2025-8-4 17:40:34
分批次慢慢导出数据,用时间换算力。方案有很多,比如设置一个秒级别的 crontab 任务,一秒导出 1 万条这样的形式,时间间隔和单次 batch_size 可以按时间交付时间/需求设置具体的变量满足客户要求。
12#
aarones
小成
2025-8-4 17:52:29
按照需要,一个任务只跑几个库或者几个表就行了,这点数据没多少,找个凌晨 3 点跑一下就完事
13#
min
小成
2025-8-4 17:52:43
参数设置好,100 分钟跑完就无压力咯
14#
cccssss
初学
2025-8-4 18:14:17
去客户机房硬盘对拷一份,然后跑增量
15#
glacer
初学
2025-8-4 18:25:27
如果不开 binlog ,实时同步基本就做不了了。 只能分批次在深夜启动任务做全量同步,全量结束后,同样在深夜拉最新一天的数据做日增量即可。
16#
cloudzhou
小成
2025-8-4 18:35:54
你这个应该要确定下方案先,尤其是否 binlog ,这个方案就差别很大了
1
2
/ 2 页
返回顶部