Mysql 和 Clickhouse 使用

现在有个 Java 服务每天要抓取十几万的数据，这个数据量太大了，查询速度也慢。现在方案的是，第一次 Mysql 抓取全量数据同步到 CLickhouse 中，clickhouse 存储历史数据，Mysql 就存储当天抓取的数据然后同步到 clickhouse 中。这样就解决了 Mysql 中表的数据量过大的问题。 想问一下大佬们，我这解决方案有啥问题。期间也想过用 monodb 存储，但是 monodb 不是太好用就放弃了

有点感觉没必要，你担心的 mysql 数据量大，应该是表大，每天创建一个新表，可以解决你说的问题 分库分表也是为了解决查询慢，其实索引做好，几百万数据应该也不慢的

那为啥不全存在 ck

没啥问题吧，还得有个定时任务来清理 mysql 的数据？

@vacuitym 因为实时更新当天数据，ck 处理更新不太好吧

@Ico945 对对 还得在跑个定时任务清理一下

@LiJavaT 看你频率，如果频率不高触发下合并就行

@zsj1029 主要是每天创建一个新表，后面做一下数据分析还有查询比较麻烦

查询复杂的话这个方案没啥问题。如果查询场景简单，这个数据量只用 mysql 也行，建好索引和分表用个几年问题不大。

一天十几万也大吗? 我这厂里设备上报的实时数据, 每秒中几百个设备上报一次, 一天近一千万条数据, 也没见 mysql 不能用啊