设为首页
收藏本站
开启辅助访问
全部
问与答
创意
技术
酷工作
生活
交易
资源
节点
飞墙
Follow
明白贴
影视
报酬
登录
注册
飞社-令人惊奇的创意工作者社区-
›
首页
›
问与答
›
mysql 数据库频繁插数据的处理方案讨论
FSHEX=FIND+SHARE+EXPRESS
飞社-令人惊奇的创意工作者社区- 是一个关于发现分享表达的地方
现在登录
没有账号?
立即注册
推荐主题
›
为国买房者,应该得到感激
›
有人做到一边得到上级认可(努力、上进),
›
女朋友说以后怀孕了 要去 15w 一个月的月子
›
从面别人,到找不到工作,年底了没脸回家了
›
被裁了,但开心不起来
今日热议主题
[免费无水印] 告别只能使用 ios 制作备忘录
分享一个目前发现低价且支持高并发的 ChatG
IINA 使用问题请教
请教关于一号多拨后的下载/上传速度异常
支持 webdav 的网盘才是好网盘
请问 Github Copilot 的 web search 需要怎
[实习] [Tesla] [上海]信息娱乐系统前端软
小米 13 pro 如何 root?
求推荐 手机向 web 端推送消息服务
求三星 DDR4 2666 8G 或 16G 笔记本内存条
显示全部
|
最新评论
23 条回复
·
2519 次点击
11#
StoneHuLu
小成
4 天前
另外给点建议,websocket 在客户端通知这块没法在负载均衡环境下使用,因为本身是长链接,如果以后后端服务横向扩展,这里就会出问题。一般物联网的解决方式是 websocket 连 mqtt ,后端订阅 mqtt 发送通知。不过你这个场景只是传感器发送消息到服务器单向通信,应该没这个问题,所以其实我觉得也挺怪的,为啥传感器和服务器走的是 websocket ,而不是走 mqtt ?如果走 mqtt ,你们应该就没有目前这个问题了。
12#
autumnhlf01
楼主
初学
4 天前
@StoneHuLu 内存管不够😂
13#
StoneHuLu
小成
4 天前
@autumnhlf01 #11 云服务器的话内存不是挺便宜的吗?我觉得你们目前对于“数据量大导致数据库有压力”、“redis 内存不够”、“redis 数据大查询慢”,都是主观臆测,有做过具体实验测试过吗
14#
sujin190
小成
4 天前
@autumnhlf01 多大量啊,批量写 mysql 每秒写入也不小,想那么多干嘛每秒合并下写完了,如果数据量大肯定要换 kafka 加其他时序或者列存数据库,折腾什么 redis mq 的纯属多余
15#
autumnhlf01
楼主
初学
4 天前
@StoneHuLu 项目以前就因为内存原因挂掉过,次数不多就是了
16#
sagaxu
初学
4 天前
原始数据不必存 MySQL ,可以按设备和日期存文件,可一次性分好类也可先顺序写入再择时归档。 当日数据存 redis ,一两天的量不至于大到存不下。按照时间粒度做聚合汇总,存入 MySQL 。 统一查询接口,查询条件必须带时间,由接口负责去不同的地方取数据拼装组合,如果取明细原始数据,那就读文件获取。 以上方案经过日请求 100 亿次的项目检验。 MySQL 写入性能其实也不低,高配机器每秒插入 10 万条也没啥压力,分库到 10 台就是 100 万/s 的性能。
17#
autumnhlf01
楼主
初学
4 天前
@sagaxu 我觉得你的这种方案挺不错
18#
shiny
小成
4 天前
几十秒一组也还好。真的扛不住可以先放缓存里,然后定时刷入。MySQL 批量插入的时候速度会更快点。还可以考虑优化硬件,用 IO 性能好点的磁盘。最大的问题其实是后续取数据,量非常大的时候,复杂 SQL 会很慢,之前设计的时候除了 MySQL 存一份,还会同步到类似 ClickHouse 之类的 OLAP 数据库。 而且表太大,数据库维护也麻烦,导致出现问题的时候需要很长的停机时间。
19#
Greendays
初学
4 天前
直接存数据库的压力在哪里呢?我现在也在做差不多的项目,数据是通过 MQTT 传的。
20#
dcsuibian
小成
4 天前
是数据库压力真的大还是仅仅你觉得大?
下一页 »
1
2
3
/ 3 页
下一页
返回顶部