设为首页
收藏本站
开启辅助访问
全部
问与答
创意
技术
酷工作
生活
交易
资源
节点
飞墙
Follow
明白贴
报酬
登录
注册
飞社-令人惊奇的创意工作者社区-
›
首页
›
问与答
›
mysql 数据库频繁插数据的处理方案讨论
FSHEX=FIND+SHARE+EXPRESS
飞社-令人惊奇的创意工作者社区- 是一个关于发现分享表达的地方
现在登录
没有账号?
立即注册
推荐主题
›
我这周不想通勤回去了,但是心里又很内疚咋
›
115 历史跑路事迹整理
›
giffgaff 流量注册了两个 gmail,基本上是注
›
本以为国产安卓这几年发展替代苹果没啥大问
›
今日买入博纳影业
今日热议主题
想问下 Mate TV 怎么样
我发现不同的 AI 有不同的性格
surge for ios 拼车找人 90/车位
年龄欺骗朋友,深度聊天聊错嘴了,咋整??
没看过阿凡达 2,可以直接看阿凡达 3 吗
做了一个简历自动优化的网站
好朋友之间有利益牵扯以后真的就变味了吗
通过中转 apikey 使用 cc 的/chrome 功能登
android 是否有可以语音添加待办事项的 app
探讨:动态未知环境下,基于单设备异构传感
显示全部
|
最新评论
23 条回复
·
2700 次点击
11#
StoneHuLu
小成
2025-1-4 11:42:10
另外给点建议,websocket 在客户端通知这块没法在负载均衡环境下使用,因为本身是长链接,如果以后后端服务横向扩展,这里就会出问题。一般物联网的解决方式是 websocket 连 mqtt ,后端订阅 mqtt 发送通知。不过你这个场景只是传感器发送消息到服务器单向通信,应该没这个问题,所以其实我觉得也挺怪的,为啥传感器和服务器走的是 websocket ,而不是走 mqtt ?如果走 mqtt ,你们应该就没有目前这个问题了。
12#
autumnhlf01
楼主
初学
2025-1-4 11:42:33
@StoneHuLu 内存管不够😂
13#
StoneHuLu
小成
2025-1-4 11:45:05
@autumnhlf01 #11 云服务器的话内存不是挺便宜的吗?我觉得你们目前对于“数据量大导致数据库有压力”、“redis 内存不够”、“redis 数据大查询慢”,都是主观臆测,有做过具体实验测试过吗
14#
sujin190
小成
2025-1-4 11:53:39
@autumnhlf01 多大量啊,批量写 mysql 每秒写入也不小,想那么多干嘛每秒合并下写完了,如果数据量大肯定要换 kafka 加其他时序或者列存数据库,折腾什么 redis mq 的纯属多余
15#
autumnhlf01
楼主
初学
2025-1-4 11:57:07
@StoneHuLu 项目以前就因为内存原因挂掉过,次数不多就是了
16#
sagaxu
初学
2025-1-4 11:57:22
原始数据不必存 MySQL ,可以按设备和日期存文件,可一次性分好类也可先顺序写入再择时归档。 当日数据存 redis ,一两天的量不至于大到存不下。按照时间粒度做聚合汇总,存入 MySQL 。 统一查询接口,查询条件必须带时间,由接口负责去不同的地方取数据拼装组合,如果取明细原始数据,那就读文件获取。 以上方案经过日请求 100 亿次的项目检验。 MySQL 写入性能其实也不低,高配机器每秒插入 10 万条也没啥压力,分库到 10 台就是 100 万/s 的性能。
17#
autumnhlf01
楼主
初学
2025-1-4 12:19:50
@sagaxu 我觉得你的这种方案挺不错
18#
shiny
小成
2025-1-4 13:38:19
几十秒一组也还好。真的扛不住可以先放缓存里,然后定时刷入。MySQL 批量插入的时候速度会更快点。还可以考虑优化硬件,用 IO 性能好点的磁盘。最大的问题其实是后续取数据,量非常大的时候,复杂 SQL 会很慢,之前设计的时候除了 MySQL 存一份,还会同步到类似 ClickHouse 之类的 OLAP 数据库。 而且表太大,数据库维护也麻烦,导致出现问题的时候需要很长的停机时间。
19#
Greendays
初学
2025-1-4 14:26:15
直接存数据库的压力在哪里呢?我现在也在做差不多的项目,数据是通过 MQTT 传的。
20#
dcsuibian
小成
2025-1-4 14:27:36
是数据库压力真的大还是仅仅你觉得大?
下一页 »
1
2
3
/ 3 页
下一页
浏览过的版块
程序员
技术
剧集
返回顶部