最近要给公司搭建日志查询系统。几点疑问请教各位。
1. 日志查询系统里的数据一般**存放多久**的日志?我们的日志有原始备份在 s3 上,查询系统上的数据是不是就可以定期删除掉了?
2. Loki 动态标签问题。Loki 不推荐**动态标签**,其理由是影响性能、增加索引体积。但是我怎么感觉少了动态标签,查询就很鸡肋。下面是我的想法,不知道符不符合实践经验,望指正!想法:
a. 分布式系统,少不了要用 reqeustId 去链接起一个请求经过不同服务产生的日志。
b. 不同的子业务,会有不同重要的数据 ID 。比如,一个订单系统的请求,打印出来的每一条日志,至少都要带上订单 ID 吧?这类数据 ID 也是动态标签。
c. 如果这些动态数据都不用 labels ,而是用正则匹配 log 内容查询。个人直觉告诉我,这个有点鸡肋。
3. 如果用 Loki 索引动态标签。数据量大的时候,性能会不会比 ES 拉跨?
两个种服务都在本地实验性的搭建起来过。
Kibana 确实感觉有点吃性能,web 页面还偶尔会有点卡卡的,功能很多眼花缭乱(不过这个可以选择使用,逐步深入),但是查询的功能确实更强大。
Loki 真的很轻量就是不知道这动态标签用起来之后,会不会卡。不过查询真的差点意思。
相关文章:
[V2: 最近我安装了 Loki + Promtail + Grafana ,感觉这一组合可以取代 Elasticsearch + Logstash]( https://www.fshex.com/t/814812)
[V2: Grafana Loki 开源日志聚合系统代替 ELK 或 EFK]( https://cn.fshex.com/t/721266)
[掘金:Loki 最佳实践(译)]( https://juejin.cn/post/6878188974645444621) |
|