博主自主知识产权《springboot深入浅出系列课程》(16章97节文档) 已经上线,请关注

Elastic Stack-日志方案

ELK 字母哥 0评论

Elastic Stack

  • beats数据收集客户端,通常与应用部署在一起
  • logstash主要用于数据的过滤、转换,也可以用于收集数据。
  • elastic数据存储检索系统
  • kibana用于数据检索的展现层

ELK 与 Elastic Stack

   过往提及日志存储分析检索的方案通常是叫做:ELK,即Elastic 、logstash、kibana。其中logstash负责日志的收集、过滤、转换工作,但是由于logstash资源占用率较高,不适合作为日志收集的客户端与应用部署在一起,所以logstash的日志收集功能逐渐弱化。交给beats系列组件进行日志收集,beats系列组件都是go语言编写的,资源占用低,性能更好。但这不是说logstash完全失去存在的意义,只是将日志收集功能弱化,日志的过滤、转换,logstash仍然是一个好的选择。 所以四者组成了最新的方案,Elastic Stack。

架构说明

由图可以看出,beats即可以将日志数据直接发送给Elastic Search直接存储,也可以发给logstash经过过滤转换之后再存储。

Beats 是一组轻量级采集程序的统称,我们通常常用的几个如下:       

  • 1)filebeat: 进行文件和目录采集,主要用于收集日志数据。       
  • 2) metricbeat: 进行指标采集,指标可以是系统的,也可以是众多中间件产品的,主要用于监控系统和软件的性能。       
  • 3)packetbeat: 通过网络抓包、协议分析,对一些请求响应式的系统通信进行监控和数据收集,可以收集到很多常规方式无法收集到的信息。       
  • 4) Winlogbeat: 专门针对 windows 的 event log 进行的数据采集。       
  • 5) Heartbeat: 系统间连通性检测,比如 icmp, tcp, http 等系统的连通性监控。       
  • 6) 可以通过 beats 生成器来生成自己的 beats,参考:https://www.elastic.co/cn/blog/build-your-own-beat
喜欢 (1)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址