博主自主知识产权《springboot深入浅出系列课程》(16章97节文档免费) 已经上线,请关注

配置ELK技术栈来分析apache tomcat日志

ELK 字母哥 4150℃ 0评论
  • 原作者使用9201端口,官方默认是9200,我做了修改
  • 原作者默认你已经安装了apache tomcat
  • 译者博客:http://www.zimug.com

翻译,原文地址:https://aggarwalarpit.wordpress.com/2015/12/03/configuring-elk-stack-to-analyse-apache-tomcat-logs/

配置ELK技术栈来分析apache tomcat日志

Posted on December 3, 2015 by Arpit Aggarwal

在这篇文章,我将安装ElasticSearch, Logstash and Kibana分析Apache Tomcat服务日志。在安装之前,对各个组件做个简介!

  • ElasticSearch
    有强大的搜索功能的无模式数据库,可以简单的很想扩展,索引每一个字段,可以聚合分组数据。
  • Logstash
    用Ruby编写的,我们可以使用管道输入和输出数据到任何位置。一个可以抓取,转换,存储事件到ElasticSearch的ETL管道。打包版本在JRuby上运行,并使用几十个线程进行并行的数据处理,利用了JVM的线程功能。
  • Kibana
    基于web的数据分析,为ElasticSearch仪表板的工具。充分利用ElasticSearch的搜索功能,以秒为单位可视化数据。支持Lucene的查询字符串的语法和Elasticsearch的过滤功能。

下面,我将开始分别安装技术栈中的每一个组件,下面是步骤:

步骤 1:

下载并解压 ElasticSearch .tar.gz 到一个目录下, 我下载的是 elasticsearch-2.1.0.tar.gz 并且以elasticsearch为文件名解压到/Users/ArpitAggarwal/目录下面

步骤 2:

在bin目录下以./elasticsearch启动elasticsearch服务,如下:


$ cd /Users/ArpitAggarwal/elasticsearch/elasticsearch-2.1.0/bin $ ./elasticsearch

上面的命令启动的elasticsearch可以通过 http://localhost:9200/ 访问,默认的索引访问地址 http://localhost:9200/_cat/indices?v

如果删除索引(所有),通过如下命令行:


curl -XDELETE 'http://localhost:9200/*/'

步骤 3:

下面,我们安装配置kibana,指向我们的ElasticSearch实例,同样需要下载并解压.tar.gz到目录下,我的是kibana-4.3.0-darwin-x64.tar.gz,以kibana为文件名解压到/Users/ArpitAggarwal/

步骤 4:

修改/Users/ArpitAggarwal/kibana/kibana-4.3.0-darwin-x64/config/kibana.yml配置,指向本地的ElasticSearch实例,替换elasticsearch.url的值为http://localhost:9200

步骤 5:

通过bin目录下的./kibana启动kibana,如下:


$ cd /Users/ArpitAggarwal/kibana/kibana-4.3.0-darwin-x64/bin $ ./kibana

可以通过 http://localhost:5601/ 访问kibana

步骤 6:

下面,我们安装配置Nginx,指向我们的Kibana实例。同样需要下载并解压.tar.gz到目录下,我的是nginx-1.9.6.tar.gz,以nginx为文件名解压到/Users/ArpitAggarwal/,命令如下:


$ cd nginx-1.9.6 $ ./configure $ make $ make install

默认情况下,Nginx将被安装到/usr/local/nginx,但是Nginx提供了指定目录安装的方法,使用–prefix选项。如下:


./configure --prefix=/Users/ArpitAggarwal/nginx

Next, open the nginx configuration file at /Users/ArpitAggarwal/nginx/conf/nginx.conf and replace location block under server with below content:
下面,我们打开配置文件/Users/ArpitAggarwal/nginx/conf/nginx.conf,然后替换location段中的配置,内容如下:


location / { # 指向kiban本地实例 proxy_pass http://localhost:5601; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection 'upgrade'; proxy_set_header Host $host; proxy_cache_bypass $http_upgrade; }

步骤 7:

启动 Nginx, 如下:


cd /Users/ArpitAggarwal/nginx/sbin ./nginx

可以通过 http://localhost 访问nginx

步骤 8:

下面,我们安装Logstash,执行如下命令:


ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" < /dev/null 2> /dev/null brew install logstash

上面的命令安装 Logstash 到 /usr/local/opt/。(译者注:此安装方法较特殊,建议参考官网方法)

步骤 9:

我们需要让Logstash将数据从tomcat server日志目录送到ElasticSearch。创建一个目录,我们将创建logstash配置文件,我将它放到/Users/ArpitAggarwal/下,如下:


cd /Users/ArpitAggarwal/ mkdir logstash patterns cd logstash touch logstash.conf cd ../patterns touch grok-patterns.txt

将如下内容复制到:logstash.conf:


input { file { path => "/Users/ArpitAggarwal/tomcat/logs/*.log*" start_position => beginning type=> "my_log" } } filter { multiline { patterns_dir => "/Users/ArpitAggarwal/logstash/patterns" pattern => "\[%{TOMCAT_DATESTAMP}" what => "previous" } if [type] == "my_log" and "com.test.controller.log.LogController" in [message] { mutate { add_tag => [ "MY_LOG" ] } if "_grokparsefailure" in [tags] { drop { } } date { match => [ "timestamp", "UNIX_MS" ] target => "@timestamp" } } else { drop { } } } output { stdout { codec => rubydebug } if [type] == "my_log" { elasticsearch { manage_template => false host => localhost protocol => http port => "9201" } } }

下面,将https://github.com/elastic/logstash/blob/v1.2.2/patterns/grok-patterns的内容复制到
patterns/grok-patterns.txt

步骤10:

使用如下命令,检查logstash的配置


$ cd /usr/local/opt/ $ logstash -f /Users/ArpitAggarwal/logstash/logstash.conf --configtest --verbose —debug

步骤 11:

启动Logstash,使数据送到ElasticSearch


$ cd /usr/local/opt/ $ logstash -f /Users/ArpitAggarwal/logstash/logstash.conf

转载请注明:字母哥博客 » 配置ELK技术栈来分析apache tomcat日志

喜欢 (2)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(1)个小伙伴在吐槽
  1. 你/Users/ArpitAggarwal/logstash/patterns这个文件从哪儿来的?安装logstash之后就有的吗?
    永远十八岁2019-04-08 11:48 回复