Logstash+Filebeat收集处理HaProxy访问日志

filebeat 用于日志的收集、过滤、缓存,在大规模日志抓取、分析场景中,可以大幅度提升ELK系统的日志抓取性能和配置简化。

而Logstash通常用作Broker来集中处理各种beats传输过来的日志,根据预设的日志类型做相应的处理,例如增加字段、配置geoip等,并将处理后的数据传输到Elasticsearch,集中的logstash能够极大程度减少配置复杂度,任何的配置更改只需要改这集中的logstash就可以了。

本文将使用这样的模式来配置处理haproxy默认的访问日志,haproxy服务器安装filebeat 用于收集日志并传输到Logstash。

1、配置Logstash

[……]阅读全文

Continue reading

ELK Stack收集处理Tomcat Access日志

文章首发站点OpensGalaxy

首先,接上文http://opensgalaxy.com/2016/08/26/elk-stack-%E4%BB%8B%E7%BB%8D/我下载的logstash-all-plugins-2.3.4.tar.gz包,直接解压使用。本文我是用logstash作为shipper,但实际运维场景中会使用Beats作为shipper,例如:filebeat,而logstash则作为Broker and Indexer使用,方便统一配置处理接收到的日志信息。

1、定义tomcat日志格式

[root@server25 patterns]# cat /usr/lo

[……]阅读全文

Continue reading

ELK Stack 介绍

文章首发站点: OpensGalaxy.com

ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合,三者通常是配合共用,而且又都先后归于 Elastic.co 公司名下,故有此简称,官方网站 https://www.elastic.co

ELK Stack 在最近两年迅速崛起,成为机器数据分析,或者说实时日志处理领域,开源界的第一选择。和传统的日志处理方案相比,ELK Stack 具有如下几个优点:

  • 处理方式灵活。Elasticsearch 是实时全文索引,不需要像 storm 那样预先编程才能使用;
  • 配置简

[……]阅读全文

Continue reading