Logstash+Filebeat收集处理HaProxy访问日志

filebeat 用于日志的收集、过滤、缓存,在大规模日志抓取、分析场景中,可以大幅度提升ELK系统的日志抓取性能和配置简化。

而Logstash通常用作Broker来集中处理各种beats传输过来的日志,根据预设的日志类型做相应的处理,例如增加字段、配置geoip等,并将处理后的数据传输到Elasticsearch,集中的logstash能够极大程度减少配置复杂度,任何的配置更改只需要改这集中的logstash就可以了。

本文将使用这样的模式来配置处理haproxy默认的访问日志,haproxy服务器安装filebeat 用于收集日志并传输到Logstash。

1、配置Logstash

[……]阅读全文

Continue reading

HaProxy日志详解

文章首发站点:OpensGalaxy.com

本文参考自官方文档:http://cbonte.github.io/haproxy-dconv/1.5/configuration.html logging 部分,本文着重介绍haproxy日志格式、自定义日志格式和捕捉自定义http headers,更多详细内容请详读文档。

Log levels 日志级别

global 全局参数,如果实例上没设置参数,仅有log global那么每个实例都会使用该参数。
log global
log <address> [len <length>] <facil

[……]阅读全文

Continue reading

关于HaProxy更改PID LOCK文件路径导致haproxy.init不可用问题处理

文章首发站点:OpensGalaxy.com

最近更新了haproxy版本到了1.6.9,也是最新的稳定版本。在部署时我更改了pid和lock文件的默认存储路径,在使用1.6.9自带的haproxy.init 控制服务启停时,出现了问题。

haproxy 安装简述

下载 haproxy http://www.haproxy.org/download/1.6/src/haproxy-1.6.9.tar.gz

cd /root/
tar -zxvf haproxy-1.6.9.tar.gz
make TARGET=linux26
make install

haproxy执行程序默认[……]阅读全文

Continue reading

ELK Stack收集处理Tomcat Access日志

文章首发站点OpensGalaxy

首先,接上文http://opensgalaxy.com/2016/08/26/elk-stack-%E4%BB%8B%E7%BB%8D/我下载的logstash-all-plugins-2.3.4.tar.gz包,直接解压使用。本文我是用logstash作为shipper,但实际运维场景中会使用Beats作为shipper,例如:filebeat,而logstash则作为Broker and Indexer使用,方便统一配置处理接收到的日志信息。

1、定义tomcat日志格式

[root@server25 patterns]# cat /usr/lo

[……]阅读全文

Continue reading

HaProxy日志分割

文章首发站点:OpensGalaxy.com

默认情况下,Haproxy日志文件不会按天或按大小的分割日志,会将所有日志输出到一个haproxy.log文件中,这样随着时间的推移,这个文件会越来越大,非常不利于日志的管理和归档,本文将介绍通过logrotate工具对haproxy日志进行分割。

1、安装

如果没有安装logrotate、crontab的请先安装,大部分情况下默认系统已经安装了。
在Debian或Ubuntu上:

apt-get install logrotate cron 

在Fedora,CentOS或RHEL上:

yum install logrotate c

[……]阅读全文

Continue reading

ELK Stack 介绍

文章首发站点: OpensGalaxy.com

ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合,三者通常是配合共用,而且又都先后归于 Elastic.co 公司名下,故有此简称,官方网站 https://www.elastic.co

ELK Stack 在最近两年迅速崛起,成为机器数据分析,或者说实时日志处理领域,开源界的第一选择。和传统的日志处理方案相比,ELK Stack 具有如下几个优点:

  • 处理方式灵活。Elasticsearch 是实时全文索引,不需要像 storm 那样预先编程才能使用;
  • 配置简

[……]阅读全文

Continue reading

关于ssh密钥登录失败

文章首发站点:OpensGalaxy.com

今天我在设置ssh密钥登录的时候,发现这个奇怪的情况,我将我的id_rsa.pub密钥内容拷贝到远程linux主机的A用户的.ssh下的authorized_keys(这个文件我手动建立的)下,但是再次登录时,发现还需要输入密码,额?这不科学!然后我查看了一下远程linux主机的sshd日志 /var/log/secure 发现了如下日志输出内容:

Authentication refused: bad ownership or modes for file /home/sysadmin/.ssh/authorized_keys

意思是我的[……]阅读全文

Continue reading

Zabbix HAProxy Template

文章首发站点:OpensGalaxy

这是一个HAProxy的zabbix监控模板,HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy本身提供一个web页面可以显示haproxy的各种信息,方便管理员查看系统状态等。此次我采用socat(socat是netcat的扩展实现)这款开源软件通过haproxy的socks配合zabbix实现haproxy系统的状态监控。

一、安装socat

[root@haproxy01 ~]# wget http://www.dest-unreach.org/socat/

[……]阅读全文

Continue reading

Python Call Zabbix API to Get Hosts

文章首发站点:OpensGalaxy.com

书接上回,上一篇文章介绍了如何通过Zabbix api中的host.create方法来创建主机,并通过for循环可以实现批量创建主机。

本篇文章讲介绍如何通过host.get、hostgroup.get、hostinterface.get等方法组合起来加上一点点处理,生成上篇文章所需要的批量主机的字典格式,一气呵成的批量导出和创建主机。

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import json
import re
import urllib2
from zabbix_createhost

[……]阅读全文

Continue reading

Python Call Zabbix API to Create Hosts

文章首发站点:OpensGalaxy.com

这是一个根据zabbix api中host.create方法来批量创建host的python程序,比较基础,大家可以举一反三,zabbix api都可以使用这样的方法来调用。

参考官方文档地址:https://www.zabbix.com/documentation/3.0/manual/api

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import json
import urllib2
# Zabbix Api url
url = "http://test.zabbix.com/zabbi

[……]阅读全文

Continue reading