zabbix-proxy及ELK

1、添加tomcat监控模版

yum install java-1.8.0-openjdk tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp -y #在被监控节点安装tomcat包

与jmx接口通信需要使用特定的客户端，还需要在其他节点或者主节点安装一个特定的客户端组件zabbix-gateway，这里在主节点直接安装上

yum install zabbix-java-gateway -y 在主节点安装

systemctl start zabbix-java-gateway #启动服务

修改主节点配置文件，加入JavaGateway的地址端口及进程数

修改tomcat配置文件支持jmx

CATALINA_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.manageme

nt.jmxremote.port=12345 -Dcom.sun.management.jmxremote.ssh=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rm

i.server.hostname=192.168.1.197"

添加jmx主机

添加模板

2、搭建zabbix-proxy，并测试

在代理端安装zabbix-proxy包，mariadb-server存储监控数据

vim /etc/my.cnf#在proxy节点修改配置数据库文件

skip_name_resolve=ON

之后创建数据库，授权账号，导入表结构，

MariaDB [(none)]> create database zabbix character set utf8 collate utf8_bin;

Query OK, 1 row affected (0.01 sec)

MariaDB [(none)]> grant all privileges on zabbix.* to zabbix@'192.168.1.%' identified by '123456';

Query OK, 0 rows affected (0.00 sec)

zcat /usr/share/doc/zabbix-proxy-mysql-3.0.28/schema.sql.gz | mysql -uzabbix -h 192.168.1.197 -p zabbix

ServerActive=192.168.1.197 #修改agent端配置，更换server地址

Server=192.168.1.196,192.168.1.197

vim /etc/zabbix/zabbix_proxy.conf

Server=192.168.1.196

Hostname=node2

DBName=zabbix

DBUser=zabbix

DBPassword=123456

HeartbeatFrequency=60 #每60秒向主节点发送心跳

ConfigFrequency=5 #主节点每几秒过来proxy拖去配置文件

DataSenderFrequency=1#每1秒向主节点发送监控项

主节点添加proxy

创建主机，将node1，和node2自身都加入node2的proxy代理统一来监控

添加模板

3、添加redis监控模版（自动发现的方式，一台主机，多个redis端口）

1.安装Zabbix Server端与数据库

脚本内容：

# vim redis.sh

#!/bin/bash

redis_status(){

R_PORT=$1

R_COMMAND=$2

(echo -en "INFO \r\n";sleep 1;) | nc 127.0.0.1 "$R_PORT" > /usr/local/zabbix/redis_"$R_PORT".tmp

REDIS_STAT_VALUE=$(grep ""$R_COMMAND":" /usr/local/zabbix/redis_"$R_PORT".tmp | cut -d ':' -f2)

echo $REDIS_STAT_VALUE

}

help(){

echo "${0} + redis_status + PORT + COMMAND"

}

main(){

case $1 in

redis_status)

redis_status $2 $3

;;

help

;;

esac

}

main $1 $2 $3

Server端验证脚本：

# bash redis.sh redis_status 6379 connected_clients

# zabbix_get -s 192.168.15.205 -p 10050 -k "redis_status[redis_status,6379,connected_clients]"

加入自动发现

定义条件

4、搭建ELK日志收集系统

yum install java-1.8.0-openjdk-devel -y #elasticsearch用java开发，依赖于Jvm需要安装jdk组件

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.12.rpm#下载官网制作好的rpm包

ansible all -m yum -a 'name=elasticsearch-5.6.12.rpm state=installed' #同意安装包

三台主机搭建集群，全部需要安装上述elk安装包

192.168.1.195 node1

192.168.1.196 node2

192.168.1.198 node3

vim /etc/elasticsearch/elasticsearch.yml #编辑配置文件

cluster.name: myels #配置集群名称

node.name: node1 #节点名称

path.data: /els/data #存储路径

path.logs: /els/logs

network.host: 192.168.1.196 #对外通信主机名

http.port: 9200#监听端口

discovery.zen.ping.unicast.hosts: ["node1","node2", "node3"] #集群节点发现可以是ip也可以是主机名

discovery.zen.minimum_master_nodes: 1 #内部协调时的主节点，对外els没有主节点这一称呼

#修改文件属主

ansible all -m shell -a 'mkdir -p /els/{data,logs}'

ansible all -m shell -a 'chown elasticsearch:elasticsearch /els/*'

开启启动成功

9200位客户端提供服务，9300位集群内部端口

测试访问

查询节点

RESTful API:

curl -X<VERB> '<PROTOCOL>://<HOST>:<PORT>/<PATH>?<QUERY_STRING>' -d '<BODY>'

<BODY>：json格式的请求主体；

curl -XPUT http://node1:9200/myindex/students/1 -d ' #创建文档

> {"name":"GUO","age":17,"kf":"ab"}'

{"_index":"myindex","_type":"students","_id":"1","_version":1,"result":"created","_shards":{"total":2,"successful":1,"failed":0},"created":true}[root@centos7 els]#

[root@centos7 els]# curl http://node1:9200/myindex/students/1?pretty #请求数据

{

"_index" : "myindex",

"_type" : "students",

"_id" : "1",

"_version" : 1,

"found" : true,

"_source" : {

"name" : "GUO",

"age" : 17,

"kf" : "ab"

}

[root@centos7 els]#

/_search：搜索所有的索引和类型；

/INDEX_NAME/_search：搜索指定的单个索引；

/INDEX1,INDEX2/_search：搜索指定的多个索引；

/s*/_search：搜索所有以s开头的索引；

/INDEX_NAME/TYPE_NAME/_search：搜索指定的单个索引的指定类型；

Logstash组件：

简历web服务。收集web服务日志

安装jdk，下载logstash包

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.8.1.rpm #下载logstash包

yum install logstash-6.8.1.rpm #本地安装

/usr/share/logstash/bin/logstash #将服务程序文件写入path变量中

[root@node2 ~]# vim /etc/profile.d/logstash.sh

export PATH=$PATH:/usr/share/logstash/bin/

###添加配置文件，增加输入输出插件配置段，input段，output段，以及fiter段（过滤数据）

https://www.elastic.co/guide/en/logstash/5.6/index.html官方文档说明

cd /etc/logstash/con.d/

[root@node2 conf.d]# vim ss.conf #添加一个简单配置，从交互输入到json格式输出

input {

stdin {}

}

output {

stdout {

codec => rubydebug

}

需要给定配置文件路径，我这里在当前目录所以不需要给出

以上格式就可以保存至elasticsearch中

#修改配置文件从web日志中加载信息

input {

file {

path => '["/var/log/httpd/access_log"]'

start_position => "beginning"

}

ouput {

stdout {

codec => rubydebug

}

数据获取成功。接下来使用fiter字段做数据加工

使用grok插件

使用表达式匹配字段。使用系统自带的匹配模式，大写字母为变量。表示证的表达式

%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}

less /usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns/grok-patterns #logstash系统自带的表达式文件

配置示例，match能将message字段中使用某个模式将字段分段处理好

1.input { file { path => "/var/log/http.log" } } filter { grok { match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" } } }

2.input {

file {

path => ["/var/log/httpd/access_log"]

start_position => "beginning"

}

filter {

grok {

match => { "message" => "%{HTTPD_COMBINEDLOG}" }

}

output {

stdout {

codec => rubydebug

}

将message字段切分开，将结果加上一个key

filter {

grok {

match => { "message" => "%{HTTPD_COMBINEDLOG}" }

remove_field => " message"

}

加工数据字段后将message字段删除掉在grok中加入remove_field => " message"

geoip插件。GeoIP过滤器根据来自Maxmind GeoLite2数据库的数据添加有关IP地址地理位置的信息

wget https://geolite.maxmind.com/download/geoip/database/GeoLite2-City.tar.gz 下载maxmind数据库在本地，

配置示例。放在filter字段中

geoop {

source => "clientip" #需要匹配的字段

target => "geoip" #将匹配到的字段替换成这里的字段

database => "/etc/logstash/maxmind/geolite-city.mmdb" #mixmind数据库位置mmdb为特定压缩格式

}

tar xf GeoLite2-City.tar.gz

mkdir /etc/logstash/maxmind/

[root@centos7 ~]# mv GeoLite2-City_20191015/ /etc/logstash/maxmind/

[root@centos7 ~]# cd /etc/logstash/maxmind/

[root@centos7 maxmind]# ln -s GeoLite2-City_20191015/GeoLite2-City.mmdb ./

将clientip替换成geoip。并且提供时区。城市。国家等等详细信息

mutate插件：变异筛选器可让您对字段执行常规变异。您可以重命名，删除，替换和修改事件中的字段。

过滤器{ mutate { split => [ “主机名” ，“。] add_field => { “ shortHostname” => “％{hostname [0]}” } } mutate { 重命名=> [ “ shortHostname” ，“ hostname” ] } }

filter { mutate { split => ["hostname", "."] add_field => { "shortHostname" => "%{hostname[0]}" } } mutate { rename => ["shortHostname", "hostname" ] }}

elasticsearch 插件

output { #将输出从屏幕保存至elasticsearch

elasticsearch {

hosts => ["http://node1:9200","http://node2:9200"] #添加主机名

index => "logstash-%{+YYYY.MM.dd}" #添加索引信息

document_type => "httpd_access_logs"#添加类型描述

}

查看索引状态

curl node2:9200/logstash-*/_search?q=157.84.* | jq . #搜索logstash开头的索引，基于ip地址搜索

5、用filebeat收集系统日志并发送到ELK，展示出来

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.6.8-x86_64.rpm #下载安装filebeat组件。

vim filebeat.yml

- /var/log/httpd/access_log

hosts: ["192.168.1.197:5044"] #修改logstash主机地址，

修改logstash的配置文件，将输入替换为beats。端口改为5044，如果不在同一台机器也可加hosts => "IPADDR"

input {

beats {

port => 5044

}

logstash -f beatels.conf #启动logstash

启动filebeat

通过redis做消息队列服务

vim /etc/redis.conf#修改一下地址及认证口令

bind 0.0.0.0

requirepass 123456

修改filebeat文件

修改logstash入站插件为redis

input {

redis {

host => "192.168.1.197"

port => 6379

password => "centos"

db => 0

key => "filebeat"

data_type => "list"

}

在我们没启动logstash之前filebeat拿到的日志文件会存在redis中，

启动之后logstash会在redis拿去数据存放至elasticsearch中

elasticsearch的存储的数据会不断增加

数据将会被分片至其他节点

表达式判定字段

编辑filebeat配置文件。加入两个字段

fields:

log_type: access

#- c:\programdata\elasticsearch\logs\*

- paths:

- /var/log/httpd/error_log

fields:

log_type: errors

修改logstash配置文件，将错误日志和访问日志分开存放

input {

redis {

host => "192.168.1.197"

port => 6379

password => "centos"

db => 0

key => "filebeat"

data_type => "list"

}

filter {

if [fields][log_type] == "access"{

grok {

match => { "message" => "%{HTTPD_COMBINEDLOG}" }

remove_field => "message"

}

geoip {

source => "clientip"

target => "geoip"

database => "/etc/logstash/maxmind/GeoLite2-City.mmdb"

}

output {

if [fields][log_type] == "access" {

elasticsearch {

hosts => ["http://node1:9200/","http://node2:9200/","http://node3:9200"]

index => "logstash-%{+YYYY.MM.dd}"

document_type => "httpd_access_logs"

}

} else {

elasticsearch {

hosts => ["http://node1:9200/","http://node2:9200/","http://node3:9200"]

index => "logstash-%{+YYYY.MM.dd}"

document_type => "httpd_error_logs"

}

6、收集nginx，tomcat日志，php错误日志，并用kibana画出php错误日志图

wget https://artifacts.elastic.co/downloads/kibana/kibana-5.6.8-x86_64.rpm#下载安装kibana图形界面

修改配置文件里的基础信息

1 nginx 日志格式配置

[root@elk-5-10 config]# cd /usr/local/nginx/conf/

[root@elk-5-10 conf]# vi nginx.conf

log_format access '$http_host $remote_addr - $remote_user [$time_local] "$request" '

'$status $body_bytes_sent "$http_referer" '

'"$http_user_agent" $http_x_forwarded_for';

2 日志格式数据样品

2.1 访问日志：

ss00.xxxxxx.me 150.138.154.157 - - [25/Jul/2017:03:02:35 +0800] "GET /csm/7_527.html HTTP/1.1" 304 0 "http://www.twww.com/tetris/page/64000159042/?ad_id=62928537191&cid=62928889880&req_id=0" "Mozilla/5.0 (Linux; Android 6.0.1; Redmi 4X Build/MMB29M; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/55.0.2883.91 Mobile Safari/537.36" 183.204.183.118

2.2 错误日志

2017/07/25 15:23:29 [error] 24881#0: *33 open() "/usr/local/nginx-1.12.0/html/favicon.ico" failed (2: No such file or directory), client: 192.168.1.103, server: www.zyb.com, request: "GET /favicon.ico HTTP/1.1", host: "www.zyb.com"

3 logstash 配置文件

input {

file {

type => "nginx-access"

path => "/data/weixin.sys.mingyaohui.com.log"

start_position => beginning

}

file {

type => "nginx-error"

path => "/data/nginx_error.log"

start_position => beginning

}

filter {

if [type] == "nginx-access" {

grok {

match => ["message","%{IPORHOST:clientip} %{NGUSER:ident} %{NGUSER:auth}

"%{WORD:verb} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:response} (?:%{NUMBER:bytes}|-) (?:"(?:%{URI:referrer}|-)"|%{QS:referrer}) %{QS:agent} %{IPORHOST:forwordip}" ]}

}

} else if [type] == "nginx-error" {

grok {

match => [ "message" , "(?<timestamp>%{YEAR}[./-]%{MONTHNUM}[./-]%{MONTHDAY}[- ]%{TIME})

%{POSINT:pid}#%{NUMBER}: %{GREEDYDATA:errormessage}(?:, client: (?<clientip>%{IP}|%{HOSTNAME}))(?:, server: %{IPORHOST:server}?)(?:, request: %{QS:request})?(?:, upstream: (?<upstream>\"%{URI}\"|%{QS}))?(?:, host: %{QS:request_host})?(?:, referrer: \"%{URI:referrer}\")?"]

}

# add geo-location info

geoip {

source => "clientip"

}

output {

elasticsearch {

hosts => ["10.0.0.10"]

index => "%{type}-%{+YYYY.MM.dd}"

}

4 kibana分析效果图

参考资料

https://grokdebug.herokuapp.com/patterns#

https://github.com/adventure-yunfei/ELK-for-nginx-log/blob/master/logstash.conf

————————————————

原文链接：https://blog.csdn.net/zyb378747350/article/details/76084840

tomcat：

. 修改Tomcat accesslog的日志格式，我这里修改问 json 字符串

3. 配置 logstash 的 config, 输入为 tomcat accesslog 文件，输出为 redis，logstash 虽然是 java 编写，但它的这个配置文件格式，感觉是ruby的语法，由filebeat收集，logstash转换

收集php

filebeat.prospectors:

- input_type: log

paths:

- /alidata1/www/timecash22/api3/application/logs/api3/2017/*/*.php

document_type: api3_json

multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'

multiline.negate: true

multiline.match: after

- input_type: log

paths:

- /alidata1/www/timecash22/api3/application/logs/2017/*/*.php

document_type: api3_error_log

multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'

multiline.negate: true

multiline.match: after

- input_type: log

paths:

- /alidata1/www/timecash22/wx/application/logs/2017/*/*.php

document_type: wx_error_log #这是的key是什么,到redis里就是什么

multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'

multiline.negate: true

multiline.match: after

output.redis:

hosts: ["10.45.40.112"]

password: "timecash2016"

#key: "api3_json"

keys:

- key: "%{[type]}"

配置logstash配置文件

input {

redis {

host => "redis的iP"

password => "redis的密码"

port => 6379

key => "api3_json"

type => "api3_json"

data_type => "list"

}

filter {

date {

match => [ "timestamp" , "YYYY-MM-dd HH:mm:ss" ] #时间,从kibana上显示每条日志的时间

}

output {

elasticsearch {

hosts => "elasticsearch的IP"

#protocol =>"http"

index=>"api3_json_%{+YYYY.MM.dd}" #存到es里索引的名称

document_type=>"api3_json"

}

stdout{

codec => rubydebug

}

巴特西

zabbix-proxy及ELK

最新文章

热门文章