整体流程

filebeat收集openresty应用日志传输到Redis集群中
Logstash从Redis集群中拉取数据，并传输到Elasticsearch集群
使用Kibana可视化索引
使用Elasticsearch-head管理lasticsearch集群

注：Logstash不支持集群模式

环境

均为CentOS 7.4 x64系统

openresty 192.168.0.10 1.15.8版本

filebeat 192.168.0.10 7.3.0版本

Redis集群 192.168.0.11 6381-6386端口(暂采用伪集群的方式) 5.0.5版本

Logstash 192.168.0.12 7.3.0版本

Elasticsearch集群 192.168.0.13-15 7.3.0版本

Kibana 192.168.0.16 7.3.0版本

Elasticsearch-head 192.168.0.17

软件下载地址

filebeat|Logstash|Elasticsearch|Kibana：https://www.elastic.co/cn/downloads/past-releases#elasticsearch

Elasticsearch-head：https://github.com/mobz/elasticsearch-head

Redis：https://redis.io/download

Redis集群开启外部访问，设置访问密码，防火墙放行端口

配置

filebeat配置

安装

软件采用通过下载rpm包的方式进行安装

rpm -ivh filebeat-7.3.0-x86_64.rpm

systemctl daemon-reload

systemctl enable filebeat.service

systemctl start filebeat.service

修改filebeat.yml配置文件

openresty日志文件路径：

access:/usr/local/openresty/nginx/logs/host.access.log

error：/usr/local/openresty/nginx/logs/error.log

文件路径：/etc/filebeat/filebeat.yml

注销其他的output输出

filebeat.inputs:

- type: log

  enabled: true

  paths:

    - /usr/local/openresty/nginx/logs/host.access.log

  fields:

    log_source: access

- type: log

  enabled: true

  paths:

    - /usr/local/openresty/nginx/logs/error.log

  fields:

    log_source: error

output.redis:

  hosts: ["192.168.0.11:6381","192.168.0.11:6382","192.168.0.11:6383","192.168.0.11:6384","192.168.0.11:6385","192.168.0.11:6386"]

  password: foobar2000

  db: 0

  key: "log_list"

还有一些其他的优化参数，后期需要再添加

测试

重启filebeat后,使用浏览器访问网址，确保先生成的有access和error日志，然后在Redis集群的第0库查看

会发现有一个key是log_list，值是list的数据，里面一行一行的数据就是收集过来的日志，这些日志加的有一些元数据

具体可以查看本博客的另一篇文章《使用filebeat收集日志传输到redis的各种效果展示》，这里面有详细的讲解。

Logstash配置

安装

配置java环境

cd /usr/local/src

tar -zxv -f openjdk-12_linux-x64_bin.tar.gz  -C /usr/local/

vim /etc/profile.d/java.sh

export JAVA_HOME=/usr/local/jdk-12

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile.d/java.sh

安装logstash

软件采用通过下载rpm包的方式进行安装

rpm -ivh logstash-7.3.0.rpm

systemctl daemon-reload

systemctl enable logstash.service

systemctl start logstash.service

修改启动文件，确保能找到java环境变量

文件路径：/usr/share/logstash/bin/logstash.lib.sh

在行首加入如下信息

export JAVA_HOME=/usr/local/jdk-12

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

msg.conf配置文件修改

logstash默认的配置文件时在/etc/logstash/conf.d/目录下创建以conf结尾的文件，本例中创建的是msg.conf

文件路径：/etc/logstash/conf.d/msg.conf

该文件内容如下

input {

  redis {

  	# 若报错该redis不能访问,则不使用Redis集群,只使用一台redis,需要修改filebeat.yml文件

    host => "192.168.0.11"

    port => 6381

    password => foobar2000

    data_type => "list"

    key => "log_list"

    db => 0

  }

}

output {

  # 根据filebeat.yml中设置的不同日志来源进行区分，从而创建不同的索引

  if [fields][log_source] == 'access' {

    elasticsearch {

      hosts => ["http://192.168.0.13:9200","http://192.168.0.14:9200","http://192.168.0.15:9200"]

      index => "filebeat-access-%{+YYYY.MM.dd}"

      id => "access_id"

    }

  } 

  if [fields][log_source] == 'error' {

    elasticsearch {

      hosts => ["http://192.168.0.13:9200","http://192.168.0.14:9200","http://192.168.0.15:9200"]

      index => "filebeat-error-%{+YYYY.MM.dd}"

      id => "error_id"

    }

  }

}

测试

查看redis的key值对应的list数据还有没,没有的话说明已经把日志传输给logstash了。

Elasticsearch集群配置

安装

详细参考本博客另一篇文章《ElasticSearch集群》

elasticsearch.yml配置文件修改

文件路径：/etc/elasticsearch/elasticsearch.yml

详细参考本博客另一篇文章《ElasticSearch集群》

测试

详细参考本博客另一篇文章《ElasticSearch集群》

Elasticsearch-head配置

yum -y install epel-release

yum -y install git npm

git clone git://github.com/mobz/elasticsearch-head.git

cd elasticsearch-head

npm install

npm run start

启动后会占用当前窗口，改用脚本启动方式

在当前目录下创建一个start.sh文件

#!/bin/bash

nohup npm run start > /tmp/head.log 2>&1 &

默认访问地址是http://localhost:9100

这时可以通过使用nginx代理的方式进行访问

可以配置一个域名，同时设置一个nginx网站访问密码，具体参考本博客的另一篇文章《nginx配置访问密码，输入用户名和密码才能访问》

location /head {

    proxy_pass  http://127.0.0.1:9100;

    #Proxy Settings

    proxy_redirect     off;

    proxy_set_header   Host             $host;

    proxy_set_header   X-Real-IP        $remote_addr;

    proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;

    proxy_max_temp_file_size 0;

    proxy_connect_timeout      90;

    proxy_send_timeout         90;

    proxy_read_timeout         90;

    proxy_buffer_size          4k;

    proxy_buffers              4 32k;

    proxy_busy_buffers_size    64k;

    proxy_temp_file_write_size 64k;

}

修改elasticsearch.yml配置文件,开启跨域访问

在每个集群节点的elasticsearch.yml配置文件末尾加上如下两行数据

http.cors.enabled: true

http.cors.allow-origin: "*"

Kibana配置

安装

软件采用通过下载rpm包的方式进行安装

rpm -Uvh kibana-7.3.0-x86_64.rpm

systemctl daemon-reload

systemctl enable kibana.service

systemctl start kibana.service

kibana.yml配置文件修改

文件路径：/etc/kibana/kibana.yml

这个也采用nginx代理的方式进行访问，同时设置nginx的web访问密码

具体参考本博客的另一篇文章《nginx配置访问密码，输入用户名和密码才能访问》

后期可以结合X-pack插件进行用户角色和权限管理等功能

server.port: 5601

server.host: "127.0.0.1"

server.basePath: "/kibana"  # 跟nginx那个路径对应，否则无法加载静态资源

elasticsearch.hosts: ["http://192.168.0.13:9200","http://192.168.0.14:9200","http://192.168.0.15:9200"]

i18n.locale: "zh-CN"

nginx配置文件内容

location /kibana/ {

	proxy_pass http://127.0.0.1:5601;

	proxy_redirect off;

	proxy_set_header Host $host;

	proxy_set_header X-Real-IP $remote_addr;

	proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

	rewrite ^/kibana/(.*)$ /$1 break;

}

使用http://ip/kibana进行访问,查看索引信息等

或者采用另一种配置

nginx配置文件

server {

    listen 80;

    server_name xxx.xxx.com;

    root   /usr/share/nginx/html;

    expires -1;

    client_max_body_size    10m;

    location / {

        proxy_http_version 1.1;

        proxy_cache_bypass $http_upgrade;

        proxy_set_header Host $host;

        proxy_set_header X-Real-IP $remote_addr;

        proxy_set_header X-Real-Port $remote_port;

        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        proxy_set_header Upgrade $http_upgrade;

        proxy_set_header Connection "upgrade";

        proxy_pass  http://172.17.107.187:5600;

    }

}

kibana.yml配置文件

server.port: 5601

server.host: "127.0.0.1"

elasticsearch.hosts: ["http://192.168.0.13:9200","http://192.168.0.14:9200","http://192.168.0.15:9200"]

i18n.locale: "zh-CN"

访问的话直接使用域名的方式，不加后缀kibana

注意这两种不同方式的配置

测试

打开浏览器进行访问，查看索引，日志文件等

后期扩展

各软件之间的数据传输采用加密的方式进行
结合X-pack给kibana的访问设置用户角色和权限控制等
filebeat模块的功能还有待研究
其他beats产品有待研究
kibana的web界面使用还有待研究
读取MySQL数据库数据到Elasticsearch功能还有待研究
在Logstash中过滤数据还有待研究
其他未了解的也都待研究

巴特西

filebeat->redis->logstash->elasticsearch->kibana

整体流程

环境

配置

filebeat配置

安装

修改filebeat.yml配置文件

测试

Logstash配置

安装

msg.conf配置文件修改

测试

Elasticsearch集群配置

安装

elasticsearch.yml配置文件修改

测试

Elasticsearch-head配置

Kibana配置

安装

kibana.yml配置文件修改

测试

后期扩展

最新文章

热门文章