ELK 日志学习

一.Elasticsearch 安装(所有的版本均使用5.5.0 ，且版需要相同 logstash \ kibana \ filebeat )

官网下载地址：https://www.elastic.co/cn/

（下载Linux版），上传到本地虚拟机服务器，tar -zxvf 解压，运行

遇到的问题1 ：不允许 root 用户启动

解决：

adduser  test

passwd   test

chown -R  test  文件根目录

遇到的问题2：

　　max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
　　max number of threads [1024] for user [lishang] likely too low, increase to at least [2048]
　　解决：（切记，添加完退出登陆，再登陆，否则不会生效）

vim    /etc/security/limits.conf

添加如下内容：

*     soft     nofile     

*     hard     nofile     

*     soft     nproc     

*     hard     nproc

遇到的问题3：

　　max number of threads [1024] for user [lish] likely too low, increase to at least [2048]

　　解决：

vim     /etc/security/limits.d/-nproc.conf

修改或者添加下：

*     soft     nproc

遇到的问题4：

max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

　　解决：

vim     /etc/sysctl.conf

添加

vm.max_map_count=

退出执行

sysctl -p

遇到的问题5：

再虚拟机中 127.0.0.1：9200 成功，外部：虚拟机 ip:9200 失败

　　解决：

在conf 文件下添加：
net.host: 虚拟机IP

最后：在主机

在虚拟机：

二、安装 kibana （数据展示）

在elasticsearch.org 官网有一系列的软件可以下载，下载5.5.0版本的 kibana

解压同elasticsrarch 上

修改配置：/kibana/config/kibana.yml

server.host："0.0.0.0"

elasticsearch.url : "http://localhost:9200"

启动 kibana

./bin/kibana

浏览器访问：服务器ip：5601

三、logstash 安装启动

下载解压同上，配置区别较大

1.在logstash 根目录下建立 logstash.conf 目录，内容包括如下

input {

        beats{

                port =>

        }

}

filter{

}

output {

        elasticsearch{

                hosts => ["172.18.100.78:9200"]

                index => "tomcat_ctmpweb_%{+YYYY.MM.dd}"

        }

        stdout{

                codec =>rubydebug

        }

}

~

其中 input 为输入数据端，此处设置数据来源为 filebeat 搜集，稍后配置

输出数据为 elasticsearch

启动 logstash

 bin/logstash -f nginx_logs.conf

四、安装启动 filebeat

下载，解压，配置 filebeat.yml

1.配置日志文件读取路径

2.（默认输出到elasticsearch ）,注释掉elasticsearch,开放 logstash

3.启动 filebeat

./filebeat -e -c filebeat.yml -d "publish"

五、分析日志

在监听的日志文件中加入new.log ,当有新的日志加入，会及时分析如下

若想要重新开始扫描日志，删掉filebeat 目录下data目录中的数据，则filebeat 会重新扫描

巴特西