ELK7.3实战安装配置文档

整体架构

一：环境准备　

　　1、环境规划准备

 192.168.43.16 jdk，elasticsearch-master ，logstash，kibana　　

 192.168.43.17 jdk，elasticsearch-node1　　

 192.168.43.18 jdk，elasticsearch-node2　　

 192.168.43.19 liunx ，filebeat

　　2、安装JDK

　　elasticseach以及logstash的运行都需要jdk环境，在三台机器上分别安装jdk-12.0.2 　　

　　下载地址:https://download.oracle.com/otn-pub/java/jdk/12.0.2+10/e482c34c86bd4bf8b56c0b35558996b9/jdk-12.0.2_linux-x64_bin.tar.gz

 #解压

 tar -zxvf jdk-12.0.2_linux-x64_bin.tar.gz -C /usr/

 #设置环境变量

 vim /etc/profile

 export JAVA_HOME=/usr/jdk-12.0.2/

 export JRE_HOME=$JAVA_HOME/jre

 export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

 export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

 #使环境变量生效

 source /etc/profile

　　3、操作系统调优设置

 # 修改系统文件

 vim /etc/security/limits.conf

 #增加的内容

 * soft nofile 65536

 * hard nofile 65536

 * soft nproc 2048

 * hard nproc 4096

 #修改系统文件

 vim /etc/security/limits.d/20-nproc.conf

 #调整成以下配置

 *          soft    nproc     4096

 root       soft    nproc     unlimited

 vim /etc/sysctl.conf

 #在最后追加

 vm.max_map_count=262144

 fs.file-max=655360

 #使用 sysctl -p 查看修改结果

 sysctl -p

　　4、配置hosts

 vim /etc/hosts

 192.168.43.16 elk-master-node

 192.168.43.17 elk-data-node1

 192.168.43.18 elk-data-node2

　　5、关闭防火墙以及SELINUX

 sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

 setenforce 0

 systemctl stop firewalld

 systemctl disable firewalld

　　6、创建elk用户

 groupadd elk

 useradd ‐g elk elk

　　7、安装目录规划

 mkdir -p /home/app/elk

 chown -R elk:elk /home/app/elk

　　8、下载软件包(elaticsearch-node上只安装elaticsearch)

　　　　将压缩包全部解压至/home/app/elk目录

 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.3.2-linux-x86_64.tar.gz

 wget https://artifacts.elastic.co/downloads/logstash/logstash-7.3.2.tar.gz

 wget https://artifacts.elastic.co/downloads/kibana/kibana-7.3.2-linux-x86_64.tar.gz

 tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz -C /home/app/elk && \

 tar -zxvf logstash-7.3.2.tar.gz  -C /home/app/elk && \

 tar -zxvf kibana-7.3.2-linux-x86_64.tar.gz -C /home/app/elk

二、安装elasticsearch

　　1、配置elasticsearch（切换至elk用户）

　　创建Elasticsearch数据目录 mkdir /home/app/elk/elasticsearch-7.3.2/data -p

　　创建Elasticsearch日志目录 mkdir /home/app/elk/elasticsearch-7.3.2/logs -p

　　主节点配置：vim /home/app/elk/elasticsearch-7.3.2/config/elasticsearch.yml

 # 集群名称

 cluster.name: es

 # 节点名称

 node.name: es-master

 # 存放数据目录,先创建该目录

 path.data: /home/app/elk/elasticsearch-7.3.2/data

 # 存放日志目录,先创建该目录

 path.logs: /home/app/elk/elasticsearch-7.3.2/logs

 # 节点IP

 network.host: 192.168.43.16

 # tcp端口

 transport.tcp.port: 9300

 # http端口

 http.port: 9200

 # 种子节点列表，主节点的IP地址必须在seed_hosts中

 discovery.seed_hosts: ["192.168.43.16:9300","192.168.43.17:9300","192.168.43.18:9300"]

 # 主合格节点列表，若有多个主节点，则主节点进行对应的配置

 cluster.initial_master_nodes: ["192.168.43.16:9300"]

 # 主节点相关配置

 # 是否允许作为主节点

 node.master: true

 # 是否保存数据

 node.data: true

 node.ingest: false

 node.ml: false

 cluster.remote.connect: false

 # 跨域

 http.cors.enabled: true

 http.cors.allow-origin: "*"

　　192.168.43.17数据节点从配置：vim /home/app/elk/elasticsearch-7.3.2/config/elasticsearch.yml

 # 集群名称

 cluster.name: es

 # 节点名称

 node.name: es-data1

 # 存放数据目录,先创建该目录

 path.data: /home/app/elk/elasticsearch-7.3.2/data

 # 存放日志目录,先创建该目录

 path.logs: /home/app/elk/elasticsearch-7.3.2/logs

 # 节点IP

 network.host: 192.168.43.17

 # tcp端口

 transport.tcp.port: 9300

 # http端口

 http.port: 9200

 # 种子节点列表，主节点的IP地址必须在seed_hosts中

 discovery.seed_hosts: ["192.168.43.16:9300","192.168.43.17:9300","192.168.43.18:9300"]

 # 主合格节点列表，若有多个主节点，则主节点进行对应的配置

 cluster.initial_master_nodes: ["192.168.43.16:9300"]

 # 主节点相关配置

 # 是否允许作为主节点

 node.master: false

 # 是否保存数据

 node.data: true

 node.ingest: false

 node.ml: false

 cluster.remote.connect: false

 # 跨域

 http.cors.enabled: true

 http.cors.allow-origin: "*"

192.168.43.18数据节点从配置：vim /home/app/elk/elasticsearch-7.3.2/config/elasticsearch.yml

 # 集群名称

 cluster.name: es

 # 节点名称

 node.name: es-data2

 # 存放数据目录,先创建该目录

 path.data: /home/app/elk/elasticsearch-7.3.2/data

 # 存放日志目录,先创建该目录

 path.logs: /home/app/elk/elasticsearch-7.3.2/logs

 # 节点IP

 network.host: 192.168.43.18

 # tcp端口

 transport.tcp.port: 9300

 # http端口

 http.port: 9200

 # 种子节点列表，主节点的IP地址必须在seed_hosts中

 discovery.seed_hosts: ["192.168.43.16:9300","192.168.43.17:9300","192.168.43.18:9300"]

 # 主合格节点列表，若有多个主节点，则主节点进行对应的配置

 cluster.initial_master_nodes: ["192.168.43.16:9300"]

 # 主节点相关配置

 # 是否允许作为主节点

 node.master: false

 # 是否保存数据

 node.data: true

 node.ingest: false

 node.ml: false

 cluster.remote.connect: false

 # 跨域

 http.cors.enabled: true

 http.cors.allow-origin: "*"

　　2、启动elasticserach

sh /home/app/elk/elasticsearch-7.3.2/bin/elasticsearch -d

　　3、监控检查

 curl -X GET 'http://192.168.43.16:9200/_cluster/health?pretty'

 [root@localhost elk]# curl -X GET 'http://192.168.43.16:9200/_cluster/health?pretty'

 {

   "cluster_name" : "es",

   "status" : "green",

   "timed_out" : false,

   "number_of_nodes" : 3,

   "number_of_data_nodes" : 3,

   "active_primary_shards" : 5,

   "active_shards" : 10,

   "relocating_shards" : 0,

   "initializing_shards" : 0,

   "unassigned_shards" : 0,

   "delayed_unassigned_shards" : 0,

   "number_of_pending_tasks" : 0,

   "number_of_in_flight_fetch" : 0,

   "task_max_waiting_in_queue_millis" : 0,

   "active_shards_percent_as_number" : 100.0

 }

 #status=green表示服务正常

三、安装kibana

　　1、修改配置文件

 cd /home/app/elk/kibana-7.3.2-linux-x86_64/config

 vim kibana.yml

 # 配置kibana的端口

 server.port: 5601

 # 配置监听ip

 server.host: "192.168.43.16"

 # 配置es服务器的ip，如果是集群则配置该集群中主节点的ip

 elasticsearch.hosts: "http://192.168.43.16:9200/"

 # 配置kibana的日志文件路径，不然默认是messages里记录日志

 logging.dest:/home/app/elk/kibana-7.3.2-linux-x86_64/logs/kibana.log

　　2、启动kibana

 nohup /home/app/elk/kibana-7.3.2-linux-x86_64/bin/kibana &

三、安装filebeat(192.168.43.19上事先跑了jumpserver服务)

　　本次实验我们在192.168.43.19上安装filebeat单独对nginx的访问日志和错误日志进行采集，网上有关于发送json格式的配置，在此为了练习grok，直接发送原格式进行配置

　　1、下载filebeat

 wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.3.2-linux-x86_64.tar.gz

 mkdir -p /opt/software

 tar -zxvf filebeat-7.3.2-linux-x86_64.tar.gz -C /opt/software

　　2、配置filebeat.yml

 vim /opt/software/filebeat-7.3.2/filebeat.yml

 #=========================== Filebeat inputs =============================

 filebeat.inputs:

 - type: log

   paths:

    - /var/log/nginx/access.log

   fields:

    log_source: nginx-access

 - type: log

   paths:

    - /var/log/nginx/error.log

   fields:

    log_source: nginx-error

 #============================== Dashboards =====================================

 setup.dashboards.enabled: false

 #============================== Kibana =====================================

 #添加libana仪表盘

 setup.kibana:

   host: "192.168.43.16:5601"

 #----------------------------- Logstash output --------------------------------

 output.logstash:

   # The Logstash hosts

   hosts: ["192.168.43.16:5044"]

　　3、启动filebeat

 cd /opt/software/filebeat-7.3.2

 nohup ./filebeat -c filebeat.yml &

四、安装logstash

　　1、创建logstash.conf文件

 vim /home/app/elk/logstash-7.3.2/config/logstash.conf

 input {

   beats {

     port => 5044

   }

 }

 filter {

   if [fields][log_source]=="nginx-access"{

     grok {

       match => {

         "message" => '%{IP:clientip}\s*%{DATA}\s*%{DATA}\s*\[%{HTTPDATE:requesttime}\]\s*"%{WORD:requesttype}.*?"\s*%{NUMBER:status:int}\s*%{NUMBER:bytes_read:int}\s*"%{DATA:requesturl}"\s*%{QS:ua}'

      }

       overwrite => ["message"]

     }

   }

   if [fields][log_source]=="nginx-error"{

     grok {

       match => {

         "message" => '(?<time>.*?)\s*\[%{LOGLEVEL:loglevel}\]\s*%{DATA}:\s*%{DATA:errorinfo},\s*%{WORD}:\s*%{IP:clientip},\s*%{WORD}:%{DATA:server},\s*%{WORD}:\s*%{QS:request},\s*%{WORD}:\s*%{QS:upstream},\s*%{WORD}:\s*"%{IP:hostip}",\s*%{WORD}:\s*%{QS:referrer}'

       }

       overwrite => ["message"]

     }

   }

 }

 output {

   if [fields][log_source]=="nginx-access"{

     elasticsearch {

       hosts => ["http://192.168.43.16:9200"]

       action => "index"

       index => "nginx-access-%{+YYYY.MM.dd}"

    }

   }

   if [fields][log_source]=="nginx-error"{

     elasticsearch {

       hosts => ["http://192.168.43.16:9200"]

       action => "index"

       index => "nginx-error-%{+YYYY.MM.dd}"

    }

   }

   stdout { codec => rubydebug }

 }

　　2、启动logstash

 /home/app/elk/logstash-7.3.2/bin/logstash -f /home/app/elk/logstash-7.3.2/config/logstash.conf

六、登陆kibana平台

　　分别点击管理--》索引管理，这时候就能看到nginx的访问日志和错误日志的数据了

　　接下来创建索引，分别对访问日志和错误日志建立索引，建立完之后点击discover，就能看到日志数据了

　　nginx-access

　　nginx-error

参考文档：

http://blog.leanote.com/post/tanyulonglong@126.com/%E5%AE%98%E6%96%B9%E5%AE%89%E8%A3%85%E6%96%87%E6%A1%A3-2

https://elkguide.elasticsearch.cn/logstash/plugins/filter/mutate.html

巴特西

ELK7.3实战安装配置文档

最新文章

热门文章