# vim /etc/sysctl.conf

vm.max_map_count=262144

# sysctl -p

# vim /etc/security/limits.conf

* soft nofile 65535

* hard nofile 65535

# vim /etc/security/limits.conf

* soft nproc 4096

* hard nproc 4096

# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.rpm

# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.rpm.sha512

# sha512sum -c elasticsearch-6.5.4.rpm.sha512 #比较RPM包的SHA和应输出的已发布校验和，输出 elasticsearch-6.5.4.rpm: OK

# rpm --install elasticsearch-6.5.4.rpm

path:

    data: /var/lib/elasticsearch

    logs: /var/log/elasticsearch

or

path.data: /var/lib/elasticsearch

path.logs: /var/log/elasticsearch

node.name: ${HOSTNAME}

network.host: ${ES_NETWORK_HOST}

# cat /etc/elasticsearch/elasticsearch.yml

cluster.name: vtlab  #集群名称，只有cluster.name相同时，节点才能加入集群。请设置为具有描述性的名字。不建议在不同环境中使用相同的集群名。

node.name: vtlab01  #节点描述名称，默认情况下，Elasticsearch将使用随机生成的UUID的前7个字符作为节点id。设为服务器的主机名 node.name: ${HOSTNAME}

node.attr.rack: r1  #指定节点的部落属性，机架位置，比集群范围更大。

path.data: /var/lib/elasticsearch  #Elasticsearch的数据文件存放目录 如果是默认位置，在将Elasticsearch升级到新版本时，很可能会把数据删除。

path.logs: /var/log/elasticsearch  #日志目录

bootstrap.memory_lock: true  #启动后锁定内存，禁用swap交换，提高ES性能。伴随这个参数还需要调整其他配置，后面讨论。

network.host: 0.0.0.0  #指定监听的地址

http.port: 9200  #监听的WEB端口

discovery.zen.ping.unicast.hosts:  #默认网络配置中，Elasticsearch将绑定到回环地址，并扫描9300-9305端口，试图连接同一台服务器上的其他节点，可以自动发现并加入集群。

    - 10.0.0.46:9300  #此端口为TCP传输端口，用于集群内节点发现、节点间信息传输、ES Java API也是通过此端口传输数据，transport.tcp.port定义。9200为HTTP端口。

    - 10.0.0.28:9300

    - 10.0.0.29:9300

    - host1.vtlab.io

discovery.zen.minimum_master_nodes: 2  #为防止数据丢失，discovery.zen.minimum_master_nodes设置至关重要，主节点的最小选举数。避免脑裂，应将此值设为(master_eligible_nodes / 2) + 1，换言之，如果有3个节点，(3/2)+1 or 2

#以下选项仅在完全重启集群时生效

#本地网关模块在整个群集重新启动时存储群集状态和分片数据。

#以下静态设置必须在每个主节点上设置，控制新选择的主节点在试图恢复集群状态和集群数据之前应该等待多长时间:

gateway.expected_nodes: 0  #集群中预期的(数据或主)节点数量。一旦加入集群的节点数量达到预期，本地碎片的恢复就会开始。默认值为0

gateway.expected_master_nodes: 0  #集群中预期的主节点数量。一旦加入集群的主节点数量达到预期，本地碎片的恢复就会开始。默认值为0

gateway.expected_data_nodes: 0  #集群中预期的数据节点数量。一旦预期的数据节点数量加入集群，本地碎片的恢复就会开始。默认值为0

gateway.recover_after_time: 5  #如果没有达到预期的节点数量，则恢复过程将等待配置的时间量，然后再尝试恢复。如果配置了一个expected_nodes设置，则默认值为5m。

gateway.recover_after_nodes: 1  #只要有这么多数据或主节点加入集群，就可以恢复。

gateway.recover_after_master_nodes: 1  #只要有这么多主节点加入集群，就可以恢复。

gateway.recover_after_data_nodes: 1  #只要有这么多数据节点加入集群，就可以恢复。

action.destructive_requires_name: true  #禁用通过api以通配符删除所有索引。删除索引时需要指定被删除的索引名称。

ES_JAVA_OPTS="-Xms4g -Xmx4g"

MAX_LOCKED_MEMORY=unlimited

elasticsearch soft memlock unlimited

elasticsearch hard memlock unlimited

LimitMEMLOCK=infinity

# systemctl daemon-reload

# systemctl enable elasticsearch

# systemctl start elasticsearch

# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

# wget https://artifacts.elastic.co/downloads/kibana/kibana-6.5.4-x86_64.rpm

# sha512sum kibana-6.5.4-x86_64.rpm

# rpm --install kibana-6.5.4-x86_64.rpm

# Default: 5601。定义Kibana后端服务启动时监听的端口。

server.port: 5601

# Default: "localhost"。后端服务监听的地址，需要修改为网卡地址

server.host: "localhost"

# 如果前面有代理，可以指定安装Kibana的路径。

# 使用server.rewriteBasePath设置告诉Kibana是否应从其收到的请求中删除basePath，并防止在启动时发生弃用警告。

# 此设置不能以斜杠（/）结尾。

server.basePath: ""

# Default: false

# 指定Kibana是否应重写以server.basePath为前缀的请求，或者要求它们由反向代理重写。

# 在Kibana 6.3之前，此设置实际上始终为false，在Kibana 7.0中默认为true

server.rewriteBasePath: false

# Default: 1048576

# 请求服务的最大有效负载，单位字节

server.maxPayloadBytes: 1048576

# Default: "your-hostname"。Kibana服务器的名称，用于显示目的。

server.name: "your-hostname"

# 用于查询的Elasticsearch实例的URL

elasticsearch.url: "http://localhost:9200"

# Default: true

# 值为true时，Kibana使用server.host设置中指定的主机名。值为false时，Kibana使用连接到此Kibana实例的主机的主机名

elasticsearch.preserveHost: true

# Default: ".kibana"

# Kibana使用此索引名存储Elasticsearch中已保存的搜索、可视化和仪表板。

# 如果索引尚不存在，Kibana会创建一个新索引。

kibana.index: ".kibana"

# 要加载的默认应用程序。

kibana.defaultAppId: "home"

# 如果Elasticsearch设置了认证，Kibana通过这两个选项进行Elasticsearch的验证。

elasticsearch.username: "user"

elasticsearch.password: "pass"

# Default: "false"

# 从Kibana服务器到浏览器的传出请求启用SSL，当设置为True时，server.ssl.certificate and server.ssl.key必须设置

server.ssl.enabled: false

server.ssl.certificate: /path/to/your/server.crt

server.ssl.key: /path/to/your/server.key

# 可选设置，提供PEM格式SSL证书和密钥文件的路径。

# 这些文件用于验证Kibana到Elasticsearch的身份，并需要在Elasticsearch中的xpack.ssl.verification_mode设置为certificate或full

elasticsearch.ssl.certificate: /path/to/your/client.crt

elasticsearch.ssl.key: /path/to/your/client.key

# 可选设置，使您可以为Elasticsearch实例的证书颁发机构指定PEM文件的路径列表。

elasticsearch.ssl.certificateAuthorities: [ "/path/to/your/CA.pem" ]

# 控制Elasticsearch提供的证书验证。有效值为none，certificate和full。完整执行主机名验证，证书不执行

elasticsearch.ssl.verificationMode: full

# Defau：elasticsearch.requestTimeout 设置的值，等待Elasticsearch响应ping的时间，单位ms。

elasticsearch.pingTimeout: 1500

# Default：30000ms

# 等待来自后端或Elasticsearch的响应时间，必须是正整数。单位ms。

elasticsearch.requestTimeout: 30000

# Default: [ 'authorization' ]

# 要发送到Elasticsearch的Kibana客户端标头列表。要不发送客户端标头，请将此值设置为[]（空列表）。

elasticsearch.requestHeadersWhitelist: [ authorization ]

# Default: {}

# 要发送到Elasticsearch的标头名称和值。无论elasticsearch.requestHeadersWhitelist配置如何，客户端标头都不能覆盖任何自定义标头。

elasticsearch.customHeaders: {}

# Default: 30000

# 对Elasticsearch等待碎片响应的时间(以毫秒为单位)。设置为0禁用

elasticsearch.shardTimeout: 30000

# Default: 5000

# 在重试之前在Kibana启动时等待Elasticsearch的时间（以毫秒为单位）

elasticsearch.startupTimeout: 5000

# Default false记录发送到Elasticsearch的查询。需要将logging

# 记录发送到Elasticsearch的查询。需要将logging.verbose设置为true。

# 这对于查看当前没有检查器的应用程序生成的查询DSL非常有用，例如Timelion和Monitoring。

elasticsearch.logQueries: false

# PID文件路径

pid.file: /var/run/kibana.pid

# Default: stdout

# 日志输出文件路径

logging.dest: stdout

# Default: false

# 此值设为true时，禁止记录日志

logging.silent: false

# Default: false

# 当设置为true时，仅记录error日志

logging.quiet: false

# Default: false

# 将此值设置为true以记录所有事件，包括系统使用信息和所有请求。

logging.verbose: false

# Default: 5000

# 设置以毫秒为单位的间隔来采样系统和处理性能指标。最小值是100。

ops.interval: 5000

# systemctl enable kibana

# systemctl start kibana

# wget https://artifacts.elastic.co/downloads/logstash/logstash-6.5.4.rpm

# rpm --install logstash-6.5.4.rpm

# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.5.4-x86_64.rpm

# rpm -vi filebeat-6.5.4-x86_64.rpm

vim /etc/filebeat/filebeat.yml

# 定义获取日志的路径，可以是目录或文件：

filebeat.inputs:

- type: log

  enabled: true

  paths:

    - /var/log/messages

  tags: [syslog]

- type: log

  enabled: true

  paths:

    - /data/logs/nginx/vtlab/*.log

  tags: [nginx_access]

# 配置输出

output.redis:

  enable: true                  #默认true，是否开启传输

  hosts: ["10.0.0.26:6379"]     #redis服务的IP、端口

  db: 1                         #选择redis哪个库

  timeout: 5                    #连接redis超时时间，默认5s

  key: filter_index             #数据被传输到redis list的名称

  #password: password           #连接redis的密码，如果redis配置文件中没有设置，则此处不需要填写

# systemctl enable filebeat.service

# systemctl start filebeat.service

# vim first-pipeline.conf

# 定义Input

input {

    redis {

        host => "10.0.0.26"

        type => "redis-input"

        data_type => "list"

        db => 1

        key => "filter_index"

        port => 6379

        #password => "password"

    }

}

# 定义Filter

filter{

    if "syslog" in [tags] {

         grok {

            match => {"message" => "%{SYSLOGBASE2}"}

            remove_field => "beat.version"

            remove_field => "beat.name"

        }

    }

    if "nginx_access" in [tags] {

        grok {

            match => { "message" => "%{COMBINEDAPACHELOG}" }

            remove_field => "beat.version"

            remove_field => "beat.name"

        }

        geoip {

           source => "clientip"

          # fields => ["city_name", "country_code2", "country_name", "latitude", "longitude", "region_name"]

          # remove_field => ["[geoip][latitude]", "[geoip][longitude]"]

        }

    }

}

# 定义output

output{

    if "syslog" in [tags] {

        elasticsearch {

            hosts => [ "10.0.0.28:9200","10.0.0.29:9200","10.0.0.46:9200" ]

            index => "message-%{+YYYY.MM.dd}"

        }

    }

    if "nginx_access" in [tags] {

        elasticsearch {

            hosts => [ "10.0.0.28:9200","10.0.0.29:9200","10.0.0.46:9200" ]

            index => "logstash-nginx-%{+YYYY.MM.dd}"

        }

    }

}

# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/first-pipeline.conf --config.test_and_exit

Configuration OK

[INFO ] 2019-01-07 17:23:32.527 [LogStash::Runner] runner - Using config.test_and_exit mode. Config Validation Result: OK. Exiting Logstash

# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/first-pipeline.conf --config.reload.automatic