ELK 1.4 logstash各种插件

kibana各种插件：

1.过虑插件 kv

（1）KV插件：接收一个键值数据，按照指定分隔符解析为Logstash 事件中的数据结构，放到事件顶层。

常用字段：

• field_split 指定键值分隔符，默认空

示例：

[root@hd1 conf.d]# cat test.conf

input {

    file {

       path => "/var/log/test/*.log"

       exclude => "error.log"

       start_position => "beginning"

       tags => "web"

       tags => "nginx"

       type => "access"

       add_field => {

         "project" => "cloud service"

         "app"  =>  "douyu"

    }

}

}

filter {

  kv{

    field_split => "%&"                #分隔符号自己定义

    }

}

output {

elasticsearch {

hosts =>

["192.168.1.11:9200"]

index => "test-%{+YYYY.MM.dd}"

}

}

（2）重启kibana systemctl restart logstash

（3）输入内容进去

echo "www.abcd.com?id=1&name=habagou&age=10" >>/var/log/test/access.log

2.，Grok插件：如果采集的日志格式是非结构化的，可以写正则表达式提取，grok是正则表达式支持的实现

常用字段：

• match 正则匹配模式

• patterns_dir 自定义正则模式文件

正则表达式格式： %{IP:client} 中 IP表示正则表达式

Logstash内置的正则匹配模式，在安装目录下可以看到，路径： vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core4.1.2/patterns/grok-patterns

（1）先去kibana上找到开发工具——Grok Debugger进行正则表达测试

(2)测试：192.168.213.4 GET /index.html 15824 0.055

把测试好的正则表达式写入配置文件中

input {

    file {

       path => "/var/log/test/*.log"

       exclude => "error.log"

       start_position => "beginning"

       tags => "web"

       tags => "nginx"

       type => "access"

       add_field => {

         "project" => "ali cloud"

         "app"  =>  "pdd"

    }

}

}

filter {

  grok{

    match {

    message => '%{IP:client} %{WORD:method} %{URIPATHPARAM:url} %{BASE10NUM:bytes} %{BASE10NUM:times}'

}

    }

}

output {

elasticsearch {

hosts =>

["192.168.213.4:9200"]

index => "test-%{+YYYY.MM.dd}"

}

}

(3)重启logstash：systemctl restart logstash

(4)输入内容：echo "192.168.1.10 GET /index.html 15824 0.043" >>/var/log/test/access.log

3。GeoIP插件

GeoIP插件：根据Maxmind GeoLite2数据库中的数据添加有关IP地址位置信息

常用字段：

• source 指定要解析的IP字段，结果保存到geoip字段

• database GeoLite2数据库文件的路径

• fields 保留解析的指定字段

(1).在logstash的主机上安装GeoLite2-City软件包，我用的是压缩包,

[root@logstash opt]# tar -xf GeoLite2-City_20201103.tar.gz

(2)先去

巴特西

ELK 1.4 logstash各种插件

最新文章

热门文章