ELK 学习笔记之 Logstash之filter配置
Logstash之filter：
json filter：
input{
stdin{
}
}
filter{
json{
source => "message"
}
}
output{
stdout{
codec => json
}
输入：
{"name": "CSL", "age": 20}
输出：
Grok filter:
pattern：
https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns
创建一个测试log：
[sky@hadoop1 bin]$ cat spark-test-log.log
05/30/17 17:13:24 INFO StartingSparkmasteratspark
05/30/17 17:13:24 INFO RunningSparkversion1
05/30/17 17:13:25 INFO jetty
创建conf：
input{
file{
path => "/usr/local/logstash-5.6.1/bin/spark-test-log.log"
type => "sparkfile"
start_position => "beginning"
}
}
filter{
grok{
match => ["message", "%{DATE:date} %{TIME:time} %{LOGLEVEL:loglevel} %{WORD:word}"]
}
}
output{
stdout{
codec => rubydebug
}
}
运行结果：
自定义正则表达式：
[sky@hadoop1 patterns]$ cat selfpattern
SKYTIME (?!<[0-9])%{HOUR}:%{MINUTE}(?::%{SECOND})(?![0-9])
修改conf:
input{
file{
path => "/usr/local/logstash-5.6.1/bin/spark-test-log.log"
type => "sparkfile"
start_position => "beginning"
}
}
filter{
grok{
patterns_dir => '/usr/local/logstash-5.6.1/patterns/selfpattern'
match => ["message", "%{DATE:date} %{SKYTIME:time} %{LOGLEVEL:loglevel} %{WORD:word}"]
}
}
output{
stdout{
codec => rubydebug
}
}
输出结果：
定义多个match：使用，分隔。
测试正则表达式网址：
https://grokdebug.herokuapp.com/
最新文章
- ubuntu mysql 更改IP导致mysql无法启动
- [LeetCode] Word Pattern
- Managing the Lifecycle of a Service
- linux必会的60个命令
- 关于基于.net的WEB程序开发所需要的一些技术归纳
- RAC RMAN备份
- 《转》MFC网络编程学习
- 通达OA web页面与精灵显示内容更新后不一致的问题
- F9 开发之左树右表中的左树
- HashMap分析之红黑树树化过程
- java.lang.UnsupportedClassVersionError: Bad version number in .class file (unable to load class org.
- Python全栈-magedu-2018-笔记10
- 重写Java中包装类的方法
- C# Json 和对象的相互转换
- Django积木块六——验证用户是否登录
- IE6浏览器无法打开QQ邮箱
- windows安装Redis和客户端
- openssl生成RSA公钥和私钥对
- <亲测>CentOS7中使用yum安装Nginx的方法
- 通过进程ID获取基地址