ELK logstash 处理MySQL慢查询日志
2024-09-24 00:27:47
在生产环境下,logstash 经常会遇到处理多种格式的日志,不同的日志格式,解析方法不同。下面来说说logstash处理多行日志的例子,对MySQL慢查询日志进行分析,这个经常遇到过,网络上疑问也很多。
MySQL慢查询日志格式如下:
1
2
3
4
5
|
# User@Host: ttlsa[ttlsa] @ [10.4.10.12] Id: 69641319
# Query_time: 0.000148 Lock_time: 0.000023 Rows_sent: 0 Rows_examined: 202
SET timestamp=1456717595;
select `Id`, `Url` from `File` where `Id` in ('201319', '201300');
# Time: 160229 11:46:37
|
filebeat配置
我这里是使用filebeat 1.1.1版本的,之前版本没有multiline配置项,具体方法看后面那种。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
filebeat:
prospectors:
-
paths:
- /www.ttlsa.com/logs/mysql/slow.log
document_type: mysqlslowlog
input_type: log
multiline:
negate: true
match: after
registry_file: /var/lib/filebeat/registry
output:
logstash:
hosts: ["10.6.66.14:5046"]
shipper:
logging:
files:
|
logstash配置
1. input段配置
1
2
3
4
5
6
7
|
# vi /etc/logstash/conf.d/01-beats-input.conf
input {
beats {
port => 5046
host => "10.6.66.14"
}
}
|
2. filter 段配置
1
2
3
4
5
6
7
8
9
10
11
12
|
# vi /etc/logstash/conf.d/16-mysqlslowlog.log
filter {
if [type] == "mysqlslowlog" {
grok {
match => { "message" => "(?m)^#\s+User@Host:\s+%{USER:user}\[[^\]]+\]\s+@\s+(?:(?<clienthost>\S*) )?\[(?:%{IPV4:clientip})?\]\s+Id:\s+%{NUMBER:row_id:int}\n#\s+Query_time:\s+%{NUMBER:query_time:float}\s+Lock_time:\s+%{NUMBER:lock_time:float}\s+Rows_sent:\s+%{NUMBER:rows_sent:int}\s+Rows_examined:\s+%{NUMBER:rows_examined:int}\n\s*(?:use %{DATA:database};\s*\n)?SET\s+timestamp=%{NUMBER:timestamp};\n\s*(?<sql>(?<action>\w+)\b.*;)\s*(?:\n#\s+Time)?.*$" }
}
date {
match => [ "timestamp", "UNIX", "YYYY-MM-dd HH:mm:ss"]
remove_field => [ "timestamp" ]
}
}
}
|
关键之重是grok正则的配置。
3. output段配置
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
# vi /etc/logstash/conf.d/30-beats-output.conf
output {
if "_grokparsefailure" in [tags] {
file { path => "/var/log/logstash/grokparsefailure-%{[type]}-%{+YYYY.MM.dd}.log" }
}
if [@metadata][type] in [ "mysqlslowlog" ] {
elasticsearch {
hosts => ["10.6.66.14:9200"]
sniffing => true
manage_template => false
template_overwrite => true
index => "%{[@metadata][beat]}-%{[type]}-%{+YYYY.MM.dd}"
document_type => "%{[@metadata][type]}"
}
}
}
|
标准输出结果截图
elasticsearch结果截图
如果是使用filebeat1.1.1之前的版本,配置如下:
1. filebeat配置
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
filebeat:
prospectors:
-
paths:
- /www.ttlsa.com/logs/mysql/slow.log
document_type: mysqlslowlog
input_type: log
registry_file: /var/lib/filebeat/registry
output:
logstash:
hosts: ["10.6.66.14:5046"]
shipper:
logging:
files:
|
2. logstash input段配置
1
2
3
4
5
6
7
8
9
10
11
|
input {
beats {
port => 5046
host => "10.6.66.14"
codec => multiline {
pattern => "^# User@Host:"
negate => true
what => previous
}
}
}
|
其它配置不变。
如有疑问跟帖,或者加群沟通。
最新文章
- 改变ubuntu终端显示语言(桌面系统是中文,终端提示是英文)
- java.lang.NoClassDefFoundError: [Lorg/hibernate/engine/FilterDefinition
- python程序设计语言笔记 第一部分 程序设计基础
- SUSE Linux Enterprise Server 11 软件源
- STL MAP及字典树在关键字统计中的性能分析
- python语法笔记(四)
- IIS 之 添加绑定域名 或 设置输入IP直接访问网站
- 201521123103 《Java学习笔记》 第六周学习总结
- 基于Django的python验证码
- 【Java】【11】String数组和List相互转换
- 利用python解析地址经纬度和利用经纬度定位地址
- spring boot profiles 实现多环境下配置切换 docker版
- Android 永久保存简单数据
- Go如何正确的使用mysql driver
- 深度学习基础(三)NIN_Network In Network
- harbor高可用集群配置
- 解决 office2016 意外的严重错误 不能启动程序
- Android O 可以上网 提示无法访问网络
- C#.NET常见问题(FAQ)-interface接口如何理解
- What&#39;s App has the Qt?
热门文章
- Linux常用rmp包网址
- mysql安装版多次安装导致安装失败的解决方法(windows)(直接使用免安装方法)
- Spring的单例模式底层实现学习笔记
- Flutter - ListView禁止用户上下滑动
- 创建并使用maven archetype的随笔
- 阿里云rds 备份和还原
- Notepad++常用插件
- 《Pro SQL Server Internals, 2nd edition》的CHAPTER 3 Statistics中的Introduction to SQL Server Statistics、Statistics and Execution Plans、Statistics Maintenance(译)
- 20135323符运锦----第三周:构建一个简单的Linux系统MenuOS
- 小学四则运算APP 第一阶段冲刺 第二天-补