elk 日志处理的一点思路
2024-08-29 15:52:25
zjtest7-frontend:/usr/local/logstash-2.3.4/bin# ./logstash -f ../config/logstash_agent.conf zjtest7-frontend:/usr/local/logstash-2.3.4/bin# ./logstash -f ../config/logstash_indexer.conf 你可以在每一个input插件设置一个type，根据type配置不同的filter....这样能节省点资源。logstash起多了，还是不太好的。毕竟每一个都是一个jvm进程.... /*** 写入redis
[elk@zjtest7-frontend config]$ cat logstash_agent.conf
input {
file {
type => "zj_nginx_access"
path => ["/usr/local/nginx/logs/zj_access.log"]
} file {
type => "wj_nginx_access"
path => ["/usr/local/nginx/logs/wj_access.log"]
}
} filter {
grok {
match => {
"message" => "%{IPORHOST:clientip} \[%{HTTPDATE:time}\] \"%{WORD:verb} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}\" %{NUMBER:http_status_code} %{NUMBER:bytes} \"(? <http_referer>\S+)\" \"(?<http_user_agent>\S+)\" \"(?<http_x_forwarded_for>\S+)\""
}
}
}
output {
redis {
host => "192.168.32.67"
data_type => "list"
key => "logstash:redis"
port=>"6379"
password => "1234567"
}
} output {
if [type] == "xxx" {
redis {xxxxx}
}
} 根除不同的type 写入到redis /***从redis读取,发送到elasticsearch [elk@zjtest7-frontend config]$ cat logstash_indexer.conf
input {
redis {
host => "192.168.32.67"
data_type => "list"
key => "logstash:redis"
type => "redis-input"
password => "1234567"
port =>"6379"
}
} output {
elasticsearch {
hosts => "192.168.32.80:9200"
index => "logstash-nginx-%{+YYYY.MM.dd}"
}
stdout {
codec => rubydebug
}
} 不同的 redis key 怎么发送到不同的elasticsearch 比如 我同步应用日志到logstash 的 /log/zjzc 下面有nginx-192.168.32.1.log nginx-192.168.32.2.log nginx-192.168.32.3.log 那么我 file {
type => "zj_nginx_access"
path => ["/log/zjzc/nginx-*.log"]
}
最新文章
- C#中JSON序列化和反序列化
- js如何使得新打开的窗口居中
- thinkphp下载远程图片到本地
- Flex中设置Camera的视频清晰质量的最佳配合
- [WinForm]平均切割图片AvgCutImage
- Java中的OutOfMemoryError的各种情况及解决和JVM内存结构
- 问题-Delphi为什么不能连接oracle
- 用Javascript进行HTML转义（分享）
- Linux下安装oracle11g
- 关于tableView刷新
- 典型关联分析(CCA)原理总结
- Ajax获取服务器信息
- 2017年总结的前端文章——border属性的多方位应用和实现自适应三角形
- 将CSV文件写入MySQL
- centos7安装docker并设置开机自启以及常用命令
- idea下创建maven聚合(子父级)项目，多模块项目
- sql server里中自增长的ID重新开始排
- Atitit sleep原理 node.js sleep解决方案 timer
- Linux文件系统的硬连接和软连接
- c语言笔记4数据的输入和输出