ELK+kafka日志收集
2024-08-28 07:02:13
一、服务器信息
|
版本 |
部署服务器 |
用途 |
备注 |
|
|
JDK |
jdk1.8.0_102 |
使用ELK5的服务器 |
||
|
Logstash |
5.1.1 |
安装Tomcat的服务器 |
发送日志 |
Kafka降插件版本 |
|
Logstash |
5.1.1 |
kafka03 |
转换日志格式 |
|
|
Elasticsearch |
5.1.1 |
kafka01、kafka02、kafka03 |
收集，查询日志 |
|
|
Kibana |
5.1.1 |
kafka03 |
数据展示 |
|
|
Kafka |
0.9 |
已经存在 |
缓存日志队列 |
说明：
- 官方推荐使用Filebeat发送日志，但实际测试中遇到FileBeat卡死的情况，所以还是沿用Logstash发送日志，版本采用最新的5.1.1
- 所有5.1的ELK命令都需要设置JAVA_HOME为JDK1.8的目录
- Kakfa采用当前已经上线的环境，版本为0.9。因Logstash5.1的Kafka插件不支持0.9版本的kafka，需要对插件进行降级
- 转换日志端，由于logstash5.1无法安装2.X.X的Kafka插件，4.X.X插件不支持zkconnect输入，所以继续沿用旧的logstash2.3.2
- 本文档以Tomcat access log和catalina日志为例，使用ELK5进行分析
ELK日志收集如下图：
稍后有时间补充详细内容
最新文章
- CLR via C# 3rd - 07 - Constants and Fields
- caffe.exe (caffe.bin)用法回顾
- Codeforces Round #385 //再遇状压
- 获取设备IMEI ，手机名称，系统SDK版本号，系统版本号
- git 提交代码的流程
- HTTP状态码（HTTP Status Code）及常用场景
- [Effective Java]第五章 泛型
- placehold.it-在线图片生成器（转载）
- selenium + python 多浏览器测试
- SRM 511 DIV1 500pt(DP)
- OSG中的示例程序简介(转)
- 关于微软企业库中依赖注入容器Unity两种生成对象的实现u
- oracle13 触发器 变量
- c语言利用指针计算字符串的长度
- 前后端分离ueditor富文本编辑器的使用-Java版本
- es6异步编程
- Hdu2041 超级楼梯 （斐波那契数列）
- c++中局部变量初始化的问题
- java super的用法
- ASP入门（七）-Response小案例