ELK学习笔记之logstash配置多入多出并互相隔离
2024-10-15 12:27:53
0x00 概述
需求：需要利用同一logstash进程采集不同日志，输出到es的不同index，各输入输出隔离；
主要需要解决如下两个问题：
0x01 如何加载多个配置文件
普通启动方式：
nohup bin/logstash -f config/logstash.conf &
多配置文件启动方式：
nohup bin/logstash -f config/java-conf &
注意：java-conf为目录，将加载该目录下所有配置文件；不要使用config/java-conf/*.conf
问题：配置不当，各输入输出会存在交叉，解决办法参考以下第二点。
0x02 如何隔离各输入输出
利用type，对输入输出进行筛选，配置参考：
log1.conf
input {
file {
type => "log1"
path => "/**/log1.log"
discover_interval => 10 # 监听间隔
start_position => "beginning" #从头开始
}
} #输出到elasticsearch
output {
if [type] == "log1"{
elasticsearch {
index => "log1-%{+YYYY.MM.dd}"
hosts => "192.168.2.32:9200" #输出到elasticsearch 对应服务器
}
}
} log2.conf
input {
file {
type => "log2"
path => "/**/log2.log"
discover_interval => 10 # 监听间隔
start_position => "beginning" #从头开始
}
} #输出到elasticsearch
output {
if [type] == "log2"{
elasticsearch {
index => "log2-%{+YYYY.MM.dd}"
hosts => "192.168.2.32:9200" #输出到elasticsearch 对应服务器
}
}
}
PS：index名不能包含大写字母。
最新文章
- 移动端之Android开发的几种方式的初步体验
- asp.net使用Get请求webservice
- 如何让用户只能访问特定的数据库(MSSQL)
- 小菜学习设计模式（三）—工厂方法（Factory Method）模式
- AWS Redshift summary
- BZOJ 1191 超级英雄 Hero 题解
- ios 手动添加mapview
- LightOJ1064 Throwing Dice（DP）
- json解析json字符串时候，数组必须对应jsonObjectArray，不能对应JsonObject。否则会解析错误。
- openstack的第二天
- 【HDOJ】【3415】Max Sum of Max-K-sub-sequence
- Spark系列(六)Master注册机制和状态改变机制
- 线性存储结构-ArrayList、Vector
- STL容器是否是线程安全的
- text-indent: -999px;是什么意思
- 深入java虚拟机学习 -- 内存管理机制
- C++对象模型的那些事儿之四：拷贝构造函数
- Mybatis_1（认识）一个简单的HelloWorld
- 左耳听风-ARTS-第3周（2019/4/7-2019/4/13）
- Java先比较日期再比较时间