处理多行数据到elasticsearch

Nxlog 配置

<Input in>

Module im_file

File "E:\\log\\webapi\\\err.log"

SavePos TRUE

</Input>

<Output out>

Module om_tcp

Host 127.0.0.1

Port 5544

</Output>

<Route 1>

Path in => out

</Route>

Logstash 配置

input {

tcp {

port => 5544

codec => multiline {

charset =>"locale"

pattern => "^\d{4}\-\d{2}\-\d{2} \d{2}\:\d{2}\:\d{2}\,\d{3}"

negate => true

what => "previous"

}

type => "log4-input"

}

}

filter {

if [type]=="log4-input"{

grok {

match => {

"message" => "(?m)%{TIMESTAMP_ISO8601:logtime} \[%{NUMBER:priority:int}\] %{DATA:level} \[\(null\)\]"

}

}

ruby {

code => "event['readtime'] = event['@timestamp']"

}

date {

#locale => "en"

match => ["logtime", "YYYY-MM-dd HH:mm:ss"]

#timezone => "UTC"

#target => "logtimestamp"

remove_field => [ "logtime"]

}

}

}

if [type]=="log4-input"{

elasticsearch {

hosts => ["localhost:9200"]

}

}

日志格式

2016-03-02 00:01:12,315 [34] ERROR [(null)] - Messagefdsa

Fdsadfsa

2016-03-02 00:01:12,315 [34] ERROR [(null)] - Message1

最新文章

  1. CSS垂直居中指南
  2. c#之第一课入门
  3. sql防注入的简单实现,防XSS的简单实现
  4. 【BZOJ】【4010】【HNOI2015】菜肴制作
  5. android实现可拖动按钮
  6. 在Windows下通过命令行或者.bat文件统计一个目录中文件数量
  7. 《Python基础教程(第二版)》学习笔记 -&gt; 第五章 条件、循环 和 其他语句
  8. Java事务处理总结
  9. python学习第四天 --字符编码 与格式化及其字符串切片
  10. 重温委托(delegate)和事件(event)
  11. javaScript设计模式之常用工厂模式
  12. 无法启动MYSQL服务”1067 进程意外终止”解决办法
  13. Java基础知识二次学习-- 第二章 基础语法与递归补充
  14. tsst
  15. UOJ#435. 【集训队作业2018】Simple Tree 树链剖分,分块
  16. Vue ElementUI 的使用
  17. 魔幻般冒泡背景的CSS3按钮动画
  18. disconf原理 “入坑”指南
  19. Eclipse连接MuMu模拟器 方便 测试 查日志
  20. maven更换源

热门文章

  1. 【Win10】页面导航的实现
  2. Lucene-Analyzer
  3. python学习笔记 - 初识socket
  4. 数论 - 简单数位推理 --- NYIST 514
  5. asp.net MVC ajax上传文件
  6. SQL Server case when 日期字符串转换 多表查询 嵌套子查询
  7. VisualStudio代码调试输出跟踪
  8. 引入js和css文件的总结
  9. C#中的lock关键字有何作用
  10. PHP 操作mongodb api大部分方法