ELK——为调试 Logstash Grok 表达式,安装 GrokDebuger 环境
2024-10-09 14:53:40
内容
- 安装 RVM
- 安装 Ruby 和 Gems
- 安装 Rails
- 安装 jls-grok
- Ruby grok 解析
- 调试 grok
迁移到:http://www.bdata-cap.com/newsinfo/1712686.html
注意:不要用 root 执行以下操作。
用 logstash 收集 IIS、tomcat 日志,或是其他时,你需要调试 grok 表达式,每次都需要重新加载文件,然后再把 sincedb 文件全部删除,否则 logstash 不会重复处理文件,很麻烦。
本文主要介绍如何安装 GrokDebuger 环境,再在命令行调试 Grok 表达式。Logstash 是用 Ruby 编写的,而 Ruby 有专门的处理 grok 表达式的 gem。
下面过程有先后顺序。
安装 RVM
rvm(Ruby Version Manager),是一个非常好用的ruby版本管理以及安装工具。
curl -sSL https://get.rvm.io | sudo bash -s stable
这步可能要多试几次,不是你的问题,是它们的网络问题。
若不能 sudo ,就自己设置下你用户的权限。
RVM 安装位置自己 FIND 一下。
安装 rvm 后,需要用 rvm 把你当前用户添加到 rvm 组。rvm 会自己创建 rvm 组。
rvm group add rvm "$USER"
rvm fix-permissions“$USER”
表示你当前用户,然后重新登录。
在 RVM 下安装 Ruby。
安装 Ruby 和 Gems
rvm install ruby
ruby -v
gem –v
这步很简单~如果能看到版本信息,就说明成功了~
安装 Rails
gem install rails
若不能访问,则添加淘宝镜像 https://ruby.taobao.org/。
安装 jls-grok
gem install jls-grok
这步也很简单~基本不会出问题~
Ruby grok 解析
编写一个 Ruby 脚本,用来调试 Grok 表达式。
require 'rubygems'
gem 'jls-grok', '=0.11.2'
require 'grok-pure'
require 'optparse'
require 'json'
options = {}
ARGV.push('-h') if ARGV.size === 0
OptionParser.new do |opts|
opts.banner = 'Run grokdebug at your terminal.'
options[:dirs] = %w(patterns)
options[:named] = false
opts.on('-d DIR1,DIR2', '--dirs DIR1,DIR2', Array, 'Set grok patterns directories. Default: "./patterns"') do |value|
options[:dirs] = value
end
opts.on('-m MESSAGE', '--msg MESSAGE', 'Your raw message to be matched') do |value|
options[:message] = value
end
opts.on('-p PATTERN', '--pattern PATTERN', 'Your grok pattern to be compiled') do |value|
options[:pattern] = value
end
opts.on('-n', '--named', 'Named captures only') do
end
end.parse!
grok = Grok.new
options[:dirs].each do |dir|
if File.directory?(dir)
dir = File.join(dir, "*")
end
Dir.glob(dir).each do |file|
grok.add_patterns_from_file(file)
end
end
grok.compile(options[:pattern], options[:named])
puts JSON.pretty_generate(grok.match(options[:message]).captures())
调试 grok
[ln@vcyber myruby]$ ruby grokdebug.rb -m '10.1.1.1' -p '%{IP:client}'
{
"client": [
"10.1.1.1"
],
"IPV6": [
null
],
"IPV4": [
"10.1.1.1"
]
}
[ln@vcyber myruby]$ ruby grokdebug.rb -m '10.1.8.166:8000' -p '%{HOSTPORT:test}'
{
"test": [
"10.1.8.166:8000"
],
"IPORHOST": [
"10.1.8.166"
],
"IP": [
"10.1.8.166"
],
"IPV6": [
null
],
"IPV4": [
"10.1.8.166"
],
"HOSTNAME": [
null
],
"POSINT": [
"8000"
]
}
[ln@vcyber myruby]$
若提示找不到“pattern”,你可以将 logstash 目录底下的复制过来拿来用~
最新文章
- 我的CS考研路
- centos MariaDB10.1.X galera cluster
- 怎么改变 placeholder字体颜色
- JSP 动作元素
- android开发学习---layout布局、显示单位和如何进行单元测试
- ASP.NET读取EXCEL文件的三种经典方法
- Android IOS WebRTC 音视频开发总结(四三)-- 诚信交易案例分享
- 卷积神经网络和CIFAR-10:Yann LeCun专访 Convolutional Nets and CIFAR-10: An Interview with Yann LeCun
- Ext.form.ComboBox 后台取值 动态加载 ext5.0.0
- 调magento自定义模板发邮件
- [LeetCode]题解(python):063-Unique Paths II
- WCF技术剖析之九:服务代理不能得到及时关闭会有什么后果?
- BZOJ 2007 NOI2010 海拔高度 最小减产计划
- struts2 action 页面与action参数的传递的三种方式
- 深度学习之 mnist 手写数字识别
- Scrapy的使用
- IP通信基础学习第一周
- logrotate-日志切割示例
- JavaScript RegExp.$1
- 14.combobox自动搜索
热门文章
- 一个关于AM335X比较全面的笔记博客
- StringGrid 实例5 本例功能:字体修改为居中,红色,20号
- 如何让chrome始终运行插件
- 贪心+构造( Codeforces Round #344 (Div. 2))
- Tomcat7.0安装配置详细
- [SmartFoxServer概述]使用文档
- Java EE 参考文档及sample
- 5.4 String
- springmvc之interceptor(拦截器)
- Libgls 1.0.1 发布,OpenGL 立体渲染