elasticsearch kibana logstash(ELK)的安装集成应用
官网关于kibana的学习指导网址是:https://www.elastic.co/guide/en/kibana/current/index.html
Kibana是一个开源的分析和可视化平台,设计用于Elasticsearch。使用Kibana搜索、查看和与存储在Elasticsearch索引中的数据交互。您可以轻松地执行高级数据分析并在各种图表、表和映射中可视化数据。
Kibana使理解大量数据变得容易。它简单的、基于浏览器的界面使您能够快速创建和共享动态仪表板,实时显示对Elasticsearch查询的更改。
kibana的安装需要依赖elasticsearch,所以需要先安装它,
rpm -ivh elasticsearch-6.4.1.rpm
然后查看状态及安装情况
修改配置文件
在在 Linux 环境中,elasticsearch 不允许以 root 权限来运行!所以需要创建一个非root用户,以非root用户来起es
rpm安装包位于、usr/share/elasticsearch/下,应采用下列授权
刚开始访问还是不行,然后一顿乱捣鼓,感觉也没有增加什么,最后突然刷新一下,好了,先用着,后面再整理一下
然后在test用户上查看一下运行状态
然后在通过test用户起来停止服务测试外网连接,都有爆红,但是都正常了
然后停掉test用户的服务,切回到root下开启服务,再次尝试外网连接,多次刷新后,也是OK的,说明这一版本不需要通过用户启动服务也可以,只是连接虚拟机的时候网络较差,所以,多刷新几次。
外网访问:
结论:这一版本不需要通过用户启动服务也可以,只是连接虚拟机的时候网络较差,所以,多刷新几次。
kibana的安装(安装需要Elasticsearch的支持,所以要先安装Elasticsearch)
我们直接根据官网来安装,采用rpm的方式,简单直接,https://www.elastic.co/guide/en/kibana/current/rpm.html
下载后,安装,启动,停止等
启动,直接输入网址192.168.135.129:5601不能访问,关闭防火墙也不行,需要设置/etc/kibana/kibana.yml。如下放开一些配置,修改一些配置
然后登陆外网,多刷新几次,本博主网络比较慢,输入网址http://192.168.135.129:5601
OK!
最后安装logstash
创建配置文件
内容格式如下主要有输入,过滤和输出三部分:
input { stdin {}
} filter { grok { patterns_dir => ["/home/keepgostudio/download/logstash-5.2.0/patterns"] match => { "message" => ["%{PARAMS_APACHELOG}", "%{NO_PARAMS_APACHELOG}"] } remove_field => ["host", "timestamp", "httpversion", "@version"] } kv { source => "params" field_split => "&?" } geoip { source => "ip" fields => ["country_name", "region_name", "city_name", "latitude", "longitude"] target => "location"
} output { elasticsearch { hosts => ["192.168.135.129:9200"] index => "logstash-test-%{type}-%{host}" } }
运行
运行时采用的配置文件:input { stdin { } } output { stdout {} }
===========================================================分割线==========================================================================
用tar包的方式安装并进行总结
一、依赖jdk8,下载安装不多述
二、分别下载elasticsearch,logstash,kibana的相关tar包,直接复制地址wget 方式下载直接方便,没有wget命令则需要先yum -y install wget,比如(地址在网络资源的tar包上右键复制的链接)
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.1.tar.gz
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.1-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.1.tar.gz
三、先安装elasticsearch,直接解压tar即可,其他两个一样,解压即可用,非常简单。
解压命令 tar -zxvf tar包名字
修改配置文件端口号和address
直接在解压包bin下root运行会报错,然后根据网上创建test的用户组,及test的用户,然后授权,在运行,又是各种报错,大概是内存不行什么的,参考网上的进行排错,
https://blog.csdn.net/liangzhao_jay/article/details/56840941
https://blog.csdn.net/seasion_pu/article/details/82262651
https://blog.csdn.net/feng12345zi/article/details/80367907
最终配置如下:
vi /etc/security/limits.conf
/etc/sysctl.conf
然后执行sysctl -p
在用户下重启elasticsearch
最后运行成功
打开另一个终端验证
关闭防火墙,在外网验证,OK!
四、解压kibana后修改完配置的端口,address和elasticsearch地址后
直接运行 /bin/kibana即可
五、解压logstash
在bin目录下创建一个conf文件
示例的文件如下:
启动:./logstash -f logstash.conf后
加个总结,总体上来看比较容易,主要是elasticsearch配置有一些坑存在
坑所在就是:1.需要用非root的授权用户启动
2.内存相关的配置: vi /etc/security/limits.conf还有就是/etc/sysctl.conf,配置好sysctl -p执行一下
3.kibana和logstash的tar包解压配置文件相应变动
4.rpm和tar两种方式相比个人感觉还是tar包安装更方便
==============================================================插件分割线================================================================================
想把插件补充上,head插件参考下面安装(本博主没安装成功,暂时不安了)
wget https://github.com/mobz/elasticsearch-head/archive/master.zip
解压 unzip,如果没有该命令安装一下 yum -y install unzip
解压:unzip maseter.zip
该插件的安装需要依赖node.js,所以先要安装node.js,可以参考:https://www.cnblogs.com/liuqi/p/6483317.html
wget https://nodejs.org/dist/v8.12.0/node-v8.12.0-linux-x64.tar.xz
# tar xvf node-v8.12.0-linux-x64.tar.xz
最新文章
- linux shell取文本最后一行
- c#生成缩略图
- Android手动画柱状图的例子
- centos配置samba
- 1.6 OWIN集成
- new/delete 与 malloc/free的区别
- 自己动手封装一个url参数解释器( ghostWuUrlParser.js )
- 关于离线底图和离线shp文件的加载
- Python之路【第八篇】:Python模块
- HTML转义字符&;npsp;表示non-breaking space,unicode编码为u'\xa0',超出gbk编码范围?
- 02: http
- jsp 获取服务器ip 以及端口号
- JdbcTemplate完全学习
- The D Programming Language 书评
- 初学 Delphi 嵌入汇编[1] - 汇编语言与机器语言
- 【目录】利用Python进行数据分析(第2版)
- Array.prototype.forEach数组遍历
- 从Objective-C到Swift 单例模式
- java 判断一个字符串中的数字:是否为数字、是否包含数字、截取数字
- 常用类--Date日期类,SimpleDateFormat日期格式类,Calendar日历类,Math数学工具类,Random随机数类
热门文章
- redhat 7.6 流量监控命令、软件(1) ethstatus
- 多Python版本共存
- unity 热更方案对比
- 「题解」「HNOI2013」切糕
- ZOJ4103 Traveler(2019浙江省赛)
- 4 htmlCSS&;图像&;表格&;列表&;表单&;框架&;颜色
- 九 三种Struts2访问Servlet方式总结
- c++中的运算符重载operator1(翁恺c++公开课[30]学习笔记)
- STM32 RTC上的唤醒和闹钟
- nopad++将制表符替换为换行符