使用kibana来进行ElasticSearch的信息查询检索
2024-09-10 03:52:09
大家经常会听到使用ELK搭建日志管理平台、完成日志聚合检索的功能,那么这个平台到底是个什么概念,怎么搭建,怎么使用呢?
ELK包括ElasticSearch(数据存储、快速查询)、logstash(日志搜集)、kibana(展示ElasticSearch数据的图形界面)。
kibana是一个图形界面,可以在上面条件检索存储在ElasticSearch里数据,相当于提供了ES的可视化操作管理器。大概长下面这样子,在条件栏我输入了id:<10,然后它就把id
<10的数据展示出来。
可以看到,kibana搭配ES是一个不错的选择,比ES的head插件的界面友好多了。注意,它们与logstash是没有任何关系的,完全可以单独使用,logstash相当于一个日志中转站,通过接收客户端发送来的日志,然后把日志存储到ES中。
下面我们就来看一下kibana搭配ES使用的案例。
1 搭配kibana环境
ELK这3个软件都是Elastic一家的,可以在https://www.elastic.co/downloads/past-releases 下载到各个版本的三个软件,但是需要注意版本的对应关系,一般每一个ElasticSearch都有一个同样版本的logstash,譬如我之前文章中使用的ES2.3.4,logstash也有个2.3.4,与之对应的kibana版本是4.5.2
先安装好ES,如果没装过的回头看http://blog.csdn.net/tianyaleixiaowu/article/details/72846814
下载kibana,wget https://download.elastic.co/kibana/kibana/kibana-4.5.2-1.x86_64.rpm。
安装,rpm -ivh kibana-4.5.2-1.x86_64.rpm。
安装后,需要到安装目录做配置,第一次我安装后,居然找不到安装目录了,使用命令 rpm -ql kibana-4.5.2-1.x86_64查找安装目录,发现和其他软件默认的不一样,它是安装到/opt/kibana里去了。我们进到该目录,vi config/kibana.yml.
这个配置文件大家仔细看一下,里面有很多重要的默认配置信息。端口号5601,hostip 0.0.0.0,elasticsearch.url:localhost:9200,kibana.index:.kibana,还有ES的账号密码。
这些配置如果你需要改动哪个就改动哪个,譬如你的ES和kibana不在一个主机,那就需要改一下ip。这里我的ELK三个软件都在一个linux主机上,所有kibana的配置我保持不变即可。
启动kibana,执行bin/kibana即可。
这里有个小知识点,我用终端连接了远程服务器,并启动了kibana,那么这个终端就会一直停留在启动界面,不能做别的操作了,当终端关闭,kibana也就关闭了。所以我需要将kibana进程放到后台去。
1. Ctrl+z,暂停进程,然后看到进程的作业号,如图为1
2. bg %1置为后台运行
3. disown -h %1使其不受终端关闭的影响
2 使用kibana
启动完kibana后,访问ip:5601即可看到类似于下面的界面。初次使用时,会让你配置一个默认的index,也就是你至少需要关联一个ES里的Index,可以使用pattern正则匹配。
由于之前我们已经使用过ES了,里面是有index的,用es的head看看
我这里面有几个index,其中.kibana是kibana自己创建的,其他几个都是我创建的。
如果你ES里没有index的话,就得先创建个,插入数据,然后才能使用kibana的查询功能。之前的文章里已经讲过怎么给ES插值了,譬如那个百万数据查找附近的人功能,里面的数据就是插入到图上的Elastic_search_project里了,有155M。下面我就再用个简单的例子插值吧。
创建个javaBean
import org.springframework.data.annotation.Id; import org.springframework.data.elasticsearch.annotations.Document; import org.springframework.data.elasticsearch.annotations.Field; import org.springframework.data.elasticsearch.annotations.FieldType; import java.util.Date; @Document(indexName="blog_index",type="blog",indexStoreType="fs",shards=5,replicas=1,refreshInterval="-1") public class Blog { @Id private int id; private String name; @Field(type = FieldType.Date) private Date createTime; public int getId() { return id; } public void setId(int id) { this.id = id; } public String getName() { return name; } public void setName(String name) { this.name = name; } public Date getCreateTime() { return createTime; } public void setCreateTime(Date createTime) { this.createTime = createTime; } }
这里有个地方需要注意,就是必须要有一个为Date类型的field,不然kibana那里是添加不了这个Index的,kibana是以时间排序来进行查询选择的。
你只定义Date还是不行的,必须有@Field(FieldType.Date)标注,不然Date类型会被自动转为Long。
定义好这个bean,就可以往ES里插值了,不会的请参考之前的文章。
插值后,先在ES里看看
然后就可以在kibana里添加Index了
你填写index name后,就会自动出现Time-field name的下拉框,自自动找到Field为Date的字段。
点击Create即可。然后打开discover界面,就可以查看搜索对应的ES的Index了。注意箭头标的都应该点开看看,都是常用的功能。
右上角的时间选择默认是最近15分钟,所以如果看不到数据了,就调一下时间。
查询输入框里可以输入各种条件,你能用字段名和你感兴趣的值构建一个搜索,数字类型的数据可使用比较操作符比如>、<、=等,你可使用AND、OR、 NOT逻辑符连接元素,必须是大写。譬如
id:<50 AND id:>10
name:=name9
这里你可以构建自己的查询条件来完成想要的查询结果。
此外,你还可以完成数据聚合,地图位置显示,柱状图之类的展示,在大数据中非常有用。
还有一些使用可参考http://blog.csdn.net/ming_311/article/details/50619859,还有官网https://www.elastic.co/cn/products/kibana
还有一些使用可参考http://blog.csdn.net/ming_311/article/details/50619859,还有官网https://www.elastic.co/cn/products/kibana
最新文章
- 【leetcode】Container With Most Water
- unity3D脚本中,update ,fixupdate 和lateupdate的区别
- C语言-指针
- jquery和css3实现滑动导航菜单
- Sql Server之旅——第七站 为什么都说状态少的字段不能建索引
- jQuery2
- C# 中的多线程
- 移动端单页视图库,适用于制作移动Web touchbox
- iOS 证书申请和使用详解(详细版)
- 安卓WebView中接口隐患与手机挂马利用(远程命令执行)
- linux定时任务2-at命令
- Node.js学习笔记2(安装和配置Node.js)
- 每天一个Linux命令(18)--locate命令
- C#对委托的初步理解理解
- 一些公司对quantitative的要求
- 前端面试题总结二(js原型继承)
- Odoo 中使用 celery 实现高性能异步任务队列
- k8s-N0.4-service
- Mysql 大量Sleep 解决
- 【Mysql】MySQL event 计划任务
热门文章
- java中的垃圾回收机
- win10已计划自动重启怎么关
- linux下错误 &;&; 解决方法
- [Network Architecture]DPN(Dual Path Network)算法详解(转)
- 【cs231n】线性分类笔记
- Memcached stats sizes 命令
- 第八章:部署Tornado
- 【Python】简单实现爬取小说《天龙八部》,并在页面本地访问
- [PostgreSql]PostgreSql调用函数及用IF EXISTS判断表是否存在
- elasticsearch 集群的安装部署