安装和使用 Elasticsearch(1.1.1)+marvel插件、Kibana插件
Elasticsearch是开源搜索平台的新成员,实时数据分析的神器,发展迅猛,基于 Lucene、RESTful、分布式、面向云计算设计、实时搜索、全文搜索、稳定、高可靠、可扩展、安装+使用方便,介绍都说的很好听,好不好用拿出来遛一遛。
做了个简单测试,在两台完全一样的虚拟机上,2000万条左右数据,Elasticsearch 插入数据速度比 MongoDB 慢很多(可以忍受),但是搜索/查询速度快10倍以上,这只是单机情况,多机集群情况下 Elasticsearch 表现更好一些。以下安装步骤在 Ubuntu Server 14.04 LTS 上完成。
安装 Elasticsearch
升级系统后安装 Oracle Java 7,既然 Elasticsearch 官方推荐使用 Oracle JDK 7 就不要尝试 JDK 8 和 OpenJDK 了:
$ sudo apt-get update
$ sudo apt-get upgrade $ sudo apt-get install software-properties-common
$ sudo add-apt-repository ppa:webupd8team/java
$ sudo apt-get update $ sudo apt-get install oracle-java7-installer
加入 Elasticsearch 官方源后安装 elasticsearch:
$ wget -O - http://packages.elasticsearch.org/GPG-KEY-elasticsearch | apt-key add -
$ sudo echo "deb http://packages.elasticsearch.org/elasticsearch/1.1/debian stable main" >> /etc/apt/sources.list $ sudo apt-get update
$ sudo apt-get install elasticsearch
加入到系统启动文件并启动 elasticsearch 服务,用 curl 测试一下安装是否成功:
$ sudo update-rc.d elasticsearch defaults 95 1 $ sudo /etc/init.d/elasticsearch start $ curl -X GET 'http://localhost:9200'
{
"status" : 200,
"name" : "Fer-de-Lance",
"version" : {
"number" : "1.1.1",
"build_hash" : "f1585f096d3f3985e73456debdc1a0745f512bbc",
"build_timestamp" : "2014-04-16T14:27:12Z",
"build_snapshot" : false,
"lucene_version" : "4.7"
},
"tagline" : "You Know, for Search"
}
Elasticsearch 的集群和数据管理界面 Marvel 非常赞,可惜只对开发环境免费,如果这个工具也免费就无敌了,安装很简单,完成后重启服务访问 http://192.168.2.172:9200/_plugin/marvel/ 就可以看到界面:
$ sudo /usr/share/elasticsearch/bin/plugin -i elasticsearch/marvel/latest $ sudo /etc/init.d/elasticsearch restart
* Stopping Elasticsearch Server [ OK ]
* Starting Elasticsearch Server [ OK ]
安装 Python 客户端驱动
和 MongoDB 一样,我们一般用程序和 Elasticsearch 交互,Elasticsearch 也支持多种语言的客户端驱动,这里仅安装 Python 驱动,其他语言可以参考官方文档。
$ sudo apt-get install python-pip
$ sudo pip install elasticsearch
写个简单程序把 gene_info.txt 的数据导入到 Elasticsearch:
#!/usr/bin/python
# -*- coding: UTF-8 -*- import os, os.path, sys, re
import csv, time, string
from datetime import datetime
from elasticsearch import Elasticsearch def import_to_db():
data = csv.reader(open('gene_info.txt', 'rb'), delimiter='\t')
data.next() es = Elasticsearch()
for row in data:
doc = {
'tax_id': row[0],
'GeneID': row[1],
'Symbol': row[2],
'LocusTag': row[3],
'Synonyms': row[4],
'dbXrefs': row[5],
'chromosome': row[6],
'map_location': row[7],
'description': row[8],
'type_of_gene': row[9],
'Symbol_from_nomenclature_authority': row[10],
'Full_name_from_nomenclature_authority': row[11],
'Nomenclature_status': row[12],
'Other_designations': row[13],
'Modification_date': row[14]
}
res = es.index(index="gene", doc_type='gene_info', body=doc) def main():
import_to_db() if __name__ == "__main__":
main()
Kibana 是一个功能强大的数据显示客户端,通过插件方式和 Elasticsearch 集成在一起,安装很容易,下载解压就可以了,然后重启 Elasticsearch 服务访问 http://192.168.2.172:9200/_plugin/kibana/ 就能看到界面:
$ wget https://download.elasticsearch.org/kibana/kibana/kibana-3.0.1.tar.gz
$ tar zxvf kibana-3.0.1.tar.gz
$ sudo mv kibana-3.0.1 /usr/share/elasticsearch/plugins/_site
$ sudo /etc/init.d/elasticsearch restart
最新文章
- ACM: Gym 101047M Removing coins in Kem Kadrãn - 暴力
- linux中的权限对于文件和目录的重要性
- 初识CDQ分治
- windows跟linux文件共享
- Gradle中文乱码
- JAVA 跑马灯文字效果
- switch条件语句规则
- Linux:crontab组件部署linux定时任务
- 内部类、异常以及 LeetCode 每日一题
- C#计算一段代码的运行时间
- celery 应用
- Redis的java客户端jedis
- 【LeetCode】134.Gas Station
- 03 Zabbix常用的术语
- 编译linux内核以及添加系统调用的全过程
- Chrome控制台console的各种用法(方便调试)
- 核心动画(CAKeyframeAnimation,CABasicAnimation)
- keras 自定义 custom 函数
- SPOJ GSS7 - Can you answer these queries VII
- 启用NFS方案(读写分离)
热门文章
- Shell32.ShellClass服务器操作系统无法获取 音频文件时长问题
- Windows下DOS命令大全(经典收藏)
- objective-C: NSString应该用initWithFormat? 还是 stringWithFormat?
- [iOS]隐藏导航栏把右滑退出操作保留
- failed to open stream: No such file or directory 报错解决方法
- 结队编程第二次作业:Android自动生成算式应用
- Linux实战教学笔记24:SSH连接原理及ssh-key
- Centos7.2下编译安装python3.7
- 蒟蒻LQL的博客
- java实现文件的拷贝以及文件的删除