环境搭建-ELK单节点环境搭建(02)

写在前面

常说:"工欲善其事必先利其器",这话想想也是一点毛病也没有,在开始学习任何技术之前,我们总得有一个实际可供操作的实验环境.有人说,"看十遍不如用一遍",我想大概就是这个道理.废话不多说,直接开始.

实验环境

CentOs7.2

JDK1.8及其以上

node-v8.10.0-linux-x64(安装Head插件,版本>V8)

elasticsearch-6.1.3

kibana-6.1.3-linux-x86_64

logstash-6.1.3

ps:注意在选择ELK版本的时候,每个组件的版本号要一致

这个直接官网下载即可,下载还是很快地

新建用户

在正式开始之前,我先说明,因为elasticsearch是不能以root用户启动的.所以,为了避免这种麻烦的事情发生.我们事先创建好用户.

[root@csylh ~]# groupadd liuge

[root@csylh ~]# useradd liuge -g liuge

[root@csylh ~]# passwd liuge

Changing password for user liuge.

New password:

Retype new password:

passwd: all authentication tokens updated successfully.

为liuge用户赋予ROOT权限,方便后面命令的执行

[root@csylh ~]# vim /etc/sudoers

## Allow root to run any commands anywhere

root    ALL=(ALL)       ALL

liuge   ALL=(ALL)       ALL

JDK和Node环境的配置

要启动ES集群,你必须保证你的机器上必须先要安装上jdk的运行环境先.我这里采用比较简单的安装方式.官网下载解压后,添加到当前用户的环境变量就可以啦

1.下载解压到指定目录

[liuge@csylh jdk1.8.0_161]$ pwd

/home/liuge/apps/jdk1.8.0_161

#我的jdk解压地址

2.添加到环境变量

[liuge@csylh jdk1.8.0_161]$ vim ~/.bash_profile

# .bash_profile

# Get the aliases and functions

if [ -f ~/.bashrc ]; then

        . ~/.bashrc

fi

# User specific environment and startup programs

PATH=$PATH:$HOME/.local/bin:$HOME/bin

export PATH

#jdk环境

export JAVA_HOME=/home/liuge/apps/jdk1.8.0_161

export PATH=$JAVA_HOME/bin:$PATH

#:wq保存退出

3.再source一下环境变量,查看

[liuge@csylh jdk1.8.0_161]$ source ~/.bash_profile

[liuge@csylh jdk1.8.0_161]$ java -version

java version "1.8.0_161"

Java(TM) SE Runtime Environment (build 1.8.0_161-b12)

Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

[liuge@csylh jdk1.8.0_161]$

Node环境的安装

可能很多小伙伴不熟悉没有接触过node,我其实也不熟悉,我们这里也只是需要使用node提供的npm这个包管理工具来安装Head插件而已.简单命令

1.下载啊(直接去官网下载,版本大于v8即可)

2.解压啊

[liuge@csylh softs]$ ll

total 270304

-rw-r--r-- 1 root root  28454781 Jan 30 23:07 elasticsearch-6.1.3.tar.gz

-rw-r--r-- 1 root root  64640541 Jan 30 23:07 kibana-6.1.3-linux-x86_64.tar.gz

-rw-r--r-- 1 root root 118581153 Jan 30 23:07 logstash-6.1.3.tar.gz

-rw-r--r-- 1 root root    921421 Mar 31 12:50 master.zip

-rw-r--r-- 1 root root  63887360 Mar 31 12:50 node-v8.10.0-linux-x64.tar

[liuge@csylh softs]$ tar -xf node-v8.10.0-linux-x64.tar -C ../apps/

[liuge@csylh softs]$ ll ../apps/

total 8

drwxr-xr-x 8 root  root  4096 Mar 31 12:50 jdk1.8.0_161

drwxrwxr-x 6 liuge liuge 4096 Mar  7 06:47 node-v8.10.0-linux-x64

[liuge@csylh softs]$

3.添加到环境变量

:wq保存退出

4.source环境变量,检查是否成功

[liuge@csylh node-v8.10.0-linux-x64]$ source ~/.bash_profile

[liuge@csylh node-v8.10.0-linux-x64]$ node -v

v8.10.0

[liuge@csylh node-v8.10.0-linux-x64]$

看到上面的输出,就说明你的基础环境已经安装完毕

正式开始

前面讲了这么久的基础环境的配置,终于可以正式搭建我们的ELK环境啦

ElasticSearch的安装

1.下载啊(前面也说过,直接在官网下载就可以啦),这是官网的下载地址

https://www.elastic.co/downloads/past-releases,我这里选择的是6.1.3版本

我直接使用wget命令,下载到服务器上的

[liuge@csylh softs]$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.1.3.tar.gz

2.解压到指定目录

3.做基础配置

因为我使用的是腾讯云的2G内存的服务器,所以需要在某些地方做一定修改.

编辑JVM文件,默认分配jvm空间大小为2g，需要改小一点

我这里修改为256M,这个大小主要看自己的服务器的内存大小

编辑elasticsearch.yml文件

修改一下几项:

cluster.name: liuge-cluster #集群名称，以此作为是否是同意集群的判断

node.name: node-liuge #节点名称，以此作为集群中不同节点的分区条件

path.data: /home/liuge/datas/data #数据存储地址文件目录需要自己新建

path.logs: /home/liuge/datas/logs #日志存储地址

network.host: 0.0.0.0#（主机地址）对外发布的网络地址,因为我需要远程

http.port: 9200 #ES默认监听的端口

上面的host地址说明:因为我需要开启远程连接,所以就设置为0.0.0.0,你本地的话,直接localhost就是可以的

4.在开始启动之前:我们需要修改系统的环境参数

系统参数要求

fd 最低需要65536

vm 最低262144

max locked memory最低64

以Root用户执行下面语句即可

[root@csylh ~]# echo "* soft nofile 65536" >> /etc/security/limits.conf

[root@csylh ~]# echo "* hard nofile 65536" >> /etc/security/limits.conf

[root@csylh ~]# echo "* soft memlock unlimited" >> /etc/security/limits.conf

[root@csylh ~]# echo "* hard memlock unlimited" >> /etc/security/limits.conf

[root@csylh ~]# echo "vm.max_map_count = 262144" >> /etc/sysctl.conf

[root@csylh ~]# sysctl -p

vm.max_map_count = 262144

vm.max_map_count = 262144

[root@csylh ~]# ulimit -l unlimited

[root@csylh ~]#

这样就可以正式启动啦:

./bin/elasticsearch

[liuge@csylh elasticsearch-6.1.3]$ pwd

/home/liuge/apps/elasticsearch-6.1.3

[liuge@csylh elasticsearch-6.1.3]$ ./bin/elasticsearch

后台永久启动

nohup ./bin/elasticsearch &

看见上面的输出,就说明,启动成功

web测试:

解决启动可能报错问题

ERROR: [1] bootstrap checks failed...

你需要在配置文件中添加:

安装head插件

1.下载啊

[liuge@csylh softs]$ wget https://github.com/mobz/elasticsearch-head/archive/master.zip

2.解压啊

3.进入解压后的目录,使用npm install 安装(稍微有点慢,静静等待)

4.启动head插件:npm run start

Kibana安装

还是老套路,下载,解压

下载地址:https://www.elastic.co/downloads/kibana

我这里下载:

[liuge@csylh softs]$ wget https://artifacts.elastic.co/downloads/kibana/kibana-6.1.3-linux-x86_64.tar.gz

ps:注意位数的选择

解压之后,

[liuge@csylh softs]$ tar -zxvf kibana-6.1.3-linux-x86_64.tar.gz -C ../apps/

进去到主目录,修改默认的配置文件

[liuge@csylh config]$ vim kibana.yml

# 分别找到以下几项进行修改

server.port: 5601

server.host: "0.0.0.0"

elasticsearch.url: "http://你的公网地址(或者是localhost):9200"

#:wq保存退出

这样就可以启动啦:

启动成功,注意再启动kibana之前需要先启动elasticsearch

web测试:

Kibana常用功能说明

Discover数据搜索查看

Visualize图表制作

Dashboard仪表盘制作

Timelion时序数据的高级可视化分析

DevTools开发者工具（经常会用到）

Managerment配置管理

Logstash 安装

软件的安装都是很类似的

下载,解压,做一定配置的修改

1.下载地址

https://www.elastic.co/downloads/past-releases

我这里下载的是:

[liuge@csylh softs]$ wget https://artifacts.elastic.co/downloads/logstash/logstash-6.1.3.tar.gz

2.解压到指定目录

3.进入到解压后的目录,做配置的修改

jvm参数

4.开始验证;

简单测试Logstash服务是否正常，预期将输入的内容结构化的输出到界面上

[liuge@csylh logstash-6.1.3]$ bin/logstash -e 'input{stdin{}} output{stdout{}}'

测试通过.说明我们的logstash安装成功

------好啦,到这里,我们的ELK环境就搭建好啦.接下来,我们就是去学习如何去使用这里组件,下一篇准备把X-pack这个插件装上.---------

巴特西