EFK项目操作(待完善)
Environment:{
三台服务器均安装 kafka zookeeper
filebeat
logstash
kibana
}
一、首先安装zookeeper,kafka,让机器有 leader 和 follower
1、首先准备环境(jdk)(三台机器均执行此步骤)
rpm -ivh jdk-8u131-linux-x64_.rpm
移动压缩包
mv kafka_2.11-2.2.0.tgz /usr/local/src/
mv zookeeper-3.4.14.tar.gz /usr/local/src/
进入src目录解压压缩包并移动到/usr/local
cd /usr/local/src/ tar -zxvf kafka_2.11-2.2.0.tgz tar -zxvf zookeeper-3.4.14.tar.gz
将kafka包和zookeeper包移动到/usr/local/目录下
mv kafka_2.11-2.2.0 /usr/local/kafka
mv zookeeper-3.4.14 /usr/local/zookeeper
cd /usr/local/zookeeper/
创建两个文件夹,用以放置zookeeper的日志或数据
mkdir {zkdata,zkdatalog}
此步骤不为关键:用md5查看kafka和zookeeper是否安装
md5sum /usr/local/src/kafka_2.11-2.2.0.tgz md5sum /usr/local/src/zookeeper-3.4.14.tar.gz
进入配置文件,并拷贝新文件夹,编辑配置文件
cd conf/
cp zoo_sample.cfg zoo.cfg
编辑zoo.cfg文件
vim zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper/zkdata #修改此文件路径,上一步创建的zkdata文件夹
dataLogDir=/usr/local/zookeeper/zkdatalog #添加数据日志的文件夹
clientPort=2181
server.1=192.168.189.172:2888:3888 #此步骤为三台虚拟机的ip以及端口
server.2=192.168.189.139:2888:3888
server.3=192.168.189.128:2888:3888
三台机器桉步骤依次填入序号
echo '1' > /usr/local/zookeeper/zkdata/myid
echo '2' > /usr/local/zookeeper/zkdata/myid
echo '3' > /usr/local/zookeeper/zkdata/myid cat /usr/local/zookeeperzkdata/myid
查看各个机器的id值
三台机器配置文件操作完成,下面进入启动程序
cd /usr/local/zookeeper/bin/ ./zkServer.sh start
启动完成后可以查看本机的身份(关闭防火墙)
./zkServer.sh status
注意,机器连通需要关闭相关防火墙
效果如下: 此处有一个leader 和 两个 follower
启动kafka
cd /usr/local/kafka/bin/config
vim server.properties
eg:三台机器各自安配id ,kafka01、2、3:9092
broker.id=3
advertised.listeners=PLAINTEXT://kafka03:9092
zookeeper.connect=192.168.189.172:2181,192.168.189.139:2181,192.168.189.128:2181
vim /etc/hosts #尾部添加主机三台机器均执行此步骤
192.168.189.172 kafka01
192.168.189.139 kafka02
192.168.189.128 kafka03
进入目录开启kafka服务
cd /usr/local/kafka/bin/
./kafka-server-start.sh -daemon ../config/server.properties
查看是否有9092端口,有代表服务开启
创建主题端口
cd /usr/local/kafka/bin/
./kafka-server-start.sh
./kafka-server-start.sh -daemon ../config/server.properties ./kafka-topics.sh --create --zookeeper 192.168.189.128:2181 --replication-factor 2 --partitions 3 --topic wg007 ./kafka-topics.sh --list --zookeeper 192.168.189.128:2181 #查看创建的主题名称
创建虚拟用户下单以及接单(简明来说:一台机器输入,另一台机器可显示其输入的内容)
./kafka-console-producer.sh --broker-list 192.168.189.128:9092 --topic wg007
第二台机器连接第一台机器,用以查看第一台机器输入的内容
/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.189.172:9092 --topic logstash --from-beginning
二、filebeat端 web界面显示的服务(filebeat)
1、编辑filebeat的yum源
vim /etc/yum.repos.d/filebeat.repo yum -y install filebeat
yum源配置文件如下
[filebeat-.x]
name=Elasticsearch repository for .x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=
autorefresh=
type=rpm-md
下载完配置此filebeat的配置文件
vim /etc/filebeat/filebeat.yml
此步骤为要监控的服务的日志,本机器监控nginx
最新文章
- mysql授权登录用户
- JAVA 设计模式 享元模式
- iOS 获取网络图片的大小
- SCN试验之二 checkpoin scn 与数据库scn的关系
- MMM和MHA的对比和应用(PPT分享)
- golang的helloworld
- scrollView滚动(通过代码)
- Nginx出现413 Request Entity Too Large错误解决方法
- 如何记录selenium自动化测试过程中接口的调用信息
- jQuery控制元素隐藏和显示
- (转)关于request.getServletPath(),request.getContextPath()的总结
- ACM ICPC 2017 Warmup Contest 9 I
- IDEA-使用技巧
- Python连接mysql出错,_mysql_exceptions.OperationalError: (1045, ";Access denied for user 'root'@'localhost' (using password: YES)";)
- C语言求行列式的值
- FortiGate日志中session clash
- quartz在application中的使用
- synchronized(二)
- Linux新内核:提升系统性能 --Linux运维的博客
- iOS 滑动比较
热门文章
- day01——python初始、变量、常量、注释、基础数据类型、输入、if
- Python解析 算数表达式求值 栈的使用
- Spring mvc请求处理流程详解(一)之视图解析
- WPF 程序鼠标在窗口之外的时候,控件拿到的鼠标位置在哪里?
- Mysql向新建表中插入数据, Incorrect string value: '\xE5\xBC\xA0\xE4\xB8\x89' for column 'UserName' at row 1
- 静态工具类注入service的方法
- 16 doc values 【正排索引】
- Python进阶----类的结构(公有成员 , 私有成员(私有属性,私有方法),类方法,静态方法,属性) ,isinstance 和issubcalss ,元类(type())
- Jmeter:内存配置 -- 转发
- java实现顺序表、链表、栈 (x)->;{持续更新}