kafka集群搭建记录
本文记录搭建kafka搭建过程。
一、硬件机器介绍
192.168.183.195 master-node
192.168.183.194 data-node1
192.168.183.196 data-node2
二、集群搭建
master-node操作如下:
下载kafka包
wget http://mirror.bit.edu.cn/apache/kafka/2.2.0/kafka_2.11-2.2.0.tgz
解压
tar -zxvf kafka_2.11-2.2.0.tgz -C /usr/local
配置:
进入 /usr/local/kafka_2.11_2.2.0
vim config/server.properties
修改:
broker.id = 1 //分布式的部署,每个broker的id不能相同;
listeners=PLAINTEXT://master-node:9092 //这里的配置规范是listeners = listener_name://host_name:port,因此你要确定你的host_name,可以vim /etc/hostname看到
zookeeper.connect=master-node:2181,data-node1:2181,data-node2:2181 //zookeeper的连接地址,关于zookeeper集群的搭建可以查看https://www.cnblogs.com/ldsggv/p/11006184.html
到这里master-node机器配置完成,下面可以通过scp命令把/usr/local/kafka_2.11_2.2.0传输到其他俩台机器,如果当前用户没有足够权限,可以scp kafka的按照包,然后安装上面的步骤再一次操作。
启动:
在三台机器上,进入kafka安装目录,执行
bin/kafka-server-start.sh config/server.properties
此时集群已经启动;
验证:
一、打开zkCli.sh;
执行 ls /
可以看到:
可以进入到/brokers/ids查看brokers的id
二、官网例子
1、创建topic
bin/kafka-topics.sh --create --bootstrap-server master-node:9092 --replication-factor 3 --partitions 1 --topic my-replicated-topic
2、bin/kafka-topics.sh --describe --bootstrap-server master-node:9092 --topic my-replicated-topic 查看topic信息
3、启动生产者
bin/kafka-console-producer.sh --broker-list master-node:9092 --topic my-replicated-topic
可以输入一些测试信息
4、启动消费者
bin/kafka-console-consumer.sh --bootstrap-server master-node:9092 --from-beginning --topic my-replicated-topic
这里的--from-begining代表从最开始消息消费。
如果上面四个步骤顺利完成,那么kafka集群搭建完成,后续的配置,优化可以参考官网的配置说明。
最新文章
- 服务器使用FTP命令行 无法传送文件 卡在150 Opening data channel for file transfer
- ViewStub源码分析
- C#高级编程笔记 Day 8, 2016年9月 28日 (数组)
- FTF登入tiny210开发板
- jQuery使用示例详解
- Easy Multiple Copy to Clipboard by ZeroClipboard
- AngularJS合集
- 在MAC下调试运行暗黑全世界客户端及部分代码注解(基于Firefly)
- demo——06弹性和制作骰子
- Linux下p2p的聊天功能实现
- 1169 二叉树遍历(XCOJ DFS)
- OpenCV——Rect矩阵类
- 每天一个linux命令31)--chown命令
- MyBatis 详解(一对一,一对多,多对多)
- es6函数的rest参数和拓展运算符(...)的解析
- hdu5569 BestCoder Round #63 (div.2)
- Spring声明式事务总结
- scrapy爬虫学习系列五:图片的抓取和下载
- Centos启动流程及grub legacy
- 树莓派MQTT客户端搭建
热门文章
- MapReduce第一个项目 WordCount
- start.sh在linux下启动报错 Can't connect to any repository: ,cannot open git-receive-pack
- NOI2005 维护数列 lg2042
- Vue 实例挂载的实现(六)
- Python基础教程-02
- python之路正则表达式
- Install macOS High Sierra on Any Supported Intel-based PC
- hyper-v 80070057
- Tomcat创建项目
- python:函数中的*args与**kwargs