搭建 Kafka 集群 (v2.12-2.3.0)
服务器:10.20.32.121,10.20.32.122,10.20.32.123
三台服务器都需要安装jdk、配置zookeeper、配置kafka
1、安装配置jdk1.8
[root@localhost ~]# cat /etc/profile
export JAVA_HOME=/opt/jdk1.8.0_101
export PATH=$JAVA_HOME/bin:$PATH
2、安装配置zookeeper集群
3、安装配置kafka集群(以10.20.32.121配置为例)
3.1、下载解压文件
[root@node3 cluster]# cd /opt && wget https://www-eu.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz
[root@node3 cluster]# tar zxvf kafka_2.12-2.3.0.tgz
3.2、编辑配置文件/opt//kafka_2.12-2.3.0/config/server.properties,以下是需要修改的部分
broker.id=121
listeners=PLAINTEXT://10.20.32.121:9092
log.dirs=/opt/kafka_2.12-2.3.0/kafkalogs
zookeeper.connect=10.20.32.121:2181,10.20.32.122:2181,10.20.32.123:2181
# Timeout in ms for connecting to zookeeper需修改,不然报超时
zookeeper.connection.timeout.ms=60000
#group.initial.rebalance.delay.ms=0
注意:
如果是单机版的话,使用默认配置即可。
如果是配置集群,下面信息必须修改:
(1)、broker.id:同一个集群中,每台机器均不能一样
(2)、zookeeper.connect:因为我有3台zookeeper服务器,所以在这里zookeeper.connect设置为3台,必须全部加进去
(3)、listeners:在配置集群的时候,必须设置,不然以后的操作会报找不到leader的错误
10.20.32.122与10.20.32.123服务器只需要修改broker.id、listeners值,broker.id=122 listeners=PLAINTEXT://10.20.32.122:9092,broker.id=123 listeners=PLAINTEXT://10.20.32.123:9092
4、启动zookeeper、kafka
/opt/zookeeper-3.4.10/bin/zkServer.sh start
/opt/kafka_2.12-2.3.0/bin/kafka-server-start.sh -daemon /opt/kafka_2.12-2.3.0/config/server.properties
5、测试
10.20.32.121上创建test主题:
/opt/kafka_2.12-2.3.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
10.20.32.122、10.20.32.123上查看topic:
/opt/kafka_2.12-2.3.0/bin/kafka-topics.sh --list --zookeeper localhost:2181
最新文章
- 获取元素CSS值之getComputedStyle方法熟悉
- 定时清理mysql数据。
- 串口log
- 【转】使用PHP创建基本的爬虫程序
- 四种方法解析JSON数据
- 内存管理之二——Cocos2d-x学习历程(六)
- HDU 5834 Magic boy Bi Luo with his excited tree
- Android中SharedPreferences介绍和使用方法
- 使用VideoView实现简单视频播放器
- [总结]CSS/CSS3常用样式与web移动端资源
- Saltstack_使用指南03_配置管理
- offsetof(s,m)解析
- reduce函数
- Handsontable Dropdown with key-value pair
- ubuntu 有些软件中不能输入中文
- Bundle类解读
- linux 文件系统与磁盘修复
- svn管理码云项目
- ubuntu 查看系统是32位还是64位
- lua学习笔记13:协程具体解释和举例
热门文章
- python判断目录或者文件
- 2013.4.23 - KDD第五天
- CCS设置第一个li的元素与其他li样式不同
- P1311 选择客栈[模拟]
- Scikit-learn库
- JQuery系列(1) - 选择器、构造函数、实例方法
- C# 6.0 中的新增功能(.NET Framework 4.6 与 Visual Studio 2015 )
- 行为型模式(五) 中介者模式(Mediator)
- linux 导出mysql数据库表及数据
- asp.net+ueditor word粘贴上传