安装配置Kafka

1,下载kafka安装包,解压缩,tar -zxvf kafka_2.10-0.8.2.1.tgz

2,修改/etc/profile文件,增加KAFKA_HOME变量

3,进入KAFKA_HOME/config目录

(1)修改server.properties文件

broker.id=0

host.name=master(在slave1中,master-->slave1)

log.dirs=/datastore/kafka/logs(建立该目录)

zookeeper.connect=master:2181,slave1:2181,slave2:2181

(2)修改zookeeper.properties文件

dataDir=/datastore/zookeeper/data(建立该目录)

4,复制到其他节点

cd /usr/local

scp -rq kafka-0.8.2.1 slave1:/usr/local

scp -rq kafka-0.8.2.1 slave2:/usr/local

进入slave1和slave2修改server.properties文件

安装完毕,进行测试:

1,首先在各节点上启动zookeeper

zkAll.sh start(该脚本乃本人在master节点ZOOKEEPER_HOME/bin目录下自定义的脚本,用于同时启动集群中所有节点上的zookeeper)

2,在各节点上启动kafka,

kafka-server-start.sh $KAFKA_HOME/config/server.properties

3,在master上新建一个TOPIC,

kafka-topics.sh --create --topic test --replication-factor 3 --partitions 2 --zookeeper master:2181

4,在slave1上开一个端口发生消息至kafka(slave1模拟producer)

kafka-console-producer.sh --broker-list slave1:9092 --sync --topic test

5,在slave2上,开一个端口显示消息的消费(slave2模拟consumer)

kafka-console-consumer.sh --zookeeper slave2:2181 --topic test --from-beginning

可以为一个producer创建多个consumer对应

6,在slave1的终端输入内容,this xxxx

其中的Hello Kafka是上一次在test topic中进行测试时的输入.

连接两个consumer:

巴特西