大数据高可用集群环境安装与配置（10）—

1. 获取安装包下载链接

访问https://kafka.apache.org/downloads 找到kafka对应版本

需要与服务器安装的scala版本一致（运行spark-shell可以看到当前安装的scala版本）

2. 执行命令下载并安装

cd /usr/local/src/

wget https://www.apache.org/dyn/closer.cgi?path=/kafka/2.2.2/kafka_2.11-2.2.2.tgz

tar -zxvf kafka_2.-2.2..tgz

mv kafka_2.-2.2. /usr/local/kafka

cd /usr/local/kafka/config

mkdir -p /data/logs/kafka

3. 修改server.properties配置

vi server.properties

修改下面配置

# 每个kafka服务的broker.id值都需要设置，第一个为1，第二个为2，以此类推

broker.id=

log.dirs=/data/logs/kafka

# 设置kafka的分区数，这个根据具体情况而定

num.partitions=

zookeeper.connect=master:,master-backup:

4. 修改zookeeper.properties配置

vi zookeeper.properties

修改下面配置

dataDir=/usr/local/zookeeper

5. 修改服务器系统环境变量

所有服务器都需要按要求修改配置

vi /etc/profile

在尾部添加下面配置

export KAFKA_HOME=/usr/local/kafka

export PATH=$KAFKA_HOME/bin:$PATH

保存退出后，运行命令，让配置马上生效

source /etc/profile

6. 将kafka同步到master-backup服务器上

rsync -avz /usr/local/kafka/ master-backup:/usr/local/kafka/

修改server.properties配置

vi server.properties

将broker.id值修改为2

broker.id=

7. 启动kafka服务

在master与master-backup服务器上运行命令，启动kafka服务

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

8. kafka常用操作命令

# 创建topic

kafka-topics.sh --create --zookeeper master:,master-backup: --topic sendTopic --partitions  --replication-factor 

# 查看topic

kafka-topics.sh --list --zookeeper master:,master-backup:

# 删除topic

kafka-topics.sh --delete --topic sendTopic --zookeeper master:,master-backup:

# 创建生产者

kafka-console-producer.sh --broker-list master:,master-backup: --topic sendTopic

# 创建消费者

kafka-console-consumer.sh --bootstrap-server master:,master-backup: --topic sendTopic --from-beginning

# 在所有生产端输入字符，所有消费端都可以接收到

# 查看topic详细信息

kafka-topics.sh --describe --zookeeper master:,slave1:,slave2:

作者博客：http://www.cnblogs.com/EmptyFS/

巴特西

大数据高可用集群环境安装与配置（10）——安装Kafka高可用集群