CentOS7.4搭建kafka单结点和集群
操作系统选择
CentOS7.4x86-64（操作系统的x86_64是跟CPU有关的，最早AMD公司开发出了一款向下兼容x86CPU，向上又扩充了指令集，具有了64位CPU的特性，这款CPU后来改名为AMD64，Intel在AMD之后也开发了这样一款CPU，取名叫做x86_64），所以操作系统的x86_64就是指这款操作系统是64位的。使用uname -a查看操作系统版本。
安装Java环境
首先找到jdk下载的官网网址，然后在你要下载的jdk版本上右键单击，在弹出的选择框选择复制链接，得到jdk11的下载链接为：http://download.oracle.com/otn-pub/java/jdk/11+28/55eed80b163941c8885ad9298e6d786a/jdk-11_linux-x64_bin.tar.gz
在/usr/目录下创建java目录，使用wget命令下载jdk安装包到当前目录，命令为：（因为jdk下载时需要接收协议，所以wget命令比较特别）
wget --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie;" http://download.oracle.com/otn-pub/java/jdk/11+28/55eed80b163941c8885ad9298e6d786a/jdk-11_linux-x64_bin.tar.gz
下载好了以后可以使用ls命令查看这个安装包是否下载成功了。接下来使用tar命令解包
tar -zxvf jdk-11_linux-x64_bin.tar.gz
然后，配置java环境，就是windows下的环境变量的配置，打开/etc/profile文件，在最下方插入下面两行：
export JAVA_HOME=/usr/java/jdk-10.0. //这个就是你的包解压后的结果
export PATH=$JAVA_HOME/bin/:$PATH
最后，输入source /etc/profile，强制刷新配置文件。然后输入java -version即可查看你所安装的jdk的版本号，在本次试验中我的java版本是jdk10。
安装Zookeeper
Kafka使用Zookeeper保存集群的元数据信息和消费者信息。Kafka发行版本自带了Zookeeper，可以直接从脚本启动。本例安装一个完整的Zookeeper。
元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录，为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。
元数据是关于数据的组织、数据域及其关系的信息，简言之，元数据就是关于数据的数据。
从apache.org下载Zookeeper的稳定版，下载地址为：http://mirrors.hust.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz。版本为3.4.12。
1.单机Zookeeper的安装
Zookeeper的安装目录为/usr/local/zookeeper。数据目录为/var/lib/zookeeper。
下载Zookeeper的安装包：
wget http://mirrors.hust.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz
解压安装包
tar -zxf zookeeper-3.4..tar.gz
创建数据目录
mkdir -p /var/lib/zookeeper
创建Zookeeper的配置文件，并填写内容
[root@CentOs64- zookeeper]# mkdir -p /var/lib/zookeeper
[root@CentOs64- zookeeper]# cat > /usr/local/zookeeper/zookeeper-3.4./conf/zoo.cfg << EOF
> tickTime =
> dataDir=/var/lib/zookeeper
> clientPort=
> EOF
最后zookeeper完整的配置文件内容为
#Zookeeper定义的基准时间间隔，单位：毫秒。服务器与客户端之间交互的基本时间单元，也就是Zookeeper服务器之间或服务器与客户端之间每隔一个tickTime就发送一次心跳
tickTime=
#数据目录，zookeeper保存数据的目录，默认情况下，Zookeeper将写数据的日志文件也保存在这个目录下
dataDir=/var/lib/zookeeper
#客户端访问zookeeper的端口号，Zookeeper会监听这个端口，接收客户端的访问请求
clientPort=
#集群中的Follower（F）服务器和Leader（L）服务器之间初始连接时能容忍的最多心跳数（即tickTime的数目）
initLimit=
#syncLimit:Leader-Follower同步通信时限，集群中的follower服务器与leader服务器之间请求和应答之间能容忍的最多心跳数（即tickTime的数量）
syncLimit=
启动通过脚本启动zookeeper，命令为：
/usr/local/zookeeper/zookeeper-3.4./bin/zkServer.sh start
// start 前的目录路径为脚本的保存路径，它在你的zookeeeper的安装目录下
执行结果如下：
如上所示：说明单机版的zookeeper就已经启动了。其它一些ookeeper的命令：
.查询 zookeeper 状态：
zkServer.sh status
.关闭 zookeeper 服务：
zkServer.sh stop
如打印如下信息则表明成功关闭：
ZooKeeper JMX enabled by default
Using config: /usr/local/services/zookeeper/zookeeper-3.4./bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED .重启 zookeeper 服务：
zkServer.sh restart
如打印如下信息则表明重启成功：
ZooKeeper JMX enabled by default
Using config: /usr/local/services/zookeeper/zookeeper-3.4./bin/../conf/zoo.cfg
ZooKeeper JMX enabled by default
Using config: /usr/local/services/zookeeper/zookeeper-3.4./bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
ZooKeeper JMX enabled by default
Using config: /usr/local/services/zookeeper/zookeeper-3.4./bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
.查询 zookeeper 状态：
zkServer.sh status
.关闭 zookeeper 服务：
zkServer.sh stop
如打印如下信息则表明成功关闭：
ZooKeeper JMX enabled by default
Using config: /usr/local/services/zookeeper/zookeeper-3.4./bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED .重启 zookeeper 服务：
zkServer.sh restart
如打印如下信息则表明重启成功：
ZooKeeper JMX enabled by default
Using config: /usr/local/services/zookeeper/zookeeper-3.4./bin/../conf/zoo.cfg
ZooKeeper JMX enabled by default
Using config: /usr/local/services/zookeeper/zookeeper-3.4./bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
ZooKeeper JMX enabled by default
Using config: /usr/local/services/zookeeper/zookeeper-3.4./bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
现在可以连接到Zookeeper端口上，通过发送四字命令srvr是否安装正确。使用命令：
此时终端会停在这里，它是在等待你的输入。我们发送srvr，得运行结果如下：
[root@CentOs64- ~]# telnet localhost
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
srvr
Zookeeper version: 3.4.-e5259e437540f349646870ea94dc2658c4e44b3b, built on // : GMT
Latency min/avg/max: //
Received:
Sent:
Connections:
Outstanding:
Zxid: 0x0
Mode: standalone
Node count:
Connection closed by foreign host.
这说明，单击的zookeeper已经安装成功而了。
最后为zookeeper配置环境变量
添加export ZOOKEEPER_HOME=/usr/local/zookeeper
在path中添加$ZOOKEEPER_HOME/bin
然后使用source /etc/profile 立即刷新配置文件
2.Zookeeper集群的搭建
先在结点下试验（这个先欠着），还欠缺一个zookeeper是什么的博客。
单节点 Kafka Broker 的安装
Kafkade 最新版本可以从http://kafka.apache.org/downloads.html下载最新的版本。截止本试验日期为止，最新的稳定版是2.0.0。官网提供源码包下载和两个不同Scala版本编译好的Kafka，可以直接下载安装运行。
本次试验下载编译好的版本：http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz
使用wget命令，将这个安装包下载到/usr/local/kafka目录下
[root@CentOs64- kafka]# wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz
---- ::-- http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz
Resolving mirrors.tuna.tsinghua.edu.cn (mirrors.tuna.tsinghua.edu.cn)... 101.6.8.193, :f000:::::
Connecting to mirrors.tuna.tsinghua.edu.cn (mirrors.tuna.tsinghua.edu.cn)|101.6.8.193|:... connected.
HTTP request sent, awaiting response... OK
Length: (53M) [application/octet-stream]
Saving to: ‘kafka_2.-2.0..tgz’ %[=====================================================================================================================================================>] ,, .5MB/s in .6s -- :: (14.8 MB/s) - ‘kafka_2.-2.0..tgz’ saved [/]
解压（其实就是安装了）
tar -zxf kafka_2.-2.0..tgz
Kafka目录介绍
/bin 操作kafka的可执行脚本，还包含windows下脚本
/config 配置文件所在目录
/libs 依赖库目录
/logs 日志数据目录，目录kafka把server端日志分为5种类型，分为:server,request,state，log-cleaner，controller
创建保存kafka日志的目录
mkdir /tmp/kafka-logs
启动kafka
/usr/local/kafka/kafka_2.11-2.0.0/bin/kafka-server-start.sh -daemon /usr/local/kafka/kafka_2.11-2.0.0/config/server.properties
检查9092端口和2181端口，9092是kafka的默认端口，2181是zookeeper的默认端口
[root@CentOs64-7 site-docs]# netstat -tunlp|egrep "(2181|9092)"
tcp 0 0 0.0.0.0:9092 0.0.0.0:* LISTEN 28688/java
tcp 0 0 0.0.0.0:2181 0.0.0.0:* LISTEN 27193/java
如上，说明kafka已经启动。
接下来，验证这个kafka是否安装正确
1.创建并验证主题
[root@CentOs64- site-docs]# /usr/local/kafka/kafka_2.-2.0./bin/kafka-topics.sh --create --zookeeper localhost: --replication-factor --partitions --topic test
Created topic "test". //说明主题创建成功
2.查看你创建的主题的详细信息，如果不指定主题（添加--topic参数），那么查看所有的主题信息
[root@CentOs64- site-docs]# /usr/local/kafka/kafka_2.-2.0./bin/kafka-topics.sh --zookeeper localhost: --describe --topic test
Topic:test PartitionCount: ReplicationFactor: Configs:
Topic: test Partition: Leader: Replicas: Isr:
3.向测试主题上发布消息
[root@CentOs64- site-docs]# /usr/local/kafka/kafka_2.-2.0./bin/kafka-console-producer.sh --broker-list localhost: --topic test
>Test Mese ^H
>Test Message ^H^[[~
>q
输入后按Ctrl+D退出输入。
4.从测试主题上读取消息
/usr/local/kafka/kafka_2.-2.0./bin/kafka-console-consumer.sh --zookeeper localhost: --topic test -- from-beginning
//上面这个命令用于kafka0.9以及0.9以下版本使用这个命令 /usr/local/kafka/kafka_2.-2.0./bin/kafka-console-consumer.sh --bootstrap-server localhost: --topic test --from-beginning
//上面命令用于kafka0.9用这个命令
输入Ctrl+C退出消费。
5.查看topic列表
/usr/local/kafka/kafka_2.-2.0./bin/kafka-topics.sh --list --zookeeper localhost:
6.删除topic
kafka-topics.sh --delete --zookeeper node1: --topic my-kafka-topic
producer，指定的Socket(192.168.1.181+9092),说明生产者的消息要发往kafka，也即是broker
consumer, 指定的Socket(192.168.1.181+2181),说明消费者的消息来自zookeeper（协调转发）
kafka的编译
本小节参考：https://blog.csdn.net/caoshangpa/article/details/79743830
会编译，有备无患。下载源码kafka-1.1.0-src.tgz
解压，这里也解压到/home目录下
> tar -xzf kafka-1.1.-src.tgz
> cd kafka-1.1.-src
查看里面的README.md文档，编译依赖1.Gradle 3.0或更高版本；2.Java 7。jdk前面已经安装过了，现在安装Gradle。
Gradle下载https://gradle.org/install/，该页面指出Gradle依赖Java 7或更高版本。最新的Gradle版本是4.6，下载其编译好的二进制包gradle-4.6-bin.zip。
解压，这里也解压到/home目录下
$ unzip -d gradle-4.6-bin.zip
$ ls radle-4.6
LICENSE NOTICE bin getting-started.html init.d lib media
将bin添加到环境变量，编辑/etc/profile文件，在其末尾添加
export PATH=$PATH:/home/zhangcan/gradle-4.6/bin
使修改的profile立即生效
$ source /etc/profile
测试一下
$ gradle -v
CD到kafka源码目录，开始编译
1.输入gradle指令，开始下载环境
$ gradle
下载了一堆东西，如果提示有文件下载失败，多执行几次该指令即可
2.编译
$ ./gradlew releaseTarGz -x signArchives
还是下载了一堆东西，如果提示有文件下载失败，多执行几次该指令即可。编译成功后会提示。
此时，会在kafka-1.1.0-src/core/build/distributions目录下生成一个名为kafka_2.11-1.1.0.tgz的二进制包，这个包和从官网下载的二进制包是一样的
参考链接：http://kafka.apache.org/quickstart
最新文章
- 自定义EL表达式的函数
- React笔记整理
- html 实体转换为字符：转换 UEditor 编辑器 ( 在 ThinkPHP 3.2.2 中 ) 保存的数据
- 前端框架与UI搭配
- matlab 画框（二） 去白边
- 《学习OpenCV》练习题第四章第一题a
- springmvc使用aop心得
- 以前5年只专注于.net，现今开始学习java.
- java基础 二分查找算法
- C# 枚举运用"位"操作和"或"操作
- [SinGuLaRiTy] SplayTree 伸展树
- 细说"回车"和"换行"的故事
- curl说明
- win7下JAVA环境变量配置方法
- Director.js
- 腾讯地图key秘钥
- jpg转yuv420抠图后转为jpg
- webpack中使用typescript
- PHP 错误 系列：编码格式错误解决
- java 集合（三）List接口