kafka介绍及安装配置（windows）

Kafka介绍

Kafka是分布式的发布—订阅消息系统。它最初由LinkedIn(领英)公司发布，使用Scala和Java语言编写，与2010年12月份开源，成为Apache的顶级项目。Kafka是一个高吞吐量的、持久性的、分布式发布订阅消息系统。

三大特点：

　　高吞吐量可以满足每秒百万级别消息的生产和消费——生产消费。

　　持久性有一套完善的消息存储机制，确保数据的高效安全的持久化——中间存储。

　　分布式基于分布式的扩展和容错机制；Kafka的数据都会复制到几台服务器上。当某一台故障失效时，生产者和消费者转而使用其它的机器——整体健壮性。

核心：

　　Broker:消息代理，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群。

　　Topic:主题，Kafka处理的消息的不同分类。

　　Partition:Topic物理上的分组，一个topic可以分为多个partion,每个partion是一个有序的队列。partion中每条消息都会被分配一个有序的Id(offset)

　　Message:消息，是通信的基本单位，每个producer可以向一个topic（主题）发布一些消息，每个消息都属于一个partition

　　Producer：消息和数据的生产者，向Kafka的一个topic发布消息。

　　Consumer：消息和数据的消费者，定于topic并处理其发布的消息。

安装配置

kafka依赖zookeeper，在Kafka的设计中，选择了使用Zookeeper来进行所有Broker的管理，体现在zookeeper上会有一个专门用来进行Broker服务器列表记录的点，节点路径为/brokers/ids；此外生产者、消费者的负载均衡可使用zookeeper实现等等。因此需要安装zookeeper

下载地址：

　　zookeeper：链接：https://pan.baidu.com/s/1iXbLPFzeKTeRaab5CSrD9Q 提取码：ipv9

　　kafka：链接：https://pan.baidu.com/s/1BhT4XtMiU_J6PyNb7DtciQ 提取码：sbd5

安装:

　　zookeeper:

　　　　1.下载解压（以C:\zookeeper3.4为例），将C:\zookeeper3.4\conf下的zoo_sample.cfg文件更名为zoo.cfg