今天我们要讲的大数据公司叫作Confluent,这个公司是前LinkedIn员工出来后联合创办的,而创业的基础是一款叫作Apache Kafka的开源软件. Confluen联合创始人Jun Rao即将在QCon北京2018分享Apache Kafka的前世今生和未来的相关话题. 在整个Hadoop的生态圈里,Kafka是一款非常特殊的软件.它由LinkedIn于2011年开源,并在2012年底从阿帕奇孵化器里面毕业,正式成为阿帕奇的顶级项目. Kafka和其他的大数据平台都不同,它的主要目的不

介绍 Kafka是一个分布式的.分区的.冗余的日志提交服务.它使用了独特的设计,提供了所有消息传递系统所具有的功能. 我们先来看下几个消息传递系统的术语: Kafka维护消息类别的东西是主题(topic). 我们称发布消息到Kafka主题的进程叫生产者(producer). 我们称订阅主题.获取消息的进程叫消费者(consumer). Kafka是由多个服务器组成的机器,每个服务器称作代理(broker). 在较高的层次上看,生产者通过网络发送消息到Kafka集群,Kafka集群将这些消息提供给

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ Step 8: Use Kafka Streams to process data Step : 使用Kafka Stream来处理数据 Kafka Streams is a client library of Kafka for real-time stream processing and analyzing data stored in Kafka brokers. This

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ Step 7: Use Kafka Connect to import/export data Step : 使用 Kafka Connect 来 导入/导出 数据 Writing data from the console and writing it back to the console is a convenient place to start, but you'll p

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ Kafka for Stream Processing kafka的流处理 It isn't enough to just read, write, and store streams of data, the purpose is to enable real-time processing of streams. 仅仅读,写和存储是不够的,kafka的目标是实时的流处理. In

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ Kafka as a Storage System kafka作为一个存储系统 Any message queue that allows publishing messages decoupled from consuming them is effectively acting as a storage system for the in-flight messages. Wh

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ Kafka as a Messaging System kafka作为一个消息系统 How does Kafka's notion of streams compare to a traditional enterprise messaging system? Kafka的流与传统企业消息系统相比的概念如何? Messaging traditionally has two mode

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ Apache Kafka™ is a distributed streaming platform. What exactly does that mean? Kafka是一个分布式流数据处理平台.这到底是什么意思呢? We think of a streaming platform as having three key capabilities: 我们认为一个流数据处理平台必须

http://ifeve.com/flink-quick-start/ http://vinoyang.com/2016/05/02/flink-concepts/ http://wuchong.me/blog/2016/05/09/flink-internals-understanding-execution-resources/ 并行数据流 程序在Flink内部的执行具有并行.分布式的特性.stream被分割成stream partition,operator被分割成operator sub

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ 3.1 Broker Configs 3.1 broker配置 The essential configurations are the following: broker.id log.dirs zookeeper.connect 基本配置如下: broker.id log.dirs zookeeper.connect Topic-level configurations and

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ 3. CONFIGURATION 3.1 Broker Configs 3.2 Producer Configs 3.3 Consumer Configs 3.3.1 New Consumer Configs 3.3.2 Old Consumer Configs 3.4 Kafka Connect Configs 3.5 Kafka Streams Configs

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ 2.5 Legacy APIs A more limited legacy producer and consumer api is also included in Kafka. These old Scala APIs are deprecated and only still available for compatibility purposes. Information

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ 2.4 Connect API The Connect API allows implementing connectors that continually pull from some source data system into Kafka or push from Kafka into some sink data system. Many users of Connec

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ 2.3 Streams API 2.3 Streams API 在0..0增加了一个新的客户端库,Kafka Stream,Kafka Stream具有Alpha的优点,你可以使用maven引入到你的项目: The Streams API allows transforming streams of data from input topics to output topics.

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ 2.2 Consumer API 2.2.消费者API 随着0..0版本,我们已经增加了一个新的Java消费者替换我们现有的基于zookeeper的高级和低级消费者.这个客户端还是测试版的质量.为了确保用户平滑升级,我们仍然维护旧的0.8版本的消费者客户端继续在0.9集群上工作,两个老的0. API的消费者( 高级消费者 和 低级消费者). The Consumer API all

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ 2.1 Producer API 2.1.生产者API 我们鼓励所有新开发的程序使用新的Java生产者,新的java生产者客户端比以前的Scala的客户端更快.功能更全面.通过下面的例子,引入Maven(可以更改新的版本号). The Producer API allows applications to send streams of data to topics in the

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ 2. APIS .APIS Apache Kafka引入一个新的java客户端(在org.apache.kafka.clients 包中),替代老的Scala客户端,但是为了兼容,将会共存一段时间.为了减少依赖,这些客户端都有一个独立的jar,而旧的Scala客户端继续与服务端保留在同个包下. Kafka includes four core apis: The Producer 

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ 1.5 Upgrading From Previous Versions 1.5 从老版本升级kafka Upgrading from 0.8.x, 0.9.x, 0.10.0.x or 0.10.1.x to 0.10.2.0 从0..x, .X 升级到 0.10.1.0 0.10.2.0 has wire protocol changes. By following the r

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ 1.4 Ecosystem 生态系统 There are a plethora of tools that integrate with Kafka outside the main distribution. The ecosystem page lists many of these, including stream processing systems, Hadoop in

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ Step 6: Setting up a multi-broker cluster Step : 设置多个broker集群 So far we have been running against a single broker, but that's no fun. For Kafka, a single broker is just a cluster of size one,

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ Step 5: Start a consumer Step : 消费消息 Kafka also has a command line consumer that will dump out messages to standard output. Kafka也提供了一个消费消息的命令行工具,将存储的信息输出出来. > bin/kafka-console-consumer.sh --