DirectStream、Stream的区别-SparkStreaming源码分析02
2024-09-28 09:44:57
转http://hadoop1989.com/2016/03/15/KafkaStreaming/
在Spark1.3之前,默认的Spark接收Kafka数据的方式是基于Receiver
的,在这之后的版本里,推出了Direct Approach
,现在整理一下两种方式的异同。
1. Receiver-based Approach
示例代码:
import org.apache.spark.streaming.kafka._
val kafkaStream = KafkaUtils.createStream(streamingContext,
[ZK quorum], [consumer group id], [per-topic number of Kafka partitions to consume])
2. Direct Approach (No Receivers)
示例代码:
import org.apache.spark.streaming.kafka._
val directKafkaStream = KafkaUtils.createDirectStream[
[key class], [value class], [key decoder class], [value decoder class] ](
streamingContext, [map of Kafka parameters], [set of topics to consume])
源码实现
1、 KafkaUtils.createStream
首先从源码层面来看,其主要调用栈顺序:
KafkaUtils.createStream--->createStream--->new KafkaInputDStream--->new KafkaReceiver
KafkaReceiver
类继承了Receiver
,当Reciver
被调用起来时,执行onStart()
方法,MessageHandler
负责将收到的数据进行存储。执行流程如下:
- 创建
createStream
,Receiver
被调起执行 - 连接
ZooKeeper
,读取相应的Consumer
、Topic
配置信息等 - 通过
consumerConnector
连接到Kafka
集群,收取指定topic
的数据 - 创建
KafkaMessageHandler
线程池来对数据进行处理,通过ReceiverInputDStream
中的方法,将数据转换成BlockRDD
,供后续计算
2、 KafkaUtils.createDirectStream
主要调用栈顺序:
KafkaUtils.createDirectStream—> new DirectKafkaInputDStream
执行流程如下:
- 实例化
KafkaCluster
,根据用户配置的Kafka
参数,连接Kafka
集群 - 通过
Kafka API
读取Topic
中每个Partition
最后一次读的Offset
- 接收成功的数据,直接转换成
KafkaRDD
,供后续计算
架构
通过两张图,来看下他们架构。
1、 Receiver-based Approach
2、 Direct Approach (No Receivers)
优缺点
相关的优缺点,在官网上已经说得很清楚了。追求效率、数据准确可以使用Direct
方式,但需要自己对Offset
进行处理。
参考资料:
Spark Streaming + Kafka Integration Guide
https://github.com/koeninger/kafka-exactly-once
最新文章
- python黑魔法 -- 内置方法使用
- HTML5的Audio标签打造WEB音频播放器
- 自己动手丰衣足食之 jQuery 数量加减插件
- 【nodejs笔记4】搭建多人博客<;内含http请求的get post方法区别>;
- SPSS数据分析—基于最优尺度变换的典型相关分析
- sqlite数据库安装配置
- Angular 1与 Angular 2之间的一些差别
- iOS开发——多线程篇——NSThread
- C++ DateTime 结构
- scp失效问题
- HDU 2181 哈密顿绕行世界问题(经典DFS+回溯)
- 为 PHP 开发者准备的 12 个调试工具
- 【设计模式六大原则3】依赖倒置原则(Dependence Inversion Principle)
- 面试题 41 和为s的两个数字VS 和为S的连续整数序列
- js 实现音乐播放
- LR回放https协议脚本失败: 错误 -27778: 在尝试与主机“www.baidu.com”connect 时发生 SSL 协议错误
- VSCode中快捷输入HTML代码
- Oracle伪列(ROWNUM)的使用
- 利用Python+163邮箱授权码发送邮件
- [转]Java事件处理机制- 事件监听器的四种实现方式