在spark streaming读取kafka的数据中，spark streaming提供了两个接口读取kafka中的数据，分别是KafkaUtils.createDstream，KafkaUtils.createDirectStream，前者会自动把offset更新到zk中，默认会丢数据，效率低，后者不会经过zk，效率更高，需要自己手动维护offse，通过维护护offset写到zk中，保障数据零丢失，只处理一次，下面来看看KafkaUtils.createDirectStream的使用，我把zk的端口改成了9999，防止和kakfa自带的zk的端口产生冲突，下面我写了一些测试代码，经自己测试数据没任何问题，即使spark streaming挂了 ，另一方往topic中写数据，下次启动streaming程序也能读取，做到数据零丢失，不同的group.id下只读取一次，看看下面代码吧(代码是自己查看kafka中自带的接口和一些其他的资料组合而成，简单的写了一些，参数没写成配置)

最新文章

  1. Java Socket
  2. ystep jQuery流程、步骤插件
  3. wp8 入门到精通 LINQ to SQL
  4. 制作透明色：《CSS3 RGBA》与Opacity样式用法
  5. [SAP ABAP开发技术总结]ABAP读写、解析XML文件
  6. A的href和onclick
  7. 如何实现一个通用的IHttpHandler 万能的IHttpHandler HttpWebRequest文件上传
  8. SQL Server 2008 忘记sa密码的解决办法
  9. 6天通吃树结构—— 第三天 Treap树
  10. solr5.5索引mysql数据（新手总结）
  11. 使用Linq的过程中碰到的问题
  12. less封装样式有规律的类选择器-遁地龙卷风
  13. SpringBoot系列: Redis 共享Session
  14. Java生成短链接
  15. javascript: checked 不可全选
  16. luogu P2779 [AHOI2016初中组]黑白序列
  17. 3分钟带你搞懂ES6 import 和 export
  18. Android实现录音的方法（最重要的是对MediaRecorder的试用方法）
  19. TP - 001
  20. 【HackerRank Week of Code 31】Colliding Circles

热门文章

  1. 【Python】浮点数用科学计数法表示
  2. java.lang.IndexOutOfBoundsException: Remember that ordinal parameters are 1-based!
  3. Redis 数据结构的底层实现 (一) RealObject,embstr,sds,ziplist,quicklist
  4. springmvc 整合 redis
  5. 剑指offer 面试题. 按之字形顺序打印二叉树
  6. 【Unity|C#】基础篇(0)——C#与.NET框架
  7. Java实现JSONObject对象与Json字符串互相转换
  8. 解决async 运行多线程时报错RuntimeError: There is no current event loop in thread 'Thread-2'
  9. codeforces C. Primes and Multiplication（快速幂 唯一分解定理）
  10. windows系统下，gpu开发环境部署