在使用spark连接kafka消费topic时,发现无论怎么设置,也无法从头开始消费。

查看配置得出auto.offset.reset的以下3种设置及含义:

earliest
当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费
latest
当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据
none
topic各分区都存在已提交的offset时,从offset后开始消费;只要有一个分区不存在已提交的offset,则抛出异常

也就是说无论哪种设置,只要kafka中相同group、partition中已经有提交的offset,则都无法从开始消费。

kafka API:

http://kafka.apache.org/10/javadoc/index.html

最新文章

  1. Java—恶心的java.lang.NumberFormatException解决
  2. js 如何在浏览器中获取当前位置的经纬度
  3. 7z命令行工具
  4. apache配置文件中的项目
  5. ios>android>javaee
  6. 最详细在Windows安装Xamarin.iOS教程
  7. paip.提升性能--- mysql 建立索引 删除索引 很慢的解决.
  8. android:强大的图片下载和缓存库Picasso
  9. 【MongoDB】Serveral common command of MongoDb
  10. [译]RabbitMQ教程C#版 - 发布订阅
  11. Python学习笔记5程序的控制结构
  12. 第64节:Java中的Spring Boot 2.0简介笔记
  13. 数据库中in和exists关键字的区别
  14. 如何保持github的fork于主干同步
  15. 浅谈JS的变量提升
  16. JaveWeb 公司项目(7)----- 通过JS动态生成DIV
  17. Delphi 设置快捷键
  18. What-are-P-NP-NP-complete-and-NP-hard
  19. [转]javaweb学习总结(二十九)——EL表达式
  20. 【Java】生成UUID

热门文章

  1. Android选择/拍照 剪裁 base64/16进制/byte上传图片+PHP接收图片
  2. 如何获取浏览器URL中查询字符串的参数?
  3. 转:介绍shell_notifyicon,SendMessage,CallWindowProc,GetWindowLong,SetWindowLong的用法
  4. Java注解与自己定义注解处理器
  5. 【Oracle】Windows定时计划每天备份数据库
  6. Coreseek安装测试配置指南(转)
  7. Linux命令-文件搜索命令:grep
  8. C# 获取文件MD5、SHA1
  9. <class 'Salesman.admin.UsrUserAdmin'>: (admin.E012) There are duplicate field(s) in 'fieldsets[0][1]'.
  10. cocos2dx, 重新initWithSpriteFrameName与重新setTexture()+setTextureRect()区别