kafka没配置好,导致服务器重启之后,topic丢失,topic里面的消息也丢失
转,原文:https://blog.csdn.net/zfszhangyuan/article/details/53389916
------------------------------------------------
这个问题,在线上集群环境一般不容易出现,因为相关的日志文件参数都已经配置好了,而且经受住时间的的验证了。
作为新手,我在本地配置了一个单机kafka,用得是kafka自带的zookeeper服务。
kafka安装很简单如下:
1).下载kafka:
wget http://apache.fayea.com/kafka/0.10.1.0/kafka_2.10-0.10.1.0.tgz
2) 解压:
tar -zxf kafka_2.10-0.10.1.0.tgz
3)启动zookeeper,kafka
> bin/zookeeper-server-start.sh config/zookeeper.properties &
[2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
...
现在启动Kafka:
> bin/kafka-server-start.sh config/server.properties &
[2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)
[2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
...
备注:要挂到后台使用:
4)新建一个TOPIC
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
5)查看创建的topic list
> bin/kafka-topics.sh --list --zookeeper localhost:2181
6)查看topic详情
> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
这个时候我们给topic添加一点数据:
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic
重启电脑后 启动zookeeper kafka后发现topic没了
这里简略一点:有两个地方需要配置一下 第一个是zookeeper的数据目录 和日志目录(主要是数据目录),另外一个就是kafka本事的server.properties
1.配置zookeeper的把目录从tmp目录修改成自定义目录
2.kafka的日志目录重新配置不要放在tmp下面 ,另外设置一下数据 flush策略,保证数据已经flush到磁盘上
下面是flush策略的修改
本文对其他配置没有做过多介绍,只是把kafka数据落地的配置罗列了一下。
配置好,重启,问题解决。
————————————————
版权声明:本文为CSDN博主「zfszhangyuan」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/zfszhangyuan/article/details/53389916
最新文章
- 识别快递单号(2) - 加载图片到canvas
- jquery定时滑出可最小化的底部提示层
- CSUOJ_1001
- MongoDB中insert方法、update方法、save方法简单对比
- eclipse的c++工程开启c++11
- HLA高级汇编语言基础
- [Js]JavaScript闭包和范围的快速测试
- 多个分布式系统如何共享使用一个固定公网IP
- 关于AVD不能导入文件的解决方案
- jquery正则表达式显示文本框输入范围 只能输入数字、小数、汉字、英文字母的方法
- (原+转)C++中的const修饰符
- jqGrid添加自定义按钮
- Windows10 图标重建
- 07-MYSQL多表查询
- 20165306 Exp6 信息搜集与漏洞扫描
- mysql设置存储中文变成问号或者乱码
- ecplise 正则替换技巧
- mysql使用navicat和mysqldump导出数据
- Yum自动下载RPM包及其所有依赖的包
- Ubuntu安装及卸载brew
热门文章
- 远程控制分析之VBS编码转换
- linux服务器之间文件传输
- Python unittest(PyUnit)单元测试框架
- ThinkPHP3验证码、文件上传、缩略图、分页(自定义工具类、session和cookie)
- 页码0~N ,其中0,1....9都出现了几次
- C++工程师养成 每日一题(string使用)
- 【leetcode】347. Top K Frequent Elements
- ZYNQ笔记(0):C语言基础知识复习
- Python入门 常量 注释 基础数据类型 用户输入 流程控制
- yum命令安装jdk