大数据新手之路三:安装Kafka
2024-10-20 16:21:47
Ubuntu16.04+Kafka1.0.0
1.下载kafka_2.11-1.0.0.tgz
http://kafka.apache.org/downloads
2.解压到/usr/local/kafka中
3.设置配置文件/etc/profile文件,增加kafka的路径
①vi /etc/profile
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin
②让配置文件立即生效
source /etc/profile
4.检查kafka环境是否生效
kafka-server-stop.sh
显示
No kafka server to stop
5.启动zookeeper(这里使用kafka自带的zookeeper,也可以独立部署zookeeper使用)
使用默认的zookeeper.properties配置文件
zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
6.启动kafka
使用默认的server.properties配置文件
kafka-server-start.sh /usr/local/kafka/config/server.properties
启动失败并提示如下错误:
FATAL [KafkaServer id=] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)nager)) by writing to Zk with path version (kafka.coordinator.java.net.UnknownHostException: server38: server38: 未知的名称或服务
at java.base/java.net.InetAddress.getLocalHost(Unknown Source)
at kafka.server.KafkaHealthcheck$$anonfun$.apply(KafkaHealthcheck.scala:)
at kafka.server.KafkaHealthcheck$$anonfun$.apply(KafkaHealthcheck.scala:)
at scala.collection.TraversableLike$$anonfun$map$.apply(TraversableLike.scala:)
at scala.collection.TraversableLike$$anonfun$map$.apply(TraversableLike.scala:)
at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:)
at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:)
at scala.collection.TraversableLike$class.map(TraversableLike.scala:)
at scala.collection.AbstractTraversable.map(Traversable.scala:)
at kafka.server.KafkaHealthcheck.register(KafkaHealthcheck.scala:)
表示解析不了server38这个host!
使用hostname可以看到,我们机器的hostname就是server38
修改/etc/hosts文件,增加一行如下内容即可:
127.0.0.1 server38 localhost
7.创建一个名字为test的topic
2181为zookeeper的默认端口
kafka-topics.sh --create --zookeeper localhost: --replication-factor --partitions --topic test
8.创建一个consumer接受消息
9092为kafka默认端口
kafka-console-consumer.sh --bootstrap-server localhost: --topic test
9.创建一个producer,并输入信息。
kafka-console-producer.sh --broker-list localhost: --topic test
在consumer进程中可以看到对应的输入信息。
PS:
1.查看kafka当前的topic列表
kafka-topics.sh --list --zookeeper localhost:
2.使用参数--from-beginning,让consumer从第一个开始接受消息
kafka-console-consumer.sh --bootstrap-server localhost: --topic test --from-beginning
以上。
最新文章
- Play libs
- Python将Excel生成SHP
- 数据分页处理系列之三:Neo4j图数据分页处理
- SVN的目录说明
- JAVA基础学习之XMLCDATA区、XML处理指令、XML约束概述、JavaBean、XML解析(8)
- [saiku] 源码整合[maven整合]
- POJ2236 Wireless Network
- AlertView with password
- 《Thinking In Java第四版》拾遗
- 外观模式-facade实现interface的方式(简单工厂+facade组合使用)
- Bootstrap 实例 - 模态框(Modal)插件
- 使用Webbrowser的一点心得体会
- js常见的判断移动端或者pc端或者安卓和苹果浏览器的方法总结
- (转)Java.lang.reflect.Method invoke方法 实例
- CREATE DATABASE RoomReservation
- web前端vertical-align的作用及对象详解
- imageview无法显示图片:java.lang.RuntimeException: Canvas: trying to draw too large(281520000bytes) bitmap
- C# ADO.NET的SqlDataReader对象,判断是否包含指定字段
- Win10系列:JavaScript图形
- dropzone 上传插件
热门文章
- ==和equals的区别。
- docker 初步使用
- org.mybatis.spring.transaction.SpringManagedTransaction.getTimeout() mybatis和spring-mybatis版本不匹配问题
- phpstudy手动把mysql数据库从5.5.56升级到5.6.41
- 什么是ip地址,什么是私有地址
- Python中对象的引用与复制
- mysql的 深度使用 - 游标 , 定时器, 触发器 的使用 ?
- word如何替换行首?
- SDOI2017相关分析 线段树
- POJ 3903 Stock Exchange(LIS || 线段树)题解