PHP Kafka 消息队列使用
2024-09-08 09:20:32
转载自:https://learnku.com/articles/44442
1. 安装 Kafka 服务#
直接到 kafka 官网 , 下载最新的
wget https://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.13-2.5.0.tgz
Copy
解压,进入目录
tar -zxvf kafka_2.13-2.5.0.tgz
cd kafka_2.13-2.5.0
Copy
开始使用
a. 启动 Kafka 服务#
使用安装包中的脚本启动单节点 Zookeeper 实例
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
Copy
使用 kafka-server-start.sh
启动 kafka 服务
bin/kafka-server-start.sh config/server.properties
Copy
创建 topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Copy
查看 topic
列表,检查是否创建成功
bin/kafka-topics.sh --list --zookeeper localhost:2181
$ test
Copy
生产者,发送消息
bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test
Copy
服务方面到这里就差不多了,接下来就是 php 的事了。
2. 安装 PHP 扩展#
rdkafka
安装需要依赖 librdkafka
, 所以先安装 librdkafka
git clone https://github.com/edenhill/librdkafka.git
cd librdkafka
./configure
make && make install
Copy
安装 php-rdkafka 扩展
git clone https://github.com/arnaud-lb/php-rdkafka.git
cd php-rdkafka
phpize
./configure --with-php-config=/usr/local/Cellar/php@7.2/7.2.24/bin/php-config ## 这里根据自己的情况填写路径
make && make install
Copy
在 php-ini
加上
extension=rdkafka.so
Copy
重启,php-fpm,就应该可以看到该扩展。
3. 使用#
创建一个生产者类
<?php
class KafkaProducer
{
public static $brokerList = '127.0.0.1:9092';
public static function send($message, $topic)
{
self::producer($message, $topic);
}
public static function producer($message, $topic = 'test')
{
$conf = new \RdKafka\Conf();
$conf->set('metadata.broker.list', self::$brokerList);
$producer = new \RdKafka\Producer($conf);
$topic = $producer->newTopic($topic);
$topic->produce(RD_KAFKA_PARTITION_UA, 0, json_encode($message));
$producer->poll(0);
$result = $producer->flush(10000);
if (RD_KAFKA_RESP_ERR_NO_ERROR !== $result) {
throw new \RuntimeException('Was unable to flush, messages might be lost!');
}
}
}
Copy
创建一个消费类
<?php
class KafkaConsumer
{
public static $brokerList = '127.0.0.1:9092';
public static function consumer()
{
$conf = new \RdKafka\Conf();
$conf->set('group.id', 'test');
$rk = new \RdKafka\Consumer($conf);
$rk->addBrokers("127.0.0.1");
$topicConf = new \RdKafka\TopicConf();
$topicConf->set('auto.commit.interval.ms', 100);
$topicConf->set('offset.store.method', 'broker');
$topicConf->set('auto.offset.reset', 'smallest');
$topic = $rk->newTopic('test', $topicConf);
$topic->consumeStart(0, RD_KAFKA_OFFSET_STORED);
while (true) {
$message = $topic->consume(0, 120*10000);
switch ($message->err) {
case RD_KAFKA_RESP_ERR_NO_ERROR:
var_dump($message);
break;
case RD_KAFKA_RESP_ERR__PARTITION_EOF:
echo "No more messages; will wait for more\n";
break;
case RD_KAFKA_RESP_ERR__TIMED_OUT:
echo "Timed out\n";
break;
default:
throw new \Exception($message->errstr(), $message->err);
break;
}
}
}
}
Copy
问题汇总#
a. No Java runtime present, requesting install
因为 kafka 需要 java 环境支持,所以安装 java 环境。可以到 javase-jdk14-downloads 选择自己的版本进行下载安装
b. 创建 topic 出现:Replication factor: 1 larger than available brokers: 0
意思是至少有一个 brokers. 也就是说并没有有效的 brokers 可以用。你要确保你的 kafka 已经启动了
参考
最新文章
- Azure Redis Cache (1) 入门
- 都昌 DCWriter电子病历编辑器演示文档截屏
- andorid开发易范的错误
- 05-雷海林-mysql备份原理与在TDSQL中的实践
- PHP7安装笔记
- JDK设计模式之——装饰者模式
- WYSIWYG WebBuilder 所见即所得工具
- inode满引发不能写文件的问题
- 设计模式-----Builder模式
- 理解webpack之process.env.NODE_ENV详解(十八)
- Spark Streaming 002 统计单词的例子
- C#语言基础知识
- my.cnf配置文件参数解释
- 3D CNN for Video Processing
- Simple2D-23(重构)反走样几何图形
- 287find-the-duplicate-number
- 对 dpif_class 结构体的一点认识
- 【lojg152】 乘法逆元 2(数学)
- docker安装mongo初体验
- 23_ConcurrentLinkedQueue
热门文章
- 也谈如何写一个Webserver(三)
- 使用ONNX将模型转移至Caffe2和移动端
- Hashing散列注意事项
- fail2ban防护ssh免于暴力破解
- SpringBoot——配置类实现WebMvcConfigurer接口来配置拦截器、view-controller、视图解析器等
- 「题解」agc031_e Snuke the Phantom Thief
- 实验5、Flask设计模式和Web服务体验
- 【NX二次开发】获取相邻面UF_MODL_ask_adjac_faces
- Typora 配置码云图床
- MySQL的Limit 性能差?真的不能再用了?