一.前言 现在的主流消息队列基本都是kafka.RabbitMQ和RocketMQ,只有了解各自的优缺点才能在不同的场景选择合适的MQ,对比图如下: MQ对比图 本篇文章主要介绍我自己在跑官方demo时遇到的一些坑(基于4.3版本),建议先看看RocketMQ的理论知识. Apache 上开源官方地址:https://rocketmq.apache.org/ GitHub 托管地址:https://github.com/apache/rocketmq 阿里官方的介绍文档:http://jm.ta

Rocketmq选型 Rocket是一个专业的队列服务,性能优于Rabbitmq,优势是性能和并发,源于Kafka的扩展版,增强了数据的可靠性. Rocketmq的队列类型 普通队列,广播队列.顺序队列,分区顺序 2.同步机制 Rocketmq使用主从同步模式,同步分为同步和异步模式,这和mysql类似. 3.Rocketmq管理命令 rocketmq也可以通过web管理,坑中有说 创建topic bin/mqadmin updateTopic -n '192.168.1.64:9876;192

由于公司的最近开始使用RocketMQ来做支付业务处理, 便开启了学习阿里云RocketMQ的学习与实践之路, 其中踩了不少的坑, 大部份是由于没有仔细查看阿里云的技术文档而踩的坑. 但是有一个非常大的坑, 确实是阿里云的技术文档里没有提及, 在文章的最后会给大家提及. 使用过程了封装的RocketMQ类库已开源在github: https://github.com/antaintan/easyrocketmq 公司的一位同事推荐使用RocketMQ, 并给出了几个流行MQ的对比, 资料来源, 

安装步骤是这些: Prerequisite The following softwares are assumed installed: 64bit OS, Linux/Unix/Mac is recommended; 64bit JDK 1.8+; Maven 3.2.x; Git; 4g+ free disk for Broker server Download & Build from Release Click here to download the 4.4.0 source rele

我的环境 两台阿里云centos7服务器 首先,去官网下载解压包,解压. 然后进入bin目录,需要修改runserver.sh文件和runbroker.sh文件.因为rocketmq默认配置文件需要的内存是非常高的.需要改小点. 就是把那两个文件的这个参数改得小点.改成512m就可以了 然后启动Name Server nohup sh bin/mqnamesrv & 然后启动broker(有两种方法,我使用的是第二种方法.) 我使用的是第二种方法,也是我亲自成功的.第一种方法我是一直都不成功,很

一.背景 MQ组件是系统架构里必不可少的一门利器,设计层面可以降低系统耦合度,高并发场景又可以起到削峰填谷的作用,从单体应用到集群部署方案,再到现在的微服务架构,MQ凭借其优秀的性能和高可靠性,得到了广泛的认可. 随着数据量增多,系统压力变大,开始出现这种现象:数据库已经更新了,但消息没发出来,或者消息先发了,但后来数据库更新失败了,结果研发童鞋各种数据修复,这种生产问题出现的概率不大,但让人很郁闷.这个其实就是数据库事务与MQ消息的一致性问题,简单来讲,数据库的事务跟普通MQ消息发送无法直接绑

这次我们来说说我们的RocketMQ的安装和参数配置,先来看一下我们RocketMQ的提出和应用场景吧. 早在2009年,阿里巴巴的淘宝第一次提出了双11购物狂欢节,但是在2009年,服务器无法承受到大规模的并发,导致了大规模宕机停运,当时还是IOE的服务架构,也就是没有我们的消息队列中间件,直接由IBM的小型机.Oracle数据库.EMC存储设备来提供服务的,可想而知,我们的大并发场景,IOE是无法承受的,RocketMQ是由我们的国内的阿里巴巴在2010年开始由我们的阿里云的王坚博士组件团队

最近做的项目的一个版本需求中,需要用到MQ,对数据记录进行异步落库,这样可以减轻数据库的压力,同时可以抗住大量的数据落库.这里需要说明一下本人用到的MQ是公司自己在阿里的RokectMQ的基础上进行封装的,然后加上自己的东西,形成个性化的开发,且安全性高.这里就不多透露相关公司的信息啦,我就叫它MQ. 由于刚刚从事JAVA开发这个行业不久,所以在使用到这个MQ的时候本人还是比较陌生的,于是花了一些时间去学习,当然学习的时候能记住的东西还是不多的,因为在学习理论的时候,没有真正的去实践,效果不是很

这个坑对小白来讲可能要趟很久才能过,我就是这样~~明明很简单的配置,搞了半天 我用的是rocketmq4.1.0,配置了jvm参数,都能正常启动,且能在线上运行demo,但是线下就是连不上 在conf目录下有个broker.conf,我以为他默认会读取这个文件,拼命在改这个文件..实际上都不起作用 关键点:这个broker.conf是不能直接使用的,因为broker启动的时候用-c参数传入配置文件,这里只认识*.properties的配置文件 broker.properties这个改名后的文件,

rocketMq实现顺序消费的原理 produce在发送消息的时候,把消息发到同一个队列(queue)中,消费者注册消息监听器为MessageListenerOrderly,这样就可以保证消费端只有一个线程去消费消息 注意:是把把消息发到同一个队列(queue),不是同一个topic,默认情况下一个topic包括4个queue 单个节点(Producer端1个.Consumer端1个) 1.Producer.java  package order; import java.util.List;

在工作中遇到了一个这个问题,就是我们rocketmq是部署在云主机上的 但是我们的开发同事在自己的电脑连接rocketmq链接不上 报错显示Caused by: org.apache.rocketmq.remoting.exception.RemotingConnectException: connect to <10.19.73.64:10911> failed 这里练级的是rocketmq云主机的内网IP,那肯定是链接不上的 这里我们就需要修改RocketMQ的 broker 的地址 #进

环境是vmvare+ubuntu 1.http://rocketmq.apache.org/docs/quick-start/ 按照官网来启动mqnamesrv和mqbroker报错 错误如下 There is insufficient memory for the Java Runtime Environment to continue. There is insufficient memory for the Java Runtime Environment to continue.  Na

报错信息Caused by: org.apache.rocketmq.remoting.exception.RemotingConnectException: connect to <172.16.56.62:10909> failed 这个ip是我云主机的内网Ip,我本地连接boker是肯定连接不上的

本文主要是讲在Centos中安装RocketMQ并做简单的示例.如果你按照本文安装100%是可以成功的,如果按照阿里官方的说明,那只能呵呵了~ 安装 官方地址为:https://rocketmq.apache.org/docs/quick-start/ 本人安装如下: //下载最新的rocketmq wget http://apache-mirror.8birdsvideo.com/rocketmq/4.4.0/rocketmq-all-4.4.0-bin-release.zip //解压 un

目录 1.案情回顾 1.1 集群现状 1.2.RocketMQ 在线扩容队列 1.3 消息发送 2.问题暴露 3.问题分析 4.问题复盘 消息组接到某项目组反馈,topic 在扩容后出现部分队列无法被消费者,导致消息积压,影响线上业务? 考虑到该问题是发送在真实的线上环境,为了避免泄密,本文先在笔者的虚拟机中来重现问题. @(本节目录) 1.案情回顾 1.1 集群现状 集群信息如下: 例如业务主体名 topic_dw_test_by_order_01 的路由信息如图所示: 当前的消费者信息: b

Docker 网络 Docker容器运行的时候有host.bridge.none三种网络可供配置. 默认是bridge,即桥接网络,以桥接模式连接到宿主机:host是宿主网络,即与宿主机共用网络:none则表示无网络,容器将无法联网. 当容器使用host网络时,容器与宿主共用网络,这样就能在容器中访问宿主机网络,那么容器的localhost就是宿主机的localhost,命令--network host,此时没有必要使用端口映射-p 80:80 -p 443:443来映射端口,是因为本身与宿主机

先来一篇解释比较多的实例 https://www.cnblogs.com/super-d2/p/4154541.html No route info of this topic, PushTopic 这个问题 是因为没有fastjson的包.. 网上也有其他的解释 https://blog.csdn.net/zknxx/article/details/52987216 关于生产者clientIP的问题,如果生产者的机器有多张网卡,像我这样必须装虚拟机的大神,VM虚拟机会有多张网卡,所以要专门制定

Maybe 这个问题很简单,因为解决方法是非常简单,但填坑过程会把人逼疯,在阿里云ONS工作人员.同事和朋友的协助下,经过一天的调试和瞎捣鼓,终于解决了这个坑,把问题记下来,也许更多人在碰到类似问题的时候,会开放思路.当然不得不说,Ons的.NET接口还很不完善,甚至没有独立在Windos 2008/2012服务器测试过,希望官方加把力. 1.阿里云ONS介绍 ONS(Open Notification Service)即开放消息服务,是基于阿里开源消息中间件MetaQ(RocketMQ)打造的

1.架构 RocketMQ的master broker与master broker没有任何消息通讯,nameserver之间也同样没有消息通信 MQ历史 由数据结构队列发展而来 MQ使用场景    异步处理 解耦 削峰填谷 数据同步 2.队列 rocketMQ一个主题(topic)包含多个队列 3.使用 生产 同步(sync) 默认重试2次总共3次 默认等待超时时间为3s 异步(async) 总共重试2次 单向(oneway) Message topic:主题名称 tag:消息TAG,用于消息过

主要是比较这几种队列中间件: rabbitmq kafka rocketmq ONS 分以下几个维度来比较 高并发 毫无疑问KAFKA发消息的速度是最快的 ROCKETMQ/ONS次之 rabbitmq最慢 高可用 这几种都能做MASTER/SLAVE,跨机房的高可用 KAFKA复制有很多坑,所以这个分数要降低 所需要的节点数量 KAFKA集群环境下,需要依赖zk, zk至少3个节点,再加上kafka的至少3个节点,那就是6个 ROCKETMQ集群环境下,虽然不依赖zk,但是需要name ser