最近在调试RocketMQ消息发送与消费的Demo时,发现一个问题:只要重启程序,RocketMQ消息就会重复消费. 那么这是什么原因导致的,又该如何解决呢? 经过一番排查,发现程序使用的RocketMQ客户端版本是3.6.2,而测试环境安装的RocketMQ环境的版本是4.1.0.原来是客户端和服务器端版本不一样导致的,消息并没有最终被消费,即没有ACK消息确认,只要程序重启就会重复消费. 解决方案:RocketMQ客户端版本使用与服务器端的同一版本,即4.1.0版本. 划重点:使用Rocke

文章转载自:http://www.mydlq.club/article/96/ 系统环境: 系统版本:CentOS 7.8 RocketMQ 版本:4.7.0 Docker 版本:19.03.13 一.RocketMQ 简介 RocketMQ是一个纯 Java.分布式.队列模型的开源消息中间件,前身是 MetaQ,是阿里参考 Kafka 特点研发的一个队列模型的消息中间件,后开源给 Apache 基金会成为了 Apache 的顶级开源项目,具有高性能.高可靠.高实时.分布式特点. 二.Rocke

1. 修改RocketMQ默认启动端口 由于只有两台机器,部署双主双从需要四个节点,所以只能修改rocketmq的默认启动端口,从官网下载rocketmq的source文件,解压后使用idea打开,全局搜索9876,将所有使用9876端口的地方改为9877. 在终端打开,使用:mvn -Prelease-all -DskipTests clean install命令打包,打包完成后在项目的distribution\target将会有如下两个包: 分别是linux和win下运行的包. 将后缀为.t

[Mysql主从复制]解决的问题数据分布:比如一共150台机器,分别往电信.网通.移动各放50台,这样无论在哪个网络访问都很快.其次按照地域,比如国内国外,北方南方,这样地域性访问解决了.负载均衡:Mysql读写分离,读写分开了,解决了部分服务器的压力,均衡分开.数据备份:比如100台机器,实际数据是一样的,这样可以说每台机器都是数据备份.高可用性和容错性:1台机器挂掉了无所谓,因为还有99台机器.实现原理:Mysql支持单向.异步复制,复制过程中一个服务器充当主服务器,而一个或者多个其他服务器

既然大家都知道了Mysql分布式在大型网站架构中的作用,在这里就不再阐述.本片博客文章是基于我曾经搭建过的一个Mysql集群基础上实现的,实现过双主热备.读写分离.分库分表. 博客链接:http://www.cnblogs.com/wt645631686/p/6868766.html. 环境 centos6.4版本系统下,192.168.9.169(第一台mycat).192.168.9.170(第二台mycat),这里的两台mycat配置一致,我是为了快速完成搭建直接clone的,192.16

1. 主从复制解释   将主数据库的增删改查等操作记录到二进制日志文件中,从库接收主库日志文件,根据最后一次更新的起始位置,同步复制到从数据库中,使得主从数据库保持一致. 2. 主从复制的作用 高可用性:主数据库异常可切换到从数据库 负载均衡:实现读写分离 备份:进行日常备份 3. Mysql主从复制过程   Binary log:主数据库的二进制日志:Relay log:从服务器的中继日志. 复制过程:   (1)主数据库在每次事务完成前,将该操作记录到binlog日志文件中:   (2)从数

前言 在Docker下双主双从MySQL集群模拟 https://www.cnblogs.com/yumq/p/14259964.html 本文实验配置文件 Docker拉取MyCAT镜像 如果没启动镜像加速器的小伙伴,先去配置镜像加速器!否则拉取很慢!在前文有配置流程 #拉取mycat docker pull fify/mycat #查看已有镜像 docker images 创建MyCAT配置文件的本机挂载目录 sudo mkdir -p /home/mycat 将MyCAT的挂载配置文件放入

1.概述 老话说的好:瞻前顾后.患得患失只会让我们失败,下定决心,干就完了. 言归正传,之前我们聊了Mysql的一主一从读写分离集群的搭建,虽然一主一从或一主多从集群解决了并发读的问题,但由于主节点只有一台,如果主节点宕机了,则数据库的写操作便无法完成,从而无法做到高可用. 因此,今天我们来聊一下Mysql双主双从的集群搭建,双主双从的原理很简单,相当于有两个一主一从,然后两个主节点再互为主从,互相复制数据,然后借助MyCat的机制,先把一台主作为写库,另一台主和两台从作为读库,当作为写库的主宕

之前的文章已对RocketMQ做了详细介绍,这里就不再赘述了,下面是本人在测试和生产环境下RocketMQ3.4.6高可用集群的部署手册,在此分享下: 1) 基础环境 ip地址 主机名 角色 192.168.10.200 mq-master01 broker-a 192.168.10.201 mq-master02 broker-b 192.168.10.202 mq-slave01 broker-a-s 192.168.10.239 mq-slave02 broker-b-s 192.168.

主从复制原理 Mysql 中有一个binlog 二进制日志,这个日志会记录下所有修改了的SQL 语句,从服务器把主服务器上的binlog二进制日志在指定的位置开始复制主服务器所进行修改的语句到从服务器上执行一遍. 流程图 搭建一主一从  前期环境准备 Linux:centos7mysql版本:mysql5.7(安装教程:https://blog.csdn.net/weixin_45797918/article/details/104929127)主服务器:10.10.10.130从服务器:10.

导读 上一集我们已经学会了SpringBoot整合RocketMQ点我直达,今天我们来搭建双主双从高性能MQ服务集群. 简介 主从架构 Broker角色,Master提供读写,Slave只支持读,Consumer不用配置,当Master不可用或者繁忙的时候,Consumer会自动切换到Slave节点进行读取.双主双从,同步复制,异步刷盘. 集群配置(4台机器) 两台部署Broker-Master和NameServer 两台部署Broker-Slave和NameServer 前置条件 Maven

双主双从结构图 Master1配置 server-id=1 #开启binlog日志 log-bin=mysql-bin #忽略的库 binlog-ignore-db=mysql #复制的库 binlog-do-db=test #binlog格式:ROW(行模式,记录所有变动的行,存入binlog,缺点:当遇到批量修改的sql时,容易导致日志sql过多) # STATEMENT(记录每条修改的SQL,存入binlog,缺点:当遇到now()这些函数时,会导致主从出现数据误差) # MIXED(实现

一 前期规划 1.1 主机规划 1.2 虚拟IP规划 1.3 用户列表 提示:以上角色需要在所有节点添加. 1.4 整体架构 1.4 hosts修改 1 [root@localhost ~]# vi /etc/sysconfig/network 2 NETWORKING=yes 3 HOSTNAME=Master01 4 [root@Master01 ~]# vi /etc/hosts 5 Master01 172.24.8.10 6 Master02 172.24.8.11 7 Slave01

原文转自:https://www.cnblogs.com/itzgr/p/10233932.html作者:木二 目录 一 前期规划 1.1 主机规划 1.2 虚拟IP规划 1.3 用户列表 1.4 整体架构 1.4 hosts修改 1.5 NTP配置 二 部署MySQL 2.1 安装MySQL 三 双主复制部署 3.1 master01 my.cf配置 3.2 Master02 my.cf配置 3.4 Master02创建账号 3.5 启动双主复制 3.3 启动Master02的slave功能

一.准备环境 [root@localhost ~]# vim /etc/hosts 192.168.40.154 master1     192.168.40.129 master2                                                                                         192.168.40.138 slave1       192.168.40.128 slave2注:四台虚拟机配置都相同,且防火墙关闭 二

文章标题写的是多M多S同步双写集群安装,但是看具体参数配置,写的是异步复制Master brokerRole=ASYNC_MASTER flushDiskType=SYNC_FLUSH #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 brokerId #0 表示 Master,>0 表示 Slave brokerRole #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #-

基础环境 操作系统:CentOS7 实例:192.168.63.129,192.168.63.130,192.168.63.131,192.168.63.132 Java:jdk-8u191-linux-x64.tar.gz 安装JDK 先把系统里面自带的卸载掉 [root@localhost soft]# rpm -qa|grep java python-javapackages--.el7.noarch java--openjdk-.b13.el7.x86_64 java--openjdk-

先展示下最终实现的配置 主1的配置(重要的,其他略) log-bin = mysql-bin #必须要有binlog auto_increment_offset = 1 #自增ID的初始值 auto_increment_increment = 2 #自增ID的步长(每次自动增加的数) server-id=1 #server-id 主库从库要不同 replicate-do-db=haha #作为slave时(SQL线程)将要复制(同步)的数据库 replicate-wild-do-table=ha

双浮动VIP 原文地址:http://www.linuxcache.com/archives/2907 转载请注明原文地址.

RocketMQ最佳实践之Producer 投递状态 发送消息时,将得到包含SendStatus的SendResult.首先,我们假设消息的isWaitStoreMsgOK = true(默认是true).如果不是,我们将总会得到SEND_OK,如果没有抛出异常.下面是关于每个状态的描述列表: FLUSH_DISK_TIMEOUT 如果 Broker 设置MessageStoreConfig的FlushDiskType=SYNC_FLUSH(默认是ASYNC_FLUSH),并且代理没有在Mess