MySQL高可用(Galera Cluster)
2024-09-06 10:30:30
Galera Cluster简介
Galera Cluster是集成了Galera插件的MySQL集群，是一种新型的，数据不共享的，高度冗余的高可用方案，目前Galera Cluster有两个版本，分别是Percona Xtradb Cluster和MariaDB Cluster，Galera本时是具有多主特性，即采用Multi-master的集群架构，是一个即稳健，又在数据一致性、完整性及高性能方面有出色表现的高可用解决方案
Galera Cluster内部机制
Galera Cluster种每个MySQLServer之间相互为主主的关系，当客户端发送指令到一个数据库时，数据库将数据修改后返回一个OK，表示用户的请求已经被收到，但是事务并没有结束依旧可以撤销。当事务结束时用户发送一个commit(提交)，服务器收到后会将数据的更新发送给其他的MySQLServer，此时会开启一个全局性的事务ID给组内的其他服务器，其他服务器会查看是否有事务冲突，如果没有冲突就确认更改成功。
Galera Cluster特点
- 多主架构：真正的多点读写的集群，在任何时候读写数据都是最新的
- 同步复制：集群不同节点之间数据同步，没有延迟，在数据库挂掉之后，数据不会丢失,而Master/Slave模式是异步的,不同slave上的binlog可能是不同的
- 并发复制：从节点APPLY数据时，支持并行执行有更好的性能。
- 故障切换：数据库故障时，因为支持多点写入，切换容易
- 热插拔：在服务期间，如果数据库挂了，只要监控程序发现的够快，不可服务的时间就会非常少。在节点故障期间，节点本身对集群的影响非常小
- 自动节点克隆： 在新增节点，或者停机维护时，增量数据或者基础数据不需要人工手动备份提供，Galera Cluster会自动拉取在线节点数据，最终集群会变为一直
- 对应用透明：集群的维护，对应用程序是透明的
优点：
- 多主写入，无延迟复制，能保证数据强一致性；
- 有成熟的社区，有互联网公司在大规模的使用；
- 自动故障转移，自动添加、剔除节点；
缺点：
- 需要为原生MySQL节点打wsrep补丁
- 只支持innodb储存引擎
- 至少三节点；
Galera Cluster搭建
环境准备
| 准备3台msyql服务器 | 主机名 | ip地址 |
|---|---|---|
| node1 | 192.168.73.110 | |
| node2 | 192.168.73.111 | |
| node3 | 192.168.73.112 |
一、配置YUM源
在每个节点上配置YUM源
[root@node1 ~]# vim /etc/yum.repos.d/mysql.repo
[mysql]
name=galera cluster
baseurl=http://mirrors.neusoft.edu.cn/mariadb//mariadb-10.0.38/yum/centos7-amd64/
gpgcheck=
二、安装MariaDB-Galera-server
(1)在每个节点上安装MariaDB-Galera-server
[root@node1 ~]# yum install MariaDB-Galera-server -y
(2)MySQL 使用wsrep补丁版本扩展
https://galeracluster.com/downloads/
http://releases.galeracluster.com/mysql-wsrep-5.7/centos/7/x86_64/
https://galeracluster.com/library/documentation/install.html 启用yum存储库
对于基于RPM的发行版，例如CentOS，Red Hat和Fedora，您可以通过向目录添加galera.repo文件来启用Codership存储库/etc/yum.repos.d/。
使用首选文本编辑器创建galera.repo文件。 在该baseurl字段中，对Web地址进行以下更改：
[galera]
name = Galera
baseurl = https://releases.galeracluster.com/galera-3/DIST/RELEASE/ARCH
gpgkey = https://releases.galeracluster.com/GPG-KEY-galeracluster.com
gpgcheck = [mysql-wsrep]
name = MySQL-wsrep
baseurl = https://releases.galeracluster.com/mysql-wsrep-VERSION/DIST/RELEASE/ARCH
gpgkey = https://releases.galeracluster.com/GPG-KEY-galeracluster.com
gpgcheck = VERSION表示所需的MySQL-wsrep版本。例如，5.6
DIST表示分发名称。例如，centos或fedora。
RELEASE表示分发版本号。例如，6对于CentOS 20或21Fedora。
ARCH表示硬件的体系结构。例如，x86_64对于64位系统。
Codership存储库中的软件包现在可以通过安装进行安装yum。
三、修改配置文件
配置文件在/etc/my.cnf.d/server.cnf，有必须设置和可选设置两个配置
# Mandatory settings #这里的项目为必填
wsrep_provider= #添加模块路径
wsrep_cluster_address= #添加所有服务器的地址gcomm服务器间代替通讯协议
binlog_format=row #启用二进制日志 # Optional setting #以下项为可选项
#wsrep_slave_threads=
#innodb_flush_log_at_trx_commit=
#wsrep_cluster_name='testcluster' #集群的名称
#wsrep_node_name='node1' #当前节点的名称
#wsrep_node_address='192.168.73.110' #当前节点的地址
对每个节点配置文件进行修改，此处以node1为例
[root@node1 ~]# vim /etc/my.cnf.d/server.cnf
[galera]
# Mandatory settings
wsrep_provider=/usr/lib64/galera/libgalera_smm.so
wsrep_cluster_address="gcomm://192.168.73.110,192.168.73.111,192.168.73.112"
binlog_format=row
default_storage_engine=InnoDB
innodb_autoinc_lock_mode=
bind-address=0.0.0.0
四、启动服务
第一个启动的节点需要添加--wsrep-new-cluster选项，说明这是一个新的集群，其余节点启动服务无需添加参数
[root@node1 ~]# service mysql start --wsrep-new-cluster
node2节点启动服务
[root@node2 ~]# service mysql start
node3节点启动服务
[root@node3 ~]# service mysql start
五、测试
1.测试同步
从node1导入数据库
[root@node1 ~]# mysql < hellodb_innodb.sql
node2查看
[root@node2 ~]# mysql -e "SHOW DATABASES;"
+--------------------+
| Database |
+--------------------+
| hellodb |
| information_schema |
| mysql |
| performance_schema |
| test |
+--------------------+
node3查看
[root@node3 ~]# mysql -e "SHOW DATABASES;"
+--------------------+
| Database |
+--------------------+
| hellodb |
| information_schema |
| mysql |
| performance_schema |
| test |
+--------------------+
2.测试冲突
同时在3节点创建表
在node2节点成功，其余节点都失败
[root@node2 ~]# mysql -e "CREATE TABLE hellodb.test(id int auto_increment primary key,name char(20));"
[root@localhost ~]#
node1节点
[root@node1 ~]# mysql -e "CREATE TABLE hellodb.test(id int auto_increment primary key,name char(20));"
ERROR (42S01) at line : Table 'test' already exists
node3节点
[root@node3 ~]# mysql -e "CREATE TABLE hellodb.test(id int auto_increment primary key,name char(20));"
ERROR (42S01) at line : Table 'test' already exists
其他
Galera Cluster系统和状态变量
1.查看状态变量:SHOW STATUS LIKE 'wsrep_%'
MariaDB [(none)]> SHOW STATUS LIKE 'wsrep_%';
+------------------------------+-------------------------------------------------------------+
| Variable_name | Value |
+------------------------------+-------------------------------------------------------------+
| wsrep_local_state_uuid | e9f07cd3--11e9-b27e-174ea2b4587d |
| wsrep_protocol_version | |
| wsrep_last_committed | |
| wsrep_replicated | |
| wsrep_replicated_bytes | |
| wsrep_repl_keys | |
| wsrep_repl_keys_bytes | |
| wsrep_repl_data_bytes | |
| wsrep_repl_other_bytes | |
| wsrep_received | |
| wsrep_received_bytes | |
| wsrep_local_commits | |
| wsrep_local_cert_failures | |
| wsrep_local_replays | |
| wsrep_local_send_queue | |
| wsrep_local_send_queue_max | |
| wsrep_local_send_queue_min | |
| wsrep_local_send_queue_avg | 0.000000 |
| wsrep_local_recv_queue | |
| wsrep_local_recv_queue_max | |
| wsrep_local_recv_queue_min | |
| wsrep_local_recv_queue_avg | 0.000000 |
| wsrep_local_cached_downto | |
| wsrep_flow_control_paused_ns | |
| wsrep_flow_control_paused | 0.000000 |
| wsrep_flow_control_sent | |
| wsrep_flow_control_recv | |
| wsrep_cert_deps_distance | 1.000000 |
| wsrep_apply_oooe | 0.000000 |
| wsrep_apply_oool | 0.000000 |
| wsrep_apply_window | 1.000000 |
| wsrep_commit_oooe | 0.000000 |
| wsrep_commit_oool | 0.000000 |
| wsrep_commit_window | 1.000000 |
| wsrep_local_state | |
| wsrep_local_state_comment | Synced |
| wsrep_cert_index_size | |
| wsrep_causal_reads | |
| wsrep_cert_interval | 0.026316 |
| wsrep_open_transactions | |
| wsrep_open_connections | |
| wsrep_incoming_addresses | 192.168.73.110:,192.168.73.111:,192.168.73.112: |
| wsrep_cluster_weight | |
| wsrep_desync_count | |
| wsrep_evs_delayed | |
| wsrep_evs_evict_list | |
| wsrep_evs_repl_latency | //// |
| wsrep_evs_state | OPERATIONAL |
| wsrep_gcomm_uuid | e9efec79--11e9-8e15-9f3e0cc2d8a1 |
| wsrep_cluster_conf_id | |
| wsrep_cluster_size | |
| wsrep_cluster_state_uuid | e9f07cd3--11e9-b27e-174ea2b4587d |
| wsrep_cluster_status | Primary |
| wsrep_connected | ON |
| wsrep_local_bf_aborts | |
| wsrep_local_index | |
| wsrep_provider_name | Galera |
| wsrep_provider_vendor | Codership Oy <info@codership.com> |
| wsrep_provider_version | 25.3.(r3836) |
| wsrep_ready | ON |
| wsrep_thread_count | |
+------------------------------+-------------------------------------------------------------+
2.查看系统变量:SHOW VARIABLES like 'wsrep_%'\G;
MariaDB [(none)]> SHOW VARIABLES like 'wsrep_%'\G;
*************************** . row ***************************
Variable_name: wsrep_auto_increment_control
Value: ON
*************************** . row ***************************
Variable_name: wsrep_causal_reads
Value: OFF
*************************** . row ***************************
Variable_name: wsrep_certification_rules
Value: strict
*************************** . row ***************************
Variable_name: wsrep_certify_nonpk
Value: ON
*************************** . row ***************************
Variable_name: wsrep_cluster_address
Value: gcomm://192.168.73.110,192.168.73.111,192.168.73.112
*************************** . row ***************************
Variable_name: wsrep_cluster_name
Value: testcluster
*************************** . row ***************************
Variable_name: wsrep_convert_lock_to_trx
Value: OFF
*************************** . row ***************************
Variable_name: wsrep_data_home_dir
Value: /var/lib/mysql/
*************************** . row ***************************
Variable_name: wsrep_dbug_option
Value:
*************************** . row ***************************
Variable_name: wsrep_debug
Value: OFF
*************************** . row ***************************
Variable_name: wsrep_desync
Value: OFF
*************************** . row ***************************
Variable_name: wsrep_dirty_reads
Value: OFF
*************************** . row ***************************
Variable_name: wsrep_drupal_282555_workaround
Value: OFF
*************************** . row ***************************
Variable_name: wsrep_forced_binlog_format
Value: NONE
*************************** . row ***************************
Variable_name: wsrep_load_data_splitting
Value: ON
*************************** . row ***************************
Variable_name: wsrep_log_conflicts
Value: OFF
*************************** . row ***************************
Variable_name: wsrep_max_ws_rows
Value:
*************************** . row ***************************
Variable_name: wsrep_max_ws_size
Value:
*************************** . row ***************************
Variable_name: wsrep_mysql_replication_bundle
Value:
*************************** . row ***************************
Variable_name: wsrep_node_address
Value: 192.168.73.110
*************************** . row ***************************
Variable_name: wsrep_node_incoming_address
Value: AUTO
*************************** . row ***************************
Variable_name: wsrep_node_name
Value: node1
*************************** . row ***************************
Variable_name: wsrep_notify_cmd
Value:
*************************** . row ***************************
Variable_name: wsrep_on
Value: ON
*************************** . row ***************************
Variable_name: wsrep_osu_method
Value: TOI
*************************** . row ***************************
Variable_name: wsrep_provider
Value: /usr/lib64/galera/libgalera_smm.so
*************************** . row ***************************
Variable_name: wsrep_provider_options
Value: base_dir = /var/lib/mysql/; base_host = 192.168.73.110; base_port = ; cert.log_conflicts = no; cert.optimistic_pa = yes; debug = no; evs.auto_evict = ; evs.causal_keepalive_period = PT1S; evs.debug_log_mask = 0x1; evs.delay_margin = PT1S; evs.delayed_keep_period = PT30S; evs.inactive_check_period = PT0.5S; evs.inactive_timeout = PT15S; evs.info_log_mask = ; evs.install_timeout = PT7.5S; evs.join_retrans_period = PT1S; evs.keepalive_period = PT1S; evs.max_install_timeouts = ; evs.send_window = ; evs.stats_report_period = PT1M; evs.suspect_timeout = PT5S; evs.use_aggregate = true; evs.user_send_window = ; evs.version = ; evs.view_forget_timeout = P1D; gcache.dir = /var/lib/mysql/; gcache.keep_pages_size = ; gcache.mem_size = ; gcache.name = /var/lib/mysql//galera.cache; gcache.page_size = 128M; gcache.recover = no; gcache.size = 128M; gcomm.thread_prio = ; gcs.fc_debug = 0; gcs.fc_factor = 1.0; gcs.fc_limit = 16; gcs.fc_master_slave = no; gcs.max_packet_size = 64500; gcs.max_throttle = 0.25; gcs.recv_q_hard_limit = 9223372036854775807; gcs.recv_q_soft_limit = 0.25; gcs.sync_donor = no; gmcast.listen_addr = tcp://0.0.0.0:4567; gmcast.mcast_addr = ; gmcast.mcast_ttl = 1; gmcast.peer_timeout = PT3S; gmcast.segment = 0; gmcast.time_wait = PT5S; gmcast.version = 0; ist.recv_addr = 192.168.73.110; pc.announce_timeout = PT3S; pc.checksum = false; pc.ignore_quorum = false; pc.ignore_sb = false; pc.linger = PT20S; pc.npvo = false; pc.recovery = true; pc.version = 0; pc.wait_prim = true; pc.wait_prim_timeout = PT30S; pc.weight = 1; protonet.backend = asio; protonet.version = 0; repl.causal_read_timeout = PT30S; repl.commit_order = 3; repl.key_format = FLAT8; repl.max_ws_size = 2147483647; repl.proto_max = 9; socket.checksum = 2; socket.recv_buf_size = 212992;
*************************** . row ***************************
Variable_name: wsrep_recover
Value: OFF
*************************** . row ***************************
Variable_name: wsrep_replicate_myisam
Value: OFF
*************************** . row ***************************
Variable_name: wsrep_restart_slave
Value: OFF
*************************** . row ***************************
Variable_name: wsrep_retry_autocommit
Value:
*************************** . row ***************************
Variable_name: wsrep_slave_fk_checks
Value: ON
*************************** . row ***************************
Variable_name: wsrep_slave_threads
Value:
*************************** . row ***************************
Variable_name: wsrep_slave_uk_checks
Value: OFF
*************************** . row ***************************
Variable_name: wsrep_sst_auth
Value:
*************************** . row ***************************
Variable_name: wsrep_sst_donor
Value:
*************************** . row ***************************
Variable_name: wsrep_sst_donor_rejects_queries
Value: OFF
*************************** . row ***************************
Variable_name: wsrep_sst_method
Value: rsync
*************************** . row ***************************
Variable_name: wsrep_sst_receive_address
Value: AUTO
*************************** . row ***************************
Variable_name: wsrep_start_position
Value: ----:-
*************************** . row ***************************
Variable_name: wsrep_sync_wait
Value:
rows in set (0.00 s
监测参数说明
监测状态说明
1. 集群完整性检查:
wsrep_cluster_state_uuid:在集群所有节点的值应该是相同的,有不同值的节点,说明其没有连接入集群.
wsrep_cluster_conf_id:正常情况下所有节点上该值是一样的.如果值不同,说明该节点被临时”分区”了.当节点之间网络连接恢复的时候应该会恢复一样的值.
wsrep_cluster_size:如果这个值跟预期的节点数一致,则所有的集群节点已经连接.
wsrep_cluster_status:集群组成的状态.如果不为”Primary”,说明出现”分区”或是”split-brain”状况.
2. 节点状态检查:
wsrep_ready: 该值为ON,则说明可以接受SQL负载.如果为Off,则需要检查wsrep_connected.
wsrep_connected: 如果该值为Off,且wsrep_ready的值也为Off,则说明该节点没有连接到集群.(可能是wsrep_cluster_address或wsrep_cluster_name等配置错造成的.具体错误需要查看错误日志)
wsrep_local_state_comment:如果wsrep_connected为On,但wsrep_ready为OFF,则可以从该项查看原因.
3. 复制健康检查:
wsrep_flow_control_paused:表示复制停止了多长时间.即表明集群因为Slave延迟而慢的程度.值为0~1,越靠近0越好,值为1表示复制完全停止.可优化wsrep_slave_threads的值来改善.
wsrep_cert_deps_distance:有多少事务可以并行应用处理.wsrep_slave_threads设置的值不应该高出该值太多.
wsrep_flow_control_sent:表示该节点已经停止复制了多少次.
wsrep_local_recv_queue_avg:表示slave事务队列的平均长度.slave瓶颈的预兆.
参考：https://blog.csdn.net/jeanette_zlj/article/details/79550690
参考：https://blog.51cto.com/11886307/2391974
最新文章
- [转]Patch文件结构详解
- Shodan新手入坑指南
- dyld: Library not loaded: @rpath/libswiftCore.dylib 解决方法
- Leetcode Sqrt(x)
- sql2008 r2 重新启动 失败解决办法
- UITextView限制字数与行数
- OnlineJudge大集合
- L1、L2范式及稀疏性约束
- MVC模式学习笔记
- CentOS6.5 [ERROR] /usr/libexec/mysqld: Can't create/write to file '/var/lib/mysqld/mysqld.pid' (Errcode: 2)
- 7.Django
- sqlplus的非交互式使用
- Mvc检查图片格式后上传
- [ Learning ] Design Pattens
- SignalR 前期简单配置
- KAFKA 监控管理界面 KAFKA EAGLE 安装
- Finding LCM LightOJ - 1215 （水题）
- eclipse 关闭web项目无用校验
- 「NOI2014」魔法森林
- leetcode -- Maximal Rectangle TODO O(N)