docker swarm使用keepalived+haproxy搭建基于percona-xtradb-cluster方案的高可用mysql集群

一、部署环境

序号	hostname	ip	备注
1	manager107	10.0.3.107	centos7;3.10.0-957.1.3.el7.x86_64
2	worker68	10.0.3.68	centos7;3.10.0-957.1.3.el7.x86_64
3	worker80	10.0.3.80	centos7;3.10.0-957.1.3.el7.x86_64

docker版本

docker version

Client:

 Version:           18.09.

 API version:       1.39

 Go version:        go1.10.4

 Git commit:        4d60db4

 Built:             Wed Nov   ::

 OS/Arch:           linux/amd64

 Experimental:      false

Server: Docker Engine - Community

 Engine:

  Version:          18.09.

  API version:      1.39 (minimum version 1.12)

  Go version:       go1.10.4

  Git commit:       4d60db4

  Built:            Wed Nov   ::

  OS/Arch:          linux/amd64

  Experimental:     false

二、首先搭建基于swarm的percona-xtradb-cluster集群，参见上一篇

三、三台服务器安装haproxy

1、编写haproxy-Dockerfile

 cd /home/workspace/haproxy

 vim haproxy-Dockerfile

haproxy-Dockerfile内容：

 FROM haproxy

 COPY ./haproxy.cfg /usr/local/etc/haproxy/

 EXPOSE

 CMD ["/usr/local/sbin/haproxy", "-db", "-f", "/usr/local/etc/haproxy/haproxy.cfg"]

2、编辑haproxy配置文件

vim haproxy.cfg

输入haproxy.cfg内容：

global

        #工作目录

        chroot /usr/local/etc/haproxy

        #日志文件，使用rsyslog服务中local5日志设备（/var/log/local5），等级info

        log 127.0.0.1 local5 info

        #守护进程运行

        daemon

defaults

        log     global

        mode    http

        #日志格式

        option  httplog

        #日志中不记录负载均衡的心跳检测记录

        option  dontlognull

        #连接超时（毫秒）

        timeout connect

        #客户端超时（毫秒）

        timeout client

        #服务器超时（毫秒）

        timeout server  

#监控界面

listen  admin_stats

        #监控界面的访问的IP和端口

        bind  0.0.0.0:

        #访问协议

        mode   http

        #URI相对地址

        stats uri   /haproxy

        #统计报告格式

        stats realm     Global\ statistics

        #登陆帐户信息

        stats auth  admin:abc123456

        #数据库负载均衡

listen  proxy-mysql

        #访问的IP和端口(前面ip=0代表任何ip都可访问)

        bind  0.0.0.0:

        #网络协议

        mode  tcp

        #负载均衡算法（轮询算法）

        #轮询算法：roundrobin

        #权重算法：static-rr

        #最少连接算法：leastconn

        #请求源IP算法：source

        balance  roundrobin

        #日志格式

        option  tcplog

        #在MySQL中创建一个没有权限的haproxy用户，密码为空。Haproxy使用这个账户对MySQL数据库心跳检测

        option  mysql-check user haproxy

        server  node1 node1: check weight  maxconn

        server  node2 node2: check weight  maxconn

        server  node3 node3: check weight  maxconn

        #使用keepalive检测死链

        option  tcpka

注：node1、node2、node3分别为三台服务器上的pxc集群的容器名字。

3、构建haproxy镜像

docker build -t haproxy01 .

4、三台服务器启动haproxy容器服务

 docker run -it -d -p : -p : --name c_haproxy01 --net=pxc-net --privileged haproxy01

 docker run -it -d -p : -p : --name c_haproxy02 --net=pxc-net --privileged haproxy01

 docker run -it -d -p : -p : --name c_haproxy03 --net=pxc-net --privileged haproxy01

这时访问http://10.0.3.107:7010/haproxy，应该可以看到统计页面了。

四、三台服务器安装keepalived

1、三台服务器yum安装keepalived

2、选择107作为master，两外两台作为backup

在107配置keepalived：

 cd /etc/keepalived/

 vim keepalived.conf

keepalived.conf内容：

 ! Configuration File for keepalived

 vrrp_instance VI_1 {

     state MASTER

     interface enp0s31f6

     virtual_router_id

     priority

     advert_int

     authentication {

         auth_type PASS

         auth_pass

     }

     virtual_ipaddress {

         10.0.3.63

     }

 }

 virtual_server 10.0.3.63  {

     delay_loop

     lb_algo rr

     lb_kind NAT

     persistence_timeout

     protocol TCP

     real_server 10.0.3.107  {

         weight

     }

     real_server 10.0.3.68  {

         weight

     }

     real_server 10.0.3.80  {

         weight

     }

 }

 virtual_server 10.0.3.63  {

     delay_loop

     lb_algo rr

     lb_kind NAT

     persistence_timeout

     protocol TCP

     real_server 10.0.3.107  {

         weight

     }

     real_server 10.0.3.68  {

         weight

     }

     real_server 10.0.3.80  {

         weight

     }

 }

启动keepalived

systemctl start keepalived

同样，在68和80上配置keepalived：

 ! Configuration File for keepalived

 vrrp_instance VI_1 {

     state BACKUP

     interface enp3s0

     virtual_router_id

     priority

     advert_int

     authentication {

         auth_type PASS

         auth_pass

     }

     virtual_ipaddress {

         10.0.3.63

     }

 }

 virtual_server 10.0.3.63  {

     delay_loop

     lb_algo rr

     lb_kind NAT

     persistence_timeout

     protocol TCP

     real_server 10.0.3.107  {

         weight

     }

     real_server 10.0.3.68  {

         weight

     }

     real_server 10.0.3.80  {

         weight

     }

 }

 virtual_server 10.0.3.63  {

     delay_loop

     lb_algo rr

     lb_kind NAT

     persistence_timeout

     protocol TCP

     real_server 10.0.3.107  {

         weight

     }

     real_server 10.0.3.68  {

         weight

     }

     real_server 10.0.3.80  {

         weight

     }

 }

同样启动keepalived。

五、测试

现在可以用vip来访问统计页面（http://10.0.3.63:7010/haproxy）和连接数据库集群（10.0.3.63:3106）了。

模拟keepalived挂掉：

ip a

可以看到现在63正挂在107下面，现在在107上停掉keepalived

systemctl stop keepalived

可以看到63已经漂移到了68下面了。

当然还可以配置服务器检查策略。

巴特西

docker swarm使用keepalived+haproxy搭建基于percona-xtradb-cluster方案的高可用mysql集群

最新文章

热门文章