Keepalived+Nginx高可用集群

　　Keepalived简介

　　Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的服务器。

　　keepalived工作原理

　　keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。

虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（该路由器所在局域网内其他机器的默认路由为该vip），master会发组播，当backup收不到vrrp包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。

keepalived主要有三个模块，分别是core、check和vrrp。core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查，包括常见的各种检查方式。vrrp模块是来实现VRRP协议的。

　　keepalived三个主要功能

　　管理LVS负载均衡软件

　　实现LVS集群节点的健康检查中

　　作为系统网络服务的高可用性（failover）

　　PS：本次主要介绍高可用功能

　　Keepalived安装配置

　　安装环境查看

　　本次试验使用yum安装

yum -y install keepalived

　　查看版本

　　配置文件为/etc/keepalived/keepalived.conf

　　全局配置文件

lobal_defs {

   notification_email {

     acassen@firewall.loc

     failover@firewall.loc

     sysadmin@firewall.loc

   }

   notification_email_from Alexandre.Cassen@firewall.loc

   smtp_server 192.168.200.1

   smtp_connect_timeout 30

   router_id lb01

   vrrp_skip_check_adv_addr

#   vrrp_strict

   vrrp_garp_interval 0

   vrrp_gna_interval 0

}

　　用来配置router_id（全局唯一）以及邮箱等信息

　　PS：配置邮件用于出现故障发送邮件，工作中这个工作一般交由监控软件zabbix等负责，可以不配置

　　vrrp配置部分

vrrp_instance VI_1 {

    state MASTER　　　　　　　　　　　　#设备状态是主

    interface eth0　　　　　　　　　　　#绑定的网络接口是eth0

    virtual_router_id 55　　　　　　　 #虚拟路由ID 主备这个ID必须一致　

    priority 150                     #优先级数值越高优先级越高，备的优先级需低于此数值

    advert_int 1　　　　　　　　　　　　#主备同步间隔单位是秒

    authentication {

        auth_type PASS

        auth_pass 1111　　　　　　　　 #主备认证方式，主备密码需要一致

    }

    virtual_ipaddress {　　　　　　　　#虚拟IP地址以及绑定的网卡

        192.168.56.22/24 dev eth0 label eth0:1

    }

}

　　用于配置主备状态，接口，优先级，认证方式IP信息等

　　高可用服务单实例实战

　　图示

　　192.168.56.11的keepalived配置

! Configuration File for keepalived

global_defs {

   notification_email {

     liuym@abc.com

   }

   notification_email_from Alexandre.Cassen@firewall.loc

   smtp_server 127.0.0.1

   smtp_connect_timeout 30

   router_id lb01

#  vrrp_strict

}

vrrp_instance VI_1 {

    state MASTER

    interface eth0

    virtual_router_id 55

    priority 150

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

    }

    virtual_ipaddress {

        192.168.56.22/24 dev eth0 label eth0:1

    }

}

　　192.168.56.12的keepalived配置

! Configuration File for keepalived

global_defs {

   notification_email {

     liuym@abc.com

   }

   notification_email_from Alexandre.Cassen@firewall.loc

   smtp_server 127.0.0.1

   smtp_connect_timeout 30

   router_id lb02

#  vrrp_strict

}

vrrp_instance VI_1 {

    state BACKEND

    interface eth0

    virtual_router_id 55

    priority 100

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

    }

    virtual_ipaddress {

        192.168.56.22/24 dev eth0 label eth0:1

    }

}

　　说明：router_id不一样

　　主备状态不一样（一台是MASTER一台是BACKEDN在配置文件里必须是大写）

　　　　　优先级不一样

　　PS：vrrp_strict是默认的配置需要注释，否则会导致VIP不通

　　启动keepalived验证两台主机均启动

 systemctl start keepalived

　　192.168.56.11生产了虚拟IP

　　192.168.56.12没有虚拟IP

　　停止主keepalived责备机接管虚拟VIP

　　主节点没有了虚拟VIP

　　主节点再次启动keepalived 因为主节点优先级别高又会自动接管虚拟VIP

　　keepalived+nginx实现高可用集群

　　图示如下

　　1，对外提供的VIP是192.168.56.22

　　2，其中正常工作是由11提供服务

　　3，11宕机的情况VIP会漂移至22主机，用户无感知

　　11和12主机分别安装nginx并设置反向代理，这里为了方便仅仅反向代理一台主机，生产中是有多台主机的

　　nginx.conf配置如下（两台主机nginx配置一样反向代理了11的8080生产中是其他应用的多台主机）

worker_processes  1;

events {

    worker_connections  1024;

}

http {

    include       mime.types;

    default_type  application/octet-stream;

    log_format access_log_json '{"user_ip":"$http_x_forwarded_for","lan_ip":"$remote_addr","log_time":"$time_iso8601","user_rqp":"$request","http_code":"$status","body_bytes_sent":"$body_bytes_sent","req_time":"$request_time","user_ua":"$http_user_agent"}';

    sendfile        on;

    keepalive_timeout  65;

    upstream www_server_pools {

        server 192.168.56.11:8080;

    }

    server {

        listen       192.168.56.22:80;

        server_name  www.liuym.com;

        access_log  /data/logs/nginx/http-access.log  access_log_json;

        error_log /data/logs/nginx/http-error.log;

        location / {

            proxy_pass http://www_server_pools;

            proxy_set_header Host $host;

            proxy_set_header x-Forwarded-For $remote_addr;

        }

    }

}

　　注意这里server_name指定了VIP加端口进行绑定，其他配置为nginx基础知识

　　客户端设置hosts指向的ip是VIP192.168.56.22 生产中是DNS地址

　　web界面通过域名访问（这里使用一个8080端口启动的jenkins作为示例）

　　测试VIP漂移

　　在master停止keepalived客户端还是可以继续访问该页面

　　PS：备节点nginx配置了VIP绑定，但是实际主机并没有该VIP在启动nginx的时候会报错

　　解决办法，修改内核参数/etc/sysctl.conf增加一条

net.ipv4.ip_nonlocal_bind = 1

　　执行生效

sysctl -p

　　默认情况下是keepalived软件是在对方宕机或者keepalived停止情况下才接管业务，假如是主节点的Nginx业务有问题呢

　　可以写一个脚本监控Nginx如果nginx停止服务就停止keepalived

　　check_nginx.sh

#!/bin/bash

while true

    do

        if [ ` netstat -lntup|grep nginx|wc -l` -ne 1 ];then

	    systemctl stop keepalived

        fi

	    sleep 5

    done

　　检测如果nginx宕机则停止keepalived

　　后台运行即可

 sh check_nginx.sh &

巴特西

Keepalived+Nginx高可用集群

最新文章

热门文章