文章转载自：https://mp.weixin.qq.com/s?__biz=MzI1MDgwNzQ1MQ==&mid=2247483796&idx=1&sn=347664dead91e978bd0d9bfcf3dca5f9&chksm=e9fdd460de8a5d768dd29e9cc8156e380be2cd0a2bd34cd015c67acce6ff42ed0a03ce060a36&cur_album_id=1341273083637989377&scene=189#wechat_redirect

二进制安装kubernetes 1.17.0版本时，要想对kube-apiserver高可用，有很多种方式方法可供选择，网上大部分使用Haproxy+keepalived、Nginx+keepalived、或者单独使用Nginx等，条条大路通罗马，只要根据公司或者个人掌握的知识点进行选择即可，工具没有好坏之分，关键看什么人使用，这里我们选择使用Nginx+keepalived（Nginx在1.9.0版本及以后，都新增了TCP代理支持，还是很好使用的，不过需要在编译时，指定负载均衡模块stream）。

部署Nginx

登录nginx01.k8s.vip，下载并安装，如下脚本，此过程中有可能遇到有些库文件或者依赖不存在的情况，可根据实际情况解决。

#!/bin/bash

# 创建安装目录及nginx日志目录

mkdir -p /data/nginx/ /data/logs/nginx

# 下载nginx

cd /data/

wget http://nginx.org/download/nginx-1.16.1.tar.gz

tar -zxf nginx-1.16.1.tar.gz && cd nginx-1.16.1

# 编译安装

./configure --with-stream --without-http --prefix=/data/nginx --without-http_uwsgi_module

make && make install

注意要编译--with-stream这个模块，否则不能使用TCP代理，安装完成后，配置文件修改如下

[root@nginx01 conf]# cat nginx.conf

#user nobody;

worker_processes 4;

events {

    worker_connections 1024;

}

stream {

    log_format main '$remote_addr [$time_local]'

                        '$protocol $status $bytes_sent $bytes_received'

                        '$session_time "$upstream_addr" '

                        '"$upstream_bytes_sent" "$upstream_bytes_received" "$upstream_connect_time"';

    access_log /data/logs/nginx/access.log main;

    error_log /data/logs/nginx/error.log warn;

    upstream backend {

        hash $remote_addr consistent;

        server 192.168.16.104:6443 max_fails=3 fail_timeout=30s;

        server 192.168.16.105:6443 max_fails=3 fail_timeout=30s;

        server 192.168.16.106:6443 max_fails=3 fail_timeout=30s;

    }

    server {

        listen *:8443;

        proxy_connect_timeout 1s;

        proxy_pass backend;

    }

}

[root@nginx01 conf]# pwd

/data/nginx/conf

[root@nginx01 conf]#

启动并验证

[root@nginx01 conf]# /data/nginx/sbin/nginx -t

nginx: the configuration file /data/nginx/conf/nginx.conf syntax is ok

nginx: configuration file /data/nginx/conf/nginx.conf test is successful

[root@nginx01 conf]# /data/nginx/sbin/nginx

[root@nginx01 conf]# netstat -antp | grep 8443

tcp 0      0 0.0.0.0:8443            0.0.0.0:* LISTEN 31759/nginx: master

[root@nginx01 conf]#

登录nginx02.k8s.vip，按上面操作部署，执行即可完成nginx的安装及配置。

部署keepalived

keepalived起初是为LVS设计，专门用来监控集群中realserver的状态，如果服务器节点出现异常或故障，keepalived可以及时检测到，并将故障服务器从集群系统中剔除，不需要人工干预。后来它被应用到Linux服务器的各种应用中，目前它已经是Linux服务器上面的一个轻量级的高可用解决方案，应该广泛，目前引入了VRRP协议等。在Linux服务器上面，安装方式极其简单如下。

[root@nginx01 conf]# yum install -y keepalived

安装完成后，默认配置在/etc/keepalived/keepalived.conf下面，在这里简单配置如下：

[root@nginx01 ~]# cat /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {

   notification_email {

   }

   router_id kube_api

}

vrrp_script check_nginx {

    script "killall -0 nginx"

    interval 3

    weight 5

}

vrrp_instance nginx-vip {

    unicast_src_ip 192.168.16.108

    unicast_peer {

        192.168.16.109

    }

    state MASTER #实例初始状态，实际的MASTER和BACKUP是启动后选举决定的

    interface eth0 #指定VIP绑定的在哪张网卡上面

    virtual_router_id 51 #设置虚拟路由ID，相同集群相同，不同集群不同原则

    priority 100 #优先级，优先级高的被竞选为Master

    advert_int 1 #检查的时间间隔，默认是1秒

    authentication {

        auth_type PASS #认证方式选择官方推荐的PASS，还有一个AH

        auth_pass 12345  #认证密码

    }

    virtual_ipaddress {

        192.168.16.253  # 设置VIP

    }

    track_script {

        check_nginx

    }

}

virtual_server 192.168.16.253 443 {

  delay_loop 5  #健康检查时间间隔

  persistence_timeout 1800 #会话保持时间

  protocol TCP #使用协议是TCP

  real_server 192.168.16.108 8443 {

    weight 1

    TCP_CHECK {

      connect_port 8443

      connect_timeout 3

    }

  }

  real_server 192.168.16.109 8443 {

    weight 1

    TCP_CHECK {

      connect_port 8443

      connect_timeout 3

    }

  }

}

[root@nginx01 ~]#

登录nginx02.k8s.vip，配置如下

[root@nginx02 ~]# cat /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {

   notification_email {

   }

   router_id kube_api

}

vrrp_script check_nginx {

    script "killall -0 nginx"

    interval 3

    weight 5

}

vrrp_instance nginx-vip {

    unicast_src_ip 192.168.16.109

    unicast_peer {

        192.168.16.108

    }

    state BACKUP

    interface eth0

    virtual_router_id 51

    priority 90

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 12345

    }

    virtual_ipaddress {

        192.168.16.253

    }

    track_script {

        check_nginx

    }

}

virtual_server 192.168.16.253 443 {

  delay_loop 5

  persistence_timeout 1800

  protocol TCP

  real_server 192.168.16.108 8443 {

    weight 1

    TCP_CHECK {

      connect_port 8443

      connect_timeout 3

    }

  }

  real_server 192.168.16.109 8443 {

    weight 1

    TCP_CHECK {

      connect_port 8443

      connect_timeout 3

    }

  }

}

[root@nginx02 ~]#

两台服务器分别启动服务如下

[root@nginx01 ~]# systemctl start keepalived

查看运行结果

[root@nginx01 ~]# ip a

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1

    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

    inet 127.0.0.1/8 scope host lo

       valid_lft forever preferred_lft forever

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

    link/ether 06:2f:16:00:07:6e brd ff:ff:ff:ff:ff:ff

    inet 192.168.16.108/24 brd 192.168.16.255 scope global eth0

       valid_lft forever preferred_lft forever

    inet 192.168.16.253/32 scope global eth0

       valid_lft forever preferred_lft forever

[root@nginx01 ~]#

现在把nginx01上面的keepalived stop，然后登录nginx02查看如下

[root@nginx02 ~]# ip a

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1

    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

    inet 127.0.0.1/8 scope host lo

       valid_lft forever preferred_lft forever

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

    link/ether 06:37:46:1e:17:6d brd ff:ff:ff:ff:ff:ff

    inet 192.168.16.109/24 brd 192.168.16.255 scope global eth0

       valid_lft forever preferred_lft forever

    inet 192.168.16.253/32 scope global eth0

       valid_lft forever preferred_lft forever

[root@nginx02 ~]#

把nginx01上面的keepalived start后，VIP又会飘移到nginx01上面.

总结

keepalived的使用方式多种多样，只要能到达所想要的结果即可，这里使用的是类似配置LVS的方式，指定realserver。

至此我们的Nginx+Keepalived即安装完成，后面在部署kubernetes时，我们就可以使用这里的VIP 192.168.16.253，把它解析成api.k8s.vip来使用。

巴特西

6.第五篇安装keepalived与Nginx

部署Nginx

部署keepalived

总结

最新文章

热门文章

巴特西

6.第五篇 安装keepalived与Nginx

部署Nginx

部署keepalived

总结

最新文章

热门文章

6.第五篇安装keepalived与Nginx