nginx反向代理实现均衡负载及调度方法

http upstream配置参数：

ngx_http_upstream_module模块
将多个服务器定义成服务器组，而由proxy_pass, fastcgi_pass等指令进行引用

upstream name { ... }

定义后端服务器组，会引入一个新的上下文；
默认调度算法是wrr：

Context: http

upstream httpdsrvs {

    server ...

    server...

    ...

}

server address [parameters];
#配置一个后端web服务器，配置在upstream内，至少要有一个server服务器配置。

server支持的parameters如下：

weight=number #设置权重，默认为1。

max_conns=number #给当前server设置最大活动链接数，默认为0表示没有限制。

max_fails=number #对后端服务器连续监测失败多少次就标记为不可用。

fail_timeout=time #对后端服务器的单次监测超时时间，默认为10秒。

backup #设置为备份服务器，当所有服务器不可用时将重新启用次服务器。

down #标记为down状态。

resolve #当server定义的是主机名的时候，当A记录发生变化会自动应用新IP而不用重启Nginx。

实现nginx反向代理调度功能：

A主机：192.168.37.27 nginx服务器

B主机：192.168.37.17 httpd服务器

C主机：192.168.37.37 httpd服务器

nginx服务器上配置文件：

1、修改nginx配置文件，关联后端httpd服务，进行调度。

[root@centos27site1]#vim /etc/nginx/nginx.conf

      upstream  websrv{

         server 192.168.37.17:80;

         server 192.168.37.37:80;

      }

vim /etc/nginx/conf.d/test.conf

server  {

    listen 80;

    server_name www.magedu.net;

    root /data/site1;

    index index.html;

    location /  {

        proxy_pass http://websrv;

    }

}

在两个后端httpd后端服务创建文件

[root@centos17~]#echo 192.168.37.17 > /var/www/html/index.html

[root@centos17~]#systemctl start httpd

[root@centos37site1]#systemctl start httpd

[root@centos37site1]#echo 192.168.37.37 > /var/www/html/index.html

在客户端进行调度测试

[root@centos7~]#while true;do  curl www.magedu.net;sleep 0.5;done

192.168.37.17

192.168.37.37

192.168.37.17

192.168.37.37

192.168.37.17

实现宕机功能：

修改nginx主配置文件即可，在监听的80端口后面加上down，就会将此服务器进行宕机：vim /etc/nginx/nginx.conf

http {

      upstream  websrv{

         server 192.168.37.17:80;

         server 192.168.37.37:80 down;   加入down，就会将此主机进行宕机处理。

      }

在客户端进行测试效果，此时nginx很巧妙的只调度17的主机，不会在显示37宕机的效果，可以对后端服务器进行健康检查。

[root@centos7~]#while true;do  curl www.magedu.net;sleep 0.5;done

192.168.37.17

192.168.37.17

192.168.37.17

实现道歉功能：

将nginx服务器端的配置文件进行修改：vim /etc/nginx/nginx.conf，80端口被占用，最好不要指定80端口。

      upstream  websrv{

         server 192.168.37.17:80;

         server 192.168.37.37:80;

         server 127.0.0.1:8080 backup;

      }

在vim /etc/nginx/conf.d/test.conf配置文件中修改配置文件，当后端httpd都宕机之后，就会显示/data/site2里边的文件，作为道歉显示。

server  {

    listen 8080;

    #server_name www.magedu.org;

    root /data/site2/;

    ssl_certificate /etc/nginx/ssl/magedu.org.crt;

    ssl_certificate_key /etc/nginx/ssl/magedu.org.key;

    ssl_session_cache shared:sslcache:20m;

    ssl_session_timeout 10m;

    access_log  /var/log/nginx/magedu_org.access_json.log  main;

    valid_referers none block server_names *.magedu.com  ~\.google\. ~\.baidu\.;

    if ($invalid_referer) {

    return 403 "Forbidden Access";

    }

}

　在nginx服务端的data/site2目录下新建一个html文件。

[root@centos27site1]#mkdir /data/site2

[root@centos27site1]#echo /data/site2/test.html > /data/site2/index.html

　将httpd两个后端服务都停掉。

[root@centos37site1]#systemctl stop httpd

　在客户端进行测试效果，由于后端服务器都宕机，此时就会显示nginx宕机道歉的文件信息。

[root@centos7~]#while true;do  curl www.magedu.net;sleep 0.5;done

/data/site2/test.html

/data/site2/test.html

调度算法

ip_hash 源地址hash调度方法，基于的客户端的remote_addr(源地址)做hash计算，以实现会话保持。

least_conn 最少连接调度算法，当server拥有不同的权重时其为wlc，当所有后端主机连接数相同时，则使用wrr，适用于长连接，调度到最少连接的后端服务器上。

hash key [consistent] 基于指定的key的hash表来实现对请求的调度，此处的key可以直接文本、变量或二者组合。

作用：将请求分类，同一类请求将发往同一个upstream server，使用consistent参数，将使用ketama一致性hash算法，适用于后端是Cache服务器（如varnish）时使用。所谓取模运算，就是计算两个数相除之后的余数，比如10%7=3, 7%4=3

hash $request_uri consistent;  #基于用户请求的uri做hash，一致性hash算法

hash $remote_addr;

hash $cookie_name; #key为name的cookie

keepalive 连接数N;

为每个worker进程保留的空闲的长连接数量，可节约nginx端口，并减少连接管理的消耗

一致性hash算法

原理：对于下图来看，节点数越少，越容易出现节点在哈希环上的分布不均匀，导致各节点映射的对象数量严重不均衡(数据倾斜)；相反，节点数越多越密集，数据在哈希环上的分布就越均匀。

设计哈希函数 Hash(key)，要求取值范围为 [0, 2^32)

在对IP地址进行hash运算的结果进行取模（2^32），针对每个全服务器的权重不同，都将IP地址进行hash算法运算，然后进行取模（2^32）。

原理诠释：

varnish 1(权重) hash(192.168.37.37)%2^32

varnish 2(权重) hash（192.168.37.47+random1）%2^32 hash（192.168.37.47+random2）%2^32 权重有两个，对IP地址进行两次hash运算。

varnish 3(权重) hash（192.168.37.57+random1）%2^32 hash（192.168.37.57+random2）%2^32 hash（192.168.37.57+random3）%2^32 权重有三个，就对IP地址进行三次hash运算。

以上展示，由于在hash环上只有六个随机环，有可能分部在一起，会导致分布不均匀，此时有可能就只有外部两个nginx服务器在工作，中间的四个环不会工作，造成两个环负荷过大。

解决办法：在保持权重占比的情况下，可以将三个varnish的权重分别乘以1000，如1*1000、2*1000、3*1000，此时相对的权重占比不变，环的数量增加，会将环的数量增加，不会导致数据倾斜现象，解决了不均匀的问题。

解决不均匀的代码：hash $request_uri consistent;

实现sessionid固定保证访问一个网址

1、在nginx服务器修改主配置文件　　

[root@centos27~]#vim /etc/nginx/nginx.conf

      upstream  websrv{

         server 192.168.37.17:80;

         server 192.168.37.37:80;

         hash $cookie_sessionid;

      }

在include指定的配置文件中添加要调用的后端httpd服务的IP地址。

[root@centos27~]#vim /etc/nginx/conf.d/test.conf

server  {

    listen 80;

    server_name www.magedu.net;

    root /data/site1;

    index index.html;

    location /  {

        proxy_pass http://websrv;

    }

}

2、在客户端进行测试验证效果，说明sessionid固定后，保证固定访问一个网址。

实现工作于传输层的反代理或调度器（用法不多）

ngx_stream_core_module模块
模拟反代基于tcp或udp的服务连接，即工作于传输层的反代或调度器

stream { ... }
定义stream相关的服务；Context:main

示例：

stream {

  upstream mysqlsrvs {

    server 192.168.8.2:3306;

    server 192.168.8.3:3306;

    least_conn;

}

 server {

    listen 10.1.0.6:3306;

    proxy_pass mysqlsrvs;

  }

}

各参数含义：

ngx_stream_proxy_module模块

可实现代理基于TCP，UDP (1.9.13), UNIX-domain sockets的数据流

proxy_pass address;

指定后端服务器地址

proxy_timeout timeout;

无数据传输时，保持连接状态的超时时长

默认为10m

proxy_connect_timeout time;

设置nginx与被代理的服务器尝试建立连接的超时时长

默认为60s

1、在nginx服务器主配置文件中添加TCP和UDP协议。

[root@centos27~]#vim /etc/nginx/nginx.conf

stream {

   upstream mysqlsrvs {

        server 192.168.37.17:3306;  mysql1数据库

        server 192.168.37.37:3306;  mysql2数据库

        least_conn;

        }

   server {

        listen 192.168.37.27:3306;  nginx服务器

        proxy_pass mysqlsrvs;

        }

}

2、在两个mysql数据库创建相同用户账号及数据库，便于测试验证

[root@centos17~]#yum install mariadb-server

[root@centos17~]#systemctl start mariadb

[root@centos17~]#mysql -e "grant all on *.* to test@'192.168.37.%' identified by 'centos'"

[root@centos17~]#mysql -e "create database db17"      17数据库

[root@centos37~]#mysql -e "grant all on  *.* to test@'192.168.37.%' identified by 'centos' "

[root@centos37~]#mysql -e "create database db37"    37数据库

3、在mysql客户端进行测试验证反向代理效果，每次访问的数据库不一定一样。

tcp负载均衡配置参数

stream { #定义stream

　upstream backend { #定义后端服务器

　　hash $remote_addr consistent; #定义调度算法

　　server backend1.example.com:12345 weight=5; #定义具体server

　　server 127.0.0.1:12345 max_fails=3 fail_timeout=30s;

　　server unix:/tmp/backend3;

　}

 upstream dns { #定义后端服务器

　　server 192.168.0.1:53535; #定义具体server

　　server dns.example.com:53;

　}

 server { #定义server

　　listen 12345; #监听IP:PORT

　　proxy_connect_timeout 1s; #连接超时时间

　　proxy_timeout 3s; #转发超时时间

　　proxy_pass backend; #转发到具体服务器组

　}

 server {

　　listen 127.0.0.1:53 udp reuseport;

　　proxy_timeout 20s;

　　proxy_pass dns;

 }

 server {

　　listen [::1]:12345;

　　proxy_pass unix:/tmp/stream.socket;

 }

}

巴特西