Kubernets二进制安装(13)之部署Flannel
Flannel简介
Flannel是CoreDNS团队针对Kubernetes设计的一个网络规划服务，简单来说，它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址。但在默认的Docker配置中，每个Node的Docker服务会分别负责所在节点容器的IP分配。Node内部的容器之间可以互相访问，但是不能跨主机(Node)网络相互间是不能直接通信的。Flannel设计目的就是为集群中所有节点重新规划IP地址的使用规则，从而使得在不同的节点上的容器能够获得“同属一个内网”且“不重复的”IP地址，并让属于不同节点上的容器能够直接通过内网IP通信。
Flannel使用etcd存储配置数据和子网分配信息。Flannel启动之后，后台进程首先检索配置和正在使用的子网列表，然后选择一个可用的子网，然后尝试去注册它。etcd也存储了每个主机对应的IP地址。flannel使用etcd的watch机制监视/coreos.com/network/subnets下面所有元素的变化信息，并且根据它来维护一个路由表。为了提高性能，flannel优化了Unversal TAP/TUN设备，对TUN和UDP之间的IP分片做了代理
Flannel原理图如下：
上图Flannel的工作原理解释如下：
1.数据从源容器中发出后，经由所在主机的docker0虚拟网卡转发到flannel0虚拟网卡，这是一个p2p的虚拟网卡，flanneld服务监听在网卡的另外一端
2.Flannel通过etcd服务维护了一张节点间的路由表，此张表里保存了各个节点主机的子网的网段信息
3.源主机的flanneld服务将原本的数据内容UDP封装后根据自己的路由表投递给目的节点的flanneld服务，数据到达后被解包，然后会直接进入到目的节点的flannel0虚拟网卡，然后被发到目的主机的docker0虚拟网卡，最后就像本机容器通信一样的由docker0路由到达目标容器
除了UDP，Flannel还支持很多其它的Backend，但是不支持运行时修改Backend
部分Backend如下：
| Backend | 说明 |
|---|---|
| udp | 使用用户态udp封闭，默认使用8285端口。由于是在用户态封装和解包，性能上有较大的损失，建议只用于debug，如果网卡支持enable upd offload，直接由网卡进行拆包解包，性能还是很好的 |
| vxlan | vxlan封装，需要配置VNI，Port(默认8472)和GBP，性能损耗大概在20%-30% |
| host-gw | 直接路由方式，将容器网络的路由信息直接更新到主机的路由表中，仅适用于二层直接可达的网络,因此只适用于小集群,性能损耗大概为10% |
| aws-vpc | 使用Amazon VPC route table创建路由，适用于AWS上运行的容器 |
| gce | 使用Google Compute Engine Network创建路由，所有instance需要开启IP forwarding，适用于GCE上运行的容器 |
| ali-vpc | 使用阿里云VPC route table创建路由，适用于阿里云上运行的容器 |
官方推荐使用的Backend：VXLAN host-gw UDP
实验性的Backend，不建议上生产：AliVPC Alloc AWS VPC GCE IPIP IPSec
Flannel二进制安装
1.集群规划
| 主机名 | 角色 | IP地址 |
|---|---|---|
| mfyxw30.mfyxw.com | flannel | 192.168.80.30 |
| mfyxw40.mfyxw.com | flannel | 192.168.80.40 |
2.下载flannel
flannel链接：https://github.com/coreos/flannel
flannelv0.11.0下载地址：https://github.com/coreos/flannel/releases/download/v0.11.0/flannel-v0.11.0-linux-amd64.tar.gz
flannelv0.12.0下载地址：https://github.com/coreos/flannel/releases/download/v0.12.0/flannel-v0.12.0-linux-amd64.tar.gz
可以在mfyxw40或mfyxw30主机上使用wget来下载，也可以在宿主机上通过迅雷或其它工具下载好再上传到服务器
#在mfyxw30.mfyxw.com主机上执行
[root@mfyxw30 ~]# wget https://github.com/coreos/flannel/releases/download/v0.11.0/flannel-v0.11.0-linux-amd64.tar.gz
#在mfyxw40.mfyxw.com主机上执行
[root@mfyxw40 ~]# wget https://github.com/coreos/flannel/releases/download/v0.11.0/flannel-v0.11.0-linux-amd64.tar.gz
3.解压flannel并创建软链接
#在mfyxw30.mfyxw.com主机上执行
[root@mfyxw30 ~]# mkdir -p /opt/flannel-v0.12.0
[root@mfyxw30 ~]# tar xf flannel-v0.12.0-linux-amd64.tar.gz -C /opt/flanneld-v0.12.0/
[root@mfyxw30 ~]# ln -s /opt/flanneld-v0.12.0 /opt/flanneld
#在mfyxw40.mfyxw.com主机上执行
[root@mfyxw40 ~]# mkdir -p /opt/flannel-v0.12.0
[root@mfyxw40 ~]# tar xf flannel-v0.12.0-linux-amd64.tar.gz -C /opt/flanneld-v0.12.0/
[root@mfyxw40 ~]# ln -s /opt/flanneld-v0.12.0 /opt/flanneld
4.复制证书文件
分别在mfyxw30和mfyxw40主机上/opt/flanneld/目录下创建cert目录,以mfyxw30为例
[root@mfyxw30 ~]# mkdir -p /opt/flanneld/cert
[root@mfyxw30 ~]# cd /opt/flanneld/cert
[root@mfyxw30 cert]# scp -r root@mfyxw50:/opt/certs/ca.pem .
[root@mfyxw30 cert]# scp -r root@mfyxw50:/opt/certs/client.pem .
[root@mfyxw30 cert]# scp -r root@mfyxw50:/opt/certs/client-key.pem .
在mfyxw40主机复制证书到/opt/flanneld/cert目录中
[root@mfyxw40 ~]# mkdir -p /opt/flanneld/cert
[root@mfyxw40 ~]# cd /opt/flanneld/cert
[root@mfyxw40 cert]# scp -r root@mfyxw50:/opt/certs/ca.pem .
[root@mfyxw40 cert]# scp -r root@mfyxw50:/opt/certs/client.pem .
[root@mfyxw40 cert]# scp -r root@mfyxw50:/opt/certs/client-key.pem .
5.配置subnet.env文件
Flannel会将本机的subnet信息对应的环境变量注入到该文件中，Flannel真正是从这里获取subnet信息的
在mfyxw30.mfyxw.com主机上添加flannel的subnet.env文件
[root@mfyxw30 ~]# cat > /opt/flanneld/subnet.env << EOF
FLANNEL_NETWORK=10.10.0.0/16
FLANNEL_SUBNET=10.10.30.1/24
FLANNEL_MTU=1500
FLANNEL_IPMASQ=false
EOF
在mfyxw40.mfyxw.com主机上添加flannel的subnet.env文件
[root@mfyxw40 ~]# cat > /opt/flanneld/subnet.env << EOF
FLANNEL_NETWORK=10.10.0.0/16
FLANNEL_SUBNET=10.10.40.1/24
FLANNEL_MTU=1500
FLANNEL_IPMASQ=false
EOF
6.为flanneld提供启动脚本
在mfyxw30.mfyxw.com主机上为flanneld创建启动脚本文件/opt/flanneld/flannel.sh
[root@mfyxw30 ~]# cat > /opt/flanneld/flannel.sh << EOF
#!/bin/sh
./flanneld \\
--public-ip=192.168.80.30 \\
--etcd-endpoints=https://192.168.80.20:2379,https://192.168.80.30:2379,https://192.168.80.40:2379 \\
--etcd-keyfile=/opt/flanneld/cert/client-key.pem \\
--etcd-certfile=/opt/flanneld/cert/client.pem \\
--etcd-cafile=/opt/flanneld/cert/ca.pem \\
--iface=ens33 \\
--subnet-file=/opt/flanneld/subnet.env \\
--healthz-port=2401
EOF
在mfyxw40.mfyxw.com主机上为flanneld创建启动脚本文件/opt/flanneld/flannel.sh
[root@mfyxw40 ~]# cat > /opt/flanneld/flannel.sh << EOF
#!/bin/sh
./flanneld \\
--public-ip=192.168.80.40 \\
--etcd-endpoints=https://192.168.80.20:2379,https://192.168.80.30:2379,https://192.168.80.40:2379 \\
--etcd-keyfile=/opt/flanneld/cert/client-key.pem \\
--etcd-certfile=/opt/flanneld/cert/client.pem \\
--etcd-cafile=/opt/flanneld/cert/ca.pem \\
--iface=ens33 \\
--subnet-file=/opt/flanneld/subnet.env \\
--healthz-port=2401
EOF
7.为flannel.sh脚本赋予可执行权限
分别在mfyxw30和mfyxw40主机上执行如下命令，以mfyxw30为例
[root@mfyxw30 ~]# chmod +x /opt/flanneld/flannel.sh
8.操作etcd，增加host-gw
在安装了etcd的主机(mfyxw20,mfyxw30,mfyxw40)中的任意一台上执行如下命令，以mfyxw30主机为例查看etcd主运行在哪台主机上
[root@mfyxw30 ~]# cd /opt/etcd
[root@mfyxw30 ~]# ./etcdctl member list
登录到etcd主的主机mfyxw20上执行如下命令
[root@mfyxw20 ~]# ./etcdctl set /coreos.com/network/config '{"Network": "10.10.0.0/16", "Backend": {"Type": "host-gw"}}'
温馨提示：
Network：用于指定Flanneld地址池
Backend：用于指定数据包以什么方式转发，默认为udp模式，host-gw模式最好，但不能跨宿主机网络
9.为flanneld创建supervisor配置文件
在mfyxw30.mfyxw.com主机上创建supervisor配置文件
[root@mfyxw30 ~]# cat > /etc/supervisord.d/flanneld.ini << EOF
[program:flanneld-80-30]
command=/opt/flanneld/flannel.sh
numprocs=1
directory=/opt/flanneld
autostart=true
autorestart=true
startsecs=30
startretries=3
exitcodes=0,2
stopsignal=QUIT
stopwaitsecs=10
user=root
redirect_stderr=true
stdout_logfile=/data/logs/flanneld/flanneld.stdout.log
stdout_logfile_maxbytes=64MB
stdout_logfile_backups=4
stdout_capture_maxbytes=1MB
stdout_events_enabled=false
EOF
在mfyxw40.mfyxw.com主机上创建supervisor配置文件
[root@mfyxw40 ~]# cat > /etc/supervisord.d/flanneld.ini << EOF
[program:flanneld-80-40]
command=/opt/flanneld/flannel.sh
numprocs=1
directory=/opt/flanneld
autostart=true
autorestart=true
startsecs=30
startretries=3
exitcodes=0,2
stopsignal=QUIT
stopwaitsecs=10
user=root
redirect_stderr=true
stdout_logfile=/data/logs/flanneld/flanneld.stdout.log
stdout_logfile_maxbytes=64MB
stdout_logfile_backups=4
stdout_capture_maxbytes=1MB
stdout_events_enabled=false
EOF
10.创建日志文件目录
分别在mfyxw30和mfyxw40上机上创建flannel的日志文件目录
在mfyxw30主机上执行
[root@mfyxw30 ~]# mkdir -p /data/logs/flanneld
在mfyxw40主机上执行
[root@mfyxw40 ~]# mkdir -p /data/logs/flanneld
11.启动服务并检查
在mfyxw30主机上执行
[root@mfyxw30 ~]# supervisorctl update
[root@mfyxw30 ~]# supervisorctl status
在mfyxw40主机上执行
[root@mfyxw40 ~]# supervisorctl update
[root@mfyxw40 ~]# supervisorctl status
最新文章
- 【浅层优化实战】ssh远程登录Linux卡慢的全过程排查及解决方案
- 第一个Struts2程序之HelloWorld
- Gate level Simulation(门级仿真)
- SwiftLint——Swift代码检查及自动格式化工具
- java中的不为空判断
- 重载Array类的contains方法
- bugFree与zentao
- 【转】find命令
- linux 配置apache+subversion
- Android学习总结——本地广播机制
- Qt学习 之 多线程程序设计（QT通过三种形式提供了对线程的支持）
- 初学者入门web前端 C#基础知识：数组与集合
- Mycat 分片规则详解--日期范围 hash 分片
- NGUI之实现连连看小游戏
- 关于在vscode中以https方式请求！不是以file文件夹访问！vscode中 ajax请求
- python列表与元组的用法
- Java_oracle超出打开游标的最大数的原因和解决方案
- Ubuntu 14.10 下安装Ambari
- TFS2018 linux Agent的安装
- LINUX的DNS怎么设置？linux下如何修改DNS地址