容器中跨主机的网络方案-flannel

容器中的网络是建立docker集群的重要内容。

本文将介绍如何用flannel实现容器的多节点互通。

下图是flannel的实现原理，摘自：

http://docker-k8s-lab.readthedocs.io/en/latest/docker/docker-flannel.html

本文有两台VM，一台是主节点，将安装docker、etcd、flannel，第二台是docker的工作节点，将安装docker、flannel。具体步骤如下：

一安装

1 node1

node1 将安装docker、etcd和flannel

yum install docker  etcd flannel -y

2 node2

node2 安装docker、flannel

yum install docker flannel -y

二配置启动etcd

1 配置

配置etcd：

vim /etc/etcd/etcd.conf

ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379" #这个参数是指明对外提供服务的地址和端口。0.0..0表示所有接口都可以提供服务

ETCD_ADVERTISE_CLIENT_URLS="http://192.168.235.128:2379" #这个参数表明，其他etcd节点转发本节点的链接

2 启动

启动etcd

systemctl start etcd

三在etcd中增加flannel网络的kv值

通过etcdctl命令增加flannel网络配置的kv值，需要先将配置写入a.json文件：

etcdctl set /flannel/network/config < ./a.json

{"Network": "10.0.0.0/8",

"SubnetLen": ,

"SubnetMin": "10.10.0.0",

"SubnetMax": "10.99.0.0",

"Backend": {"Type": "vxlan",

        "VNI": ,

        "Port": }

}

四配置flannel

1 配置flannel配置文件

两个node配置相同：

准备log目录

mkdir /var/log/k8s/flannel

chmod  -R /var/log/k8s

编辑flannel配置

vim /etc/sysconfig/flanneld

FLANNEL_ETCD_ENDPOINTS="http://192.168.235.128:2379" #etcd的ip地址和端口

FLANNEL_ETCD_PREFIX="/flannel/network" #和刚才在etcd中配置相对应

FLANNEL_OPTIONS="--logtostderr=false --log_dir=/var/log/k8s/flannel/ --iface=eno16777736" #log和在哪个端口enable flannel

2 启动flannel

systemctl start flanneld

3 检查端口信息

此时检查ifconfig

docker0: flags=<UP,BROADCAST,RUNNING,MULTICAST> mtu

    inet 172.18.0.1 netmask 255.255.240.0 broadcast 0.0.0.0

    ……

eno16777736: flags=<UP,BROADCAST,RUNNING,MULTICAST> mtu

    inet 192.168.235.128 netmask 255.255.255.0 broadcast 192.168.235.255

    ……

flannel.: flags=<UP,BROADCAST,RUNNING,MULTICAST> mtu

    inet 10.10.48.0 netmask 255.255.255.255 broadcast 0.0.0.0

    ……

可以看到产生了一个flannel.100的端口。

4 配置docker0的地址

对docker0端口进行配置，使docker0采用flannel分配的地址段：

source /run/flannel/subnet.env

echo ${FLANNEL_SUBNET}

ifconfig docker0 ${FLANNEL_SUBNET}

可以看到docker0在flannel.100的网段中了：

docker0: flags=<UP,BROADCAST,RUNNING,MULTICAST> mtu

    inet 10.10.48.1 netmask 255.255.240.0 broadcast 0.0.0.0

    ......

eno16777736: flags=<UP,BROADCAST,RUNNING,MULTICAST> mtu

    inet 192.168.235.128 netmask 255.255.255.0 broadcast 192.168.235.255

    ......

flannel.: flags=<UP,BROADCAST,RUNNING,MULTICAST> mtu

    inet 10.10.48.0 netmask 255.255.255.255 broadcast 0.0.0.0

    ......

五配置ip forward

1 配置iptables

配置iptables设置允许forward

iptables -P FORWARD ACCEPT

2 配置sysctl文件

vim /etc/sysctl.conf                   

net.ipv4.ip_forward=

sysctl –p

六重新启动docker

两个node上的docker都重新启动

systemctl restart docker

七检查

1 启动容器

docker01上：

docker run -d --name c01 httpd

docker02上:

docker run -d --name c02 httpd

2 检查网络联通性

在docker01上：

docker exec -it c01 bash

root@d0a04613f4d9:/usr/local/apache2# ip a

: lo: <LOOPBACK,UP,LOWER_UP> mtu  qdisc noqueue state UNKNOWN group default

link/loopback ::::: brd :::::

inet 127.0.0.1/ scope host lo

: eth0@if12: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu  qdisc noqueue state UP group default

link/ether ::0a:0a:: brd ff:ff:ff:ff:ff:ff

inet 10.10.48.2/ scope global eth0

可以看到eth的地址10.10.48.2是flannel.100的网段

ping www.sina.com.cn

PING spool.grid.sinaedge.com (202.102.94.124) () bytes of data.

 bytes from 202.102.94.124: icmp_seq= ttl= time=11.3 ms

 bytes from 202.102.94.124: icmp_seq= ttl= time=11.9 ms

 bytes from 202.102.94.124: icmp_seq= ttl= time=11.6 ms

在docker02上：

root@60973d570c81:/usr/local/apache2# ip a

: lo: <LOOPBACK,UP,LOWER_UP> mtu  qdisc noqueue state UNKNOWN group default

link/loopback ::::: brd :::::

inet 127.0.0.1/ scope host lo

: eth0@if10: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu  qdisc noqueue state UP group default

link/ether ::0a:0b:b0: brd ff:ff:ff:ff:ff:ff

inet 10.11.176.2/ scope global eth0

相同的，10.11.176.2是flannel分配的地址

相互ping：

ping 10.10.48.2

PING 10.10.48.2 (10.10.48.2) () bytes of data.

 bytes from 10.10.48.2: icmp_seq= ttl= time=1.64 ms

 bytes from 10.10.48.2: icmp_seq= ttl= time=1.32 ms

 bytes from 10.10.48.2: icmp_seq= ttl= time=1.07 ms

 bytes from 10.10.48.2: icmp_seq= ttl= time=1.39 ms

可以相互ping通

总结：

通过flannel可以实现多节点的docker互通。

巴特西

容器中跨主机的网络方案-flannel

最新文章

热门文章