bonding的系统初始化介绍

bond0模块的加载

Bonding原理

为方便理解bonding的配置及实现，顺便阐述一下Linux的网络接口及其配置文件。在 Linux 中，所有的网络通讯都发生在软件接口与物理网络设备之间。与网络接口配置相关的文件，以及控制网络接口状态的脚本文件，全都位于 /etc/sysconfig/netwrok-scripts/ 目录下。网络接口配置文件用于控制系统中的软件网络接口，并通过这些接口实现对网络设备的控制。当系统启动时，系统通过这些接口配置文件决定启动哪些接口，以及如何对这些接口进行配置。接口配置文件的名称通常类似于 ifcfg-，其中与配置文件所控制的设备的名称相关。在所有的网络接口中，最常用的就是以太网接口ifcfg-eth0，它是系统中第一块网卡的配置文件。虽然在不同的系统之间，文件的类型和数量并不一定相同，但各种的网络设备都需要用到这些文件保证设备的正常运作。bonding技术，就是通过配置文件建立绑定接口，从而实现多个物理网卡绑定到一个虚拟网卡。

Questions?

怎么看当前bond的mode？
- #cat /proc/net/bonding/bond0
- 方式1： #vim /etc/sysconfig/network-scripts/ifcfg-bond0的BONDING_OPTS参数；
- 方式2：/etc/modprobe.d/bond.conf 增加options参数行： options bond0 miimon=100 mode=4 xmit_hash_policy=layer3+4
为何配置当前mode？
mac地址为何一样？
- bonding的原理：在正常情况下，网卡只接收目的硬件地址(MAC Address)是自身MAC的以太网帧，过滤别的数据帧，以减轻驱动程序的负担；但是网卡也支持另外一种被称为混杂promisc的模式，可以接收网络上所有的帧，bonding就运行在这种模式下，而且修改了驱动程序中的mac地址，将两块网卡的MAC地址改成相同，可以接收特定MAC的数据帧。然后把相应的数据帧传送给bond驱动程序处理

Bonding工作模式

bonding的模式一共有7种，常用的为0、1两种：

round-robin(balance-rr) 0 网卡的负载均衡模式
active-backup 1 网卡的容错模式
balance-xor 2 需要交换机支持
broadcast 3 广播模式
ieee802.3ad 4 动态链路聚合模式，需要交换机支持
mode-tlb 5 自适应模式
mode-alb 6 网卡虚拟化方式

mode=0表示load balancing(round-robin)为负载均衡方式，两块网卡都工作。在这种模式下，能在提供带宽的负载均衡的同时提供失效保护。

mode=1表示fault-tolerance(active-backup)提供冗余功能，工作方式是主备的工作方式，也就是说默认情况下只有一块网卡工作，另一块做备份。bonding定义了网卡的4个链路状态：正常状态(BOND_LINK_UP)、网卡出现故障(BOND_LINK_FAIL)、失效状态(BOND_LINK_DOWN)及网上恢复状态(BOND_LINK_BACK)。mii的作用就是依次检查网卡链路状态是否处于这些状态，然后通过标记某个变量来说明当前是否需要切换slave网卡。在这种模式下，两块网卡有一块是不工作的，同时，bond虚设备的MAC地址均一致，所以这张备用网卡不会被外界察觉，交换机也不存在向该端口发包的情况。当bond的mii检测到当前的active设备失效了以后，bonding会迅速将另外一块网卡设置为首选slave设备。

在以上模式中，虚拟网卡的MAC地址始终是第一个slave网卡的MAC。由于外界学习到的服务器MAC地址始终是不变的，在网络上确定了IP和MAC的唯一对应关系，保证了上层业务传输的逻辑一致性，所以链路的状态不会受很大的影响。

系统设置

kernel support:

#cat /boot/config-4.9.151-015.xxx.xxxx.x86_64  | grep -i BONDING

CONFIG_BONDING=m

设置开机加载：

以使系统在启动时加载bonding模块，对外虚拟网络接口设备为 bond0

[root@localhost /data/sandbox/dpdk-17.11/usertools]

#cat /etc/modprobe.d/bonding.conf

alias netdev-bond0 bonding

[root@localhost /data/sandbox/dpdk-17.11/usertools]

#lsmod  | grep bond

bonding               151552  0

bond0 配置文件

[root@localhost /etc/sysconfig/network-scripts]

#cat ifcfg-eth0

DEVICE=eth0

TYPE="Ethernet"

HWADDR=28:31:52:AA:9E:4A

BOOTPROTO=none

ONBOOT=yes

MASTER=bond0

SLAVE=yes

PEERDNS=no

ETHTOOL_OPTS="speed 1000 duplex full autoneg on"

RX_MAX=`ethtool -g "$DEVICE" | grep 'Pre-set' -A1 | awk '/RX/{print $2}'`

RX_CURRENT=`ethtool -g "$DEVICE" | grep "Current" -A1 | awk '/RX/{print $2}'`

[[ "$RX_CURRENT" -lt "$RX_MAX" ]] && ethtool -G "$DEVICE" rx "$RX_MAX"

说明：这里使用了BONDING_OPTS选项，则不需要再使用 /etc/modprobe.conf 配置文件对绑定设备进行配置。参数mode=0，指负载均衡模式，详见下文。miimon是用来进行链路监测的，其原理是检测网上的链路状态，一般将miimon值设为100，表示系统每100ms监测一次链路连接状态，如果有一条线路不通就转入另一条线路。

说明：修改单个网卡配置，主要是去掉IP 地址、子网掩码等信息。同时添加MASTER及SLAVE两项参数。

MASTER=：的值是以太网卡连接到的通道绑定接口的名称，这个指令与 SLAVE 指令配合使用。

SLAVE=<yes|no>：yes - 表示此设备可以由 MASTER 指令中配置的通道绑定接口进行控制。 no - 表示此设备不能由 MASTER 指令中配置的通道绑定接口进行控制。

[root@localhost /etc/sysconfig/network-scripts]

#cat ifcfg-eth1

DEVICE=eth1

TYPE="Ethernet"

HWADDR=28:31:52:AA:9E:4B

BOOTPROTO=none

ONBOOT=yes

MASTER=bond0

SLAVE=yes

PEERDNS=no

ETHTOOL_OPTS="speed 1000 duplex full autoneg on"

RX_MAX=`ethtool -g "$DEVICE" | grep 'Pre-set' -A1 | awk '/RX/{print $2}'`

RX_CURRENT=`ethtool -g "$DEVICE" | grep "Current" -A1 | awk '/RX/{print $2}'`

[[ "$RX_CURRENT" -lt "$RX_MAX" ]] && ethtool -G "$DEVICE" rx "$RX_MAX"

如何查看 bond mode是？
- BONDING_OPTS --> mode=4

[root@localhost /etc/sysconfig/network-scripts]

#cat ifcfg-bond0

DEVICE=bond0

BOOTPROTO=static

TYPE="ethernet"

IPADDR=10.137.16.5

NETMASK=255.255.255.0

ONBOOT=yes

USERCTL=no

PEERDNS=no

BONDING_OPTS="miimon=100 mode=4 xmit_hash_policy=layer3+4"

[root@localhost /etc/sysconfig/network-scripts]

#ethtool -g eth1

Ring parameters for eth1:

Pre-set maximums:

RX:		4096

RX Mini:	0

RX Jumbo:	0

TX:		4096

Current hardware settings:

RX:		4096

RX Mini:	0

RX Jumbo:	0

TX:		256

bond0的mac地址是多少？取决于？

[root@localhost /etc/sysconfig/network-scripts]

#ip a

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1

    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

    inet 127.0.0.1/8 scope host lo

       valid_lft forever preferred_lft forever

2: eth0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP qlen 1000

    link/ether 28:31:52:aa:9e:4a brd ff:ff:ff:ff:ff:ff

3: eth1: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP qlen 1000

    link/ether 28:31:52:aa:9e:4a brd ff:ff:ff:ff:ff:ff

4: ens6f0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 1000

    link/ether d8:49:0b:8c:d1:3c brd ff:ff:ff:ff:ff:ff

5: ens6f1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 1000

    link/ether d8:49:0b:8c:d1:3d brd ff:ff:ff:ff:ff:ff

6: bond0: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP qlen 1000

    link/ether 28:31:52:aa:9e:4a brd ff:ff:ff:ff:ff:ff

    inet 10.137.16.5/24 brd 10.137.16.255 scope global bond0

       valid_lft forever preferred_lft forever

bond0 的生效信息

[root@localhost /data/sandbox/dpdk-17.11/usertools]

#cat  /proc/net/bonding/bond0

Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation   <<===bonding mode 4

Transmit Hash Policy: layer3+4 (1)

MII Status: up

MII Polling Interval (ms): 100

Up Delay (ms): 0

Down Delay (ms): 0

802.3ad info

LACP rate: slow

Min links: 0

Aggregator selection policy (ad_select): stable

System priority: 65535

System MAC address: 28:31:52:aa:9e:4a

Active Aggregator Info:

	Aggregator ID: 1

	Number of ports: 2

	Actor Key: 9

	Partner Key: 10

	Partner Mac Address: 74:25:8a:bc:2f:1c

Slave Interface: eth0              <<======eth0

MII Status: up

Speed: 1000 Mbps

Duplex: full

Link Failure Count: 0

Permanent HW addr: 28:31:52:aa:9e:4a

Slave queue ID: 0

Aggregator ID: 1

Actor Churn State: none

Partner Churn State: none

Actor Churned Count: 0

Partner Churned Count: 0

details actor lacp pdu:

    system priority: 65535

    system mac address: 28:31:52:aa:9e:4a

    port key: 9

    port priority: 255

    port number: 1

    port state: 61

details partner lacp pdu:

    system priority: 32768

    system mac address: 74:25:8a:bc:2f:1c

    oper key: 10

    port priority: 32768

    port number: 10

    port state: 61

Slave Interface: eth1               <<======eth1

MII Status: up

Speed: 1000 Mbps

Duplex: full

Link Failure Count: 0

Permanent HW addr: 28:31:52:aa:9e:4b

Slave queue ID: 0

Aggregator ID: 1

Actor Churn State: none

Partner Churn State: none

Actor Churned Count: 0

Partner Churned Count: 0

details actor lacp pdu:

    system priority: 65535

    system mac address: 28:31:52:aa:9e:4a

    port key: 9

    port priority: 255

    port number: 2

    port state: 61

details partner lacp pdu:

    system priority: 32768

    system mac address: 74:25:8a:bc:2f:1c

    oper key: 10

    port priority: 32768

    port number: 117

    port state: 61

查看当前速率



[root@localhost /etc/sysconfig/network-scripts]

#ethtool bond0

Settings for bond0:

	Supported ports: [ ]

	Supported link modes:   Not reported

	Supported pause frame use: No

	Supports auto-negotiation: No

	Advertised link modes:  Not reported

	Advertised pause frame use: No

	Advertised auto-negotiation: No

	Speed: 2000Mb/s

	Duplex: Full

	Port: Other

	PHYAD: 0

	Transceiver: internal

	Auto-negotiation: off

	Link detected: yes

内核网卡接口

[root@localhost /etc/sysconfig/network-scripts]

#ll /sys/class/net/eth0/

total 0

-r--r--r--  1 root root 4096 May  7 14:11 addr_assign_type

-r--r--r--  1 root root 4096 May  7 03:48 address

-r--r--r--  1 root root 4096 May  7 14:11 addr_len

drwxr-xr-x  2 root root    0 May  7 14:11 bonding_slave

-r--r--r--  1 root root 4096 May  7 14:11 broadcast

-rw-r--r--  1 root root 4096 May  7 10:21 carrier

-r--r--r--  1 root root 4096 May  7 14:11 carrier_changes

lrwxrwxrwx  1 root root    0 May  6 17:07 device -> ../../../0000:01:00.0

-r--r--r--  1 root root 4096 May  7 14:11 dev_id

-r--r--r--  1 root root 4096 May  7 10:21 dev_port

-r--r--r--  1 root root 4096 May  7 14:11 dormant

-r--r--r--  1 root root 4096 May  7 14:11 duplex

-rw-r--r--  1 root root 4096 May  7 14:11 flags

-rw-r--r--  1 root root 4096 May  7 14:11 gro_flush_timeout

-rw-r--r--  1 root root 4096 May  7 05:20 ifalias

-r--r--r--  1 root root 4096 May  7 14:11 ifindex

-r--r--r--  1 root root 4096 May  7 14:11 iflink

-r--r--r--  1 root root 4096 May  7 14:11 link_mode

lrwxrwxrwx  1 root root    0 May  7 14:11 master -> ../../../../../virtual/net/bond0

-rw-r--r--  1 root root 4096 May  7 03:48 mtu

-r--r--r--  1 root root 4096 May  7 14:11 name_assign_type

-rw-r--r--  1 root root 4096 May  7 14:11 netdev_group

-r--r--r--  1 root root 4096 May  6 17:07 operstate

-r--r--r--  1 root root 4096 May  7 14:11 phys_port_id

-r--r--r--  1 root root 4096 May  7 14:11 phys_port_name

-r--r--r--  1 root root 4096 May  7 14:11 phys_switch_id

drwxr-xr-x  2 root root    0 May  7 10:38 power

-rw-r--r--  1 root root 4096 May  7 14:11 proto_down

drwxr-xr-x 18 root root    0 May  7 10:38 queues

-r--r--r--  1 root root 4096 May  7 14:11 speed

drwxr-xr-x  2 root root    0 May  7 10:38 statistics

lrwxrwxrwx  1 root root    0 May  7 14:11 subsystem -> ../../../../../../class/net

-rw-r--r--  1 root root 4096 May  7 14:11 tx_queue_len

-r--r--r--  1 root root 4096 May  7 14:11 type

-rw-r--r--  1 root root 4096 May  7 14:11 uevent

lrwxrwxrwx  1 root root    0 May  7 14:11 upper_bond0 -> ../../../../../virtual/net/bond0

从ifup看bond0的初始化过程

ifup eth0

	/etc/sysconfig/network-scripts/ifup-eth ifcfg-eth0

		network-functions

			install_bonding_driver  // 如果 #cat /sys/class/net/bonding_masters 不存在，就执行：modprobe bonding

在 /etc/sysconfig/network-scripts/ifup-eth 文件中, 完成bond 驱动的加载和初始化：

下面看看对于slave device的处理，比如eth0，如果eth0不在/sys/class/net/bond0/bonding/slaves 文件中，那么需要先down掉（/sbin/ip link set dev ${DEVICE} down）eth0设备，将eth0 写入到bond0的配置/sys/class/net/bond0/bonding/slaves中；

先看对slave设备的处理

# slave device?

if [ "${SLAVE}" = yes -a "${ISALIAS}" = no -a "${MASTER}" != "" ]; then

    install_bonding_driver ${MASTER}

    grep -wq "${DEVICE}" /sys/class/net/${MASTER}/bonding/slaves 2>/dev/null || {

    /sbin/ip link set dev ${DEVICE} down

    echo "+${DEVICE}" > /sys/class/net/${MASTER}/bonding/slaves 2>/dev/null

    }

    ethtool_set  <<<=====这里根据 #cat /etc/sysconfig/network-scripts/ifcfg-eth0 | grep ETHTOOL_OPTS 参数，

                 ### 对eth0网卡进行配置，实际执行命令是：`/sbin/ethtool -s eth0 speed 1000 duplex full autoneg on`

    exit 0

fi

[root@localhost /data/sandbox/cyberstar]

#cat /etc/sysconfig/network-scripts/ifcfg-eth0 | grep ETHTOOL_OPTS

ETHTOOL_OPTS="speed 1000 duplex full autoneg on"

ethtool_set()

{

    oldifs=$IFS;

    IFS=';';

    [ -n "${ETHTOOL_DELAY}" ] && /bin/usleep ${ETHTOOL_DELAY}

    for opts in $ETHTOOL_OPTS ; do

    IFS=$oldifs;

        if [[ "${opts}" =~ [[:space:]]*- ]]; then

        /sbin/ethtool $opts

        else

        /sbin/ethtool -s ${REALDEVICE} $opts

        fi

    IFS=';';

    done

    IFS=$oldifs;

}

再看对master设备的处理

# Bonding initialization. For DHCP, we need to enslave the devices early,

# so it can actually get an IP.

if [ "$ISALIAS" = no ] && is_bonding_device ${DEVICE} ; then

    install_bonding_driver ${DEVICE}

    /sbin/ip link set dev ${DEVICE} up

    for device in $(LANG=C grep -l "^[[:space:]]*MASTER=\"\?${DEVICE}\"\?\([[:space:]#]\|$\)" /etc/sysconfig/network-scripts/ifcfg-*) ; do

        is_ignored_file "$device" && continue

        /sbin/ifup ${device##*/} || net_log "Unable to start slave device ${device##*/} for master ${DEVICE}." warning

    done

    [ -n "${LINKDELAY}" ] && /bin/sleep ${LINKDELAY}

    # add the bits to setup the needed post enslavement parameters

    for arg in $BONDING_OPTS ; do

        key=${arg%%=*};

        value=${arg##*=};

    if [ "${key}" = "primary" ]; then

            echo $value > /sys/class/net/${DEVICE}/bonding/$key

    fi

    done

fi

判断依据

主要看install_bonding_driver 函数的逻辑，来分析bond的初始化过程：

[root@localhost /data/sandbox/cyberstar]

#cat /sys/class/net/bonding_masters

bond0

如果/sys/class/net/bond0/bonding/slaves 文件少于1行，表示，bonding没有配置好,同样判断一个设备是否是 bonding设备，也可以根据这个文件是否存在来判断：

[root@localhost /data/sandbox/cyberstar]

#cat /sys/class/net/bond0/bonding/slaves

eth1 eth0

如果bond没有配置好，则，继续，配置如下几个kernel 参数:

[root@localhost /data/sandbox/cyberstar]

#cat /sys/class/net/bond0/bonding/mode

802.3ad 4

[root@localhost /data/sandbox/cyberstar]

#cat /sys/class/net/bond0/bonding/miimon

100

巴特西