环境配置

一、系统环境

序号	用途	系统	Docker版本	IP地址
1	Master	CentOS Linux release 7.6.1810 (Core)	19.03.4	192.168.0.1
2	Master	CentOS Linux release 7.6.1810 (Core)	19.03.4	192.168.0.2
3	Master	CentOS Linux release 7.6.1810 (Core)	19.03.4	192.168.0.3
4	Node	CentOS Linux release 7.6.1810 (Core)	19.03.4	192.168.0.4
5	Node	CentOS Linux release 7.6.1810 (Core)	19.03.4	192.168.0.5

二、磁盘配置

配置/data目录挂载：

# 安装必要的软件

yum install -y lvm2

# 使用parted或者fdisk都行，主要看磁盘大小

# 此处使用fdisk

fdisk /dev/sda

# 创建lvm卷

pvcreate /dev/sda1

vgcreate disk1 /dev/sda1

lvcreate -n data -l +100%FREE disk1

# 格式化磁盘

mkfs.xfs /dev/disk1/data

# 查看磁盘uuid，并加入开机挂载

blkid /dev/disk1/data

echo "UUID=<uuid> /data  xfs  defaults   0 0" >> /etc/fstab

三、Docker环境安装配置

安装docker环境：

# 检查是否有老版本的docker安装

yum remove docker \

           docker-client \

           docker-client-latest \

           docker-common \

           docker-latest \

           docker-latest-logrotate \

           docker-logrotate docker-engine

# 配置yum源

yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

# 安装docker

yum install docker-ce docker-ce-cli containerd.io -y

# 配置docker存储文件夹路径

mkdir /data/docker

ln -s /data/docker /var/lib/docker

# 启动

systemctl enable docker

systemctl start docker

配置证书

一、证书介绍

生成的 CA 证书和秘钥文件如下：

ca-key.pem
ca.pem
kubernetes-key.pem
kubernetes.pem
kube-proxy.pem
kube-proxy-key.pem
admin.pem
admin-key.pem

使用证书的组件如下：

etcd：使用 ca.pem、kubernetes-key.pem、kubernetes.pem；
kube-apiserver：使用 ca.pem、kubernetes-key.pem、kubernetes.pem；
kubelet：使用 ca.pem；
kube-proxy：使用 ca.pem、kube-proxy-key.pem、kube-proxy.pem；
kubectl：使用 ca.pem、admin-key.pem、admin.pem；
kube-controller-manager：使用 ca-key.pem、ca.pem

注意：以下操作都在 master 节点即192.168.0.1这台主机上执行，证书只需要创建一次即可，以后在向集群中添加新节点时只要将 /data/k8s/ 目录下的证书拷贝到新节点上即可。

二、配置证书生成工具

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64

chmod +x cfssl_linux-amd64

mv cfssl_linux-amd64 /usr/local/bin/cfssl

wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64

chmod +x cfssljson_linux-amd64

mv cfssljson_linux-amd64 /usr/local/bin/cfssljson

wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64

chmod +x cfssl-certinfo_linux-amd64

mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo

export PATH=/usr/local/bin:$PATH

三、创建 CA (Certificate Authority)

1、创建CA配置文件：

mkdir /root/k8s_cert/

cd /root/k8s_cert

cfssl print-defaults config > config.json

cfssl print-defaults csr > csr.json

# 根据config.json文件的格式创建如下的ca-config.json文件

# 过期时间设置成了 87600h (10 years)

cat > ca-config.json <<EOF

{

  "signing": {

    "default": {

      "expiry": "87600h"

    },

    "profiles": {

      "kubernetes": {

        "usages": [

            "signing",

            "key encipherment",

            "server auth",

            "client auth"

        ],

        "expiry": "87600h"

      }

    }

  }

}

EOF

字段说明

ca-config.json：可以定义多个 profiles，分别指定不同的过期时间、使用场景等参数；后续在签名证书时使用某个 profile；
signing：表示该证书可用于签名其它证书；生成的 ca.pem 证书中 CA=TRUE；
server auth：表示client可以用该 CA 对server提供的证书进行验证；
client auth：表示server可以用该CA对client提供的证书进行验证。

2、创建 CA 证书签名请求

创建 ca-csr.json 文件，内容如下：

{

  "CN": "kubernetes",

  "key": {

    "algo": "rsa",

    "size": 2048

  },

  "names": [

    {

      "C": "CN",

      "ST": "HangZhou",

      "L": "HangZhou",

      "O": "k8s",

      "OU": "System"

    }

  ],

    "ca": {

       "expiry": "87600h"

    }

}

"CN"：Common Name，kube-apiserver 从证书中提取该字段作为请求的用户名 (User Name)；浏览器使用该字段验证网站是否合法；
"O"：Organization，kube-apiserver 从证书中提取该字段作为请求用户所属的组 (Group)。

3、生成 CA 证书和私钥

cfssl gencert -initca ca-csr.json | cfssljson -bare ca

ls ca*

ca-config.json  ca.csr  ca-csr.json  ca-key.pem  ca.pem

四、创建 kubernetes 证书

创建 kubernetes 证书签名请求文件 kubernetes-csr.json：

{

    "CN": "kubernetes",

    "hosts": [

      "127.0.0.1",

      "192.168.174.*",

      "10.254.0.1",

      "K8S-Master01",

      "K8S-Master02",

      "K8S-Master03",

      "K8S-Master*",

      "kubernetes",

      "kubernetes.default",

      "kubernetes.default.svc",

      "kubernetes.default.svc.cluster",

      "kubernetes.default.svc.cluster.local"

    ],

    "key": {

        "algo": "rsa",

        "size": 2048

    },

    "names": [

        {

            "C": "CN",

            "ST": "HangZhou",

            "L": "HangZhou",

            "O": "k8s",

            "OU": "System"

        }

    ]

}

如果 hosts 字段不为空则需要指定授权使用该证书的 IP 或域名列表，由于该证书后续被 etcd 集群和 kubernetes master 集群使用，所以上面分别指定了 etcd 集群、kubernetes master 集群的主机 IP 和 kubernetes 服务的服务 IP（一般是 kube-apiserver 指定的 service-cluster-ip-range 网段的第一个IP，如 10.254.0.1）。
这是最小化安装的kubernetes集群，包括一个私有镜像仓库，三个节点的kubernetes集群，以上物理节点的IP也可以更换为主机名。

生成 kubernetes 证书和私钥

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kubernetes-csr.json | cfssljson -bare kubernetes

ls kubernetes*

kubernetes.csr  kubernetes-csr.json  kubernetes-key.pem  kubernetes.pem

五、创建 admin 证书

创建 admin 证书签名请求文件 admin-csr.json：

{

  "CN": "admin",

  "hosts": [],

  "key": {

    "algo": "rsa",

    "size": 2048

  },

  "names": [

    {

      "C": "CN",

      "ST": "HangZhou",

      "L": "HangZhou",

      "O": "system:masters",

      "OU": "System"

    }

  ]

}

后续 kube-apiserver 使用 RBAC 对客户端(如 kubelet、kube-proxy、Pod)请求进行授权；
kube-apiserver 预定义了一些 RBAC 使用的 RoleBindings，如 cluster-admin 将 Group system:masters 与 Role cluster-admin 绑定，该 Role 授予了调用kube-apiserver 的所有 API的权限；
O 指定该证书的 Group 为 system:masters，kubelet 使用该证书访问 kube-apiserver 时，由于证书被 CA 签名，所以认证通过，同时由于证书用户组为经过预授权的 system:masters，所以被授予访问所有 API 的权限。

注意：这个admin 证书，是将来生成管理员用的kubeconfig 配置文件用的，现在我们一般建议使用RBAC 来对kubernetes 进行角色权限控制， kubernetes 将证书中的CN 字段作为User， O 字段作为 Group。

在搭建完 kubernetes 集群后，我们可以通过命令: kubectl get clusterrolebinding cluster-admin -o yaml ,查看到 clusterrolebinding cluster-admin 的 subjects 的 kind 是 Group，name 是 system:masters。 roleRef 对象是 ClusterRole cluster-admin。意思是凡是 system:masters Group的 user 或者 serviceAccount 都拥有 cluster-admin 的角色。因此我们在使用 kubectl 命令时候，才拥有整个集群的管理权限。可以使用 kubectl get clusterrolebinding cluster-admin -o yaml 来查看。

生成 admin 证书和私钥：

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes admin-csr.json | cfssljson -bare admin

ls admin*

admin.csr  admin-csr.json  admin-key.pem  admin.pem

六、创建 kube-proxy 证书

创建 kube-proxy 证书签名请求文件 kube-proxy-csr.json：

{

  "CN": "system:kube-proxy",

  "hosts": [],

  "key": {

    "algo": "rsa",

    "size": 2048

  },

  "names": [

    {

      "C": "CN",

      "ST": "HangZhou",

      "L": "HangZhou",

      "O": "k8s",

      "OU": "System"

    }

  ]

}

CN 指定该证书的 User 为 system:kube-proxy；
kube-apiserver 预定义的 RoleBinding system:node-proxier 将User system:kube-proxy 与 Role system:node-proxier 绑定，该 Role 授予了调用 kube-apiserver Proxy 相关 API 的权限。

生成 kube-proxy 客户端证书和私钥：

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes  kube-proxy-csr.json | cfssljson -bare kube-proxy

ls kube-proxy*

kube-proxy.csr  kube-proxy-csr.json  kube-proxy-key.pem  kube-proxy.pem

七、校验证书

以 kubernetes 证书为例

1、使用 `opsnssl` 命令

[root@k8sm01 k8s_cert]# openssl x509  -noout -text -in  kubernetes.pem

Certificate:

    Data:

        Version: 3 (0x2)

        Serial Number:

            1c:38:1e:b8:fe:61:92:72:d4:c4:9e:96:bd:4f:22:4d:f7:28:93:9e

    Signature Algorithm: sha256WithRSAEncryption

        Issuer: C=CN, ST=HangZhou, L=HangZhou, O=k8s, OU=System, CN=kubernetes

        Validity

            Not Before: Jul 16 14:51:00 2019 GMT

            Not After : Jul 13 14:51:00 2029 GMT

        Subject: C=CN, ST=HangZhou, L=HangZhou, O=k8s, OU=System, CN=kubernetes

        Subject Public Key Info:

            Public Key Algorithm: rsaEncryption

                Public-Key: (2048 bit)

                ...

        X509v3 extensions:

            X509v3 Key Usage: critical

                Digital Signature, Key Encipherment

            X509v3 Extended Key Usage:

                TLS Web Server Authentication, TLS Web Client Authentication

            X509v3 Basic Constraints: critical

                CA:FALSE

            X509v3 Subject Key Identifier:

                66:F7:4F:A7:A8:51:5C:2C:FB:69:AD:E3:2F:CE:56:03:98:25:73:B5

            X509v3 Authority Key Identifier:

                keyid:E4:F3:C7:D8:7C:AA:BC:16:23:6D:AA:5F:C1:D7:9B:BA:B3:C7:2B:6C

            X509v3 Subject Alternative Name:

                DNS:192.168.174.*, DNS:k8sm01, DNS:k8sm02, DNS:k8sm03, DNS:k8sm*, DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster, DNS:kubernetes.default.svc.cluster.local, IP Address:127.0.0.1, IP Address:10.254.0.1

        ...

确认 Issuer 字段的内容和 ca-csr.json 一致；
确认 Subject 字段的内容和 kubernetes-csr.json 一致；
确认 X509v3 Subject Alternative Name 字段的内容和 kubernetes-csr.json 一致；
确认 X509v3 Key Usage、Extended Key Usage 字段的内容和 ca-config.json 中 kubernetes profile 一致。

2、使用 `cfssl-certinfo` 命令

[root@k8sm01 k8s_cert]# cfssl-certinfo -cert kubernetes.pem

{

  "subject": {

    "common_name": "kubernetes",

    "country": "CN",

    "organization": "k8s",

    "organizational_unit": "System",

    "locality": "HangZhou",

    "province": "HangZhou",

    "names": [

      "CN",

      "HangZhou",

      "HangZhou",

      "k8s",

      "System",

      "kubernetes"

    ]

  },

  "issuer": {

    "common_name": "kubernetes",

    "country": "CN",

    "organization": "k8s",

    "organizational_unit": "System",

    "locality": "HangZhou",

    "province": "HangZhou",

    "names": [

      "CN",

      "HangZhou",

      "HangZhou",

      "k8s",

      "System",

      "kubernetes"

    ]

  },

  "serial_number": "161103259632849221888838395004402126225112863646",

  "sans": [

    "192.168.174.*",

    "k8sm01",

    "k8sm02",

    "k8sm03",

    "k8sm*",

    "kubernetes",

    "kubernetes.default",

    "kubernetes.default.svc",

    "kubernetes.default.svc.cluster",

    "kubernetes.default.svc.cluster.local",

    "127.0.0.1",

    "10.254.0.1"

  ],

  "not_before": "2019-07-16T14:51:00Z",

  "not_after": "2029-07-13T14:51:00Z",

  "sigalg": "SHA256WithRSA",

  ...

}

八、分发证书

mkdir -p /data/k8s/cert

cp *.pem /data/k8s/cert

scp /data/k8s/cert/*.pem <IPADDR>:/data/k8s/cert/

九、参考

配置Kubeconfig文件

一、创建 TLS Bootstrapping Token

Token auth file

Token可以是任意的包含128 bit的字符串，可以使用安全的随机数发生器生成。

export BOOTSTRAP_TOKEN=$(head -c 16 /dev/urandom | od -An -t x | tr -d ' ')

cat > token.csv <<EOF

${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:kubelet-bootstrap"

EOF

注意：在进行后续操作前请检查 token.csv 文件，确认其中的 ${BOOTSTRAP_TOKEN} 环境变量已经被真实的值替换。

BOOTSTRAP_TOKEN 将被写入到 kube-apiserver 使用的 token.csv 文件和 kubelet 使用的 bootstrap.kubeconfig 文件，如果后续重新生成了 BOOTSTRAP_TOKEN，则需要：

更新 token.csv 文件，分发到所有机器 (master 和 node）的 /etc/kubernetes/ 目录下，分发到node节点上非必需；
重新生成 bootstrap.kubeconfig 文件，分发到所有 node 机器的 /etc/kubernetes/ 目录下；
重启 kube-apiserver 和 kubelet 进程；
重新 approve kubelet 的 csr 请求；

二、创建 kubelet bootstrapping kubeconfig 文件

cd /data/k8s

export KUBE_APISERVER="https://192.168.0.200:8443"

# 设置集群参数

kubectl config set-cluster kubernetes \

  --certificate-authority=/data/k8s/cert/ca.pem \

  --embed-certs=true \

  --server=${KUBE_APISERVER} \

  --kubeconfig=bootstrap.kubeconfig

# 设置客户端认证参数

kubectl config set-credentials kubelet-bootstrap \

  --token=${BOOTSTRAP_TOKEN} \

  --kubeconfig=bootstrap.kubeconfig

# 设置上下文参数

kubectl config set-context default \

  --cluster=kubernetes \

  --user=kubelet-bootstrap \

  --kubeconfig=bootstrap.kubeconfig

# 设置默认上下文

kubectl config use-context default --kubeconfig=bootstrap.kubeconfig

--embed-certs 为 true 时表示将 certificate-authority 证书写入到生成的 bootstrap.kubeconfig 文件中；
设置客户端认证参数时没有指定秘钥和证书，后续由 kube-apiserver 自动生成；

三、创建 kube-proxy kubeconfig 文件

export KUBE_APISERVER="https://192.168.0.200:8443"

# 设置集群参数

kubectl config set-cluster kubernetes \

  --certificate-authority=/data/k8s/cert/ca.pem \

  --embed-certs=true \

  --server=${KUBE_APISERVER} \

  --kubeconfig=kube-proxy.kubeconfig

# 设置客户端认证参数

kubectl config set-credentials kube-proxy \

  --client-certificate=/data/k8s/cert/kube-proxy.pem \

  --client-key=/data/k8s/cert/kube-proxy-key.pem \

  --embed-certs=true \

  --kubeconfig=kube-proxy.kubeconfig

# 设置上下文参数

kubectl config set-context default \

  --cluster=kubernetes \

  --user=kube-proxy \

  --kubeconfig=kube-proxy.kubeconfig

# 设置默认上下文

kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig

设置集群参数和客户端认证参数时 --embed-certs 都为 true，这会将 certificate-authority、client-certificate 和 client-key 指向的证书文件内容写入到生成的 kube-proxy.kubeconfig 文件中；
kube-proxy.pem 证书中 CN 为 system:kube-proxy，kube-apiserver 预定义的 RoleBinding cluster-admin 将User system:kube-proxy 与 Role system:node-proxier 绑定，该 Role 授予了调用 kube-apiserver Proxy 相关 API 的权限；

网络配置

一、安装flannel

yum install -y flannel

修改配置文件：

# Flanneld configuration options  

# etcd url location.  Point this to the server where etcd runs

FLANNEL_ETCD_ENDPOINTS="https://192.168.0.1:2379,https://192.168.0.2:2379,https://192.168.0.3:2379"

# etcd config key.  This is the configuration key that flannel queries

# For address range assignment

FLANNEL_ETCD_PREFIX="/nczdevk8s/network"

# Any additional options that you want to pass

FLANNEL_OPTIONS="-etcd-cafile=/data/k8s/cert/ca.pem -etcd-certfile=/data/k8s/cert/kubernetes.pem -etcd-keyfile=/data/k8s/cert/kubernetes-key.pem"

二、配置ipvs

# 安装软件

yum install -y conntrack-tools ipvsadm ipset

修改系统配置：

cat > /etc/sysconfig/modules/ipvs.modules <<EOF

modprobe -- ip_vs

modprobe -- ip_vs_rr

modprobe -- ip_vs_wrr

modprobe -- ip_vs_sh

modprobe -- nf_conntrack_ipv4

EOF

# 确认是否加载成功

lsmod | grep -e ip_vs -e nf_conntrack_ipv4

部署K8S

目录结构：

/data/k8s/ ------ 包含k8s的配置文件

/usr/lib/systemd/system/kube* ------ k8s启动的service文件

/etc/cni/net.d/* ------ cni的配置文件

/opt/cni/bin/* ------ cni的二进制文件

/usr/local/bin/kube* ------ k8s的二进制文件

巴特西

Kubernetes部署-二进制方式

环境配置

一、系统环境

二、磁盘配置

三、Docker环境安装配置

配置证书

一、证书介绍

二、配置证书生成工具

三、创建 CA (Certificate Authority)

1、创建CA配置文件：

2、创建 CA 证书签名请求

3、生成 CA 证书和私钥

四、创建 kubernetes 证书

五、创建 admin 证书

六、创建 kube-proxy 证书

七、校验证书

1、使用 `opsnssl` 命令

2、使用 `cfssl-certinfo` 命令

八、分发证书

九、参考

配置Kubeconfig文件

一、创建 TLS Bootstrapping Token

二、创建 kubelet bootstrapping kubeconfig 文件

三、创建 kube-proxy kubeconfig 文件

网络配置

一、安装flannel

二、配置ipvs

部署K8S

最新文章

热门文章

巴特西

Kubernetes部署-二进制方式

环境配置

一、系统环境

二、磁盘配置

三、Docker环境安装配置

配置证书

一、证书介绍

二、配置证书生成工具

三、创建 CA (Certificate Authority)

1、创建CA配置文件：

2、创建 CA 证书签名请求

3、生成 CA 证书和私钥

四、创建 kubernetes 证书

五、创建 admin 证书

六、创建 kube-proxy 证书

七、校验证书

1、使用 opsnssl 命令

2、使用 cfssl-certinfo 命令

八、分发证书

九、参考

配置Kubeconfig文件

一、创建 TLS Bootstrapping Token

二、创建 kubelet bootstrapping kubeconfig 文件

三、创建 kube-proxy kubeconfig 文件

网络配置

一、安装flannel

二、配置ipvs

部署K8S

最新文章

热门文章

1、使用 `opsnssl` 命令

2、使用 `cfssl-certinfo` 命令