Kubernetes学习笔记（九）：StatefulSet--部署有状态的多副本应用

StatefulSet如何提供稳定的网络标识和状态

ReplicaSet中的Pod都是无状态，可随意替代的。又因为ReplicaSet中的Pod是根据模板生成的多副本，无法对每个副本都指定单独的PVC。

来看一下StatefulSet如何解决的。

提供稳定的网络标识

StatefulSet创建Pod都有一个从零开始的顺序索引，这会体现在Pod的名称和主机名上，同样也会体现在Pod对应的固定存储上。所以这些名字是可预先知道的，不同于ReplicaSet的随机生成名字。

因为他们的名字都是固定的，而且彼此状态都不同，通常会操作他们其中的一个。如此情况，一般都会创建一个与之对应的headless Service，通过这个Service，每个Pod将拥有独立的DNS记录。

扩容一个StatefulSet会使用下一个顺序索引创建一个新的Pod，缩容会删除索引值最高的。并且缩容任何时候只会操作一个Pod。

如何提供稳定的存储

StatefulSet可以拥有一个或多个PVC模板，这些PVC会在创建Pod前创建出来，绑定到一个Pod实例上。

扩容的时候会创建一个Pod以及若干个PVC，删除的时候只会删除Pod。StatefulSet缩容时不会删除PVC，扩容时会重新挂上。

使用StatefulSet

定义三个PV

定义pv-(a|b|c)

# stateful-pv-list.yaml

apiVersion: v1

kind: PersistentVolume

metadata:

  name: pv-a

spec:

  capacity:

    storage: 1Mi

  accessModes:

  - ReadWriteOnce

  persistentVolumeReclaimPolicy: Recycle

  hostPath:

    path: /tmp/pva

---

apiVersion: v1

kind: PersistentVolume

# 以下忽略

headless的Service

# stateful-service-headless.yaml

apiVersion: v1

kind: Service

metadata:

  name: rwfile

spec:

  clusterIP: None

  selector:

    app: rwfile

  ports:

  - port: 80

定义StatefulSet

先创建两个Pod副本。使用volumeClaimTemplates定义了PVC模板。

# stateful.yaml

apiVersion: apps/v1

kind: StatefulSet

metadata:

  name: rwfile

spec:

  replicas: 2

  serviceName: rwfile

  selector:

    matchLabels:

     app: rwfile

  template:

    metadata:

      labels:

        app: rwfile

    spec:

      containers:

      - image: registry.cn-hangzhou.aliyuncs.com/orzi/rwfile

        name: rwfile

        ports:

        - containerPort: 8000

        volumeMounts:

        - name: data

          mountPath: /tmp/data

  volumeClaimTemplates:

  - metadata:

      name: data

    spec:

      resources:

        requests:

          storage: 1Mi

      accessModes:

      - ReadWriteOnce

创建三个PV，一个headless的Service，一个StatefulSet

-> [root@kube0.vm] [~] k create -f stateful-pv-list.yaml

persistentvolume/pv-a created

persistentvolume/pv-b created

persistentvolume/pv-c created

-> [root@kube0.vm] [~] k create -f stateful-service-headless.yaml

service/rwfile created

-> [root@kube0.vm] [~] k create -f stateful.yaml

statefulset.apps/rwfile created

查看

-> [root@kube0.vm] [~] k get all -o wide

NAME                    READY   STATUS      RESTARTS   AGE   IP            NODE       NOMINATED NODE   READINESS GATES

pod/rwfile-0            1/1     Running     0          12s   10.244.1.52   kube1.vm   <none>           <none>

pod/rwfile-1            1/1     Running     0          8s    10.244.2.56   kube2.vm   <none>           <none>

NAME                 TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE   SELECTOR

service/kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP   81s   <none>

service/rwfile       ClusterIP   None         <none>        80/TCP    23s   app=rwfile

NAME                      READY   AGE   CONTAINERS   IMAGES

statefulset.apps/rwfile   2/2     12s   rwfile       registry.cn-hangzhou.aliyuncs.com/orzi/rwfile

查看PV和PVC，可以看到已经有两个PVC绑定了PV

-> [root@kube0.vm] [~] k get pv,pvc -o wide

NAME                    CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM                   STORAGECLASS   REASON   AGE     VOLUMEMODE

persistentvolume/pv-a   1Mi        RWO            Recycle          Bound       default/data-rwfile-0                           7m20s   Filesystem

persistentvolume/pv-b   1Mi        RWO            Recycle          Bound       default/data-rwfile-1                           7m20s   Filesystem

persistentvolume/pv-c   1Mi        RWO            Recycle          Available                                                   7m20s   Filesystem

NAME                                  STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE     VOLUMEMODE

persistentvolumeclaim/data-rwfile-0   Bound    pv-a     1Mi        RWO                           6m55s   Filesystem

persistentvolumeclaim/data-rwfile-1   Bound    pv-b     1Mi        RWO                           6m51s   Filesystem

请求Pod

启动代理

-> [root@kube0.vm] [~] k proxy

Starting to serve on 127.0.0.1:8001

发送请求

-> [root@kube0.vm] [~] curl http://localhost:8001/api/v1/namespaces/default/pods/rwfile-0/proxy/ -d "a=123"

data stored in : rwfile-0

-> [root@kube0.vm] [~] curl http://localhost:8001/api/v1/namespaces/default/pods/rwfile-0/proxy/

a=123

删除测试

删除rwfile-0，然后查看，从时间上看确实是被删除重建的。

-> [root@kube0.vm] [~] k delete po rwfile-0

pod "rwfile-0" deleted

-> [root@kube0.vm] [~] k get po

NAME                READY   STATUS      RESTARTS   AGE

rwfile-0            1/1     Running     0          7s

rwfile-1            1/1     Running     0          19m

看一下之前存储的数据还在不在

-> [root@kube0.vm] [~] curl http://localhost:8001/api/v1/namespaces/default/pods/rwfile-0/proxy/

a=123

还是在的，此次测试实际上也证明了StatefulSet提供了稳定的网络标识和存储。

发现StatefulSet的伙伴节点

使用DNS解析headless的Service的FQDN。

例子以后再写吧。。

如何处理节点失效

除非确定节点无法运行或者不会在访问，否则不要强制删除有状态的Pod

k delete pod rwfile-0 --force --grace-period 0

小结

StatefulSet创建Pod都有一个从零开始的顺序索引
通常会创建一个与StatefulSet对应的headless Service。
扩容一个StatefulSet会使用下一个顺序索引创建一个新的Pod，缩容会删除索引值最高的。
新建StatefulSet需要指定headless ServiceName和volumeClaimTemplates。
使用DNS发现StatefulSet的伙伴节点
强制删除：k delete pod rwfile-0 --force --grace-period 0

巴特西