Magnum版本说明

本文以magnum的mitaka版本代码为基础进行分析。

Magnum Kubernetes

Magnum主要支持的概念有bay，baymodel，node，pod，rc，service。其中Magnum可以创建kubernetes的bay，即kubernetes的集群。本文主要介绍的就是magnum中kubernetes bay的创建过程。

Kubernetes Bay创建流程

首先通过magnum-api发起创建bay的请求，api的入口函数在这里。

@expose.expose(Bay, body=Bay, status_code=201)

def post(self, bay):

    """Create a new bay.

    :param bay: a bay within the request body.

    """

    ...

    res_bay = pecan.request.rpcapi.bay_create(new_bay,

                                              bay.bay_create_timeout)

    # Set the HTTP Location Header

    pecan.response.location = link.build_url('bays', res_bay.uuid)

    return Bay.convert_with_links(res_bay)

接着通过rpc调用，将创建请求发送给magnum-conductor，从而调用了bay_conductor的bay_create函数进行处理。

def bay_create(self, context, bay, bay_create_timeout):

    ...

    try:

        # Generate certificate and set the cert reference to bay

        cert_manager.generate_certificates_to_bay(bay)  //为bay创建秘钥

        created_stack = _create_stack(context, osc, bay,    //驱动heat，为bay创建对应的stack

                                      bay_create_timeout)

    ...

接着我们来分析创建stack的过程。

def _create_stack(context, osc, bay, bay_create_timeout):

    template_path, heat_params = _extract_template_definition(context, bay) //获取模板文件的地址和参数

    tpl_files, template = template_utils.get_template_contents(template_path) //获取模板文件内容和其他需要的文件

    # Make sure no duplicate stack name

    stack_name = '%s-%s' % (bay.name, short_id.generate_id())          //生成stack name

    if bay_create_timeout:

        heat_timeout = bay_create_timeout

    elif bay_create_timeout == 0:

        heat_timeout = None

    else:

        # no bay_create_timeout value was passed in to the request

        # so falling back on configuration file value

        heat_timeout = cfg.CONF.bay_heat.bay_create_timeout

    fields = {

        'stack_name': stack_name,

        'parameters': heat_params,

        'template': template,

        'files': tpl_files,

        'timeout_mins': heat_timeout

    }                                                                   //拼成heat的参数

    created_stack = osc.heat().stacks.create(**fields)                  //驱动heat创建stack

    return created_stack

kubernets的模板文件是kubecluster.yaml。这是一个heat的模板文件。下文主要对这个文件进行分析。

至此，一个bay就可以完整创建出来了。

kubernetes bay stack

kubecluster.yaml是一个标准的heat模板。heat模板的说明可以参看Heat Orchestration Template (HOT) Guide。

kubernetes中节点分为master和minion两个。

master部署有etcd，kube-apiserver，kube-scheduler，kube-controllermanager。master主要负责对于集群的管理和kubernetes的数据存储。master支持多节点部署，通过LB实现etcd和kubernetes服务的高可用。master的数量在baymodel中定义。
minion部署有kubelet，kube-proxy，flannel，docker-io。minion是实际创建容器的节点，也就是k8s中的minion。minion节点同样可以有多个。初始的数量在baymodel中定义。

从这个文件，可以看到创建一个kubernetes集群需要的资源。下文对各个resource进行一一分析。

resources:

  fixed_network:            //kubernetes集群的内网，所有创建出来的node，都会在该内网中

    type: OS::Neutron::Net

    properties:

      name: private

  fixed_subnet:             //kubernetes集群的内网子网，所有创建出来的node，都会分配该子网的ip地址

    type: OS::Neutron::Subnet

    properties:

      cidr: {get_param: fixed_network_cidr}

      network: {get_resource: fixed_network}

      dns_nameservers:

        - {get_param: dns_nameserver}

  extrouter:               //对外的外网路由

    type: OS::Neutron::Router

    properties:

      external_gateway_info:

        network: {get_param: external_network}

  extrouter_inside:        //内网路由，连接外网

    type: OS::Neutron::RouterInterface

    properties:

      router_id: {get_resource: extrouter}

      subnet: {get_resource: fixed_subnet}

  secgroup_base:            //基础安全组

    type: OS::Neutron::SecurityGroup

    properties:

      rules:

        - protocol: icmp

        - protocol: tcp

          port_range_min: 22

          port_range_max: 22

  secgroup_kube_master:     //供master使用的安全组

    type: OS::Neutron::SecurityGroup

    properties:

      rules:

        - protocol: tcp

          port_range_min: 7080

          port_range_max: 7080

        - protocol: tcp

          port_range_min: 8080

          port_range_max: 8080

        - protocol: tcp

          port_range_min: 2379

          port_range_max: 2379

        - protocol: tcp

          port_range_min: 2380

          port_range_max: 2380

        - protocol: tcp

          port_range_min: 6443

          port_range_max: 6443

        - protocol: tcp

          port_range_min: 30000

          port_range_max: 32767

  secgroup_kube_minion:     //供minion使用的安全组

    type: OS::Neutron::SecurityGroup

    properties:

      rules:

        - protocol: icmp

        - protocol: tcp

        - protocol: udp

  ######################################################################

  #

  # load balancers.

  #

  api_monitor:              //kube-api的负载均衡监控

    type: OS::Neutron::HealthMonitor

    properties:

      type: TCP

      delay: 5

      max_retries: 5

      timeout: 5

  api_pool:                 //kube-api的负载均衡池

    type: OS::Neutron::Pool

    properties:

      protocol: {get_param: loadbalancing_protocol}

      monitors: [{get_resource: api_monitor}]

      subnet: {get_resource: fixed_subnet}

      lb_method: ROUND_ROBIN

      vip:

        protocol_port: {get_param: kubernetes_port}

  api_pool_floating:        //kube-api的浮动ip

    type: OS::Neutron::FloatingIP

    depends_on:

      - extrouter_inside

    properties:

      floating_network: {get_param: external_network}

      port_id: {get_attr: [api_pool, vip, port_id]}

  etcd_monitor:             //etcd的负载均衡监控

    type: OS::Neutron::HealthMonitor

    properties:

      type: TCP

      delay: 5

      max_retries: 5

      timeout: 5

  etcd_pool:                //etcd的负载均衡池

    type: OS::Neutron::Pool

    properties:

      protocol: HTTP

      monitors: [{get_resource: etcd_monitor}]

      subnet: {get_resource: fixed_subnet}

      lb_method: ROUND_ROBIN

      vip:

        protocol_port: 2379

  ######################################################################

  #

  # kubernetes masters. This is a resource group that will create

  # <number_of_masters> masters.

  #

  kube_masters:             //master资源组

    type: OS::Heat::ResourceGroup

    depends_on:

      - extrouter_inside

    properties:

      count: {get_param: number_of_masters}     //创建的master数量

      resource_def:

        type: kubemaster.yaml   //创建master的模板

        properties:

            ...

  ######################################################################

  #

  # kubernetes minions. This is an resource group that will initially

  # create <number_of_minions> minions, and needs to be manually scaled.

  #

  kube_minions:             //minion资源组

    type: OS::Heat::ResourceGroup

    depends_on:

      - extrouter_inside

      - kube_masters

    properties:

      count: {get_param: number_of_minions}         //创建的minion数量

      removal_policies: [{resource_list: {get_param: minions_to_remove}}]

      resource_def:

        type: kubeminion.yaml           //创建minion的模板

        properties:

          ...

每个master也是一个stack，它不仅仅包含一个虚拟机，还包括其他一些资源。master的模板在kubemaster.yaml进行了定义。同样，minion的模板在kubeminion.yaml进行了定义。后面再对这些文件进行分析。

巴特西

Magnum Kubernetes源码分析(一)

Magnum版本说明

Magnum Kubernetes

Kubernetes Bay创建流程

kubernetes bay stack

最新文章

热门文章