Kubernetes-基于容器云构建devops平台
1、基于kubernetes devops的整体方案
本文以Kubernetes为基础,为基于java语言研发团队提供一套完整的devops解决方案。在此方案中,开发人员基于eclipse集成开发环境进行代码;开发人员所开发的代码交由由gitlab进行托管、版本管理和分支管理;代码的依赖更新和构建工作由Maven进行处理;为了提升工作效率和代码质量,在devops中引入SonarQube进行代码检查;对于打包构建后代码,交由docker进行镜像构建,并在私有镜像仓库中对镜像进行管理;最后,devops会将自动从私有镜像仓库从拉取镜像,并在Rancher中进行部署。
基于此devops解决方案的整体工作过程如下所示:
1)开发人员基于eclipse集成开发环境镜像代码开发的,将代码到gitlab中进行托管;
2)jenkins从gitlab拉取代码;
3)jenkins调用Maven对代码进行打包构建;
4)jenkins调用docker构建镜像;
5)jenkins将构建好的镜像上传至基于Nexus的私有镜像仓库;
6)jenkins拉取镜像,并部署镜像至Rancher中。
2、组件安装部署
此部分描述需要为devops部署的组件,根据整体方案,devops需要使用gitlab、jenkins、nexus、maven、docker和kubernetes这些组件和系统。其中,gitlab、jenkins、nexus都在kubernetes中安装部署,在jenkins中包含了maven;docker直接在物理机提供,对于docker的部署不在此部分进行阐述。
2.1 代码托管工具-Gitlab
在本文的方案中,代码的托管基于Gitlab。下面是在Kubernetes中部署gitlab的YAML配置文件,在此文件中定义了gitlab部署和服务。gitlab部署使用的镜像为gitlab/gitlab-ce:latest,并暴露了443、80和22这三个端口,并通过NFS对配置文件、日志和数据进行持久化。在服务中,端口的类型为NodePort,即允许集群外的用户可以通过映射在主机节点上的端口对gitlab进行访问。
#------------------------定义代理服务-------------------------
apiVersion: v1
kind:Service
metadata:
name: gitlab
spec:
type:NodePort
ports:
# Port上的映射端口
- port:443
targetPort:443
name: gitlab443
- port:80
targetPort:80
name: gitlab80
- port:22
targetPort:22
name: gitlab22
selector:
app: gitlab
---
# ------------------------定义Gitlab的部署 -----------------------
apiVersion: apps/v1 # for versions before 1.9.0 use apps/v1beta2
kind:Deployment
metadata:
name: gitlab
spec:
selector:
matchLabels:
app: gitlab
revisionHistoryLimit:2
template:
metadata:
labels:
app: gitlab
spec:
containers:
# 应用的镜像
- image: gitlab/gitlab-ce
name: gitlab
imagePullPolicy:IfNotPresent
# 应用的内部端口
ports:
- containerPort:443
name: gitlab443
- containerPort:80
name: gitlab80
- containerPort:22
name: gitlab22
volumeMounts:
# gitlab持久化
- name: gitlab-persistent-config
mountPath:/etc/gitlab
- name: gitlab-persistent-logs
mountPath:/var/log/gitlab
- name: gitlab-persistent-data
mountPath:/var/opt/gitlab
imagePullSecrets:
- name: devops-repo
volumes:
# 使用nfs互联网存储
- name: gitlab-persistent-config
nfs:
server:192.168.8.150
path:/k8s-nfs/gitlab/config
- name: gitlab-persistent-logs
nfs:
server:192.168.8.150
path:/k8s-nfs/gitlab/logs
- name: gitlab-persistent-data
nfs:
server:192.168.8.150
path:/k8s-nfs/gitlab/data
通过kubectl命令工具,执行如下的命令,在kubernetes集群中部署gitlab:
$ kubectl create -f {path}/gitlab.yaml
2.2 镜像仓库-Nexus
在本文的devops方案中,采用Nexus作为docker私有镜像仓库和maven的远程仓库。下面是在Kubernetes中部署Nexus的YAML配置文件,在此文件中定义了Nexus部署和服务。Nexus部署使用的镜像为sonatype/nexus3:latest,并暴露了8081、5001这两个端口,并通过NFS对配置文件、日志和数据进行持久化。在服务中,端口的类型为NodePort,即允许集群外的用户可以通过映射在主机节点上的端口对nexus进行访问。其中,5001作为docker私有镜像仓库的端口。
#------------------------定义Nexus代理服务-------------------------
apiVersion: v1
kind:Service
metadata:
name: nexus3
spec:
type:NodePort
ports:
# Port上的映射端口
- port:8081
targetPort:8081
name: nexus8081
- port:5001
targetPort:5001
name: nexus5001
selector:
app: nexus3
---#-----------------------定义Nexus部署-------------------------
apiVersion: apps/v1beta2
kind:Deployment
metadata:
name: nexus3
labels:
app: nexus3
spec:
replicas:1#副本数为3
selector:#选择器
matchLabels:
app: nexus3 #部署通过app:nginx标签选择相关资源
template:#Pod的模板规范
metadata:
labels:
app: nexus3 #Pod的标签
spec:
imagePullSecrets:
- name: devops-repo
containers:#容器
- name: nexus3
image: sonatype/nexus3
imagePullPolicy:IfNotPresent
ports:#端口
- containerPort:8081
name: nexus8081
- containerPort:5001
name: nexus5001
volumeMounts:
- name: nexus-persistent-storage
mountPath:/nexus-data
volumes:
# 宿主机上的目录
- name: nexus-persistent-storage
nfs:
server: 192.168.8.150
path: /k8s-nfs/nexus
通过kubectl命令工具,执行如下的命令,在kubernetes集群中部署nexus:
$ kubectl create -f {path}/nexus.yaml
2.3 流水线工具-Jenkins
2.3.1 jenkins安装部署
在本文的devops方案中,采用jenkins作为流水线工具。下面是在Kubernetes中部署jenkins的YAML配置文件,在此文件中定义了jenkins部署和服务。jenkins部署使用的镜像为lw96/java8-jenkins-maven-git-vim:latest,并暴露了8080这个端口,并通过NFS对配置文件和数据进行持久化。在服务中,端口的类型为NodePort,即允许集群外的用户可以通过映射在主机节点上的端口对jenkins进行访问。另外,在此镜像中也提供maven和java。
#------------------------定义代理服务-------------------------apiVersion: v1kind:Servicemetadata: name: jenkins-devopsspec: type:NodePort ports: # Port上的映射端口 - port:8080 targetPort:8080 name: pipeline8080 selector: app: jenkins-devops---
# ------------------------定义mysql的部署 -----------------------
apiVersion: apps/v1 # for versions before 1.9.0 use apps/v1beta2
kind:Deployment
metadata:
name: jenkins-devops
spec:
selector:
matchLabels:
app: jenkins-devops
revisionHistoryLimit:2
template:
metadata:
labels:
app: jenkins-devops
spec:
containers:
# 应用的镜像
- image:10.0.32.148:1008/lw96/java8-jenkins-maven-git-vim
name: jenkins-devops
imagePullPolicy:IfNotPresent
# 应用的内部端口
ports:
- containerPort:8080
name: pipeline8080
volumeMounts:
# jenkins-devops持久化
- name: pipeline-persistent
mountPath:/etc/localtime
# jenkins-devops持久化
- name: pipeline-persistent
mountPath:/jenkins
# jenkins-devops持久化
- name: pipeline-persistent-repo
mountPath: /root/.m2/repository
- name: pipeline-persistent-mnt
mountPath:/mnt
volumes:
# 使用nfs互联网存储
- name: pipeline-persistent
nfs:
server: 192.168.8.150
path: /k8s-nfs/jenkins-devops
- name: pipeline-persistent-mnt
nfs:
server:192.168.8.150
path:/k8s-nfs/jenkins-devops/mnt
- name: pipeline-persistent-repo
nfs:
server:192.168.8.150
path:/k8s-nfs/jenkins-devops/repo
通过kubectl命令工具,执行如下的命令,在kubernetes集群中部署jenkins:
$ kubectl create -f {path}/jenkins-devops.yaml
注意,后续将执行下面的操作:
- 将Kubernetes集群的kubeconfig文件拷贝到192.168.8.150主机的/k8s-nfs/jenkins-devops/mnt目录下;
- 将maven的settings.xml文件拷贝至到192.168.8.150主机的/k8s-nfs/jenkins-devops/repo目录下;
- 将maven的依赖插件包拷贝至到192.168.8.150主机的/k8s-nfs/jenkins-devops/repo目录下。
3、 devops平台搭建
3.1 nexus设置
nexus在devops中承担两个功能,作为maven的远程仓库和作为docker的私有镜像仓库。
在本文中,使用nexus默认安装的maven-snapshots、maven-releases和maven-public这三个仓库。
并为docker创建一个名为registry的私有镜像仓库,其端口为5001:
3.2 maven设置
maven负责管理代码的依赖关系和构建。maven通过settings.xml文件设置运行环境,包括与远程仓库的连接。本文中的settings.xml如下所示,http://nexus3:8081中的nexus3是在kubernetes中的服务名称。将settings.xml拷贝至192.168.8.150机器的/k8s-nfs/jenkins-devops/repo目录下。
<?xml version="1.0" encoding="UTF-8"?><settingsxmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd"> <pluginGroups> </pluginGroups> <proxies> </proxies> <servers> <server> <id>maven-release</id> <username>admin</username> <password>admin123</password> </server> <server> <id>maven-snapshots</id> <username>admin</username> <password>admin123</password> </server> </servers>
<mirrors>
<mirror>
<id>nexus</id>
<url>http://nexus3:8081/repository/maven-public/</url>
<mirrorOf>*</mirrorOf>
</mirror>
</mirrors>
<profiles>
<profile>
<id>maven-release</id>
<activation>
<activeByDefault>true</activeByDefault>
</activation>
<repositories>
<repository>
<id>maven-release</id>
<name>Repository for Release</name>
<url>http://nexus3:8081/repository/maven-releases/</url>
<releases>
<enabled>false</enabled>
</releases>
<snapshots>
<enabled>true</enabled>
</snapshots>
</repository>
</repositories>
</profile>
<profile>
<id>maven-snapshots</id>
<activation>
<activeByDefault>true</activeByDefault>
</activation>
<repositories>
<repository>
<id>maven-release</id>
<name>Repository for Release</name>
<url>http://nexus3:8081/repository/maven-snapshots/</url>
<releases>
<enabled>false</enabled>
</releases>
<snapshots>
<enabled>true</enabled>
</snapshots>
</repository>
</repositories>
</profile>
</profiles>
</settings>
3.3 docker设置
为了能够支持将远程提交的代码构建成镜像,以及将构建好的镜像上传至镜像仓库需要在/etc/docker/daemon.json的文件中添加下面的内容。其中,10.0.32.163:32476为镜像仓库的地址和端口,tcp://0.0.0.0:4243为对外暴露的地址和端口。
{"hosts":["tcp://0.0.0.0:4243","unix:///var/run/docker.sock"],"insecure-registries":["10.0.32.163:32476"]}
并通过执行下面的命令重启docker服务:
$ systemctl daemon-reload
$ systemctl restart docker
3.4 jenkins设置
3.4.1 安装插件
jenkins作为devops平台的流程线工具,需要从gitlab中获取代码,并提交给maven进行构建;在代码构建成功后,调用docker构建镜像,并将上传至基于Nexus的私有镜像仓库;最终,在Kubernetes中部署和运行镜像。为了实现上述能力,需要在jenkins中安装如下插件:
- git plugin:与gitlab集成的插件,用于获取代码;
- maven plugin:与maven集成的插件,用于构建代码;
- CloudBees Docker Build and Publish plugin:与docker集成的插件,用于构建docker镜像,并上传至镜像仓库;
- Kubernetes Continuous Deploy Plugin:与kubernetes集成的插件,用于将镜像部署到kubernetes环境。
3.4.2 maven设置
在jenkins中的“全局工具配置”页面,设置maven的安装信息,name可以按照自己的喜好填写,MAVEN_HOME为maven的安装地址,此处为/opt/maven。
4、devops持续集成示例
1)安装git客户端和创建密钥
在工作计算上安装git客户端,并通过下面的命令创建ssh密钥:
ssh-keygen -t rsa -C "your.email@example.com"-b 4096
执行上述命令后,会在本地的~/.ssh目录创建id_rsa.pub(公钥)和id_rsa(私钥)。
2)在gitlab创建oms项目
进入gitlab,并创建一个名称为oms的项目。
在gitlab中添加所创建的公钥:
3)在eclipse中进行代码开发
在eclipse中创建类型为maven的oms项目,并进行代码开发。在完成代码开发后,将代码上传至gitlab中进行代码托管。
4)在jenkins中创建oms项目
进入jenkins,创建一个名称为oms的maven项目。
5)在jenkins中设置获取代码信息
在jenkins中,进入oms的配置页面,在源代码管理处设置获取源代码的相关信息。
- Repository URL:项目在gitlab中的地址;
- Credentials:访问gitlab的认证方式;
- Branch Specifier:代码的分支。
此处访问gitlab的认证方式为“SSH Username with private key”,Private Key的值来自于~/.ssh目录下id_rsa(私钥)的内容。
6)在jenkins中设置构建和上传镜像信息
在oms项目的配置的“Docker Build and Publish”部分,填写如下的信息;
- Repository Name:镜像的名称;
- Tag:镜像的版本;
- Docker Host URI:docker服务的地址和端口;
- Docker registry URL:docker镜像仓库的地址;
- Registry credentials:镜像仓库的认证方式。
7)在jenkins中设置部署容器信息
在oms项目的配置的“Deploy to Kubernetes”部分,填写如下的信息;
- Kubernetes Cluster Credentials:Kubernetes集群的认证方式;
- Path:kubeconfig文件的所在地址;
- Config Files:构建YAML配置文件。
8)在jenkins中执行oms构建
在oms项目创建和设置完成后,可以对项目进行构建操作。通过一键操作,jenkins将会完成从构建、打包成镜像和部署的所有工作内容:
- 从gitlab中获取oms的代码;
- 提交给maven进行构建;
- 调用docker构建镜像;
- 上传镜像至Nexus的私有镜像仓库;
- 部署镜像到kubernetes集群。
9)在kubernetes中查看部署情况
进入kubernetes(本文使用的为Rancher系统)界面,在default命名空间下,可以看到已部署的oms。
参考材料
1.《User documentation》地址:http://10.0.32.163:32269/help/user/index.md
2.《CloudBees Docker Build and Publish plugin》地址:https://wiki.jenkins.io/display/JENKINS/CloudBees+Docker+Build+and+Publish+plugin
3.《Kubernetes Continuous Deploy Plugin》地址:https://wiki.jenkins.io/display/JENKINS/Kubernetes+Continuous+Deploy+Plugin
作者简介:
季向远,北京神舟航天软件技术有限公司产品经理。本文版权归原作者所有。
微信公众号:ik8s
最新文章
- Jsp语法简介
- C# GUID转换成16位字符串或19位数字并确保唯一
- XmlHttpRequest 小记
- NetBeans IDE配置调试
- Spring如何处理线程并发
- CSS属性前的 -webkit, -moz,-ms,-o
- js optiontransferselect
- Redis学习手册(服务器管理)
- mysql空间数据相关操作
- 【算法】一般冒泡排序 O(n^2) 稳定的 C语言
- Linux中kettle自动化部署脚本
- Struts2之Result详解
- Python爬取豆瓣指定书籍的短评
- Spring-Cloud-Gateway 从升级到放弃
- spring-boot-2.0.3之redis缓存实现,不是你想的那样哦!
- 实例化Flask的参数 及 对app的配置
- python数据分析Titanic_Survived预测
- 第10月第25天 java annotation
- SpringMVC由浅入深day01_2springmvc入门程序
- STM32中用 stop 模式 配合低功耗模式下的自动唤醒(AWU) 能否实现FreeRTOS tickless 模式
热门文章
- 100个Linux Shell脚本经典案例(附PDF)
- Elasticsearch:Elasticsearch SQL介绍及实例(二)
- git commit、git push、git pull、 git fetch、git merge 的含义与区别
- SCI论文写作指南
- 「国产系统」Tubian 0.2,兼容Windows和Android的GNU/Linux系统!
- Linux命令系列之ls——原来最简单的ls这么复杂
- 220726 T2 Multisets (思维)
- 记一次 .NET 某电子病历 CPU 爆高分析
- A-卷积网络压缩方法总结
- 如何使用 pyqt 读取串口传输的图像