使用Apache Mesos和Consul实现服务的注册发现
为保证基于Docker应用程序和服务都具有高性能和可用性,设计出一种具有服务发现,高可用性和容错能力的解决方案非常重要。
我们使用Apache Mesos 和Mesosphere的 Marathon实现Docker的任务调度和应用部署,Mesos能够帮助完成高可用性 高容错性。
作为服务编排注册和发现, Consul 不仅能够作为一个key/value存储,而且能够支持错误侦测以及多数据中心支持。
注册定义是当有Docker容器启动或停止时,其他Docker容器应该能获知,使用Apache Consul实现注册或注销Docker容器的微服务名称以及发布端口。Consul-template 是一个独立的应用,能够查询Consul并且更新文件系统上的一个文件模板,正如你看到一样,使用Consul/Consul-template实现注册的捆绑能够帮助完成动态服务的注册和发现,以及配置文件的更新,我们可以使用这些工具与Haproxy联合一起为所有服务请求提供一个通用的代理网关。
安装步骤
假设 Consul为3个或5个服务器集群工作,每个服务器节点包括所有mesos 主从服务器和haproxy等都必须有一个Consul代理网关安装和运行。
安装Consul 服务器和代理节点的步骤:
wget https://dl.bintray.com/mitchellh/consul/0.4.1_linux_amd64.zip
unzip 0.4.1_linux_amd64.zip
cp consul /usr/local/bin
Consul服务器设置
我们配置3个vm作为Consul服务器集群. 按照Consul网站的 the server setup instructions 设置服务器集群创建领导人选举,如果一切正常,你应该能通过运行'consul members'看到所有服务器节点。
Consul节点设置
按照Consul网站的the agent setup instructions安装,键入'consul members' 应该可以看到所有服务节点,包括服务器节点。
设置Mesos主服务器
我们可以按照 Mesosphere Master Node Instructions指引安装和配置主节点,我们运行桑格主节点,设置2 quorum, 需要python egg来启动或停止脚步,除安装标准操作外,确保你还运行了下面指令:
curl -sSfL http://downloads.mesosphere.io/master/redhat/6/mesos-0.20.1-py2.6-linux-x86_64.egg –output /tmp/mesos.egg
easy_install –allow-hosts pypi.python.org /tmp/mesos.egg
一旦全部安装完成,键入命令启动:
start mesos-master
会出现:
[root@mesos-master-01 mesos-master]# ps -ef | grep master
root 8978 1 0 Oct29 ? 00:09:47 /usr/local/sbin/mesos-master --zk=zk://1.1.1.1:2181,
2.2.2.2:2181,3.3.3.3:2181/mesos --port=5050 --log_dir=/var/log/mesos
--hostname=1.1.1.1 --quorum=2 --work_dir=/var/lib/mesos
root 8990 8978 0 Oct29 ? 00:00:00 logger -p user.info -t mesos-master[8978]
root 8991 8978 0 Oct29 ? 00:00:00 logger -p user.err -t mesos-master[8978]
设置Mesos 从服务器
按照 Mesosphere Slave Node Instructions 安装从服务器,也需要安装python egg来运行启动脚本,运行以下命令:
curl -sSfL http://downloads.mesosphere.io/master/redhat/6/mesos-0.20.1-py2.6-linux-x86_64.egg –output /tmp/mesos.egg
easy_install –allow-hosts pypi.python.org /tmp/mesos.egg
一切安装正常后,运行:
start mesos-slave
你会看到:
ps -ef | grep slave
root 10749 3451 0 11:03 pts/0 00:00:00 grep slave
root 15229 1 0 Nov06 ? 00:25:01 /usr/local/sbin/mesos-slave
--master=zk://1.1.1.1:2181,2.2.2.2:2181,3.3.3.3:2181/mesos --log_dir=/var/log/mesos
--containerizers=docker,mesos
--executor_registration_timeout=5mins --hostname=172.25.1.35
root 15241 15229 0 Nov06 ? 00:00:00 logger -p user.info -t mesos-slave[15229]
root 15242 15229 0 Nov06 ? 00:00:00 logger -p user.err -t mesos-slave[15229]
一旦安装所有mesos所有组件,你就可以通过端口 5050看见从服务器激活了。
安装Docker
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
rpm -Uvh epel-release-6*.rpm
yum install -y docker-io
配置后台运行配置,确保/etc/sysconfig/docker有如下:
other_args="-H tcp://0.0.0.0:4243 -H unix:///var/run/docker.sock"
启动Docker后台运行:service docker start
设置注册器
拉一个Docker image:
docker pull progrium/registrator
运行注册器容器 (确保Consul代理已经安装和运行)
docker run -d -v /var/run/docker.sock:/tmp/docker.sock -h $HOSTNAME progrium/registrator consul://localhost:8500
在注册器容器运行docker logs应该会看到:
2014/10/31 20:06:26 registrator: Using consul registry backend at consul://172.0.0.1:8500 2014/10/31 20:06:26 registrator: Listening for Docker events…
设置consul-template 和 haproxy
现在我们需要设置使用consul-template配置haproxy实例, 这样能在haproxy实现服务的动态注册和注销。
安装haproxy到你的vm, 然后安装consul-template. 确保Consul已经安装并且加入了集群. consul-template下载地址: https://github.com/hashicorp/consul-template/releases.
wget https://github.com/hashicorp/consul-template/releases/download/v0.2.0/
consul-template_0.2.0_linux_amd64.tar.gz
tar xvfz consul-template_0.2.0_linux_amd64.tar.gz cp consul-template /usr/local/bin
下面配置consul-template
首先创建一个模板配置文件,这个文件当启动consul-template时会被使用,创建文件在/data/cfg/consul/tmpl.json:
consul = "127.0.0.1:8500"
template {
source = "/etc/haproxy/haproxy.ctmpl"
destination = "/etc/haproxy/haproxy.cfg"
command = "service haproxy restart"
}
这个配置文件提供了所有consul-template需要的必备配置,使用它们consul-template能够实现haproxy配置,其中haproxy.cfg配置如下:
defaults REDIS
mode tcp
timeout connect 4s
timeout server 30s
timeout client 30s
listen http-in
bind *:80{{range service "web"}}
server {{.Node}} {{.Address}}:{{.Port}}{{end}}
listen http-in
bind *:4567{{range service "demoapp"}}
server {{.Node}} {{.Address}}:{{.Port}}{{end}}
frontend ft_redis
bind *:6379 name redis
default_backend bk_redis
backend bk_redis{{range service "redis"}}
server {{.Node}} {{.Address}}:{{.Port}}{{end}}
配置中有三个监听:一个是webapps监听在端口80, 一个是为sinatra webapps监听在端口 4567 ,一个redis监听端口是6379.
使用下面命令启动consul-template:
nohup consul-template -config /data/cfg/consul/tmpl.json > consul-template.out 2>&1 &
当名为 "web", "demoapp" "redis"的docker服务器启动后,节点的IP和端口信息将自动更新haproxy.cfg. Haproxy将会自动分发负载到后台docker服务,以随机分配的端口的方法,如果一个后台docker容器死机,它的节点IP和端口将被自动从haproxy.cfg移除。
视频和英文原文:Service Discovery & Orchestration With Mesos and Consul
最新文章
- Redis命令拾遗一(字符串类型)
- 大家一起Aop
- ImageLoader加载图片
- backup2
- linq lamada
- 通过 Informix 系统表监控和优化数据库
- RemoveDPC
- PowerShell让系统可以执行.ps1文件
- Highcharts ajax获取json对象动态生成报表生成 .
- spark yarn-cluster 和 yarn-client提交的配置
- IP地址总结
- linux内核中分配4M以上大内存的方法
- C++格式化输出的好东西
- 纯css提示效果 提示层
- JavaSE笔记-异常
- 乐学习知选择--我的J2EE技术历程
- SQL优化总结之二
- Android-创建一个简单的用户接口-(补day2内容)
- mavenLocal默认地址转移
- Kafka 0.8 Producer处理逻辑