背景 有需求需要对mongodb做一个容灾备份.根据官网,发现mongodb最新版本(4.0)已经抛弃了主从模式而采用副本集进行容灾.副本集的优势在于:"有自动故障转移和恢复特性,其任意节点都可以是主节点,并能实现读写分离,提供高负载".官方建议副本集最低配置三个节点.关于副本集的原理更多请参考这位小姐姐的博客 搭建步骤 制作mongodb镜像 首先需要做一个mongodb的docker镜像,这里我采用dockerfile进行制作,dockerfile内容如下: # 指定镜像源 FRO

在部门服务器搭建MongoDB分片集群,记录整个操作过程,朋友们也可以参考. 计划如下: 用5台机器搭建,IP分别为:192.168.58.5.192.168.58.6.192.168.58.8.192.168.58.9.192.168.58.10.分为两个分片,每个分片下有一个primary,一个secondary,一个仲裁.在其中三台启动config server和mongos. shard1:58.5.58.6.58.10(仲裁) shard2:58.8.58.9.58.10(仲裁) co

使用docker搭建部署hadoop分布式集群 在网上找了非常长时间都没有找到使用docker搭建hadoop分布式集群的文档,没办法,仅仅能自己写一个了. 一:环境准备: 1:首先要有一个Centos7操作系统.能够在虚拟机中安装. 2:在centos7中安装docker,docker的版本号为1.8.2 安装过程例如以下: <1>安装制定版本号的dockeryum install -y docker-1.8.2-10.el7.centos <2>安装的时候可能会报错,须要删除这

1.安装副本集介绍 副本集(Replica Set)是一组MongoDB实例组成的集群,由一个主(Primary)服务器和多个备份(Secondary)服务器构成.通过Replication,将数据的更新由Primary推送到其他实例上,在一定的延迟之后,每个MongoDB实例维护相同的数据集副本.通过维护冗余的数据库副本,能够实现数据的异地备份,读写分离和自动故障转移. 也就是说如果主服务器崩溃了,备份服务器会自动将其中一个成员升级为新的主服务器.使用复制功能时,如果有一台服务器宕机了,仍然可

在本篇博客中我们主要讲描述分片集群的搭建过程.配置分片集群主要有两个步骤,第一启动所有需要的mongod和mongos进程.第二步就是启动一个mongos与集群通信.下面我们一步步来描述集群的搭建过程. 图1-1  MongoDB分片集群中的组件 图 1-2 由实例分片集群构成的进程全貌 备注:以上两者图片均引自于Kyle Banker著 丁雪丰译<MongoDB 实战> 2.1 创建分片目录 备注:此处于创建复制集类似,详细请查看博客:http://blog.csdn.net/sxb0841

一.角色说明 要构建一个MongoDB分片集群,需要三个角色: shard server  即存储实际数据得分片,每个shard 可以是一个Mongod实例,也可以是一组mongod实例构成得Replica Set(也就是以前博客里说明的复制集).为了实现每个shard内部的auto-failover,MongoDB官方建议每个shard 为一组Replica set. Config Server  为了将一个特定的collection存储在多个shard中,需要为该collection指定一个

花了两天搭建redis主从集群和sentinel哨兵集群,讲一下springboot客户端连接测试情况 redis主从集群 从网上查看说是有两种方式:一种是指定配置文件,一种是不指定配置文件 引用地址:https://blog.csdn.net/qq_28804275/article/details/80907796 指定配置文件: slave的redis.conf配置slaveof [ip] [port] 测试失败 不指定配置文件: docker inspect [容器]:查看容器在docke

使用 Docker 搭建 Redis Cluster,最重要的环节就是容器通信的问题,这一块我们在之前的文章中已经给大家解决了<Docker 网络模式详解及容器间网络通信>,本篇文章主要练习使用多个容器完成 Redis Cluster 集群环境的搭建,顺便为学习 Docker Compose 铺铺路.俗话说没有对比就没有伤害,通过对比才能感受到 Docker Compose 的好处. 关于 Redis Cluster 集群更多的内容请阅读<最通俗易懂的 Redis 架构模式详解>.

------------------------------1.安装MongoDB...... ------------------------------2.准备好文件夹 --config:配置文件夹mkdir F:\work\MongoDB\mongodb\data\mongodb\config20001mkdir F:\work\MongoDB\mongodb\data\mongodb\config20002mkdir F:\work\MongoDB\mongodb\data\mongod

一.环境介绍 1.机器信息 10.40.6.68 10.40.6.108 10.40.6.110 软件环境为centos 6.x 2.mongodb 下载链接地址 https://www.mongodb.org/dl/linux/x86_64-rhel62?_ga=2.137326704.1914689897.1499321739-372422474.1499321739 使用二进制文件包安装,版本选择的是mongodb 3.2.15 二.完整步骤 1.下载安装包解压 .tgz -C /usr/

配置可以参考前面一篇 https://www.cnblogs.com/a-horse-mosaic/p/9284010.html 副本集是一组服务器,其中有一个主服务器(primary),用于处理客户端请求:还有多个备份服务器(secondary),用于保存主服务器的数据副本.如果主服务器崩溃了,备份服务器会自动将其中一个成员升级为新的主服务器. 使用复制功能时,如果有一台服务器宕机了,仍然可以从副本集的其他服务器上访问数据.如果服务器上的数据损坏或者不可访问,可以从副本集的某个成员中创建一份新

一.基本概念 1.副本集:一个副本集就是一组MongoDB实例组成的集群,由一个主(Primary)服务器和多个备份(Secondary)服务器构成 2.主节点(master):主节点接收所有写入操作.主节点将对其数据集所做的所有更改记录到其 oplog. 3.副节点(secondary):复制主节点的 oplog 并将操作应用到其数据集,如果主节点不可用,一个合格的副节点将被选为新的主节点. 4.仲裁节点(arbiter):负载选举,当主节点不可用,它将从副节点中选一个作为主节点. 二.部署副

最近在学习Kafka,准备测试集群状态的时候感觉无论是开三台虚拟机或者在一台虚拟机开辟三个不同的端口号都太麻烦了(嗯..主要是懒). 环境准备 一台可以上网且有CentOS7虚拟机的电脑 为什么使用虚拟机?因为使用的笔记本,所以每次连接网络IP都会改变,还要总是修改配置文件的,过于繁琐,不方便测试.(通过Docker虚拟网络的方式可以避免此问题,当时实验的时候没有了解到) Docker 安装 如果已经安装Docker请忽略此步骤 Docker支持以下的CentOS版本: CentOS 7 (64

前言:只有一台华为云服务器,所以打算创建三个容器来模拟三个服务器了. 一:拉取redis镜像 二:拉取redis.conf文件 放在自定义的目录下:wget -c http://download.redis.io/redis-stable/redis.conf 三:启动三个redis容器,redis_1,redis_2,redis_3 --name:自定义启动容器名称 -v 主机redis.conf 和redis容器做映射 -d 后台启动 -p 端口映射 6379是redis端口 26379是哨

这篇博客介绍下在Windows上使用Docker 创建MongoDB 三节点副本集的最简单的方法.以下命令需要Docker for Windows并使用Linux 容器. 1: 为每个节点创建数据卷 docker volume create --name mongodb_repl_data1 -d local docker volume create --name mongodb_repl_data2 -d local docker volume create --name mongodb_re

写在前边 搭建MySQL读写分离主从集群,这里未使用binlog方式,使用的是GTID方式 源码见我的Github https://github.com/hellxz/mysql-cluster-docker.git 主从目录结构 . ├── bin │   ├── add-slave-account-to-master.sh │   ├── reset-slave.sh │   ├── slave-replias-master-start.sh │   └── stop-replicas.sh

[注意]本文主要用于自我记录,注释较少. 安装logstash 1.上传logstash-6.4.3.tar.gz到服务中 2.tar –zxvf logstash-6.4.3.tar.gz 3.cd logstash-6.4.3 执行以下步骤需先安装好JDK 4. bin/logstash-plugin install logstash-input-jdbc 5. bin/logstash-plugin install logstash-output-elasticsearch /usr/lo

前言:上篇文章我们搭建好了Docker,下面我们开始使用Docker创建镜像,Docker命令就不介绍了.这里宿主是Windows10,cmd的管理和后期文件的复制不是很方便,将创建支持SSH的CentOs镜像. 1.启动Docker服务 运行我们安装好的Docker for Windows,这里我关闭了开机启动(太耗性能) 2.下载Docker镜像-CentOs 版本根据实际情况选择,这里我直接下载默认版本 docker pull centos 镜像下载完毕(此时我们只是加载完成了一个镜像,还

目录Outline 1. prerequisites 2. steps to follow3. configuring the cluster4. a little test to see 1. Prerequisites Suppose: (1) you have deploy a functioning network to install mongodb cluster. (2) you have gained the latest releases of MongoDB from 10g

摘要,Docker for Windows 仅支持专业版 目录 第一步:检查系统支持虚拟化 第二步:下载Docker对应版本 第三步:配置镜像加速 第一步:检查系统是否支持虚拟化 Docker前提是需要Windows支持虚拟化,windows10一定要是专业版.专业版.专业版 开启Hyper-V  第二步:下载Docker对应版本 最新版 Toolbox 下载地址:https://www.docker.com/get-docker 点击按钮 GET DOCKER COMMUNITY DEITIO