unison + inotify 实现文件实时双向同步部署步骤 一. Unison简介 Unison是Windows.Linux以及其他Unix平台下都可以使用的文件同步工具,它能使两个文件夹(本地或网络上的)保持内容的一致.Unison拥有与其它一些同步工具或文件系统的相同的特性,但也有自身的特点: 1. 跨平台使用: 2. 对内核和用户权限没有特别要求: 3. Unison是双向的,它能自动处理两分拷贝中更新没有冲突的部分,有冲突的部分将会显示出来让用户选择更新策略: 4. 只要是能连通的两

Rsync文件同步 本章结构 关于rsync 1.一款增量备份工具,remote sync,远程同步,支持本地复制或者与其他SSH.rsync主机同步,官方网站:http://rsync.samba.org/. Rsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件,也可以使用rsync同步本地硬盘中的不同目录. Rsync是用户取代rcp的一个工具,Rsync使用所谓的"Rsync算法"来使本地和远程两个主机之间的文件达

通过 rsync --list-only 可以列出可用的 文件/目录或者 module 下面两者的含义是完全不同的: rsync --list-only root@192.168.4.140: 使用系统用户, 列出 root 根目录下面的内容 rsync --list-only root@192.168.4.140:: 使用rsync用户, 列出 rsync 所有的(可见的)模块 : 后面可以直接跟一个目录名/ 文件名, 密码错了可以输入2, 总共3次 [root@es ~]# rsync --

这部分设计服务器端和客户端. [服务器端] 如果服务器没有安装rsync服务则使用yum安装rsync服务. yum install rsync 然后 vim /etc/xinetd.d/rsync 将disable=yes改为no service rsync { disable = no socket_type = stream wait = no user = root server = /usr/bin/rsync server_args = --daemon log_on_failure

本文描述了linux下使用rsync单向同步两个机器目录的问题. 使用rsync同步后可以保持目录的一致性(含删除操作). 数据同步方式 从主机拉数据 备机上启动的流程 同步命令: rsync -avzP --delete root@{remoteHost}:{remoteDir} {localDir} 参数说明: -a 参数,相当于-rlptgoD(-r 是递归 -l 是链接文件,意思是拷贝链接文件:-p 表示保持文件原有权限:-t 保持文件原有时间:-g 保持文件原有用户组:-o 保持文件原

一.全局参数 在[moudle]之前的参数都是全局参数,也可以在全局参数下定义部分模块参数,这时该参数的值就是所有模块的默认值. port:指定后台程序使用的端口号,默认是873 logfile:指定rsync的日志文件,而不把日志发送给syslog pidfile:指定rsync的pid文件,通常指定为/var/run/rsyncd.pid motdfile:用来指定一个消息文件,当客户连接服务器时,将该文件内容显示给客户,默认是没有该文件的 二.模块参数 主要定义服务器哪个目录需要被同步.其

1.1.架构规划 1.1.1架构规划准备 服务器系统 角色 IP Centos6.7 x86_64 NFS服务器端(NFS-server-inotify-tools) 192.168.1.14 Centos6.7 x86_64 rsync服务器端(rsync热备服务器) 192.168.1.17 1.1.2架构图 2.1 部署前检查 2.1.1 检查rsync热备服务器daemon是否起来 [root@backup data]# lsof -i:873 COMMAND PID USER FD T

1.1 rsync服务器端配置 1.1.1 查看服务器端rsync版本 1.1.2 创建配置文件 默认安装好rsync程序后,并不会自动创建rsync的主配置文件,需要手工来创建,其主配置文件为“/etc/rsyncd.conf”,创建该文件 并插入如下内容: #Rsync server #create by zhurui 18:15 2016-3-1 ##rsyncd.conf start## uid = rsync gid = rsync use chroot = no max connec

本地同步: rsync -avz /boot /test C/S架构: 远程同步:rsync+ssh 远程浏览器目录文件:rsync  用户@192.168.0.250:/boot 下行:rsync -az  root@192.168.0.250:/boot /test 上行:rsync -az /boot root@192.168.0.200:/test 用户权限控制.目录范围控制 远程同步:rsync+rsync Client:rsync Server:rsync --daemon 远程浏览

目标功能:将B服务器文件同步到A服务器 A服务器rsyncd.conf配置 权限600 A服务器rsyncd.pas文件配置  权限600 同步文件路径 /data/wwwroot/shen/  权限755 打开873端口:iptables -I INPUT 4 -p tcp -m state --state NEW -m tcp --dport 873 -j ACCEPT 保存设置:service iptables save 重启:service iptables restart 启动服务 r

我讲到过利用rsync实现数据的镜像和备份,但是要实现数据的实时备份,单独靠rsync还不能实现,本文就讲述下如何实现数据的实时备份. 一.rsync的优点与不足 与传统的cp.tar备份方式相比,rsync具有安全性高.备份迅速.支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等. 随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足,首

rsync 支持:  本机数据 <-------> 远程数据/本地数据 意义:  支持增量拷贝 --> 备份,节省带宽,时间   rsync -avL 一.常用选项  ************       -a === rlptgoD      ************ -r:同步目录 -l:软链接     -L: 拷贝软链接的源文件 -p:权限 -t:时间 -g,o: 属主(o),属组(g) -D: 设备文件 -v:可视化   --delete:  删除 一致同步 --exclude:

Linux 内核从 2.6.13 版本开始提供了 inotify 通知接口,用来监控文件系统的各种变化情况,如文件存取.删除.移动等.利用这一机制,可以非常方便地实现文件异动告警.增量备份,并针对目录或文件的变化及时作出响应.可以监控某个用户,什么时间,做了什么动作!利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools正是实施监控的软件. 使用 rsync 工具与 inotify 机制相结合,可以实现触发式备份(实时同步),只要原始位置的文档发生变化,

rsync是一种文件差异传输的算法,特点是高效且相似块识别率较高.具体算法这边就不赘述,网上很多,官方文档也描述的很清楚. rsync提高文件比对效率的一个核心算法之一就是rolling checksum,官方使用的是Alder32 Hash算法. 在我经历的一个项目中,我们在Windows Azure中实现文件差异传输模块,我使用rsync时发现在本地测试速度非常理想,但一旦放到实际环境中则让人完全无法接受. 于是走上了漫长而痛苦的优化之路...... 除了外部的一些调优,最终我还是决定在rs

一.rsync简介 (1)rsync是什么? rsync是一款开源的.快速的.多功能的.可实现全量及增量的本地或远程数据同步备份的优秀工具. (2)rsync作用比较 远程拷贝:有点类似ssh的scp命令 本地拷贝:cp 删除:rm rsync可以是一个网络服务(port,socket) (3)rsync工作原理 在同步备份数据时,rsync通过其独特的"quick cheek"算法,仅同步大小或者修改时间发生变化的文件或目录,当然也可以根据权限,属主等属性的变化同步,但需要指定相应的

[rsync实现网站的备份,文件的同步,不同系统的文件的同步,如果是windows的话,需要windows版本cwrsync] 一.什么是rsync rsync,remote synchronize顾名思意就知道它是一款实现远程同步功能的软件,它在同步文件的同时,可以保持原来文件的权限.时间.软硬链接等附加信息. rsync是用 “rsync 算法”提供了一个客户机和远程文件服务器的文件同步的快速方法,而且可以通过ssh方式来传输文件,这样其保密性也非常好,另外它还是免费的软件. rsync 包

rsync --delete-before -avH --progress --stats /tmp/empty/ /var/spool/postfix/maildrop/ 由于业务侧使用时,一些脚本文件写的不够严谨,造成/var/spool/postfix/maildrop/目录经常被用户通知邮件文件堆满.而通过rm  -rf * 删除时,会提示-bash: /bin/rm: Argument list too long .通过ls |xargs rm -rf 进行删除时也耗时较长,这里可以通

1.环境部署 inotify-master 10.10.6.208 inotify-slave 10.10.6.149 2.两台服务器都安装rsync yum install -y rsync 3.inotify-slave部署 新建rsync用户及模块目录并更改其用户组 useradd rsync -s /sbin/nologin #添加rsync用户mkdir /usr/local/backup #创建rsync daemon工作模式的模块目录chown rsync.rsync /usr/l

rsync是Unix/Linux下同步文件的一个高效算法,它能同步更新两处计算机的文件与目录,并适当利用查找文件中的不同块以减少数据传输.关于rsync的核心算法,有兴趣的看下这篇文章. 这里介绍一下使用方法,我们假设要从A机器的/a目录同步文件到B机器的/b目录,为了简单起见,以下操作均使用root权限. 安装rsync 首先是rsync的安装,Linux下一般都会自带,如果没有就用包管理工具安装,或者到rsync官网下载手动安装:Windows下则可以安装cygwin,安装时选择包含rsyn

rsync1. rsync可以通过ssh隧道的方式传输文件夹: rsync -arv --progress clone user@host:remotedir loaldir . rsync通过ssh传输文件夹时指定ssh参数: 加-e "SSH_OPTION即可",示例如下: rsync -a --delete -e '\''ssh \ -o connectTimeout= -o StrictHostKeyChecking=no \ -o CheckHostIP=no -o Pref

总的来说,开在873端口之后,只要加上验证口令,安全性就有保障了,但毕竟多开一个端口,而且rsync的密码是明文方式存储的,相对来说,还是有被监听的可能.根据不同的情况采用下述不同方案,相对来说,安全性更高一些. 1.如果只是本机备份,不需要启动darmon,直接用 /usr/bin/rsync -vzrtopglq --size-only --progress --delete /data/htdocs  /backup 2.如果只是内网中的机器互备,可以让rsync只监听在内网的ip上 启动