sync同步工具使用

sync详解

sync概述：

rsync是一个提供快速增量文件传输的开源工具。rsync在GNU通用公共许可证下免费提供，目前由Wayne Davison维护。传输前进行压缩，适合做备份使用。

命令格式

rsync [-参数] 源目录目的目录

-r 递归模式，包含目录及子目录中的所有文件

-l（小写L）对于符号链接文件仍然复制为符号链接文件

-v 显示同步过程中的详细（verbose）信息

-z 在传输文件时进行压缩（compress）

-a 归档模式，保留文件的权限，属性等信息，等同于组合选项"-rlptgoD"

-p 保留文件的权限标记

-t 保留文件的时间标记

-g 保留文件的属组标记（仅超级用户使用）

-o 保留文件的属主标记（仅超级用户使用）

-H 保留硬链接文件

-A 保留ACL属性信息

-D 保留设备文件及其他特殊文件

-S(--sparce) 处理稀疏文件时使用

--delete 删除目录位置有，而原始位置没有的文件。

--checksum 更具校验和（而不是文件大小，修改时间）来决定是否跳过文件.

--password-flie= 指定密码文件

本地传输文件 目录后如果没有加/（/test/）是代表传输整个目录如果带/(/text)是传输目录下所有文件

systemctl  stop  firewalld

[root@shell-test ~]# rsync -a ./ /opt/

[root@shell-test ~]# cd /opt/

[root@shell-test opt]# ll

total 16

-rw------- 1 root root 1244 Feb 20 01:50 anaconda-ks.cfg

-rw-r--r-- 1 root root 3671 Feb 20 03:20 instalization.sh

drwxr-xr-x 4 root root   92 Aug  1 10:42 script

-rw-r--r-- 1 root root  100 Jul  1 05:24 test.sh

-rw-r--r-- 1 root root   16 Aug 10 11:31 test.txt

[root@shell-test opt]# rsync -a /opt /opt/

[root@shell-test opt]# cd /opt/

[root@shell-test opt]# ll

total 4

dr-xr-x--- 6 root root 198 Aug 10 22:19 opt

drwxr-xr-x 4 root root  92 Aug  1 10:42 script

-rw-r--r-- 1 root root  16 Aug 10 11:31 test.txt

配置rsync同步服务器

rsync+ssh同步数据

systemctl  stop  firewalld

setenforce  0

服务端配置

修改配置文件rsync.conf

uid = nobody

gid = nobody

use chroot = yes                  #禁锢在源目录

address = 192.168.23.104          #监听地址

port 873                          #监听端口（UDP/TCP 873端口)

log file = /var/run/rsyncd.log    #日志文件位置

pid file = /var/run/rsyncd.pid    #存放进程pid文件的位置

hosts allow = 192.168.23.0/24     #允许访问的客户机

[wwwroot]                                 #模块名称

path = /var/www/html                      #源目录的实际路径

comment = Document Root of web server     #描述信息

read only = yes                           #设置为只读

dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2   #同步时不再压缩的文件类型

auth users = backuper                      #授权用户，多个账户用空格分隔

secrets file = /etc/rsyncd_users.db        #设置存放账户信息的数据文件

创建账户

vim /etc/rsyncd_users.db

#rsync 的认证用户和密码。不用创建同名的系统用户

backuper:abc123

chomod 600 rsync_users.db

启动服务

rsync --daemon

ss -tnap|grep rsync

[root@shell-test opt]# ss -natp |grep rsync

LISTEN     0      5      192.168.211.30:873                      *:*                   users:(("rsync",pid=5540,fd=3))

客户端验证

rsync -azv backuper@192.168.211.30::wwwroot #IP地址后面是双冒号之后跟共享模块名称

将指定文件目录文件同步，注意客户端要有相对应的目录

[root@ansible-1 ~]# rsync -azv backuper@192.168.211.30::wwwroot /var/www/html

Password:

receiving incremental file list

sent 20 bytes  received 34 bytes  15.43 bytes/sec

total size is 0  speedup is 0.00

免交互定时同步数据

#创建文件，将密码写入文件中

echo "abc123" > /etc/server.pass

#设置权限，防止密码文件被其他用户篡改

chmod  600 /etc/server.pass

crontab  -e

*/1 * * *  /usr/bin/rsync -az  --delete --password-file=/etc/server.pass backuper@192.168.211.30::wwwroot  /var/www/html

#每天1:30  j进行备份，将源服务器的wwwroot模块下文件备份到本地的 /opt/目录下

#--deleete   删除源服务器没有，而本地有的文件

#--password-file=   指定保存rsync 用户backuper密码的文件，以实现免交互

[root@host103 opt]# systemctl restart crond

[root@host103 opt]# systemctl enable crond

rsync + inotify 机制实现实时同步

将inotify机制与rsync工具相结合，可以实现触发式备份（实时同步），即只要原始位置的文档发生变化，则立即启动增量备份操作，否则处于静默等待状态。这样，就避免了按固定周期备份时存在的延迟性、周期过密等问题。

[root@host104 ~]# vim /etc/rsyncd.conf

........

#uid和gid 修改问目录/var/www/html 属组和属主

 uid = root

 gid = root

#关闭只读，上行同步需要可以写。

read only = no

......

#关闭rsync 服务

kill $(cat /var/run/rsyncd.pid)

rm -rf /var/run/rsyncd.pid

#启动rsync服务

rsync --daemon

netstat -natp | grep rsync

tcp        0      0 192.168.211.30:873      0.0.0.0:*               LISTEN      83003/rsync

#修改目录权限

chmod 777 /var/www/html/

发起内核参数调整

在Linux内核中，默认的inotify机制提供了三个调控参数∶max_queue_events（监控事件队列，默认值为16384）、max_user_instances（最多监控实例数，默认值为128）、max_user_watches（每个实例最多监控文件数，默认值为8192）。当要监控的目录、文件数量较多或者变化较频繁时，建议加大这三个参数的值。

cat /proc/sys/fs/inotify/max_queued_events

16384

cat /proc/sys/fs/inotify/max_user_instances

128

cat /proc/sys/fs/inotify/max_user_watches

8192

vim /etc/sysctl.conf

fs.inotify.max_queued_events = 16384

fs.inotify.max_user_instances = 1024

fs.inotify.max_user_watches = 1048576

sysctl  -p

发起端需要安装 inotify-tools

用 inotify 机制还需要安装inotify-tools，以便提供 inotifywait、inotifywatch 辅助工具程序，用来监控、汇总改动情况。

inotifywait∶可监控modify（修改）、create（创建）、move（移动）、delete（删除）、attrib（属性更改）等各种事件，一有变动立即输出结果。

inotifywatch∶可用来收集文件系统变动情况，并在运行结束后输出汇总的变化情况

cd /opt/

tar xf inotify-tools-3.14.tar.gz  -C /opt/ #wget  http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

cd /opt/inotify-tools-3.14/

./configure

make && make install

测试执行结果

inotifywait -mrq -e modify,create,move,delete /var/www/html

再开一个终端

[root@ansible-1 ~]# cd /var/www/html/

You have new mail in /var/spool/mail/root

[root@ansible-1 html]# ll

total 0

-rw-r--r-- 1 root root 0 Aug 11 22:24 index1.html

[root@ansible-1 html]# touch a.txt

[root@ansible-1 html]# touch b.txt

[root@ansible-1 html]# mv a.txt /opt

[root@ansible-1 html]# echo "abcd" b.txt

abcd b.txt

You have new mail in /var/spool/mail/root

[root@ansible-1 html]# ll

total 0

-rw-r--r-- 1 root root 0 Aug 15 01:39 b.txt

-rw-r--r-- 1 root root 0 Aug 11 22:24 index1.html

客户端脚本编写

[root@host103 opt]# vim /opt/inotify.sh

Path=/var/www/html/

backup_Server=192.168.211.30

inotifywait -mrq --format '%w%f' -e create,close_write,delete /var/www/html/  | while read line

do

    if [ -f $line ];then

        rsync -az $line --delete backuper@$backup_Server::wwwroot --password-file=/etc/server.pass

    else

        cd $Path &&\

        rsync -az --delete backuper@$backup_Server::wwwroot --password-file=/etc/server.pass

    fi

done

[root@host103 opt]# chmod  +x /opt/inotify.sh

[root@host103 opt]# chmod  777 /var/www/html/

[root@host103 opt]# chmod  +x /etc/rc.d/rc.local

[root@host103 opt]# echo '/opt/inotify.sh' >> /etc/rc.d/rc.local

创建文件进行测试如果同步成功则可以使用了

巴特西