【集群实战】Rsync试题-异机数据备份解决方案
企业案例:Rsync上机实战考试题:
某公司有一台Web服务器,里面的数据很重要,但是如果硬盘坏了,数据就会丢失,现在领导要求你把数据在其它机器上做一个周期性定时备份。
要求如下:
- 每天晚上00点整在Web服务器A上打包备份网站程序并通过rsync命令推送到服务器B上备份保留(备份思路可以是先在本地按日期打包,然后再利用rsync推送到备份服务器上)。
具体要求如下:
- Web服务器A和备份服务器B的备份必须都为/backup
- 系统配置文件包括但不限于:
- 定时开机服务的配置文件/var/spool/cron/root
- 开机自启动的配置文件/etc/rc.local
- 日常脚本的目录/server/scripts
- 防火墙iptables的配置文件/etc/sysconfig/iptables
- 更多的配置文件...
- Web服务器站点目录假定为/var/www/html
- Web服务器A的日志路径为/app/logs
- Web服务器本地仅保留7天内的备份。
- 备份服务器上检查备份结果是否正常,并将每天的备份结果发给管理员信箱。
- 备份服务器上每周六的数据都保留,其它备份仅保留180天备份。
解答:
思路,重点主要分三大部分:
- 一部分是备份服务器的搭建;
- Web服务器的本地打包脚本实现
- 配置定时任务
【备份服务器搭建】
环境准备:
备份服务器:192.168.0.41 backup
web服务器:192.168.0.31 web01
环境模拟:
1. 【web服务器】假定web服务器的站点目录是/var/www/html,创建站点目录
mkdir /var/www/html -p
2. 【备份服务器】web服务器A和备份服务器B的备份都必须为/backup,部署rsync备份配置
备份服务器B:
rpm -qa rsync # 确认是否安装了rsync服务 lsof -i :873 # 查看rsync服务是否运行 rsync --daemon # 如过不运行,则运行rsync服务;若服务在运行中,则忽略
3. 【备份服务器】vi /etc/rsyncd.conf # 对备份服务器端的rsync服务进行配置
[root@backup-41 /]# cat /etc/rsyncd.conf
# rsync_config____start
# created by zoe
## rsyncd.conf start ## uid = rsync
gid = rsync use chroot = no max connections = 200 timeout = 300 pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock log file = /var/log/rsyncd.log ######
[backup]
path = /backup/
ignore errors
read only = false
list = false
hosts allow = 192.168.0.31/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password## rsync_config____end ##
4. 【备份服务器】根据配置内容:创建相应的目录和文件。
4.1 创建rsync用户和用户组
useradd -M -s /sbin/nologin rsync
id rsync
4.2 创建备份目录
mkdir /backup -p
4.3 更改备份目录的属主和属组
chown -R rsync.rsync /backup
4.4 创建/etc/rsync.password文件,创建虚拟用户rsync_backup的用户名和密码,用于服务器之间的socket通信连接;注意更改明文密码的文件权限
echo "rsync_backup:123456">/etc/rsync.password
chmod 600 /etc/rsync.password
【服务器Web端】
1. 确认rsync服务存在,且在运行
rpm -qa rsync lsof -i :873
2. 创建备份目录
mkdir /backup -p
3. 创建/etc/rsync.password密码文件
echo 123456> /etc/rsync.password chmod 600 /etc/rsync.password
======= 备份服务器和web服务器之间的备份配置完成 ======
【测试:部署是否成功】
在web服务器上执行:
rsync -avz /var/www/html rsync_backup@192.168.0.41::backup/ --password-file=/etc/rsync.password
成功,发现部署完成。
【web服务器本地打包脚本】
配置文件,web程序,日志分开打包。以便于后期的管理和恢复。
环境模拟:web程序目录和日志目录创建
mkdir /var/www/html -p mkdir /app/logs -p
脚本在命令行测试:
cd / && tar zcvf www_$(date +%F).tar.gz var/www/html/ cd / && tar zcvf config_$(date +%F).tar.gz var/spool/cron/root etc/rc.local etc/sysconfig/iptables server/scripts cd / && tar zcvf logs_$(date +%F).tar.gz app/logs/
复制命令行测试完成的命令到脚本,并添加rsync备份命令和删除7天以前的备份文件命令:
[root@nfs-31 scripts]# cat backup.sh
#!/bin/bash
ip=$(ifconfig eth1|awk -F '[: ]+' 'NR==2 {print $4}')
Path="/backup/$ip"
[ ! -d $Path ] && mkdir $Path -p # backup
cd / &&\
tar zcf $Path/www_$(date +%F).tar.gz var/www/html/
tar zcf $Path/config_$(date +%F).tar.gz var/spool/cron/root etc/rc.local etc/sysconfig/iptables server/scripts
tar zcf $Path/logs_$(date +%F).tar.gz app/logs/ # to backup server
rsync -avz /backup/ rsync_backup@192.168.0.41::backup/ --password-file=/etc/rsync.password # del
find /backup -type f -name "*.tar.gz" -mtime +7|xargs rm -f
【定时任务】
【web服务器】
crontab -e
00 00 * * * /bin/bash /scripts/backup.sh >/dev/null 2>&1
[root@nfs-31 scripts]# crontab -l
# time sync
*/5 * * * * /usr/sbin/ntpdate time.nist.gov >/dev/null 2>&1 # backup
00 00 * * * /bin/bash /server/scripts/backup.sh >/dev/null 2>&1
【其它】
【备份服务器】
- 备份服务器上每周六的数据都保留,其它备份仅保留180天备份。
[root@backup-41 scripts]# cat backup_del.sh
#!/bin/bash /bin/find /backup -type f -name "*.tar.gz" -mtime +180|xargs rm -f
# 每周六这种的文件格式应该为*$(date +%F-%w),上面就不更改了,细节,仅做说明
/bin/find /backup/ -type f -name "*.tar.gz" ! -name "*-6.tar.gz" -mtime +180 |xargs rm -f
[root@backup-41 scripts]# crontab -l
# time sync
*/5 * * * * /usr/sbin/ntpdate time.nist.gov >/dev/null 2>&1 # del 180days ago backup file
00 00 * * * /bin/bash /server/scripts/backup_del.sh >/dev/null 2>&1
【邮件通知】
备份服务器上检查备份结果是否正常,并将每天的备份结果发给管理员信箱。
- 思路:服务器端检查结果
- du -sh /backup/* >/tmp/bak.log
- 或者对比大小,对比修改时间给出成功失败的结果。
- 打包,推送,在推送一个flag(ip+时间的文件名),本地清理7天以前的。
- 手工或定时的解包,模拟数据恢复来确认数据备份的完整性。
- flag+数据包md5sum指纹
下面主要是flag+数据包md5sum的验证:
验证本地打包是否正常:
[root@nfs-31 scripts]# cat backup.sh
#!/bin/bash
ip=$(ifconfig eth1|awk -F '[: ]+' 'NR==2 {print $4}')
Path="/backup/$ip"
[ ! -d $Path ] && mkdir $Path -p # backup
cd / &&\
tar zcf $Path/www_$(date +%F).tar.gz var/www/html/ &&\
tar zcf $Path/config_$(date +%F).tar.gz var/spool/cron/root etc/rc.local etc/sysconfig/iptables server/scripts &&\
tar zcf $Path/logs_$(date +%F).tar.gz app/logs/ &&\
touch $Path/flag_$(date +%F)
# 通过和&&命令,在所有tar命令执行成功之后,创建对应日期的flag文件。有这个文件说明打包成功。 # to backup server
rsync -avz /backup/ rsync_backup@192.168.0.41::backup/ --password-file=/etc/rsync.password # del
find /backup -type f -name "*.tar.gz" -mtime +7|xargs rm -f
为每个文件生成md5sum指纹:
[root@nfs-31 /]# find /backup/ -type f -name "*$(date +%F).tar.gz"|xargs md5sum
1bd841a50d87963ff60187dee4abf267 /backup/192.168.0.31/www_2019-12-02.tar.gz
bfff332b4bfc8040094c4cc6996c8c66 /backup/192.168.0.31/logs_2019-12-02.tar.gz
f625eb1346b473060bb146bafdaa937b /backup/192.168.0.31/config_2019-12-02.tar.gz
# 在backup.sh脚本中这样写
touch $Path/flag_$(date +%F)
find $Path -type f -name "*$(date +%F).tar.gz"|xargs md5sum >$Path/flag_$(date +%F)
在备份服务器端进行计较:md5sum -c flag_2019_12_02
[root@backup-41 192.168.0.31]# md5sum -c flag_2019-12-02
/backup/192.168.0.31/www_2019-12-02.tar.gz: OK
/backup/192.168.0.31/logs_2019-12-02.tar.gz: OK
/backup/192.168.0.31/config_2019-12-02.tar.gz: OK
md5sum -c会把md5sum对应的文件重新加密,再和文件内的md5值进行比较。
【邮件发送】
#!/bin/bash
ip = 192.168.0.31
find /backup/$(ip)/ -type f -name "flag_$(date +%F)" |xargs md5sum -c|grep FAILED >/opt/mail_body_$(date +%F).txt
mail -s "$(date +%U%F) back" 123456789@qq.com </opt/mail_body_$(date +%F).txt
其它参考博客:https://www.jianshu.com/p/4e90b286a9c7
最新文章
- ionic 初入门
- 更改apache网站根目录导致localhost不能访问
- OS X EI Capitan 系统 安装cocoapod
- mybatis缓存学习笔记
- 【转】Linux 查看内存(free buffer cache)
- Oracle中Cursor的用法
- Java学习-004-传世经典Helloworld
- Design Pattern ——Factory Method&;Abstract Factory
- RAC之RMAN恢复
- MacOSX中使用NSWindow创建背景透明的窗体
- react重学
- Android使用 startActivityForResult 、 onActivityResult 时的注意事项
- RSA加密解密算法
- 51nod 1423 最大二“货” 单调栈
- Python基础10_函数
- oracle审计例子
- Codeforces-Educational Codeforces Round 53题解
- js-ES6学习笔记-Class(4)
- 15Spring AOP基础
- 用Python实现简单的服务器