Linux服务器同步机制RSYNC

举报
tea_year 发表于 2025/07/27 20:09:13 2025/07/27
【摘要】 任务背景 某公司为了保证开发人员线上代码的安全性,现需要对开发人员的代码进行备份。任务要求备份机器需要每天凌晨1:03分定时同步MIS服务器的/app/java_project目录下的所有文件。要求记录同步日志,方便同步失败分析原因。(不仅仅进行同步,还要求有同步日志)任务拆解选择合适的备份工具和方法来备份(scp可以实现,不是很完美——>rsync)掌握所选择工具的用法编写脚本(超纲)让计...

任务背景

某公司为了保证开发人员线上代码的安全性,现需要对开发人员的代码进行备份。

rsync数据同步.png


任务要求

  1. 备份机器需要每天凌晨1:03分定时同步MIS服务器的/app/java_project目录下的所有文件。

  2. 要求记录同步日志,方便同步失败分析原因。(不仅仅进行同步,还要求有同步日志)

任务拆解

  1. 选择合适的备份工具和方法来备份(scp可以实现,不是很完美——>rsync)

  2. 掌握所选择工具的用法

  3. 编写脚本(超纲)让计划任务去执行

涉及知识点

  • rsync命令使用(新知识点)

  • rsync作为后台程序如何使用(新知识点)

  • crontab计划任务(旧知识点)

课程目标

  • 能够使用rsync命令实现本地文件同步(类似cp)

  • 能够使用rsync命令实现远程文件同步(类似scp)

  • 能够使用rsync作为后台程序进行数据同步

理论储备

一、rsync介绍

  • rsync的好姐妹

    • sync 同步:刷新文件系统缓存,强制将修改过的数据块写入磁盘,并且更新超级块。(要求必须有结果后,才能去做下件事)

    • async 异步:将数据先放到缓冲区,再周期性(一般是30s)的去同步到磁盘。

    • rsync 远程同步:remote synchronous

  • rsync的特点

    • 可以镜像保存整个目录树和文件系统

    • 可以保留原有的权限(permission,mode),owner,group,时间(修改时间,modify time),软硬链接,文件acl,文件属性(attributes)信息等

    • 传输效率高,使用同步算法,只比较变化的(增量备份)

      file1.txt file2.txt file3.txt(A服务器)

      rsync实现数据同步 => 只同步file3.txt => 增量备份

      file1.txt file2.txt(B服务器)

    • 支持匿名传输,方便网站镜像;也可以做验证,加强安全

rsync与scp区别?

# 两者都可以实现远程同步,但是相对比而言,rsync能力更强
① 支持增量备份
② 数据同步时保持文件的原有属性

二、rsync的使用

1、基本语法

# man rsync
NAME
       rsync — a fast, versatile, remote (and local) file-copying tool
       //一种快速、通用、远程(和本地)的文件复制工具
SYNOPSIS
       //本地文件同步
       Local:rsync [OPTION...] SRC... [DEST]
       //远程文件同步
       Access via remote shell:
         Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
         Push: rsync [OPTION...] SRC... [USER@]HOST:DEST        
OPTION选项说明
-v      详细模式输出
-a      归档模式,递归的方式传输文件,并保持文件的属性,equals -rlptgoD
-r      递归拷贝目录
-l      保留软链接
-p      保留原有权限
-t      保留原有时间(修改)
-g      保留属组权限
-o      保留属主权限
-D      等于--devices  --specials    表示支持b,c,s,p类型的文件
-R      保留相对路径
-H      保留硬链接
-A      保留ACL策略
-e      指定要执行的远程shell命令,ssh更改端口常用选项
-E      保留可执行权限
-X      保留扩展属性信息  a属性

PUSH:推,相当于上传;PULL:拉,相当于下载

2、本地文件同步

本地文件同步简单理解就是把文件从一个位置(同步=>拷贝)到另外一个位置(类似cp)

案例:/dir1、/dir2与/dir3,/dir1中创建三个文件file1、file2、file3,使用rsync本地同步

# mkdir /dir1 /dir2 /dir3
​
# touch /dir1/file{1..3}
​
# rsync -av /dir1/ /dir2        =>   把/dir1目录中的所有文件拷贝到/dir2目录中
# rsync -av /dir1 /dir3         =>   把/dir1目录整体同步到/dir3目录中

案例:rsync -R选项的应用(保留相对路径)

# rsync -avR /dir1/ /dir2

案例:rsync --delete(删除目标目录里多余的文件)

/dir1 = /dir2

file1、file2 file1、file2、file3

rsync --delete同步后,会自动删除file3文件。(让dir1与dir2目录中的文件高度一致)

# rsync -av --delete /dir1/ /dir2

3、远程文件同步

① 环境准备

image-20200525111900826.png

编号 IP地址 主机名称 角色
1 10.1.1.10 code Code(MIS)
2 10.1.1.100 backup Backup(Backup)

第一步:关闭防火墙与SELinux

# systemctl stop firewalld
# systemctl disable firewalld
​
# setenforce 0
# vim /etc/selinux/config
SELINUX=disabled

第二步:更改主机名称

# hostnamectl set-hostname code
# hostnamectl set-hostname backup

第三步:更改IP地址(静态IP)

# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
BOOTPROTO="static"
IPADDR=10.1.1.10
NETMASK=255.255.255.0
GATEWAY=10.1.1.2
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
DEVICE="ens33"
ONBOOT="yes"
# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
BOOTPROTO="static"
IPADDR=10.1.1.100
NETMASK=255.255.255.0
GATEWAY=10.1.1.2
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
DEVICE="ens33"
ONBOOT="yes"
​
# systemctl restart network

第四步:关闭NetworkManager

# systemctl stop NetworkManager
# systemctl disable NetworkManager

第五步:配置YUM源

$ mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
$ wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
$ yum makecache

第六步:时间同步

# ntpdate cn.ntp.org.cn

② 远程文件同步

Push:上传文件到远程服务器端

# rsync -av 本地文件或目录 远程用户名@远程服务器的IP地址:目标路径

案例:把linux.txt文档传输到远程服务器端

# rsync -av linux.txt root@10.1.1.100:/root

案例:把shop文件夹传输到远程服务器端

# rsync -av shop root@10.1.1.100:/root

Pull:下载文件到本地服务器端

# rsync -av 远程用户名@远程服务器的IP:目标文件或目录 本地存储位置

案例:把远程服务器(10.1.1.100)的/etc/hosts文件下载到本地

# rsync -av root@10.1.1.100:/etc/hosts ./

案例:把远程服务器(10.1.1.100)的/shop文件夹下载到本地

# rsync -av root@10.1.1.100:/shop ./

思考:

问题1:rsync远程同步数据时,默认情况下为什么需要密码?如果不想要密码同步怎么实现?

rsync在远程同步时,之所以要输入密码的主要原因在于其底层还是基于SSH服务的。SSH有两种认证方式,如果没有配置免密则默认使用用户名+密码的认证方式。

不想要密码同步,可以考虑使用SSH免密操作。

比如Code要向Backup进行同步 ,在Code中配置免密登录:

# ssh-keygen
# ssh-copy-id root@Backup的IP

问题2:如果Backup服务器端更改了SSH的默认端口为10086,那这个数据该如何?

Backup修改端口:

把配置文件中sshd_config的Port改为10086
$ vim /etc/ssh/sshd_config 
重启sshd
$ systemctl restart sshd

Code进行数据同步:

# touch rsync.txt
下面的命令含义是:ssh -p 10086 先进行ssh命令指定端口连接,然后在进行同步。
#  rsync -e "ssh -p 10086" -av rsync.txt root@10.1.1.100:/root


三、任务解决方案(重点)

1、任务解决方案

Code服务器

第一步:准备代码文件作为需要同步的文件使用

# mkdir /app/java_project -p
# mkdir /app/java_project/aa{1..3}
# touch /app/java_project/file{1..9}.java

第二步:把rsync作为系统服务运行

# vim /etc/rsyncd.conf
[app]
path=/app/java_project  
log file=/var/log/rsync.log  
启动服务
# systemctl start rsyncd
查看服务是否启动
# ps -ef |grep rsync
查看端口
# netstat -tnlp |grep rsync

Backup服务器

第三步:创建备份目录

# mkdir /backup/app1_java -p

第四步:测试rsync是否可以连接到rsync服务

-a:获取rsync服务rsyncd.conf对应的同步目录标签[app]
# rsync -a root@code服务器IP::
如rsync -a root@10.1.1.10::
如果输出了配置文件中的标签app,则证明连接成功

下载文件到本地

# rsync -av root@code服务器IP::app /backup/app1_java

第五步:编写计划任务 + Shell的脚本文件,自动实现代码备份

① 编写计划任务

# crontab -e
3 1 * * * /root/rsync_java.sh 

② 编写rsync_java.sh脚本程序

# vim /root/rsync_java.sh
#!/bin/bash
rsync -av root@code服务器IP::app /backup/app1_java &>/dev/null

# chmod +x /root/rsync_java.sh

2、任务总结

Code代码服务器 => 10.1.1.10 /app/java_project

Backup备份服务器 => 10.1.1.100

Code:

① 准备代码

② 编写/etc/rsyncd.conf文件,定义同步代码目录

③ 启动rsyncd服务

Backup:

① 测试rsync是否可以连接到Code服务器上的rsyncd服务

② 创建备份目录

③ 编写计划任务,凌晨1点03去Code服务器同步代码

④ 编写rsync_java.sh文件,实现同步操作

四、RSYNC课程扩展

1、给RSYNC服务添加密码

Code服务器

① 打开/etc/rsyncd.conf配置文件

# vim /etc/rsyncd.conf
[app]
path=/app/java_project
log file=/var/log/rsync.log
auth users = user1,user2                =>   用户名
secrets file = /etc/rsyncd.secrets      =>   密码文件

② 在/etc目录下创建rsyncd.secrets文件

# vim /etc/rsyncd.secrets
user1:123                               =>   设置密码,用户名:密码
user2:123

③ 更改密码文件权限为600

# chmod 600 /etc/rsyncd.secrets 

④ 重启rsyncd服务

# systemctl restart rsyncd

Backup备份服务器

# rsync -av user1@code服务器IP::app ./
Password:123

2、RSYNC集合INOTIFY工具实现代码实时同步(重点)

第一步:在Code服务器端安装inotify-tools工具(监控器)

将资料中的软件inotify-tools上传到Code服务器中

# tar xf inotify-tools-3.13.tar.gz -C /usr/local/
# cd /usr/local/inotify-tools-3.14
# ./configure
# make 
# make install
​
安装完后,就会产生下面两个命令
/usr/local/bin/inotifywait      等待
/usr/local/bin/inotifywatch     看守
​
/usr/local/bin/inotifywait
-m : 一直监控某个目录,create、delete、modify等行为
-r : 递归,不仅仅监控目录还要监控目录下的文件
-q : 获取操作信息,但是不输出
​
-e : 哪些行为需要被监控,modify,delete,create,attrib,move
​
modify: 文件被修改
delete: 文件被删除
create: 文件被创建
attrib: 文件属性被修改
move: 文件被移动

第二步:编写inotify.sh

# vim /root/inotify.sh
#!/bin/bash
/usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib,move /app/java_project |while read events
do
	rsync -av --delete /app/java_project/ root@backup服务器IP:/backup/app1_java
	echo "`date +%F\ %T`出现事件$events" >> /var/log/rsync.log 2>&1
done

我对/app/java_project做了两件事
① 在目录下创建了一个file9.java	=>   create
② 在目录下删除了一个file5.java	=>   delete
create,delete => while => 执行两次
create
rsync数据同步
delete
rsync数据同步

/usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib,move

第三步:添加可执行权限

# chmod +x inotify.sh

第四步:让inotify.sh文件一直执行下去

# nohup ./inotify.sh  &
& : 让inotify.sh在计算机后台运行,可以使用jobs命令查看,kill %编号结束,当我们退出终端时,这个执行会自动结束
nohup : 让程序一直在后台运行,即使我们关闭了终端

如何结束:

jobs
​
kill %jobs查出的编号

2.png

测试:

backup服务器中删除/backup/app1_java中的所有文件
$ cd /backup/app1_java
$ rm -rf *
code服务其中删除/app/java_project中的一个文件,然后回到backup服务器中查看/backup/app1_java中是否被同步到
code服务器:
$ cd /app/java_project
$ rm -f file9.java
backup服务器中差看是否被同步

扩展:如何查看rsync.log日志文件

# cat /var/log/rsync.log

五、rsync托管xinetd

1、为什么要进行服务托管

独立服务:独立启动脚本 ssh ftp nfs dns ...

依赖服务: 没有独立的启动脚本 rsync telnet 依赖xinetd服务(独立服务)

2、如何将rsync托管给xinetd服务去管理?

第一步:在系统中安装xinetd服务

# yum -y install xinetd
​
# rpm -ql xinetd

第二步:编写xinetd.conf文件(/etc/xinetd.conf)

# man 5 xinetd.conf
defaults
{
only_from       只允许访问
no_access       拒绝访问
access_times    控制访问服务的时间段
log_type        指定日志类型
interface       并发连接数
per_source      每个IP的最大连接数
}
includedir /etc/xinetd.d    子配置文件目录(追加rsync、telnet)

第三步:手工创建/etc/xinetd.d/rsync

# vim /etc/xinetd.d/rsync
service rsync
{
    disable = no
    flags = IPv6
    socket_type = stream
    wait = no
    user = root
    server = /usr/bin/rsync
    server_args = --daemon
    log_on_failure += USERID
}
​
备注:disable = no //开关;no表示开启该服务;yes表示关闭服务

第四步:重启xinetd服务(xinetd服务重启后,rsync服务也会随之重启,检查端口占用)

# pkill rsync
# systemctl restart xinetd
# ss -naltp |grep 873
LISTEN     :::873      users:(("xinetd",pid=45079,fd=5))

在查询873端口占用时,发现只有xinetd服务,没有rsync服务,原因:rsync => xinetd

常见问题(经验值)

如果我们在启动xinetd服务时,发现系统中的873端口一直没有被占用,只能有一个问题:配置文件有错误!
解决方案:cat /var/log/messages
一定要注意颜色的变化,有颜色变化代表是正确选项,没有,就肯定你在复制时惨咋了一些看不见的字符。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。