03-rsync传输模式(本地传输、远程方式传输、守护进程模式传输)
1.Rsync传输模式
rsync大致使用三种主要的数据传输方式
本地方式
远程方式
守护进程
1.1.rsync语法格式
本地传输
rsync [option] src dest
远程通道传输
pull(拉):rsync [option] [user@]host:src dest(从服务端下载至本地,src就是服务端的数据,dest就是本地的存储路径)
push(推):rsync [option] src [user@]host:dest(从本地上传至服务器,src就是本地存储,dest就是远程服务端)
守护进程方式传输
pull(拉):rsync [option] [user@]host::src dest
rsync [option] rsync://[user@]host[:port]/src…[dest]
push(推):rsync [option] src… [user@]host::dest
rsync [option] src… rsync://[user@]host[:port]/dest
命令参数
命令选项 | 命令作用 |
---|---|
-a | 归档模式传输,等于-tropgDl |
-v | 详细模式输出,打印速率,文件数量等 |
-z | 传输时进行压缩以提高效率 |
-r | 递归传输目录及子目录,即目录下的所有子目录都会传输 |
-t | 保持文件时间信息 |
-o | 保持文件属主信息 |
-p | 保持文件权限 |
-g | 保持文件属组信息 |
-l | 保留软链接 |
-P | 显示同步的过程及传输的进度等信息 |
-D | 保持设备文件信息 |
-L | 保留软连接指向的目标文件 |
-e | 使用的信道协议,指定替代rsh的shell程序 |
–exclud=PATTERN | 指定排除不需要传输的文件模式例如–exclude=jpg |
–exclude-from=file | 文件名所在的目录文件 |
–bwlimit=1000 | 限速传输 |
–partial | 断点续传 |
–delete | 让目标目录和源目录数据保持一致,只能是目录 |
1.2.本地方式
本地方式就类似于cp命令
1.本地传输方式,单个主机本地之间的数据传输(此时类似于cp命令)
rsync [option] src dest
rsync --备份命令
[option] --选项
src --本地源文件
dest --本地目标文件
最常用的选项-avz
1.2.1.文件同步
[root@localhost ~]# rsync /etc/passwd /data/
[root@localhost ~]# rsync -avz /etc/fstab /data/
sending incremental file list
fstab
sent 346 bytes received 35 bytes 762.00 bytes/sec
total size is 465 speedup is 1.22
[root@localhost ~]# rsync -avzP /etc/profile /data/
sending incremental file list
profile
1,819 100% 0.00kB/s 0:00:00 (xfr#1, to-chk=0/1)
sent 934 bytes received 35 bytes 1,938.00 bytes/sec
total size is 1,819 speedup is 1.88
[root@localhost ~]#
新建几个账号再同步一次/etc/passwd,会有明显的编号,rsync每次都是增量数据
[root@localhost ~]# for i in {1..10};do
> useradd jiang$i
> done
[root@localhost ~]# ls /home/
jiang1 jiang10 jiang2 jiang3 jiang4 jiang5 jiang6 jiang7 jiang8 jiang9 jxl
[root@localhost ~]# rsync -avz /etc/passwd /data/
sending incremental file list
passwd
sent 1,184 bytes received 35 bytes 2,438.00 bytes/sec
total size is 2,999 speedup is 2.46
1.2.2.目录同步
两种区别命令后面带“/”和不带"/"
总结:
如果需要同步的是目录里面的内容,命令中目录的后面必须要加/或者/*
如果要同步的是目录本身及其内容,则命令中只需写目录名
完全同步:加–delete选项,源和目标内容完全一致
带“/”案例
带/表示只同步该目录下的所以文件包括目录
[root@localhost ~]# rsync -avx /data/ /opt
sending incremental file list
./
fstab
passwd
profile
dir1/
dir2/
dir3/
[root@localhost ~]# ls /opt/
fstab passwd profile dir1 dir2 dir3
不带“/”案例
会将整个目录同步过去,也就是将目录本身即自身下的所有文件同步过去
[root@localhost data]# rsync -zva /data /opt/
sending incremental file list
data/
data/fstab
data/passwd
data/profile
data/dir1/
data/dir2/
data/dir3/
sent 2,521 bytes received 89 bytes 5,220.00 bytes/sec
total size is 5,283 speedup is 2.02
[root@localhost data]# ls /opt/
data dir1 dir2 dir3 fstab passwd profile
[root@localhost data]# tree /opt/
/opt/
├── data
│ ├── dir1
│ ├── dir2
│ ├── dir3
│ ├── fstab
│ ├── passwd
│ └── profile
├── dir1
├── dir2
├── dir3
├── fstab
├── passwd
└── profile
delete选项主要作用就是删除目标端存在但源端不存在的文件,保持双方一致,谨慎使用
1.首选删除几个文件,和目标端保持不一致
[root@localhost data]# rm -rf dir3/
[root@localhost data]# rm -rf profile
[root@localhost data]# tree
.
├── dir1
├── dir2
├── fstab
└── passwd
2 directories, 2 files
[root@localhost data]# tree /opt/
/opt/
├── data
│ ├── dir1
│ ├── dir2
│ ├── dir{3}
│ ├── fstab
│ ├── passwd
│ └── profile
├── dir1
├── dir2
├── dir3
├── fstab
├── passwd
└── profile
7 directories, 6 files
2.开始同步,使用--delete选项
[root@localhost data]# rsync -avz /data/ /opt/ --delete
sending incremental file list
deleting dir3/
deleting data/dir{3}/
deleting data/dir2/
deleting data/dir1/
deleting data/profile
deleting data/passwd
deleting data/fstab
deleting data/
deleting profile
./
sent 144 bytes received 139 bytes 566.00 bytes/sec
total size is 3,464 speedup is 12.24
[root@localhost data]# tree /opt/
/opt/
├── dir1
├── dir2
├── fstab
└── passwd
2 directories, 2 files
[root@localhost data]#
1.3.远程方式
远程方式和scp命令格式一致,都是基于ssh协议
远程和本地服务器都要安装rsync
将本地文件上传至远程服务器(push)
[root@localhost ~]# rsync -avz /etc/hosts root@192.168.81.220
sending incremental file list
hosts
sent 169 bytes received 35 bytes 408.00 bytes/sec
total size is 195 speedup is 0.96
将文件从远程服务器下载到本地(pull)
[root@localhost ~]# rsync -avz root@192.168.81.220:/root/aa.txt .
root@192.168.81.220's password:
receiving incremental file list
aa.txt
sent 43 bytes received 92 bytes 30.00 bytes/sec
total size is 3 speedup is 0.02
1.4.守护进程传输模式
守护进程是rsync自身非常重要的功能,不需要用户真实存在,路径也可以自定义,不会暴露真实路径
1.4.1.rsync配置文件详解
rsync分为全局模块和局部模块,全局模块针对所有局部模块生效,局部模块用来定义备份路径,有多个备份路径就定义多个局部模块
全局模块参数
参数 | 作用 |
---|---|
uid = rsync | 运行进程的用户 |
gid = rsync | 运行进程的用户组 |
port 873 | 监听端口 |
fake super = yes | 是否以root身份使用rsync,避免没有权限 |
use chroot = no | 关闭假根功能 |
max connections = 200 | 最大连接数 |
timeout = 600 | 超时时间 |
ignore errors | 忽略错误信息 |
read only = false | 对备份数据可读,false表示不可读也就表示可读可写 |
list = false | 不允许查看模块信息 |
auth users = rsync_backup | 定义虚拟用户,作为连接认证用户 |
secrets file = /etc/rsync_passwd | 定义rsync服务用户连接认证密码文件路径 |
log file = /var/log/rsync/rsync.log | 定义日志文件路径 |
局部模块参数
参数 | 作用 |
---|---|
[web_backup] | 定义模块信息 |
comment = commit | 模块注释信息 |
path = /data | 定义接受备份数据目录 |
1.4.2.服务器端配置-多模块
虚拟用户----系统用户
管理员不想让别人知道自己的真实身份,因此会伪装自己,当用户访问虚拟用户时会跳转至系统程序用户,也就是访问rsyncd_backup时会跳转到rsync程序用户
1.安装软件包(多台服务器都需要安装)
[root@localhost ~]# yum -y install rsync
2.修改配置文件
1)查找配置文件
两种方法:
[root@localhost ~]# rpm -ql rsync | grep etc
[root@localhost ~]# rpm -qc rsync
/etc/rsyncd.conf
/etc/sysconfig/rsyncd
2)修改配置文件
[root@localhost ~]# vim /etc/rsyncd.conf
#全局模块
uid = rsync
gid = rsync
port 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsyncd_backup
secrets file = /etc/rsyncd_passwd
log file = /var/log/rsync/rsync.log
#局部模块
[web_backup]
comment = commit
path = /data
3)花里胡哨增加一个模块
[root@localhost data]# cat >> /etc/rsyncd.conf <<EOF
> [mysql_backup]
> comment = mysql bak
> path = /mysql_bak
> EOF
3.创建rsync用户
[root@localhost ~]# useradd rsync -M -s /sbin/nologin
4.创建目录,并修改所属
[root@localhost ~]# mkdir /data
[root@localhost ~]# mkdir /mysql_bak
[root@localhost ~]# chown -R rsync:rsync /data
[root@localhost ~]# chown -R rsync:rsync /mysql_bak
5.创建虚拟用户认证文件
左边用户右边密码,中间冒号隔开
[root@localhost ~]# echo "rsyncd_backup:123456" >/etc/rsyncd_passwd
[root@localhost ~]# chmod 600 /etc/rsyncd_passwd
6.启动服务
[root@localhost ~]# systemctl restart rsyncd
[root@localhost ~]# systemctl enable rsyncd
[root@localhost ~]# lsof -i:873
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
rsync 67937 root 3u IPv4 152956 0t0 TCP *:rsync (LISTEN)
rsync 67937 root 5u IPv6 152957 0t0 TCP *:rsync (LISTEN)
1.4.3.客户端配置
1.安装软件包
[root@localhost ~]# yum -y install rsync
2.推:上传,需要考虑写权限
将本地/etc/passwd文件推送至服务端web_backup模块中
[root@jxl ~]# rsync -avz /etc/passwd rsyncd_backup@192.168.81.210::mysql_backup
清空服务端web_backup模块中的内容
[root@jxl ~]# rsync -avz /null/ rsyncd_backup@192.168.81.210::web_backup --delete
3.拉:下载,需要考虑读权限
将服务器mysql_backup中的数据下载到本地
[root@jxl ~]# rsync -avz rsyncd_backup@192.168.81.210::mysql_backup /tmp/
Password:
receiving incremental file list
./
passwd
sent 50 bytes received 1,191 bytes 496.40 bytes/sec
total size is 2,758 speedup is 2.22
4.免密登录
方法一:定义密码文件
[root@jxl ~]# echo "123456" > /etc/rsyncd_passwd
[root@jxl ~]# chmod 600 /etc/rsyncd_passwd
[root@jxl ~]# rsync -avz /etc/vsftpd/vsftpd.conf rsyncd_backup@192.168.81.210::mysql_backup --password-file=/etc/rsyncd_passwd
sending incremental file list
vsftpd.conf
sent 2,332 bytes received 43 bytes 4,750.00 bytes/sec
total size is 5,157 speedup is 2.17
方法二:使用变量,强烈推荐,常用于脚本中
[root@jxl ~]# export RSYNC_PASSWORD=123456
[root@jxl ~]# echo $RSYNC_PASSWORD
123456
[root@jxl ~]# rsync -avz /etc/yum.repos.d/CentOS-Base.repo rsyncd_backup@192.168.81.210::mysql_backup
sending incremental file list
CentOS-Base.repo
sent 666 bytes received 43 bytes 472.67 bytes/sec
total size is 2,523 speedup is 3.56
1.4.4.排查
1.客户端使用rsync报错信息:auth failed on module backup
可以查看服务端/var/log/messages日志文件,一般这种错误就是认证文件权限导致的
解决办法:chmod 600 /etc/rsyncd_passwd
2.拉时需要注意有没有读权限,如果没有读权限则会报错,同样推时也要主要服务端有没有写权限
相关文章
- [Android Pro] Android的5个进程等级
- BAT-使用BAT方法结束进程(删除进程)
- hive大量死进程导致的磁盘空间满
- 进程退出后自动重启脚步
- 成本直降50% | 阿里云发布云原生网关,开启下一代网关新进程
- c++ win32 遍历进程列表
- 重新点亮linux 命令树————查看进程[二十一]
- 分享一个强大的采集类,还可以模拟php多进程
- 一个好用的SAP ABAP工作进程跟踪工具
- Atitit 微服务的原理与实现方式 目录 第一章 什么是微服务?1 第二章 核心要素2 足够微小,2 服务化 进程隔离2 第三章 实现模式2 多个app启动文件(推荐轻量级)2 多项目
- 〖Python语法进阶篇④〗 - 进程池与进程锁
- Linux 守护进程简介 Daemon 工作方式 init 脚本 xinetd 模式 独立运行stand-alone nohup 命令
- 【Linux 内核 内存管理】内存管理系统调用 ⑤ ( 代码示例 | 多进程共享 mmap 内存映射示例 )
- 【Android 逆向】代码调试器开发 ( ptrace 函数 | 向进程内存写出数据 )
- 【Android 逆向】selinux 进程保护 ( selinux 进程保护 | 宽容模式 Permissive | 强制模式 Enforcing )
- Sysmon 使用查询进程名称获取 DNS 查询日志==》看来早些版本是不支持溯源的!
- python中多进程+协程的使用以及为什么要用它