转: window 中使用PSFTP/WinSCP实现SFTP上传下载 和 在linux 服务器端 使用resync 定时同步备份数据到 中转服务器

sftp 服务器:  dbmonitor

1、sftp属于交互式的，所以你得缓存下命令
#!/bin/sh
sftp -o Port=3322 root@172.16.1.21:/opt << !
mput *.log
!
2、用scp一行搞定
scp -P3322 /opt/*.txt root@172.16.1.22:/tmp
3、用rsync同步整个目录
rsync -av '-e ssh -p 3322' /data/test root@172.16.1.23:/data

远端client 服务器

scp 192.168.4.45:/home/oracle/*.zip .

摘自百度百科

sftp 与 ftp 有着几乎一样的语法和功能。

SFTP 为 SSH的一部份，是一种传输档案至 Blogger 伺服器的安全方式。

其实在SSH软件包中，已经包含了一个叫作SFTP(Secure File Transfer Protocol的安全文件传输子系统，SFTP本身没有单独的守护进程，它必须使用sshd守护进程（端口号默认是22）来完成相应的连接操作，所以从某种意义上来说，SFTP并不像一个服务器程序，而更像是一个客户端程序。SFTP同样是使用加密传输认证信息和传输的数据，所以，使用SFTP是非常安全的。

但是，由于这种传输方式使用了加密/解密技术，所以传输效率比普通的FTP要低得多，如果您对网络安全性要求更高时，可以使用SFTP代替FTP。

 1.WinSCP部分

 1.1 cmd命令行实例

 1.2 Batch批处理实例

 将下面语句存入1.txt:

option batch on option confirm off # Connect using a password # open 用户名:密码@主机 # Connect open 用户名:密码@主机 cd /home/user option transfer binary get /root/test.c d:/ put d:/test.txt close exit  

 执行脚本

 1.3 C#程序实现

using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Diagnostics;
namespace SFTP {     public class WinSCPtest     {         public string shellName { get { return "D:\\winscp437\\WinSCP.com"; } }         public string userName { get { return "username"; } }         public string userPassWord { get { return "userpassword"; } }         public string serverAddress { get { return "172.0.0.1"; } }         public string portNumber { get { return "21"; } }         public string fromFile { get { return "D:\\psftp.txt"; } }         public string toFile { get { return "WinSCP/psftp.txt"; } }         public void upload()         {             Process CommandLine = new Process();             CommandLine.StartInfo.FileName = shellName;             // CommandLine.StartInfo.Arguments = "/log=" + this._logPath;             CommandLine.StartInfo.UseShellExecute = false;             CommandLine.StartInfo.RedirectStandardInput = true;             CommandLine.StartInfo.RedirectStandardOutput = true;             CommandLine.StartInfo.dbeateNoWindow = true;             CommandLine.Start();             //username用户名  targetAddress IP地址  portNumber 端口号             CommandLine.StandardInput.WriteLine("open ftp://{0}:{1}@{2}:{3}",             this.userName,this.userPassWord, this.serverAddress, this.portNumber);                          //上传文件到sftp服务器             string command = "put " + fromFile + " " + toFile ;             //fromFile要传送的文件路径本地的绝对路径    toFile服务器上保存文件的路径相对路径             CommandLine.StandardOutput.DiscardBufferedData();             CommandLine.StandardInput.WriteLine(command);             string result = CommandLine.StandardOutput.ReadLine();         }     } }

 1.4 在线资源

http://winscp.net/eng/docs/commandline

 2.SFTP部分

 2.1 cmd命令行实例

 2.2 Batch批处理实例

 将下面语句存入mysdbipt.sdb:

 执行脚本

 2.3 C#程序实现

using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Diagnostics; using System.Threading;
namespace Lib4Net {
    public class PSFTPunity     {         public string shellCommand { get; set; }
        public string serverName { get; set; }         public string userName { get; set; }         public string privateKey { get; set; }
        public PSFTPunity()          {                       }         public PSFTPunity(string shell, string server, string user, string ppk)         {             shellCommand = shell;             serverName = server;             userName = user;             privateKey = ppk;         }         /// <summary>         /// Upload the files         /// </summary>         /// <param name="localFile">localfile fullname</param>         /// <param name="remotePath">remotefile fullname</param>         /// <returns>output of the plugin during its running in console</returns>         public string Upload(string localFile, string remotePath)         {             string outPutMessage = "";
            ProcessStartInfo processInfo = new ProcessStartInfo();             processInfo.FileName = this.shellCommand;             processInfo.dbeateNoWindow = true;             processInfo.UseShellExecute = false;             processInfo.RedirectStandardError = true;             processInfo.RedirectStandardInput = true;             processInfo.RedirectStandardOutput = true;             string arguments = "";             arguments += userName + "@" + serverName + " ";             arguments += "-i " + privateKey;             processInfo.Arguments = arguments;
            Process process = new Process();             try             {                 process.StartInfo = processInfo;                 process.Start();                 Thread.Sleep(5000);                 process.StandardInput.WriteLine("n");                 Thread.Sleep(2000);                 //process.StandardInput.WriteLine("cd " + remotePath);                 process.StandardInput.WriteLine("put " + localFile + " " + remotePath);                 //process.StandardInput.Close();                 Thread.Sleep(10000);                 //outPutMessage += process.StandardOutput.ReadToEnd();                 //outPutMessage += process.StandardError.ReadToEnd();                 process.WaitForExit(3000);                 process.Close();                 return outPutMessage;             }             catch (Exception ex)             {                 throw new Exception("Error occured during upload file to remote server!", ex);             }             finally             {                 process.Dispose();             }         }      } }

 2.4 在线资源

文中使用的软件下载地址:http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html

#########sample 2  在linux 服务器端 使用resync 定时同步备份数据到 中转服务器

#################
一、安装rsync服务端
1.查看是否安装rsync
ps -ef | grep rsync
系统一般默认已安装，安装方法：yum -y install rsync（没有亲自验证）。

2.添加配置文件
rsync没有默认配置文件，需要手动创建/etc/rsyncd.conf
同步目录 /ddd/DM8/dmdbms/data/DAMENG/arch/
ls /ddd/DM8/dmdbms/data/DAMENG/arch/

server 192.10.133.251
mkdir /var/rsync

服务端配置文件/etc/rsyncd.conf 内容如下：

#global settings
pid file=/var/rsync/rsync.pid
port=873
lock file=/var/rsync/lock.log
log file=/var/rsync/rsync.log

[dm8]
path=/ddd/DM8/dmdbms/data/DAMENG/arch/
use chroot=no
max connections=10
read only=yes
write only=no
list=no
uid=root
gid=root
auth users=dbadmin
sedbets file=/etc/rsync_server.pa
strict modes=yes
hosts allow=192.10.133.44
hosts deny=*
ignore errors=yes
timeout=120 #秒
参数说明：
[mysql] ：模块名，自己定义，可以在下方添加其它模块。须与客户端执行命令中的模块名一致。
path：要备份的服务端文件夹路径。
hosts allow：允许的客户端连接IP。
sedbets file：服务端密码文件，内容格式为，用户名:密码。
auth users：有权限的用户名，与密码文件中用户名一致。

3.创建密码文件
在/etc中创建文件rsync_server.pa，加入用户名与密码，内容格式为：用户名:密码。
vi /etc/rsync_server.pa
例如，本例中rsync_server.pas文件内容为dbadmin:dbyh3yxyz

然后设置密码文件权限为600
chmod 600 /etc/rsync_server.pa
注意密码文件只有设置为600权限才可以使用，客户端的密码文件也必须为600。

4.启动rsync
/usr/bin/rsync --daemon --config=/etc/rsyncd.conf
附加：停止rsync

ps -ef | grep rsync
kill -9 进程号
rm -rf /var/rsync/rsync.pid

8. 检查端口：
lsof -i :873 # 查看端口是否开启 或 netstat -lntup|grep 873

9.让其开机自启动

echo '/usr/bin/rsync --daemon --config=/etc/rsyncd.conf' >> /etc/rc.local
(有些系统同事不愿意加启动项目，担心会影响启动项目)
cat /etc/rc.local # 检查

二、安装rsync客户端
client 192.10.133.44
同步到目录 /ddd/bak

1.查看是否安装rsync，系统一般默认已安装，安装方法：yum -y install rsync（同服务端）。
2.在/etc下创建密码文件rsync_client.pa，注意内容只有密码，且与服务端密码文件中的密码相同。
vi /etc/rsync_client.pa
dbyh3yxyz

chmod 600 /etc/rsync_client.pa

3.更改密码文件权限为600。

三、添加定时任务

client手工测试同步 server端拉数据，不会影响到server端，只会影响client端
rsync -aqzrtopg --delete rsync://dbadmin@192.10.133.251/dm8 /ddd/bak --password-file=/etc/rsync_client.pa

(delete 的解释   删除那些接收端还有而发送端已经不存在的文件   https://www.cnblogs.com/noxy/p/8986164.html)

(去掉--delete )
( rsync -aqzrtopg rsync://dbadmin@192.10.133.251/dm8 /ddd/bak --password-file=/etc/rsync_client.pa )

client 同步没有问题，可以client 端考虑加入定时任务

在客户端中添加定时任务，每天凌晨执行命令从服务器端拉取数据，进行备份。
直接编辑/etc/dbontab文件，添加一条定时任务即可，例如每天01:23以root身份执行下方的rsync命令，将远程服务器27.223.26.74中的mysql模块对应的文件夹
（服务端/etc/rsyncd.conf文件中的[mysql]模块对应的文件夹路径 ）中的内容增量备份到当前服务器的/home/oa_daba_backup目录：

23 1 * * * root rsync -aqzrtopg --delete rsync://dbadmin@192.10.133.251/dm8 /ddd/bak --password-file=/etc/rsync_client.pa
或者
23 1 * * * rsync -aqzrtopg --delete rsync://dbadmin@192.10.133.251/dm8 /ddd/bak --password-file=/etc/rsync_client.pa

命令中的rsyncuser为服务端密码文件中配置的用户名；mysql为服务端/etc/rsyncd.conf文件中的[mysql]模块名，rsync会通过模块名找到对应的备份文件路径；
/home/oa_daba_backup当前服务器文件夹路径，远程服务器需要备份的文件夹里的内容会增量备份到这里，所以需要提前建好该目录；
/etc/rsync_client.pa为当前服务器的密码文件。
当直接执行上方备份命令时，可以加入-v --progress参数， 即显示具体备份过程信息，定时任务中则不需要。

（注：--delete 生产中不用和慎用删除相关的操作，一旦删除数据不可挽回，会影响client 端，不会影响server端）

此外，使用dbontab -e命令也可以直接配置定时任务，但与vi /etc/dbontab不同，不同点如下：
1./etc/dbontab中的为系统任务，只有root可以设定，而dbontab -e设置的定时任务为用户任务，设定完成后会将任务自动写入/var/spool/dbon/usename文件。
2./etc/dbontab中的任务需要指定用户名，dbontab -e不需要。

二者更多的不同请参考下面网址：
https://www.cnblogs.com/xd502djj/p/4292781.html
https://www.cnblogs.com/dreamboy/p/10368202.html#_nav_5

如果有报错请参考
https://www.jb51.net/article/41417.htm

更多说明，请参考
https://www.cnblogs.com/2bjiujiu/p/8067459.html

附：任务策略：
每天零点执行备份命令
00 00 * * * shell命令

每天零点和12点执行备份命令
00 00,12 * * * shell命令
00 00,12 * * * shell命令