比较和复制远程服务器上相同目录中的丢失文件

我有一个开发服务器,我想保持某些数据目录与活动服务器同步。 在活动服务器上存在的这些目录中的任何文件,而不是在开发服务器上,我需要复制。

因为我不在乎开发同步的同步,或者有任何关于在Dev上覆盖数据的担心,所以我可以将整个目录复制到SCP上。 问题是,这个文件夹是巨大的(几GB),我想每晚同步。 它永远不会及时完成。

什么是最简单/最好的方式(通过SSH)来同步/复制从远程目录丢失的文件到本地目录?

注意:如果可以的话,我不想安装任何新的/定制的工具。 我也正在寻找一些我可以安装/运行相当快速和容易,没有很多的烦恼或脚本! 🙂

把rsync,教练。 这是为了这个游戏。

它应该完成你所需要的几乎; 大文件将只传输更改的部分,散列比较完成,以避免传输不变的文件。 你需要通过一个ssh隧道来打一些脚本,但这应该是微不足道的。 它应该已经安装在最健全的linux系统上,所以,不应该需要安装额外的东西。

我不得不同意谢恩。 rsync的。 根据同步文件夹所花费的时间和可用的存储空间量,您可以保留一个文件夹名称和文件夹名称.new,然后您可以每天同步几次foldername.new。 当到了“live”的时候,您可以将文件从新文件夹复制到live文件夹中,使用cp或本地rsync。

看看rsycn上的选项,因为它可以被调整来更快地处理大文件。 另外,如果你移动很多小文件,你可能需要创build一个.tar /.tar.gz,然后再移动它们。