我正在使用BackupPC
来备份办公室的一些工作站。 特别是其中一个工作站与其他工作站相比,其数据量相当大,但总的来说并不是那么大(谈到250 GB的实际数据)。
BackupPC
似乎永远支持这个系统(几天,即超过72小时+)。 所有工作站都通过networking上的autofs
本地安装通过rsync
进行备份。
基本上, autofs
在工作站上挂载administrative C share
,然后BackupPC
将它视为本地目录, cd
到automount directory
,以及rsync
的所有数据。
总体而言,速度缓慢,我一般将其归因于BackupPC
速度较慢的硬件,但除了数据量较大的工作站之外,这种性能在所有工作站上都可以接受。
rsync flags:
/usr/bin/rsync --numeric-ids --perms --owner --group -D --links --hard-links --times --block-size=2048 --recursive
这些是BackupPC
设置的默认参数。
我在网上阅读了一些东西,指出坐骑可能会放慢速度 – 所以我改变了我的autofs
configuration,以noatime
标志挂载目录…没有区别。
我读了一些东西,指出rsync
可能是罪魁祸首,因为它是如何检查文件…并build议切换到tar
而不是。 所以我做了…但没有区别。
tar flags:
tarPath="/bin/gtar" env LC_ALL=C $tarPath -c -v -f - -C $shareName+ --totals # where $shareName is the autofs mounted directory
这些是BackupPC设置的默认参数。
不用找了。
使用iftop
监控BackupPC
盒子的networking活动,看起来它会在一段时间(有时高达90Mbps)使用率激增,但是然后会下降到Kbps甚至有时BPS范围。 当它处于慢速模式时, top
显示BackupPC_dump
命令的活动,这是备份工作…所以它正在做的东西,没有被卡住。
目前的备份已经运行了24小时以上,而根据iftop
只能传输75.9GB。
在服务器上直接运行rsync可能会更快。 你有大约一百万个文件通过networking访问。 有几个你可以运行的最小安装的rsync
。 我已经在Windows上设置了BackupPC 。 您可以运行完整的Cygwin安装,或BackupPC项目中提供的最小的cygwin-rsycnd安装。
你应该检查你的backuppcconfiguration两边的一切。 首先,检查服务器并尝试提高性能,但是如果您有其他性能更好的机器,可以跳过这一步。
接下来检查networking! networking速度由桌面检测,封装大小,电缆质量。 做一些基准testing,做一个大文件的rsync(rsync-rsyncd)testing。 从其他桌面和其他桌面进行testing。 你应该看到,如果你有没有问题。
最后是桌面。 机器上的CIFS可能不是最好的形状,正如我上面所说的,来自networking文件系统的rsync会一次又一次地通过networking下载每个文件,因为rsync是文件系统的本地文件,将检查文件的md5。 ..但是文件需要通过networking取得只是做检查。 就像BillThor所指出的,桌面上的一个rsyncd会更有效率。 此外,校验和caching将帮助backuppc服务器不检查它的文件,从而减less其负载。 对桌面进行碎片整理并删除(或排除)任何不需要的文件(windows上有许多无用的文件)。
最后,文件数量…很多文件通过networking进行备份需要很长时间,所以请尽量…而不是一个大的备份,把它分成较小的部分。 一些文件的变化比其他文件更多,所以按变化的概率将目录分组。 而不是每x天一个大的备份,有3个备份,一个在X天,另一个在2天内,更新的文件为3天。 这样你就可以避免每次都要parsing每个文件。 如果您有“归档”文件,请考虑压缩。 即使不可压缩(然后使用zip存储),它将在备份时间内变成10.000。
如果你不能这样做,你可以考虑改变备份方法。 在一台有很多文件的大型机器上,我使用驱动器快照做一个高清图像,然后定期执行增量快照。 可能看起来是一个矫枉过正的问题,但是这个程序很快在块级别上进行增量操作,并且会绕过很多文件的问题。 对我来说,它将48h的文件系统备份减less到3h的备份块级别。 没有backuppc那么灵活,但它起作用。 不要忘了,当你做碎片整理时,你必须重新做一次完整的备份,否则增量将会大到完整。 🙂
检查这个博客文章如何从Windows备份(与影子副本奖金)。 阅读所有评论,因为我在那里添加许多重要信息和更新。