BackupPC超过72小时备份250GB的

我正在使用BackupPC备份办公室的一些工作站。 特别是其中一个工作站与其他工作站相比,其数据量相当大,但总的来说并不是那么大(谈到250 GB的实际数据)。

BackupPC似乎永远支持这个系统(几天,即超过72小时+)。 所有工作站都通过networking上的autofs本地安装通过rsync进行备份。

基本上, autofs在工作站上挂载administrative C share ,然后BackupPC将它视为本地目录, cdautomount directory ,以及rsync的所有数据。

总体而言,速度缓慢,我一般将其归因于BackupPC速度较慢的硬件,但除了数据量较大的工作站之外,这种性能在所有工作站上都​​可以接受。

rsync flags:

 /usr/bin/rsync --numeric-ids --perms --owner --group -D --links --hard-links --times --block-size=2048 --recursive 

这些是BackupPC设置的默认参数。

我在网上阅读了一些东西,指出坐骑可能会放慢速度 – 所以我改变了我的autofsconfiguration,以noatime标志挂载目录…没有区别。

我读了一些东西,指出rsync可能是罪魁祸首,因为它是如何检查文件…并build议切换到tar而不是。 所以我做了…但没有区别。

tar flags:

 tarPath="/bin/gtar" env LC_ALL=C $tarPath -c -v -f - -C $shareName+ --totals # where $shareName is the autofs mounted directory 

这些是BackupPC设置的默认参数。

不用找了。

使用iftop监控BackupPC盒子的networking活动,看起来它会在一段时间(有时高达90Mbps)使用率激增,但是然后会下降到Kbps甚至有时BPS范围。 当它处于慢速模式时, top显示BackupPC_dump命令的活动,这是备份工作…所以它正在做的东西,没有被卡住。

目前的备份已经运行了24小时以上,而根据iftop只能传输75.9GB。

在服务器上直接运行rsync可能会更快。 你有大约一百万个文件通过networking访问。 有几个你可以运行的最小安装的rsync 。 我已经在Windows上设置了BackupPC 。 您可以运行完整的Cygwin安装,或BackupPC项目中提供的最小的cygwin-rsycnd安装。

你应该检查你的backuppcconfiguration两边的一切。 首先,检查服务器并尝试提高性能,但是如果您有其他性能更好的机器,可以跳过这一步。

接下来检查networking! networking速度由桌面检测,封装大小,电缆质量。 做一些基准testing,做一个大文件的rsync(rsync-rsyncd)testing。 从其他桌面和其他桌面进行testing。 你应该看到,如果你有没有问题。

最后是桌面。 机器上的CIFS可能不是最好的形状,正如我上面所说的,来自networking文件系统的rsync会一次又一次地通过networking下载每个文件,因为rsync是文件系统的本地文件,将检查文件的md5。 ..但是文件需要通过networking取得只是做检查。 就像BillThor所指出的,桌面上的一个rsyncd会更有效率。 此外,校验和caching将帮助backuppc服务器不检查它的文件,从而减less其负载。 对桌面进行碎片整理并删除(或排除)任何不需要的文件(windows上有许多无用的文件)。

最后,文件数量…很多文件通过networking进行备份需要很长时间,所以请尽量…而不是一个大的备份,把它分成较小的部分。 一些文件的变化比其他文件更多,所以按变化的概率将目录分组。 而不是每x天一个大的备份,有3个备份,一个在X天,另一个在2天内,更新的文件为3天。 这样你就可以避免每次都要parsing每个文件。 如果您有“归档”文件,请考虑压缩。 即使不可压缩(然后使用zip存储),它将在备份时间内变成10.000。

如果你不能这样做,你可以考虑改变备份方法。 在一台有很多文件的大型机器上,我使用驱动器快照做一个高清图像,然后定期执行增量快照。 可能看起来是一个矫枉过正的问题,但是这个程序很快在块级别上进行增量操作,并且会绕过很多文件的问题。 对我来说,它将48h的文件系统备份减less到3h的备份块级别。 没有backuppc那么灵活,但它起作用。 不要忘了,当你做碎片整理时,你必须重新做一次完整的备份,否则增量将会大到完整。 🙂

检查这个博客文章如何从Windows备份(与影子副本奖金)。 阅读所有评论,因为我在那里添加许多重要信息和更新。